Christian Meder & Andrew Kenworthy inovex. Lucenes Welt Ordnen, finden, klassifizieren

Transkript

1 Christian Meder & Andrew Kenworthy inovex Lucenes Welt Ordnen, finden, klassifizieren

2 Lucene's Welt: Ordnen, Finden, Klassifizieren JAX, 2012 Andrew Kenworthy Christian Meder inovex GmbH

3 Speaker Andrew Kenworthy Schwerpunkte Business Intelligence Java Solr Hadoop

4 Speaker Christian Meder Schwerpunkte open source (free software) Linux Web Java Android Christian Meder

5 Agenda Motivation Beispiele Projektübersicht Projekte Möglichkeiten Bewertung

6 Motivation

7 Motivation Google klassisch (2010)

8 Motivation Google klassisch (2010) Relevanz

9 Motivation Google klassisch (2010) Snippets Autovervollstaendigung

10 Motivation Google klassisch (2010) Antwortzeiten Spellchecker Aehnliche Seiten (More like this)

11 Motivation Google Evolution (2011)

12 Motivation Google Evolution (2011) Facetten Instant Search Vorschau

13 Motivation Google Evolution (2011)

14 Motivation Google Evolution (2011) Facetten

15 Motivation Google Evolution (2012) SPYW

16 Motivation Google Evolution (2012) SPYW

17 Motivation Amazon

18 Motivation usability.de Die Aussage eines Probanden bei einem Usability-Test einer Faceted Search Lösung im Rahmen dieser Studie ist damit richtungsweisend: Mit dem Filter hier habe ich das Gefühl, dass selbst eine schnöde Suche richtig Spaß machen kann. Quelle: Faceted Search: Die neue Suche im Usability-Test (zum kostenlosen Download unter

19 Motivation osscensus.org Rank Package Installs 1 firefox % 2 zlib % 3 wget % 4 xerces % 5 prototype % 6 eclipse % 7 c.-logging % 8 docbook-xml % 9 lucene % 10 xalan % 11 commons-lang % 12 wsdl4j % 13 tk % 14 samba % 15 activation %

20 Beispiele

21 Beispiele Ebay Kleinanzeigen

22 Beispiele Ebay Kleinanzeigen (aus Olaf Zschiedrich Kleinanzeigen) Site metrics: ~ 3.2 M active ads M PVs per day Peak hours = 1.8 M PVs (~ 500 PVs per second) Solr request metrics: ~ 60 M requests per day Peak hours = ~ 1500 request per second Avg. response time 20 ms (search) and 3 ms for auto-suggest

23 Beispiele Ebay Kleinanzeigen (aus Olaf Zschiedrich Kleinanzeigen) 2 datacenters 1 Master + 6 Slaves per datacenter Slaves show very low resource consumption. Could go down to 4 slaves per datacenter while still having 50% overcapacity Master only used for indexing Load balancer in front of slaves Varnish in front of slaves (for dedicated use cases) Working closely with SITE-OPS Team DEV-OPS are part of development process

24 Beispiele ElasticSearch IGN's search 10 nodes / 2 clusters 56 M documents Scala over TCP PHP/JS over HTTP ~5k rpm

25 Beispiele ElasticSearch Sonian Inc. Cloud electronic document search 20+ cluster 5 billion documents Index into 100s TB

26 Projektuebersicht

27 Projektübersicht Lucene Lucene: Suchbibliothek Solr: Suchserver Nutch: Crawler Tika: Inhaltsanalyse ElasticSearch (Compass): Suchserver Mahout: Machine Learning ManifoldCF: Repository Connectors (incubation)

28 Projekte

29 Architektur Indizierung Inhalte Bereitstellung Solr Aufbereitung Analyse Lucene Indizierung Index

30 Projekte Lucene Information Retrieval Bibliothek Kern einer Sucharchitektur effizient skalierbar Viele Ports:.Net, C, Python Vielfach integriert in Produkte

31 Historie Lucene 0.01 (2000) Doug Cutting 1.2 (2002) Apache Jakarta Projekt (2009) Sortieren, Datums- und Zahlenfelder, Bereichsfelder, near realtime search, neue Analyzer, (2009) cleanup release, deprecations (2011/2012) performance, grouping, autocomplete Verbesserungen, facet, join,

32 Projekte Solr Enterprise Suchserver XML über HTTP skalierbar Adminoberfläche schema-basiert viele Analyse-Klassen Handler, Filter, Facetten

33 Projekte Solr: Schema enthält Felder / Feldtypen Feldtypen mit unterschiedlichen Analysern dynamische Felder CopyField Konfigurierbare Textanalyse Listen von Synonymen, Stopp- Wörtern, etc

34 Projekte Solr: Schema, Beispiele Felder <field name="subject" type="string" indexed="true" stored="true" /> <field name="contactphotourl" type="string" indexed="false" stored="true" /> <field name="priceperhour" type="sfloat" indexed="true" stored="true" /> <field name="created" type="date" indexed="true" stored="true" /> <field name="subject" type="string" indexed="true" stored="true" multivalued="true" /> <field name="all_text" type="text" indexed="true" stored="false" /> <dynamicfield name="skills_*" type="text" indexed="true" stored="true" multivalued="true" /> <copyfield source="subject" dest="all_text" />

35 Projekte Solr: Features Markierte Treffer Spellchecker MoreLikeThis Dismax Query DataImportHandler: DB, XML,... Indexanalyse

36 Historie Solr 2006 code donation von CNET 1.1: aus incubator zu lucene Subprojekt 1.2: spellcheck, sounds-like, : verteiltes Suchen, : db dataimporthandler, (2011/2012) geospatial support, grouping/collapsing,

37 Projekte Solr: Queries HTTP Interface mit verschiedenen Formaten (XML, JSON...) Mehrfachsortierung Auto Suggest Dismax query Snippets Spelling suggestions More Like This einfache Datumsberechnungen Function Query einfache Statistik (min, max,...) Facetten Suche (Filtern nach mehreren Facetten)

38 Projekte Solr: Einfache Beispiele für q +goethe +schiller +goethe -schiller title:faust title:faust AND -all_text:goethe romeo and juliet water* water~ created:[ t23:59:59.999z TO T00:00:00Z] price:[20 TO 50] price:[100 TO *]

39 Projekte Solr: Beispiele für Parameter sort=score asc sort=created asc sort=created asc, title asc start=10 rows=20 fl=* fl=id, title fl=*, score created:[now/day-1month TO NOW/DAY] fq=created:[now/day-2years TO NOW/DAY]&fq=all_text:poetry

40 Projekte Nutch Web Crawler verteilt, parallel Erstellt gerichteten Graphen Multi-Format (HTML, PDF, Office, Tika,...) MapReduce, Hadoop Lucene oder Solr

41 Projekte Tika Inhaltsanalyse Extrahiert Metadaten und strukturierte Inhalte nutzt existierende Parser große und wachsende Anzahl an Formaten weitere Parser einfach ergänzbar

42 Projekte ElasticSearch nutzt Lucene Facetten, Typen,... elastic: sharding/replicas automatisch schemalos Vorgänger: Compass Framework

43 Projekte Mahout Machine Learning Empfehlungen Clustering Classification Hadoop Zahlreiche Algorithmen

44 Moeglichkeiten

45 Möglichkeiten Beispiel

46 API

47 Commit Options

48 Concurrency

49 Config org.apache.solr.common.solrexception: Error opening new searcher. exceeded limit of maxwarmingsearchers=2, try again later. request: commit=true&waitflush=true&waitsearcher=true&... at... In standard solr configuration: <maxwarmingsearchers>2</maxwarmingsearchers>

50 Solr Wiki: "...every time a new index searcher is opened, some autowarming of the cache occurs before Solr hands queries over to that version of the collection. It is crucial to individual query latency that queries have warmed caches." Near-Real-Time (Lucene since 2.9, Solr/trunk, ElasticSearch)

51 INDEX Belkin belkin QUERY Belkin belkin But... belk* belk

52 MultiCore <solr persistent="false"> <cores adminpath="/admin/cores" defaultcorename="core0"> <core name="originalcore" instancedir="core0"> <property name="datadir" value="/data/core0" /> </core> <core name="newcore" instancedir="core1" > <property name="datadir" value="/data/core1" /> </core> </cores> </solr>

53 Schema-less

54 Distributed, Autosharding

55 Multitenancy (cf Multicore)

56 Lucene & Hadoop - Hadoop: parallel processing power - Lucene: dynamic, rapid search But... - HDFS: no random read/writes - Solr: distributed indexes So... - Index built in HDFS, export to local - HBase

57 Bewertung The road ahead Solr: einfach, konfigurierbar, skalierbar, endnutzerfreundlich Lucene: lowlevel, komplexer, volle Flexibilität ElasticSearch: relativ neu, aber automatische Skalierung Mahout: komplex, mächtig, skalierbar

58 Vielen Dank!