Suchserver Apache Solr: Eine Erkundung. JAX 2010, Mainz. Christian Meder inovex GmbH Head of Solution Development

Transkript

1

2 Suchserver Apache Solr: Eine Erkundung JAX 2010, Mainz Christian Meder inovex GmbH Head of Solution Development

3 Agenda Motivation Kurzübersicht und Historie Lucene und Solr Architektur Schema Queries Administrationsoberfläche Analysemöglichkeiten scaling and the road ahead

4 Motivation Google Relevanz Snippets Autovervollständigung Antwortzeiten Spellchecker Meinten Sie

5 Motivation Amazon Relevanz Snippets Autovervollständigung Antwortzeiten Facetten

6 Motivation Polyvore Facetten

7 Kurzübersicht und Historie Lucene / Solr Lucene 0.01 (2000) Doug Cutting auf Sourceforge 1.2 (2002) Apache Jakarta Projekt ( ) Lucene 3 API cleanup, Java 5 nur eine Bibliothek zum Nachschlagen von Informationen Kern einer Sucharchitektur technisch ausgereift und mächtig erfordert Grundverständnis und Einarbeitung skalierbar viele Ports:.Net, C, Python,... AOL, Apple, Disney, Eclipse, JIRA, Liferay, E.ON, Monster, wikipedia,

8 Kurzübersicht und Historie Lucene / Solr Solr 2006 code donation von CNET 1.1: aus incubator zu lucene Subprojekt 1.4: aktueller Release Enterprise Suchserver Standard-Schnittstelle: XML über HTTP skalierbar Administrationsoberfläche schema-basiert flexible Text-Analyse mit vielen Analyse-Klassen (batteries included) Facetten und Filter AOL, CNET, MTV, flug.idealo.de, whitehouse.gov,

9 Architektur Indizierung

10 Architektur Suche

11 Schema Features enthält Felder und Feldtypen Feldtypen mit unterschiedlichen Analysern dynamische Felder CopyField konfigurierbare Textanalyse Listen von Synonymen, Stopp-Wörtern, etc

12 Schema Beispiele Feldtypen <fieldtype name="string" class="solr.strfield" sortmissinglast="true" omitnorms="true"/> <fieldtype name="integer" class="solr.intfield" omitnorms="true"/> <fieldtype name="long" class="solr.longfield" omitnorms="true"/> <fieldtype name="sint" class="solr.sortableintfield" sortmissinglast="true" omitnorms="true"/> <fieldtype name="slong" class="solr.sortablelongfield" sortmissinglast="true" omitnorms="true"/>

13 Schema Beispiele Feldtypen <fieldtype name="date" class="solr.datefield" sortmissinglast="true" omitnorms="true"/> <fieldtype name="text_ws" class="solr.textfield" positionincrementgap="100"> <analyzer> <tokenizer class="solr.whitespacetokenizerfactory"/> </analyzer> </fieldtype>

14 Schema Beispiele Feldtypen <fieldtype name="text" class="solr.textfield" positionincrementgap="100"> <analyzer type="index"> <tokenizer class="solr.whitespacetokenizerfactory"/> <filter class="solr.stopfilterfactory" ignorecase="true" words="stopwords.txt"/> <filter class="solr.worddelimiterfilterfactory" generatewordparts="1" generatenumberparts="1" catenatewords="1" catenatenumbers="1" catenateall="0" splitoncasechange="1"/> <filter class="solr.lowercasefilterfactory"/> <filter class="solr.englishporterfilterfactory" protected="protwords.txt"/> <filter class="solr.removeduplicatestokenfilterfactory"/> </analyzer> <analyzer type="query"> <tokenizer class="solr.whitespacetokenizerfactory"/> <filter class="solr.synonymfilterfactory" synonyms="synonyms.txt" ignorecase="true" expand="true"/> <filter class="solr.stopfilterfactory" ignorecase="true" words="stopwords.txt"/> <filter class="solr.worddelimiterfilterfactory" generatewordparts="1" generatenumberparts="1" catenatewords="0" catenatenumbers="0" catenateall="0" splitoncasechange="1"/> <filter class="solr.lowercasefilterfactory"/> <filter class="solr.englishporterfilterfactory" protected="protwords.txt"/> <filter class="solr.removeduplicatestokenfilterfactory"/> </analyzer> </fieldtype>

15 Schema Beispiele Felder <field name="city" type="string" indexed="true" stored="true" /> <field name="contactphotourl" type="string" indexed="false" stored="true" /> <field name="priceperhour" type="sfloat" indexed="true" stored="true" /> <field name="availabilitydate" type="date" indexed="true" stored="true" /> <field name="skills" type="text" indexed="true" stored="true" multivalued="true" /> <field name="all_skills" type="text" indexed="true" stored="true" /> <field name="all_text" type="text" indexed="true" stored="false" /> <dynamicfield name="projectskills_*" type="text" indexed="true" stored="true" multivalued="true" /> <copyfield source="skills" dest="all_text" />

16 Queries Features HTTP Interface mit verschiedenen Formaten (XML, JSON,...) Mehrfachsortierung Auto Suggest Dismax query Snippets Spelling suggestions More Like This einfache Datumsberechnungen Function Query einfache Statistik (min, max,...) Facetten Suche (Filtern nach mehreren Facetten)

17 Queries Beispiel linux&version=2.1&indent=1 <?xml version="1.0" encoding="utf-8"?> <response> <responseheader><status>0</status><qtime>1</qtime></responseheader> <result numfound="1" start="0"> <doc> <float name="score"> </float> <str name="id">234234</str> <str name="all_text">building Java web applications on a Linux stack.</str> </doc> </result> </response>

18 Queries Einfache Beispiele für q +java +linux +java -linux title:java title:java AND -body:linux lucene in action java* java~ date:[11/01/2009 TO 11/10/2009] price:[20 TO 50] Price:[100 TO *]

19 Queries Beispiele für Parameter: sort, field list, filter queries, date math sort=score desc sort=availability asc sort=instock desc, price asc start=10 rows=20 fl=* fl=id, priceperhour availability fl=* score fq=price:[50 TO 60]&fq=inStock:[1 TO *] fq=availability:[now TO NOW/DAY+1MONTH] updated:[now/day-10days TO NOW]

20 Queries Beispiele für Parameter: highlight, terms, spellcheck hl=true&hl.fl=skills&hl.snippets=3 terms.fl=skill&terms.prefix=ja terms.fl=name&terms.prefix=at&wt=json&omitheader=true q=hell&spellcheck=true <lst name="spellcheck"> <lst name="suggestions"> <lst name="hell"> <int name="numfound">1</int> <int name="startoffset">0</int> <int name="endoffset">4</int> <arr name="suggestion"> <str>dell</str> </arr> </lst> </lst> </lst>

21 Queries Beispiele für Parameter: morelikethis, dismax q=apache&mlt=true&mlt.fl=title&mlt.mindf=1&mlt.mintf=1&fl=id,score q=video&deftype=dismax&qf=features^20.0+text^0.3 q=java&deftype=dismax&qf=projectskills_2009^10.0 projectskills_2008^5.0 projectskills_2007^3.0 projectskills^1.0 skills^1.0&mm=1&fl=*,score mm=2<-25% mm=2<-1 5<80%

22 Queries Beispiele für Parameter: simplefacet q=ipod&rows=0&facet=true&facet.limit=-1&facet.field=cat&facet.mincount=1&facet.field=instock <response> <responseheader><status>0</status><qtime>3</qtime></responseheader> <result numfound="4" start="0"/> <lst name="facet_counts"> <lst name="facet_queries"/> <lst name="facet_fields"> <lst name="cat"> <int name="music">1</int> <int name="connector">2</int> <int name="electronics">3</int> </lst> <lst name="instock"> <int name="false">3</int> <int name="true">1</int> </lst> </lst> </lst> </response>

23 Queries Beispiele für Parameter: simplefacet q=video&rows=0&facet=true&facet.field=instock &facet.query=price[*+to+500]&facet.query=price:[500+to+*] q=*:*&rows=0&facet=true&facet.date=timestamp &facet.date.start=now/day-5days &facet.date.end=now/day+1day&facet.date.gap=+1day

24 Administrationsoberfläche Übersicht

25 Administrationsoberfläche Schema Browser

26 Analyse Interaktive Abfrage

27 Analyse Debug Query

28 Analyse Indizierung

29 Scaling and the road ahead Ecosystem projects MultiCore Replikation Sharding DataImportHandler (XML, SQL, CSV,...) Solr Cell (Apache Tika) Spatial Search / LocalSolr Apache Mahout Lucandra / Solandra

30 Vielen Dank für Ihre Aufmerksamkeit! inovex GmbH Pforzheim Karlsruher Straße 71 D Pforzheim München Konrad-Zuse-Platz 1 D München Köln Kaiser-Wilhelm-Ring D Köln Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst.