Suchen und Finden mit Lucene und Solr. Florian Hopf

Transkript

1 Suchen und Finden mit Lucene und Solr Florian Hopf

2

3

4 Suche Go

5 Suche Go Ergebnis 1 In Ergebnis 1 taucht der Suchbegriff auf... Ergebnis 2 In Ergebnis 2 taucht der Suchbegriff auch auf... Ergebnis 3 hier steht der Suchbegriff aus Ergebnis 3...

6 Suche Go Ergebnis 1 In Ergebnis 1 taucht der Suchbegriff auf... SQL Ergebnis 2 In Ergebnis 2 taucht der Suchbegriff auch auf... Ergebnis 3 hier steht der Suchbegriff aus Ergebnis 3...

7

8 Talk title content talkdate * * * * Speaker name Category name

9 mysql> select * from talk where title like "%apache%"; id title content talkdate Apache Karaf Integration ganz einfach mit Apache Camel rows in set (0.00 sec)

10 mysql> select * from talk t join talk_category tc join category c where t.id = tc.talk and tc.category = c.id and (c.name like '%OSGi%' or t.title like '%OSGi%' or t.content like '%OSGi%'); id title content talkdate talk category id name Apache Karaf OSGi 2 Integration OSGi rows in set (0.00 sec)

11 Performance? Ranking? False Positives Ähnlichkeitssuche (Meyer <=> Meier) Flexibilität? Wartbarkeit?

12 Suche Go Ergebnis 1 In Ergebnis 1 taucht der Suchbegriff auf... Ergebnis 2 In Ergebnis 2 taucht der Suchbegriff auch auf... Ergebnis 3 hier steht der Suchbegriff aus Ergebnis 3...

13 File directory = new File(dir); File[] textfiles = directory.listfiles(new TextFiles()); for (File probablematch : textfiles) { String text = readtext(probablematch); if (text.matches(".*" + Pattern.quote(term) + ".*")) { fileswithmatches.add(probablematch.getabsolutepath()); } }

14 Skalierbarkeit? Unterschiedliche Formate? Ranking? Kombination mit Datenbank?

15 Suche Go SQL Ergebnis 1 In Ergebnis 1 taucht der Suchbegriff auf... Ergebnis 2 In Ergebnis 2 taucht der Suchbegriff auch auf... Ergebnis 3 hier steht der Suchbegriff aus Ergebnis 3...

16 Dokument 1 Die Stadt liegt in den Bergen. Dokument 2 Vom Berg kann man die Stadt sehen.

17 Dokument 1 Die Stadt liegt in den Bergen. Dokument 2 Vom Berg kann man die Stadt sehen. 1. Tokenization Die 1 Stadt 1,2 liegt 1 in 1 den 1 Bergen 1 Vom 2 Berg 2 kann 2 man 2 die 2 sehen 2

18 Dokument 1 Die Stadt liegt in den Bergen. Dokument 2 Vom Berg kann man die Stadt sehen. 1. Tokenization 2. Lowercasing die 1,2 stadt 1,2 liegt 1 in 1 den 1 bergen 1 vom 2 berg 2 kann 2 man 2 sehen 2

19 Dokument 1 Die Stadt liegt in den Bergen. Dokument 2 Vom Berg kann man die Stadt sehen. 1. Tokenization 2. Lowercasing 3. Stemming die 1,2 stadt 1,2 liegt 1 in 1 den 1 berg 1,2 vom 2 kann 2 man 2 seh 2

20

21 Java-Bibliothek Invertierter Index Analyzer Query-Syntax Relevanz-Algorithmus KEIN Crawler KEIN Document-Extractor

22 Quelle:

23 Indexieren: Erstellen eines Documents Festlegen des Analyzers Indexieren über IndexWriter Suchen: Verwendung des selben Analyzers Parsen der Query mit QueryParser Auslesen über IndexSearcher/IndexReader Ausgabe über Document

24 Document Field title Integration Name 1 ganz einfach Value mit Apache Value 1 Camel Fieldtitle date Name Value Value 1 Field speaker title Integration Name 1ganz Christian einfach Value Schneider mit Apache Value 1Camel Document Field title Integration Name 1ganz Apache einfach ValueKaraf mit Apache Value 1Camel Fieldtitle date Name Value Value 1 Field speaker title Integration Name 1 ganz Christian einfach Value Schneider mit Apache Value 1 Camel Field speaker title Integration Name 1ganz Achim einfach Value Nierbeck mit Apache Value 1Camel

25 Index ANALYZED NOT_ANALYZED NO Store YES/NO Feldtyp String, Numeric, Boolean

26

27 Analyzer Tokenizer TokenFilter TokenFilter TokenFilter TokenFilter

28 Analyzer Analyzer Tokenizer StandardTokenizer TokenFilter StandardFilter TokenFilter LowercaseFilter TokenFilter GermanNormalizationFilter TokenFilter GermanLightStemFilter

29 Document IndexWriter Analyzer Directory

30

31 DEMO

32 Document IndexWriter QueryParser Analyzer Directory Query IndexSearcher IndexReader

33

34 TermQuery Apache title:apache Boolean Query Apache AND Karaf PhraseQuery "Apache Karaf"

35 WildcardQuery Integ* Te?t RangeQuery date:[ TO ] FuzzyQuery Schneyder~

36 title:apache AND speaker:schneyder~ AND date:[ TO ]

37 title:apache AND speaker:schneyder~ AND date:[ TO ] BooleanQuery AND TermQuery title:apach FuzzyQuery speaker:schneyder RangeQuery date:[...]

38 title:apache AND speaker:schneyder~ AND date:[ TO ] BooleanQuery AND TermQuery title:apach FuzzyQuery speaker:schneyder RangeQuery date:[...]

39 FilterQueries Ausschlusskriterium, kann gecacht werden Sortierung Boosting Indexing-Time Query-Time

40 score(q, d)=coord (q, d) querynorm(q) (tf (t, d) idf (t) 2 t.boost norm(t, d)) t q

41 Anzahl der Matches im Dokument Invers zu Anzahl Dokumente, die den Term enthalten Feldlänge, Index- Boost score(q, d)=coord (q, d) querynorm(q) (tf (t, d) idf (t) 2 t.boost norm(t, d)) t q Anzahl Term im Dokument Query- Boost

42 DEMO

43

44 Parser API Zahlreiche Formate Integriert OpenSource-Libs Betrieb embedded oder über Server

45

46 DEMO

47

48 Enterprise Search Server Basiert auf Lucene HTTP API Index-Schema Integriert häufig verwendete Lucene-Module Facettierung Dismax Query Parser Admin-Interface

49 Webapp XML, JSON, JavaBin, Ruby,... Webapp Client http Solr Lucene

50 Solr Home conf data schema.xml solrconfig.xml Lucene

51 schema.xml Field Types Fields

52

53

54 Search Index Index Start Indexing Search Handler Update Request Handler Solr Cell DIH DB URL Files Caches Search Comp. Lucene Replication Monitoring

55 solrconfig.xml Lucene Config Caches Request Handler Search Components

56

57 Webapp XML, JSON, JavaBin, Ruby,... Webapp Client http Solr Lucene

58

59

60 DEMO

61

62 Index Master Replicate Slave Slave Loadbalancer Search

63 Geospatial Search More like this Spellchecker Suggester Result Grouping Function Queries Sharding

64

65 Suchserver basierend auf Apache Lucene RESTful API Dokumentenorientiert (JSON) Schemafrei Distributed Search Near Realtime Search No Commits (Transaction Log)

66 curl -XPOST ' -d '{ "speaker" : "Florian Hopf", "date" : " T19:30:00", "title" : "Suchen und Finden mit Lucene und Solr"}' {"ok":true,"_index":"jugka","_type":"talk", "_id":"celtdivqrgsvly_dbzv1jw","_version":1}

67 curl -XGET ' {"took":29,"timed_out":false,"_shards": {"total":5,"successful":5,"failed":0},"hits": {"total":1,"max_score": ,"hits": [{"_index":"jugka","_type":"talk","_id":"celtdivqrgsvly_dbzv1jw","_score": , "_source" : { "speaker" : "Florian Hopf", "date" : " T19:30:00", "title" : "Suchen und Finden mit Lucene und Solr"}

68

69

70 Vielen Dank!