Suchmaschinen mit Lucene und SEMS

Transkript

1 Suchmaschinen mit Lucene und SEMS lizenzfrei it consulting gmbh rainer dollinger

2 Vorstellung Unsere Schwerpunkte Beratung Umsetzung (z.b. Nagios, Lucene, Typo3) Unser Referent Rainer Dollinger Software Entwickler bei lizenzfrei Unsere Referenzen Search Engine for Multiple Systems Relaunch der Homepage von Energiesparverband O.Ö. mit typo3 Projekte für Sony, One, O2, t-mobile, Telekom office linz: landstraße linz office wien: skodagasse 26/ wien

3 Roadmap Lucene Einführung, Vorteile, Einsatz Konzepte, Beispielcode für Indizierung und Suche Query Klassen, Analyzer Weitere Features, Erfahrungen, Quellen SEMS Ziele Architektur, Features Live-Demo

4 Lucene Einführung Framework für hoch performante Volltextsuche Open source bei Apache Software Foundation Java, C++,.NET, Python, Perl, Ruby Entwickelt von Doug Cutting Erstes Open Source Release im März 2000 (Sourceforge)

5 Vorteile von Lucene Inkrementelle Indizierung Datenquellen als String oder InputStream bringt Flexibilität Filter für verbreitete Dokument Typen wie Pdf, Word, Html Content Tagging über Fields Stoppwort Handling Multithreading Support für spezielle Sprachen (z.b. Chinesich)

6 Lucene im Einsatz Nutch Search Engine for Intranet and Internet TheServerSide Homepage Community Homepage for Java Enterprise Development Eclipse SearchBlox DocJar (Javadoc search engine) Celoxis (Project Management Tool)

7 Integration von Lucene

8 Konzepte 1 Index: Behälter für Documents, meist ein Verzeichnis im Filesystem Document: Behälter für Fields, stellt einen Treffer in der Ergebnisliste dar Field: benannter Behälter für Terms Term: ein Text Element, meistens ein Wort

9 Konzepte 2 Typen für Field Text: wird analysiert, indiziert und gespeichert Keyword: wird indiziert und gespeichert, nicht analysiert (z.b. Ul, Sozialversicherungsnr.) UnIndexed: nicht indiziert, nur gespeichert (z.b. Primary Key von Datenbankeinträgen) UnStored: wird indiziert und analysiert aber nicht gespeichert, für große Textmengen

10 Beispielcode Indizierung IndexWriter writer = new IndexWriter(indexDir, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(field.text( titel, titel)); doc.add(field.text( author, author)); doc.add(field.keyword( isbn, isbn)); writer.adddocument(doc); writer.close();

11 Analyzer 1 Analyzing "The BIG brown fox jumped over 1298 lazy dogs in '39 WhitespaceAnalyzer: [The] [BIG] [brown] [fox] [jumped] [over] [1298] [lazy] [dogs] [in] ['39] SimpleAnalyzer: [the] [big] [brown] [fox] [jumped] [over] [lazy] [dogs] [in] StopAnalyzer: [big] [brown] [fox] [jumped] [over] [lazy] [dogs] StandardAnalyzer: [big] [brown] [fox] [jumped] [over] [1298] [lazy] [dogs] [39]

12 Analyzer 2 Analyzing "XY&Z Corporation - xyz@example.com WhitespaceAnalyzer: [XY&Z] [Corporation] [-] [xyz@example.com] SimpleAnalyzer: [xy] [z] [corporation] [xyz] [example] [com] StopAnalyzer: [xy] [z] [corporation] [xyz] [example] [com] StandardAnalyzer: [xy&z] [corporation] [xyz@example.com]

13 Beispielcode Suche IndexSearcher searcher = new IndexSearcher(indexDir); String expression = author:hatcher AND Lucene ; Query query = QueryParser.parse(expression, titel, new StandardAnalyzer()); Hits hits = searcher.search(query); for (int i = 0; i < hits.length(); i++) { Document doc = hits.doc(i); System.out.println(doc.get( isbn )); }

14 Query Klassen 1 TermQuery: für exakte Übereinstimmung BooleanQuery: Zusammenfassen mehrerer Queries (AND, OR, NOT, +, -) RangeQuery: um Suche über Bereiche auszuführen. Bsp: length:[050 TO 150] Kriterium: Suchtext kann zu Date geparst werden, ansonsten lexikographische Sortierung bei Strings

15 Query Klassen 2 WildcardQuery: Verwendung von *? Fuzzy query: Toleranz gegenüber Tippfehler Bsp: Suchtext brwon~ liefert auch Treffer für brown Phrase query: für mehrere Suchwörter in engem Abstand zueinander Bsp: Suchtext quick fox ~7 liefert auch Treffer bei the quick brown fox aber nicht für this fox can run very quick

16 Weitere Features RAMDirectory vs. FSDirectory für Performance-tuning Stemming (Beispiel: jumped = jumper = jumps) Indizierung und Suche funktioniert gleichzeitig HighLighter für Anzeige der Suchergebnisse WordNet Synonyme Boost Faktoren: Beeinflussung des Rankings

17 Erfahrungen mit Lucene Sehr hohe Performanz, vor allem bei Verwendung von RAMDirectory um den Index im Hauptspeicher zu durchsuchen Für die meisten Aufgaben sehr einfach einzusetzen Gute Erweiterbarkeit Ausreichend Dokumentation

18 Quellen, Tools Lucene Sandbox Luke The Lucene Index Toolbox Buchempfehlung: Lucene in Action, O.Gospodnetic, E.Hatcher, 2005 Manning Artikel im Internet auf OnJava, TheServerSide,...

19 Was ist SEMS? Search Engine for Multiple Systems Ziele: Effizienzsteigerung bei der Recherche Produktivitätssteigerung der Abläufe Bessere Erschließung der vorhandenen Informationen Optimierung des Faktors: Zeit zu Wissen Verbesserung der Informationsbasis

20 Architektur Indizierer Suchhost Load Balancer Möglichkeit für - Clusterfähigkeit - Ausfallsicherheit - Skalierbarkeit

21 Mögliche Systemarchitektur

22 Screenshot der Anwendung

23 Vielen Dank für Ihre bisherige Aufmerksamkeit! Sie können sich diesen Vortrag gerne unter downloaden. lizenzfrei it consulting gmbh rainer dollinger