Apache Lucene und Oracle in der Praxis Volltextsuche in der Cloud. DOAG 2011 Konferenz + Ausstellung Frank Szilinski & Dominic Weiser, esentri

Transkript

1 Apache Lucene und Oracle in der Praxis Volltextsuche in der Cloud DOAG 2011 Konferenz + Ausstellung Frank Szilinski & Dominic Weiser, esentri

2 Agenda Einleitung Oracle Text Lucene Projekte Apache Solr Elasticsearch Solr und Oracle Fazit 2

3 Einleitung In den vergangenen 3 Jahren haben wir mehr Daten produziert als in den vergangenen 5000 Jahren (Zitat: Prof. Dr. Peter Henning) Datenmenge verdoppelt sich im Schnitt alle 18 Monate (Quelle: 3

4 Einleitung - Suchanfragen Entwicklung Zugriffszeiten bei Suchen 4

5 5 Oracle Text

6 Oracle Text Volltextsuche für Oracle Datenbanken. Anstelle von SQL Like Basiert auf Daten in Indexen Benutzt die SQL-Schnittstelle für Indizierung, Suche und Analyse Es gibt unterschiedliche Ergebnisaufbereitungen unformatiert HTML mit highlighting Original Documentenformat 6

7 Fazit Oracle Text Vorteile Nachteile Direkte Datenbank- Anbindung Mächtige Query Syntax Größenteils bereits integriert Kleine Community Langsamer Schwer zu Scalieren An Oracle Lizenz gebunden Dokumentation gut aber schwer zu finden. 7

8 Apache Lucene Open-Source Java-Library Information-Retrieval Volltextsuche Schnell Es wird ein Index aufgebaut worin in konstanter Zeit gesucht werden kann. Grundbaustein für viele weitere Projekte Apache Solr elasticsearch 8

9 Entwicklung Lucene Erste Entwicklung 1997 Seit 2002 teil der Apache Software Foundation Version 3.4 seit Probleme zwischen Lucene Core und Java 7 sind seit Java 7 Update 1 gefixt Ebenso sind die Probleme mit Java 6 Update 29 behoben 9

10 Lucene der Ablauf Inhalte Auffinden Dokumente zusammensetzen Analyse Indizierung Inhalte müssen an Lucene übertragen werden (crawler) Meta-Daten aus Dokument auslesen, beispielsweise über Apache Tika Stemmer zerlegen alle Worte, des Dokuments, in seine Wortstämme Die Wortstämme werden in Indizes abgespeichert 10

11 Lucene Analyzer Original Text 1 Whitespace Tokenizer Analyzer Lower Case 2 3 Stop Filter 4 Stem Filter 5 Filter The Quick Brown fox jumped over the lazy dog s bowl. [The] [Quick] [Brown] [fox] [jumped] [over] [the] [lazy] [dog s] [bowl] [the] [quick] [brown] [fox] [jumped] [over] [the] [lazy] [dog s] [bowl] [quick] [brown] [fox] [jumped] [lazy] [dog s] [bowl] [quick] [brown] [fox] [jump] [lazy] [dog] [bowl] 11

12 Fazit Lucene Vorteile Nachteile Schlank Schnell Open-Source Gute Skalierbarkeit Kein Dokumentenparser Nur Java-Schnittstellen Keine Benutzeroberfläche Hoher Integrationsaufwand 12

13 Apache Solr Geschwister-Projekt zu Apache Lucene Ergänzt das Apache Lucene Projekt um: Benutzeroberfläche (HTTP Proxy für Lucene) Schnittstellen HTTP/XML JSON Starke Typen Zuweisung Warm-Up Hält Suchanfragen beim Start vor Caching Cached Suchanfragen, für erneute, ähnliche Suchen Clustering Mehrere Solr Clients könne auf den gleichen Index zugreifen 13

14 14 Solr Ablauf

15 Solr Schnellkonfig (Tomcat) 1. Kopieren des Solr Stammordners an einen bekannten Ort 2. Data Ordner konfigurieren ($SOLR_HOME/conf/solrconfiq.xml) <datadir>${solr.data.dir:/pfadzusolr/data}</datadir> 3. Tomcat mit Solr verbinden ($CATALINA_HOME/conf/Catalina/localhost/solrexample.xml) <?xml version="1.0" encoding="utf-8"?> <Context docbase="/pfadzusolr/apache-solr-x.x.x.war" debug="0" crosscontext="true"> <Environment name="solr/home" type="java.lang.string" value="/pfadzusolr" override="true"/> </Context> 4. Tomcat starten 15

16 Solr Schnellstart (Jetty) 1. Download Apache Solr 2. Starten (Jetty) user:~/solr/example$ java jar start.jar 3. Mit Daten befüllen 1. Kleines Postbeispielprogamm (SOLR_HOME/example/ exampledocs) user:~/example/exampledocs$ java jar post.jar *.xml 2. Übermittelt Daten via HTTP-POST an solr 16

17 Suchen mit Solr Benutzeroberfläche von Solr Suchanfragen auch via HTTP GET browse?q=ipod q - Suchbegriff fl Einschränkung auf Felder ^ - Boost Funktion fq Einschränkungen auf den Typ 17

18 Solr und Typen Im Gegensatz zu Lucene haben Felder Typen Je nach Typ wird das Feld bei der Eingabe behandelt. Klassische Typen: Date Double Integer Boolean Typen geben Auskunft über Suchbarkeit. 18

19 Fazit Apache Solr Vorteile Leicht aufzusetzen unter Jetty XML/HTTP und JSON Schnittstellen Warmup und Caching Mechanismen Leicht erweiterbar (Tika, Nutch) Weit verbreitet & große Community Nachteile Schwerer aufzusetzen unter Tomcat Typisierung Nicht alle Dokumentenarten werden unterstützt Nicht echtzeitfähig Langsam 19

20 elasticsearch Volltext-Suchmaschine Open-Source (Apache v2) Basiert auf Lucene Entwickelt von Shay Banon (Compass) RESTfull Automatisches Clustering 20

21 elasticsearch - POST $ curl XPUT -d { request user : esentri, post_data : T10:20:00, message : Nice to see you } ok :true _index : index _type : type _id : 1 response 21

22 elasticsearch - suche curl {"took":76, "timed_out":false, "_shards : { "total":5, "successful":5, "failed":0}, "hits : { "total":1, "max_score": , "hits":[{ "_index":"index", "_type":"type", "_id": 1", "_score": , "_source" :{ "user":"esentri", "post_data":" t10:20:00", "message":"nice to see you }}]}} 22

23 elasticsearch - Begriffe Node Eine einzelne elasticseatch Instanz Shard Eigenständiger Lucene Index Replica Jeder Shard kann keinen oder mehr Replicas haben Können Parallel benutzt werden 23

24 elasticsearch - Verteilung Node 1 Node 2 Index 1 Index 2 Index 1 Index 2 PUT /index{ index :{ number_of_shard :2, number_of_replicas :1 }} 24

25 elasticsearch - Verteilung Node 1 Node 2 Node 3 Node 4 Index 1 Index 2 Index 1 Index 2 25

26 elasticsearch Node 1 Node 2 Node 3 Node 4 Index 1 Index 1 Index 2 Index 2 26

27 elasticsearch - Verteilung Node 1 Node 2 Node 3 Node 4 Index 1 Index 1 Index 2 Index 2 PUT /index/type/1{...} PUT /index/type/2{...} 27

28 elasticsearch - Verteilung Node 1 Node 2 Node 3 Node 4 Index 1 Index 1 Index 2 Index 2 search 28

29 Fazit elasticsearch Vorteile Nachteile Cloud Ready Fast Echtzeitfähig (1 Sec) Schema-free Schnell Dokumente werden als ganzes behandelt Kleine Community Keine Benutzeroberfläche Wenig weiterführende Dokumentation 29

30 30 Solr und Oracle

31 Solr und Oracle 1. Entscheidungen: Sollen die Daten zusätzlich im Index gespeichert werden? Welche Daten sollen von Solr erfasst werden? 2. Solr konfigurieren Solr einrichten (siehe Folien) DataImportRequestHandler konfigurieren 3. Solr starten 4. Daten indizieren 5. Suchen 31

32 Solr und Oracle - DataImportRequestHandler 1. DataImportHandler in der solrconfig.xml registrieren <requesthandler name="/dataimport" class="org.apache.solr.handler.dataimport.dataimporthandler"> <lst name="defaults"> <str name="config">/home/username/data-config.xml</str> </lst> </requesthandler> 2. data-config.xml konfigurieren Wie sollen die Daten abgefragt werden (queries, url) Welche Daten sollen gelesen werden (spalten, xml felder) Welche vor Vorgänge werden überwacht (ändern / hinzufügen / löschen) 32

33 Solr und Oracle - DataImportRequestHandler 3. Datenquelle registrieren <datasource type="jdbcdatasource" name = db1 driver="com.mysql.jdbc.driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/> Type(optional): Standard = JdbcDataSource Es können mehrere Datenbanken registriert werden, Name: zur Unterscheidung mehrerer Datenquellen 4. Daten indizieren Weitere Anweisungen: delta-import, status, reload-config, abort 33

34 Zusammenfassung Oracle Text Verbesserung gegenüber WHERE LIKE Apache Lucene Informationswiederbeschaffung Grundbaustein für weitere Projekte Apache Solr Geschwister Projekt zu Lucene elasticsearch Clusterfähiger Informationswiederbeschaffer auf Lucene Basis Solr und Oracle Volltextsuche mit Vorteilen 34

35 Frank Szilinski Bachelor of Science Kontakt Geschäftsführer der esentri software GmbH Vielen Dank für Ihre Aufmerksamkeit! Besuchen Sie uns auf unserem Stand - Ebene 2! Dominic Weiser Bachelor of Science Consultant der esentri consulting GmbH dominic.weiser@esentri.com