SUCHMASCHINEN XAPIAN. Michael Strzempek FH Wiesbaden, 5. Juni 2008

Transkript

1 SUCHMASCHINEN XAPIAN Michael Strzempek FH Wiesbaden, 5. Juni 2008

2 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 2

3 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 3

4 MOTIVATION Interesse am Thema ht://dig seit 2004 nicht mehr weiterentwickelt Welche (Open Source) Suchmaschinen gibt es noch? Xapian Apache Lucene Michael Strzempek 4

5 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 5

6 PRINZIP / VOKABULAR Dokument (D) Daten, die schriftlich niedergelegt sind (Text) Beschrieben durch Terme Term (t) Wort, Ausdruck, Begriff, Bezeichnung, Satzglied Alles außer Satzzeichen Michael Strzempek 6

7 PRINZIP / VOKABULAR [2] Posting Ein bestimmter Term indiziert ein bestimmtes Dokument Term ist Bestandteil des Dokuments; Dokument wird durch Term beschrieben t D Michael Strzempek 7

8 PRINZIP / VOKABULAR [3] Term Liste Auflistung der Terme, die ein Dokument indizieren t 1 t 2 t 3 D t 4 t n Michael Strzempek 8

9 PRINZIP / VOKABULAR [4] Posting Liste, Term Frequenz Auflistung der Dokumente, die von einem Term indiziert werden D 1 t D 2 D n Michael Strzempek 9

10 PRINZIP / VOKABULAR [5] Index Eine Menge Terme indizieren eine Menge Dokumente D 1 t 1 t 2 t 3 D 2 t 4 t n D n Michael Strzempek 10

11 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 11

12 XAPIAN Suchmaschine, reine Bibliothek Open Source, GPL C++ Bindings für Perl, Python, PHP, Java, Tcl, C#, Ruby Für Linux, Mac OS X, UNIX, Windows Michael Strzempek 12

13 FEATURES Unterstützt Unicode, Index in UTF 8 Boolesche Suche Probabilistische Suche (Relevanz, Rank) Vorschläge bei Rechtschreibfehlern Beachtung von Synonymen Wildcards Michael Strzempek 13

14 GESCHICHTE Muscat 3.6, Closed-Source Dr. Martin Porter, Cambridge University 1984 Open Muscat Engine, Open-Source BrightStation PLC 2001 Omsee, Closed-Source BrightStation PLC Xapian, Open-Source Community-Project Michael Strzempek 14

15 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 15

16 OMEGA Such Anwendung basierend auf Xapian Indexer Such Frontend Michael Strzempek 16

17 INDEXER Unterstützte Dateiformate: Plain Text, HTML, PHP, PDF, PostScript, OpenOffice, StarOffice, OpenDocument, Word, Excel, Powerpoint, Works, Word Perfect, AbiWord, RTF, DVI, Perl POD Nur im lokalen File System Kein Web Crawler Support für ht://dig Web Crawler Stemming ("football", "footballs", "footballer") Michael Strzempek 17

18 INDEXER [2] DDD omindex Flint Michael Strzempek 18

19 SUCH FRONTEND CGI Anwendung Webserver notwendig Verarbeitet Anfrage Ausgabe Suchergebnis HTML XML Michael Strzempek 19

20 SUCH FRONTEND [2] Browser Apache omega Index DDD Michael Strzempek 20

21 OMEGA Demo Michael Strzempek 21

22 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 22

23 DATENBANK INDIZIERUNG Feature: Inhalte aus Datenbanken indizieren dbi2omega Dump scriptindex Index DB Index-Script Michael Strzempek 23

24 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 24

25 LEVENSHTEIN DISTANZ Edit Distanz Maß für den Unterschied zwischen 2 Zeichenketten Bestimmt die minmale Anzahl von Editierungsoperationen (Einfügen, Löschen, Ersetzen), um die eine Zeichenkette in die andere zu überführen Michael Strzempek 25

26 LEVENSHTEIN DISTANZ [2] Algorithmus (n + 1) (m + 1) Matrix D i,j = 0 D i,j = min D i-1, j (gleicher Buchstabe) D i-1, j (Ersetzung) D i-1, j + 1 (Einfügung) D i, j (Löschung) Michael Strzempek 26

27 LEVENSHTEIN DISTANZ [3] Beispiel: Tor Tier ε T O R ε T I E R Michael Strzempek 27

28 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 28

29 BOOLESCHE SUCHE Boolescher Ausdruck aus Termen Bildung von Vereinigung und Durchschnitt t 1 D 1 D 2 t 1 AND t 2 D 1 D 3 D 5 D 2 D 4 D 6 D 3 D 4 D 5 t 1 OR t 2 D 1 D 3 D 5 D 2 D 4 D 6 t 2 D Michael Strzempek 29

30 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 30

31 PROBABILISTISCHE SUCHE der Wahrscheinlichkeit nach, wahrscheinlichkeitstheoretisch Relevanz, Rank Michael Strzempek 31

32 TERM GEWICHTUNG Stephen Robertson, 1976 w t=log r 1 2 N R n r 1 2 R r 1 2 n r 1 2 N: Alle indizierten Dokumente n: Von t indizieren Dokumente (Term Frequenz) R: Alle relevanten Dokumente r: Von t indizierte, relevante Dokumente Michael Strzempek 32

33 TERM GEWICHTUNG [2] R=r=0 w t=log N n 1 2 n 1 2 = log N n n = log N n Michael Strzempek 33

34 INHALT 1. Motivation 2. Prinzip / Vokabular 3. Xapian 4. Omega 5. Datenbank Indizierung 6. Levenshtein Distanz 7. Boolesche Suche 8. Probabilistische Suche 9. Zusammenfassung Michael Strzempek 34

35 ZUSAMMENFASSUNG Prinzip: Eine Menge Terme indiziert eine Menge Dokumente Index Xapian Bibliothek Omega-Anwendung (Indexer, Such-Fontend) Indizierung von Datenbank-Inhalten Levenstein-Distanz kein Maß für Dokumentenvgl. Boolesche Suche für logische Ergebnisse, probabilistische Suche mit Relevanz-Ranking Hohe Termgewichtung je seltener ein Term Michael Strzempek 35

36 FRAGEN? Vielen Dank für die Aufmerksamkeit Michael Strzempek 36