Alphaversion einer vektorbasierten Suchmaschine

Transkript

1 Alphaversion einer vektorbasierten Suchmaschine Samuel Broscheit Patrick Simianer Quoc Duy Trinh Universität Heidelberg Seminar für Computerlinguistik WS07/08 Hauptseminar Information Retrieval PD Dr. Karin Haenelt

2 Gliederung Motivation Aufbau Umfang Technische Voraussetzungen Struktur der Datenbank Erzeugung der Datenbank FACL Crawler runcrawl runrequests Scrubber Lemmatizer Vectorizer 2

3 Gliederung Aufbau Suchfunktionen Interface Evaluation Things we want to debug Erweiterungen Ressourcen 3

4 Motivation 4

5 Motivation Eine Suchmaschine schreiben Umsetzung des Gelernten Herausforderung ein großes Projekt anzugehen Programmentwicklung im Team Lernen anhand einer praktischen Problemstellung Einfach mal machen ==> Das Projekt wurde größer als ursprünglich geplant... 5

6 Aufbau 6

7 Umfang Bis jetzt etwas über 100Kb und 2870 Zeilen Quelltext Ca Revisionen im SVN Korpus: Ca Dokumente, davon: 2000 PDFs 200 Postcripts Restliche Dokumente HTML: Aktuelle CL-Seite public_html-verzeichnisse der Studenten Homepages der Dozenten Seiten der Fachschaft Referate Veranstaltungen Es ist geplant das Korpus mit den Dokumenten weiterer Homepages der CL- Institute deutschlandweit zu füllen. 7

8 Technische Voraussetzungen Server Apache PHP5 SQLite Importierte Ressourcen Scriptaculous Hunspell Hunspell-Dictionaries von OpenOffice.org PHPCrawl pdftotext ps2ascii gzip 8

9 Struktur der Datenbank Datenbank mit folgenden Tabellen: Dokumente + Verwaltungstabellen documents, documentslock, process Einstiegspunkte (URL) entrypoints Lemmata und deren Häufigkeit in den Dokumenten lemma, lemmaindocfrequency Teilweise mit Indexierungen um Geschwindigkeit zu erhöhen 9

10 Struktur der Datenbank 10

11 Erzeugung der Datenbank 11

12 Erzeugung der Datenbank runcrawl Instantiiert Crawler-Objekt mit Einstiegspunkt und weiteren Einstellungen (Timeout, crawldepth, useragentstring...) Crawler Angepasster PHPCrawl (Behandlung eines Seitenaufrufs - handlepagedata) Nimmt URL, liest Links aus und verfolgt diese (Links nur aus HTML- Dokumenten) Respektiert Regeln aus der robots.txt Erzeugt für jede ermittelte und gültige URL ein DBDocument-Objekt Trägt nur erwünschte (verarbeitbare) Dateitypen in die DB ein das neue DBDocument-Objekt trägt folgendes in die Datenbank ein: die URL den contenttype (z.b. text/html, text/plain, application/pdf,...) den aktuellen Timestamp 12

13 Erzeugung der Datenbank DBDocument Repräsentiert sämtliche Eigenschaften des Dokuments unter einer URL Prüft sich z.b. auf bestehende Existenz und Aktualität und führt bei Bedarf entsprechende Operationen aus Einfüge-, Aktualisierung-, Lösch- und Zustandsfunktionen Akzessormethoden id = 4 url = contenttype = application/pdf title = The Digital Millennium Copyright... hash = e29deadbeefa7a78ce3e (MD5) textdata = serialisiertes DocumentData-Objekt language = en_us timestamp = UNIX timestamp hits = Anzahl Klicks cosinusdenominator = linker Teil Nenner Cosinusmaß 13

14 Erzeugung der Datenbank Process Verwaltet einen runrequests-aufruf (documentslock werden gesetzt) Gibt runrequests die zu bearbeitenden URLs vor (s.o.) runrequests Instantiiert für jede URL ein PageRequest-Objekt und verwaltet dieses Leitet Dateien entsprechend ihren Typs an den Scrubber weiter Errechnet Hashwerte Datenbankoperationen wieder mit DBDocument Objekten PageRequest Ruft eine URL auf und lädt deren Inhalt herunter (tmp Datei oder in Speicher) 14

15 Erzeugung der Datenbank Scrubber Nimmt Dateien, Archive oder (Quell-)Text Erzeugt Plaintext konvertiert dabei von ISO ,ISO ,Windows-1252,CP1252,ASCII in UTF-8 Postscript wird mit ps2ascii und PDF Dateien mit pdftotext umgewandelt Extrahiert Titel aus PDF und HTML Dateien die Hürden dabei: jede HTML-Seite ist anders aufgebaut, so dass das suchen und finden eines Titels einige trial and error -Lernschritte benötigt bis man einen Großteil erwischt das Arbeiten mit regulären Ausdrücken wird gefährlich bis unmöglich, da man es mit teilweise mit sehr langen Dateien zu tun hat die zu Speicherfehlern führen oder das Programm an die Grenzen des Hauptspeichers bringt bei mehreren Konvertierungsschritten hintereinander ist muss man immer aufpassen, den Zielzeichensatz von UTF-8 nicht zu verlieren, da manche Funktionsaufrufe die Codierung wieder zerstören 15

16 Erzeugung der Datenbank DocumentData Enthält die Analysedaten des Textes Plaintext, der nur noch Whitspaces, Buchstaben und Zahlen enthält Textlänge Lemmatapositionen (dazu gleich mehr) Tokenlänge (dito) und die Funktion gettokenizedtext() der alle aus Buchstaben und Zahlen zusammenhängende Strings als Array zurück gibt, wobei im Schlüssel eines Eintrags die Position des Tokens im Text vermerkt ist 16

17 Lemmatizer(HunspellLemmatizer) verfügt über die Funktionen: setlanguage(sprachkürzel) stellt die Sprache des Lexikons und der Affixregeln ein. Das Sprachkürzel ist nach dem Localeschema (de_de, en_us,...) zu wählen lemmatize(term) Lemmatisiert den den Term suggest(term) Gibt einen Korrekturvorschlag für ein möglicherweise falsch geschriebenes Wort basiert auf hunspell-1.2.1, der in C++ geschriebenen Komponente von OpenOffice.org beinhaltet einige Morphologische Funktionen (suggest(), stem()), die wir uns zu Nutze machen wollten dazu haben wir eine PHP-Erweiterung geschrieben, so dass die Funktionen direkt in PHP nutzbar sind, ohne, dass man den Umweg über die Kommandozeile nehmen muß. Sonst würde für jeden Term das komplette Lexikon neu geladen (bei de_de.dic immerhin 1.5 MB) Erzeugung der Datenbank 17

18 Erzeugung der Datenbank Hunspell ist OpenSource ist aus MySpell gewachsen, da für die Ungarische Sprache komplexere morphologische Regeln nötig waren und MySpell für englisch programmiert wurde ist für europäischen Sprachen die erste Wahl und nicht umsonst die zentrale morphologische Komponente bei OpenOffice.org benötigt eine Datei mit Wortbildungsregeln und ein Dictionary, in dem jedem Wort seine Affixregel zugeordnet ist Außerdem enthält die Affix-Datei auch die Ersetzungsregeln für das Spellchecking Das schöne ist, dass man die Affix-Regeln auch problemlos selbst erweitern kann, wenn man auf Unstimmigkeit stößt Nur das Pflegen der Dictionaries ist sehr aufwändig 18

19 Erzeugung der Datenbank Ausschnitt aus Affix-Regel Datei Ausschnitt aus Lexikon 19

20 Erzeugung der Datenbank Vectorizer Analysiert den Plaintext von Scrubber Hat die Funktionen: guesslanguageoftext(tokenisierter TEXT) hier wird die Sprache anhand der Vorkommenshäufigkeit der Stopwörter im Text erraten und der Lemmatizer auf die entsprechende Sprache eingestellt analyzetext(tokenisierter TEXT) geht Token für Token durch den Text, ignoriert dabei Stopwörter jedes gefundene Token wird lemmatisiert (Häuser->Haus) und gegebenenfalls neu in der lemma-tabelle angelegt zu jedem Lemma wird seine Häufigkeit im Text gezählt und anschließend in der Tabelle lemmaindocfrequency der Eintrag docid, lemmaid, frequency, normalizedfrequency abgespeichert, der das aktuelle Dokument mit seinen Lemmata und deren Häufigkeit verknüpft Zusätzlich wird ein Array erstellt, das der Position jedes Tokens im Plaintext von Scrubber die jeweilige lemmaid zuordnet und die Länge des Tokens. So hat man später die Positionen der gefundenen Lemmata und kann schnell und einfach den Textausschnitt berechnen. Abschließend wird das DocumentData mit dem Plaintext und den Arrays gefüllt und in DBDocument abgespeichert 20

21 Suchfunktion Interface Verwendet Ajax Query kann mit and/und or/oder und Klammerung verfeinert werden 20 Treffer pro Seite In andere Seiten dynamisch integrierbar Bietet Permalink auf Query an 21

22 Query Lemmatizer 22

23 Query Lemmatizer 23

24 Demo 24

25 Query 25

26 Query Der Ablauf der Queryverarbeitung Die Suchanfrage wird an ein Objekt der Klasse Similarity(oder besser gesagt an eine ihrer Ableitungen CosinusNormalizedTermWeightSimilarity,...) übergeben Diese prüft mit einem Objekt der Klasse Query die Gültigkeit der Suchanfrage für jede vorhandene Sprache filtere Stoppwörter prüfe die Syntax der Klammerung und der logischen Operatoren jeder Suchterm wird lemmatisiert und wenn sein Lemma in der DB existiert in die SQL-Abfrage übernommen für jede Sprache wird ein Objekt der Klasse QueryVector erstellt der die Lemmatisierten Suchterme und die zugehörigen Teile der SQL-Abfrage enthält welches dann zurückgegeben wird Nun werden die SQL-Abfragen an die Datenbank gestellt und, wobei bei CosinusNormalizedTermWeightSimilarity die Berechnung und Sortierung sofort durch die SQL-Abfrage gemacht wird Nun wird ein Array mit Objekten der Klasse QueryResult gefüllt und an die Suchseite zurückgegeben 26

27 Query Die Klasse QueryResult hat die Funktionen getsnippet() Berechnet den Ausschnitt, der auf der Suchseite angezeigt wird, indem die Stelle mit dem nächsten Abstand zwischen zwei Suchwörtern sukzessive ermittelt wird und von da aus 5 Ausschnitte aneinander geklebt werden, die sich im Optimalfall sogar so überlappen, dass ein zusammenhängender Textausschnitt entsteht gettitle() gibt den Titel zurück getdocumentdata() holt aus der documents-tabelle das abgespeicherte DocumentsData-Objekt, mit dem gescrubbten Plaintext und den lemmata-positionen und die Attribute language, similarity und url 27

28 Evaluation 28

29 Things we want to debug Laufzeit ist bei mehr als 3 Wörter schon im mittleren Fall (jedes der Suchworte kommt maximal 150 mal vor) extrem lang (>30 sec) 29

30 Erweiterungen Auf unserer To-Do-Liste stehen u.a. folgende Punkte: Inverse Dokumentfrequenz Termgewichte erhöhen, wenn sie in Titeln und Überschriften gefunden werden Wahlmöglichkeit zwischen Cosinus, Dice und Jaccard Ausgabe von QueryParser-Meldungen ( x von y Wörter nicht gefunden, Ausdruck ungültig ) Crawler-Statistik (Bearbeitungszeiten...) RequestDelay per Domain Cache-Anzeige mit Highlights auf Query-Begriffe Bei gelöschten Dokumenten auf Cache verweisen Integration OpenThesaurus RSS-Feed zu Suchergebnis zusammenhängender Text -Suche '+' Operator zum Erhöhen eines Termgewichts Integration des PageRank Algorithmus ( 30

31 Werkzeuge & Ressourcen script.aculo.us Hunspell Hunspell-Dictionaries von OpenOffice.org PHPCrawl pdftotext ps2ascii gzip 31

32 Werkzeuge & Ressourcen Eclipse (+PHPEclipse + Subclipse) Subversion Ähnlichkeitsmaße für Vektoren Kursskripte Information Retrieval, Karin Haenelt, Materialsammlung zur Implementierung von Information Retrieval Systemen Kursskripte Information Retrieval, Karin Haenelt,

33 Herzlichen Dank für die Aufmerksamkeit! 33