5. Suchmaschinen Herausforderungen beim Web Information Retrieval. Herausforderungen beim Web Information Retrieval. Architektur von Suchmaschinen

Transkript

1 5. Suchmaschinen Herausforderungen beim Web Information Retrieval 5. Suchmaschinen 5. Suchmaschinen Herausforderungen beim Web Information Retrieval Verweisstrukturen haben eine wichtige Bedeutung Spamming Herausforderungen beim Web Information Retrieval Architektur von Suchmaschinen Spezielle Bewertungsfunktionen Nutzerverhalten: Hohe Zahl an Anfragen pro Zeit Heterogenität der Nutzer Anfragen sind oft kurz und ungenau Auf hohe Präzision ausgelegtes Benutzerverhalten Benutzer verlangen kurze Antwortzeiten Suchmaschinen Herausforderungen beim Web Information Retrieval Herausforderungen beim Web Information Retrieval Dokumentenbestand: Immense Größe des Dokumentenbestandes Hohe Änderungsrate gegenüber klassischen IR-Systemen Heterogenität der Medienarten und der Dokumentformate große Anzahl an verschiedenen Sprachen Duplizierung bzw. Mehrfachadressierung von Inhalten Architektur von Suchmaschinen Komponenten: Crawler: Sammelt Web-Seiten auf und stellt sie für die Indexierung bereit Indexer: Analysiert die gesammelten Dokumente und bereitet diese für den effektiven und effizienten Zugriff auf Query Server: Nimmt Anfragen entgegen und liefert auf Basis der erzeugten Zugriffsstrukturen passende URLs

2 Architektur von Suchmaschinen am Beispiel Google Crawler: Mehrere verteilte Crawler Die Crawler werden bedient von einem URL Server. Dieser sendet den Crawlern Listen von URLs, für die die Seiten abgerufen werden sollen. URL Server und Crawler sind in Python implementiert. Repository und Store-Server: Abgerufene Web-Seiten werden zu einem Store-Server geschickt. Der Store-Server komprimiert die Web-Seiten und legt sie im Repository ab. Für die Komprimierung wird zlib eingesetzt, d.h. eine LZ77-Variante Die Kompressionsrate von zlib ist schlechter als die von bzip, dafür hat zlib die geringere Laufzeit. Jeder Crawler hat durchschnittlich ca. 300 offene Verbindungen. Durchsatz: ca. 100 Webseiten/Sekunde beim Einsatz von 4 Crawlern Bedeutender Flaschenhals: Zugriff auf DNS-Server Aufbau des Repository: Daher verwaltet jeder Crawler seinen eigenen DNS-Cache Asynchrones I/O und Ereignis-Steuerung in den Crawlern Jedes Dokument wird durch eine docid identifiziert. Das Repository benötigt prinzipiell keine anderen Datenstrukturen für den Zugriff. Diese anderen Strukturen können aus dem Repository erzeugt werden

3 Document-Index: Der Document-Index beinhaltet Informationen zu jedem Dokument. Indexsequentielle Zugriffsstruktur sortiert nach docid. Gespeicherte Informationen zu einem Dokument: Status Verweis ins Repository Prüfsumme zum Dokument verschiedene Statistikinformationen Verweis auf DocInfo-Datei (URL, Titel) oder URL List (nur URL) Weiterhin enthält das Lexikon zu jedem Term: Die Anzahl der Dokumente, in denen der Term auftritt Verweis auf einen Eintrag in einem Inverted-Barrel. Dies entspricht einer Fundstellendatei. Eine eindeutige Kennung für jeden Term, die wordid. Das Lexicon wurde im Prototyp vollständig im Hauptspeicher gehalten: 24 Mio. Seiten, 14 Mio. Terme, 256 MB Hauptspeicher Zuordnung von URLs zu docids Hierzu: Datei mit URL-Prüfsummen und korrespondierenden docids sortiert nach den URL-Prüfsummen URL-Resolver zur Konvertierung von URLs in docids, hierzu Anwendung einer Mischtechnik Lexicon: Das Lexicon entspricht der Indexdatei einer Invertierten Liste. Hier zwei Teile: 1. Konkatenierte Liste der Terme, getrennt durch Null-Bytes 2. Hash-Tabelle mit Verweisen auf die Terme für den effizienten Zugriff Hit-Lists:

4 Eine Hit-List ist eine Liste über das Auftreten eines Terms in einem Dokument (vgl. Fundstellendatei). Ein Inverted Barrel entspricht einem Forward Barrel sortiert nach wordid. Jedes Vorkommen wird separat repräsentiert! Es werden zwei Arten von Vorkommen unterschieden: 1. Fancy-Hits: Vorkommen in URL, Titel, Verweisen, Meta Tags 2. Plain-Hits: sonstige Vorkommen Zu jedem Vorkommen wird vermerkt: Art des Hits Verwendung in Überschrift? relative Fontgröße Position im Text Das Lexicon beinhaltet für jeden Eintrag einen Verweis in das zugehörige Inverted Barrel. Reihenfolge der docids zu einer wordid? Möglichkeiten: Sortiert nach docid: schnelles Mischen möglich Sortiert nach Gewichtung: effizient für Ein-Wort-Anfragen Hier: zwei Inverted Barrels für Fancy bzw. alle Hits Anfrageauswertung zunächst auf dem Barrel für Fancy Hits. Sollten die Treffer nicht ausreichen, werden die Plain Hits hinzugenommen Forward-Index: Ranking in Google Die Einträge des Forward-Index ergeben sich durch die Analyse der Dokumente. Der Forward-Index ist sortiert nach docids. Er entspricht einer Wortliste. Die Indexeinträge werden in sogenannten Barrels gespeichert. Jedes Barrel ist für einen gewissen Bereich an wordids reserviert. Inverted Index: Besteht aus Inverted Barrels Single-Word-Query: Zugrif auf die Hit-List für das Suchwort verschiedene Arten von Hits haben verschiedene Gewichte Hits werden typweise gezählt und akkumuliert Die Ableitung der Akkumulationsfunktion geht gegen 0 Aus den akkumulierten Hits wird durch Skalarprodukt mit den Typgewichten eine IR-Bewertung (IR score) gebildet

5 Die IR-Bewertung wird mit dem sogenannten Page Rank zu einer Bewertung für das Dokument verbunden. Page Rank Multi-Word-Query: Hier geht auch die Nachbarschaft von Suchtermen ein. Google versucht die Bedeutung von Seiten durch den sogenannten Page Rank zu ermitteln. A C Die Hit-Listen zu einem Dokument werden daraufhin überprüft, wie nahe die Suchbegriffe im Dokument auftreten. Akkumulationen werden nun nicht nur für Arten von Hits sondern auch für Nachbarschaftsklassifikationen durchgeführt. Query-Auswertung: Parsing der Anfrage Page Rank basiert auf der Verweisstruktur des Webs. Das Web wird als großer gerichteter Graph betrachtet. Ein Verweis zu einer Seite hin wird als Backlink bezeichnet, ein Verweis zu einer Seite als Forward Link. B Bestimmung der wordids zu den Suchtermen Für jeden Suchterm: Positionierung auf den Anfang der zugehörigen Document-Lists im Inverted-Barrel (Fancy Hits) Scanning der Einträge in den Document-Lists, bis Dokument gefunden, das alle Einträge enthält Berechnung der Bewertung für das Dokument Falls im Barrel für die Fancy Hits und am Ende einer Document-List: Übergang auf die Inverted-Barrel (All Hits) Falls nicht am Ende einer Document-List: gehe zu 4. Sortierung nach Bewertung und Ausgabe Dokumente, auf die viele Verweise zeigen, werden als wichtig erachtet und sollen eine hohe Bewertung erhalten. Bei Page Rank werden die Veweise zusätzlich gewichtet. In die Gewichtung geht die Bedeutung der Seite und die in ihr enthaltene Anzahl an Verweisen ein. Definition 5.1. [Simplified Page Rank] Es sei u eine Web-Seite, F u die Menge der Seiten, auf die u verweist und B u die Menge der Seiten, die auf u verweisen. Weiterhin gelte N u := F u. Dann ist der simplified Page Rank R(u) definiert durch: R(u) = c R(v) N v v B u

6 Eine Seite bekommt ihren Page Rank durch die Backlinks. Der Wert, der mit einem Backlink (A, B) für B verbunden ist, ist der Page Rank von A geteilt durch die Anzahl der Forward Links von A. Der Page Rank für eine Seite ergibt sich dann durch die Summe der Werte für alle Backlinks. Der Page Rank kann durch einen Faktor linear skaliert werden. Es sei A eine quadratische Matrix mit { 1/Nj falls Link von Seite j nach Seite i existiert A ij := 0 sonst Betrachtet man den Page Rank als Vektor R, so besteht die Berechnung des Page Ranks in der Lösung der Gleichung R = car D.h. R ist ein Eigenvektor der Matrix A zum Eigenwert c. Geht man weiterhin von einem idealisierten Random Surfer Modell, gilt c = 1 und R beschreibt eine Wahrscheinlichkeitsverteilung A 0.4 B C 0.4 In dieser Form kann Page Rank interpretiert werden als ein sogenannter Random Walk auf einem gerichteten Graphen (Random Surfer Modell). Man befindet sich jeweils an einem Knoten und folgt mit gleicher Wahrscheinlichkeit einem der Links dieses Knotens. Der Page Rank entspricht dann der Grenzverteilung der Besuchswahrscheinlichkeiten. Naiver Ansatz zur Berechnung des Page Ranks: Simulation 299 Die Gleichung R = AR löst man interativ. Man beginnt mit einem Startvektor R 0 und bildet solange bis R i+1 R i < ɛ. R i+1 = AR i Die Konvergenz ist hierbei erheblich schneller als bei der Simulation. Nach 20 Iteration für das Beispiel: R(A) = R(B) = R(C) =

7 Probleme des Simplified Page Rank: Das Web ist kein gerichteter Graph der stark zusammenhängend ist. D.h., es kann Subgraphen geben, aus denen es kein Entkommen gibt. Diese Subgraphen würden Rank akkumulieren, aber keinen weitergeben (Rank Sink). Beispiel: A B C Man löst diese Probleme, in dem man den gerichteten Graph auf künstliche Weise stark zusammenhängend macht. Für das Random-Surfer-Modell: Man stellt sich vor, daß der Surfer mit einer gewissen (kleinen) Wahrscheinlichkeit nicht einem der Links folgt, sondern zufällig irgendeine Web-Seite auf Basis einer gegebenen Verteilung auswählt. Definition 5.2. [Page Rank] Es sei E ein Vektor mit Wahrscheinlichkeiten für die Auswahl einer Webseite. Dann ergibt sich der Page Rank R(u) als Lösung der Gleichung R(u) = (1 c)e + c R(v) N v v B u Es gibt Seiten, die keine Links beinhalten. mit R 1 = 1. A B Bemerkungen: In Matrixschreibweise: R = (ca + (1 c)e 1)R C Damit reduziert sich das Problem wieder auf die Eigenvektor- bzw. Fixpunktberechnung. Wie wählt man E und c? Google: E gleichförmig, c = Konvergenz? Google: ca. 52 Iteration für 322 Mio. Links und 24 Mio. Webseiten

8 Konvergenz ist schnell obwohl der Graph relativ dünn besetzt ist! Warum? Hypothese: Das Web als Graph hat einen hohen Ausbreitungsgrad. Der kürzeste Weg zwischen zwei beliebigen Knoten hat (falls existent) eine sehr geringe Länge. Ähnliche Phänomene: Erdös-Zahl, Beziehungen in menschlichen Netzwerken 306