Thema 8: Verbesserte Suchstrategien im WWW. Bearbeiter: Robert Barsch Betreuer: Dr. Oliver Ernst

Transkript

1 Thema 8: Verbesserte Suchstrategien im WWW Bearbeiter: Robert Barsch Betreuer: Dr. Oliver Ernst

2 Inhaltsverzeichnis 1. Einleitung 2. Grundlagen 3. Google PageRank Algorithmus 4. IBM Clever HITS Algorithmus 5. Diskussion

3 Einleitung Problem: Anzahl der Dokumente im Internet wächst Anzahl der suchunerfahrenen Nutzer wächst rapide Nutzen von Startportalen

4

5 Einleitung Klassischer Startportale: betreute Kataloge populäre Themen subjektiv teuer aufzubauen und zu betreiben automatische textbasierte Suchmaschinen schlechte Suchergebnisse Google + Clever Projekt Einbezug der Linkstruktur

6 Grundlagen Kann die Linkstruktur zur Verbesserung der Bewertung von Seiten dienen? Ein Verweis (Kante) kann als Empfehlung betrachtet werden: Autor einer Seite gesteht einer anderen verlinkten Seite Autorität zu gute Seiten werden als Autoritäten bezeichnet Beobachtung: Seiten mit hoher Qualität werden häufiger verlinkt WWW-Autoren wählen ihre Verweise sorgfältig aus meist werden Seiten verlinken, die inhaltlich zur Ausgangsseite passen Damit stehen einfache Kriterien für Qualität und Relevanz zur Verfügung, die die Bewertung von Webseiten zulassen

7 Grundlagen Internet kann als gerichteter Graph (V,E) betrachtet werden Einzelne verlinkte Seiten bilden die Knoten der Knotenmenge V Eine gerichtete Kante pq E beschreibt ein Link von einer Seite p V zu einer Seite q V Struktur des Internets: ausgehender Verweis (back link) eingehender Verweis (forward link) A B C

8 Google PageRank TM Algorithmus von Sergey Brin und Lawrence Page (1998)

9 Google Algorithmus Idee vereinfachte Rangliste Idee: Seite hat einen hohen Rang, wenn die Summe der Ränge der verweisenden Seiten hoch ist Zunächst vereinfachte Rangliste (simple ranking): u - Webseite F u - Reihe von Seiten, die von u verlinkt sind (forward link) B u - Reihe von Seiten, die Seite u verlinken (back link) N u - Anzahl der Links von u c - Normalisierungsfaktor R u c v B u R v N v

10 Google vereinfachte Rangliste Alternativ: R u 1 c a 1,1 R v 1 a 1, n R v n R u n c a n,1 R v 1 a n, n R v n mit a u, v 1 N u 0 sonst falls Link von u zu v existiert A n n A a u, v R c A R

11 Von-Mises Verfahren / Power-Methode Voraussetzungen: Google vereinfachte Rangliste (1) Matrix M R n x n diagonalisierbar (2) Für die Eigenwerte von M gilt: 1 2 n So gilt für einen beliebigen positiven Startvektor z 0 : lim k M k z 0 M k z ist zugehöriger EV des dominanten EW 1 der Matrix M

12 Google Beispiel: vereinfachte Rangliste

13 Google Beispiel: vereinfachte Rangliste A

14 Google Beispiel: vereinfachte Rangliste

15 Google Beispiel: vereinfachte Rangliste mit Schleife

16 Google Beispiel: vereinfachte Rangliste mit Schleife A

17 Google Beispiel: vereinfachte Rangliste mit Schleife

18 Google Problem: Ranksenke Problem: Rangsenke (rank sink) Schleifen verteilen keinen Rang nach außen, sondern erlangen mit jeder Iteration mehr Rang A B mathematisch: Gruppen von (Knoten) Webseiten bilden Kommunikationsklassen Transiente Kommunikationsklassen geben mit einer Wahrscheinlickeit p>0 nur Rang nach außen ab Eigenvektor zum dominanten Eigenwert besitzt Nullen in den zu transienten Kommunikationsklassen gehörenden Komponenten

19 Google PageRank Algorithmus Modifizierter Algorithmus: PageRank TM R u 1 d n d v B u R v N v n - Gesamtzahl aller Seiten B u - Reihe von Seiten, die Seite u verlinken (back link) N u - Anzahl der Links von u c - Normalisierungsfaktor d - Dämpfung (0<d<1) Pseudocode: Eingabe : Startvektor P 0, Iterationszahl k, Dämpfung d Für i 1,, k wiederhole : 1 d P i d A P n ; i 1

20 Google Konvergenzbeweis Konvergenzbeweis: Setze k = ((1 d) / n) * 1 und B = d A, so gilt: P i k B P i 1 k B k B P i 2 Grenzwertbetrachtung: k B k B k B k B P 0 k B k B 2 k B 3 k B i 1 k B i P 0 lim i lim i B i O lim B i P 0 i 0 k B k B 2 k B 3 k B i 1 k B i P 0 Pr

21 Google Beispiel: PageRank

22 Google Beispiel: PageRank

23 Google Beispiel: PageRank mit Schleife

24 Google Beispiel: PageRank mit Schleife

25 Google Einflußfaktoren Einflußfaktoren: PageRank - Algorithmus Linktext (<a href=... >Linktext</a>) Oft genauere Beschreibung der verlinkten Seite liefert auch Hinweise über nicht indizierbare Dokumente (Grafiken, Programme) kann Ergebnisse erzielen, ohne das die Seite erst indiziert werden muss andere Feature URL, IP, Fontgröße, Linkposition Bannliste Autoritätenliste (

26 Google Praktische Anwendung PageRank einer Seite ist unabhängig von einer konkreten Anfrage. Eine Vorabberechnung ist möglich. Bestimmung der Relevanz einer Seite erfolgt mit klassischen textbasierten Methoden Implementierung wurde immer wieder verbessert; Berechnung erfolgt aber immer noch nach dem selben vorgestellten Verfahren Google war erste kommerziell betriebene Suchmaschine, die Linkpopularität beim Suchen berücksichtigt -> heute einer der populärsten Suchmaschinen Google ist profitabel

27 Clever HITS Algorithmus von Jon M. Kleinberg (1998, New York)

28 Clever Vorbereitung Der Algorithmus benötigt als Eingabe einen fokusierten Teilgraphen des Internets. Dieser wird induziert durch eine Menge von Seiten S mit den Eigenschaften: (1) S ist relativ klein (2) S enthält viele relevante Seiten (3) S enthält alle (oder viele) der größten Autoritäten Zunächst wird eine Menge R (root set) bestimmt: Dazu übernimmt man z.b. die ersten n Resultate einer klassischen textbasierten Suchmaschine

29 Clever Vorbereitung R erfüllt meist die Anforderung (1) und (2): Größe von R ist durch n beschränkt Seiten in R enthalten die gewünschten Stichwörter, sollten also relevant sein R erfüllt meist nicht Anforderung (3): Viele Autoritäten enthalten nicht die naheliegenden Stichwörter: kommt das Wort Suchmaschine nicht vor Kommt das Wort Autohersteller nicht vor

30 Clever Vorbereitung Beobachtung: R ist nur schwach verlinkt R n = 200

31 Clever Vorbereitung Daher erweitert man R um benachbarte Knoten, die Vorgänger und Nachfolger der Seiten aus R. S R n

32 Clever Vorbereitung Damit hat man eine Menge S (basis set) erzeugt, welche oft die Eigenschaften (1) - (3) erfüllt. Außerdem: Größe der Erweiterung muß beschränkt werden es dürfen nur d Seiten außerhalb von R auf eine Seite innerhalb von R verweisen (typischerweise d=50) alle Links die in den selben Domainbereich verweisen (intrinsic link), werden ausgefiltert - meist zu Navigationszwecken Anzahl der Verweise von Seiten einer Domain auf eine einzige Seite außerhalb der Domain wird beschränkt auf m z.b. Designed by..., Werbung, etc.

33 Clever Algorithmus Idee Idee: eine Menge relevante Knoten (Autoritäten) zeichnet sich durch gemeinsame Vorgängerknoten (Hubs) aus S

34 Clever Algorithmus Idee Autoriäten werden häufig verlinkt, da sie eine hohe Qualität bieten. Zwischen den Autoritäten gibt es oft keine Verknüpfungen. Die einzelnen Autoritäten werden durch die Hubs zusammengehalten. Sie erzeugen Cluster im Graphen. Anders formuliert: Eine (gute) Autorität wird von vielen (guten) Hubs verlinkt. Ein (guter) Hub muß viele (gute) Autoritäten verlinken.

35 Clever Algorithmus Idee mathematisch: Jede Seite p in S erhält ein nichtnegatives Autoritäts-Gewicht und ein nichtnegatives Hub-Gewicht - je größer die Gewichte, desto besser ist die Seite als Hub bzw. Autorität Man definiert: Aut p : a p q, so daß q p h q Hub p : h p q, so daß p q a q Normalisiert durch: a p 2 1 und h p 2 1 p S p S

36 Clever HITS Algorithmus Algorithmus wendet die beiden Funktionen Aut und Hub k-mal abwechselnd auf die Seitenmenge S an: Eingabe : S p 1, p 2,, p n, k a 0 h 0 1,1,,1 T n Für i 1,, k wiederhole : a i ' Aut h i 1 h i ' Hub a i ' Normalisiere a i ' und h i ',erzeuge a i und h i Iterationsanzahl k so wählen, bis die Folgen a 1... a n und h 1... h n gegen feste Vektoren a* und h* konvergieren (typisch k = 20)

37 Clever Konvergenzbeweis Konvergenzbeweis: Die Menge S induziert einen Graphen G = (V,E) mit V = { p 1,... p n }. Zu G definiert man die Adjazenzmatrix A durch: a i, j 1 falls p i, p j E 0 sonst Damit kann man die Funktionen Aut und Hub schreiben als: Aut p : a Hub p : h A T h Aa

38 Clever Konvergenzbeweis Durch wechselseitiges Einsetzen erhält man: Aut :a A T h A T Aa A T A a Hub: h Aa A A T h AA T h Also gilt für beliebige Startvektoren h 0 bzw. a 0 : a k A T A k 1 A T h 0 A T A k a 0 h k AA T k 1 Aa 0 AA T k h 0

39 Clever Konvergenzbeweis Von-Mises Verfahren / Power-Methode Voraussetzungen: (1) Matrix M R n x n diagonalisierbar (2) Für die Eigenwerte von M gilt: 1 2 n So gilt für einen beliebigen positiven Startvektor z 0 : lim k M k z 0 M k z ist zugehöriger EV des dominanten EW 1 der Matrix M

40 Clever Konvergenzbeweis Voraussetzungen erfüllt: (1) M diagonalisierbar Symmetrische Matrizen (M T = M) sind immer diagonalisierbar AA T sowie A T A sind symmetrische Matrizen (2) dominanter Eigenwert 1 exisitiert wird einfach angenommen / vorausgesetzt (Perron-Frobenius Theorem???) HITS-Algorithmus konvergiert gegen die Eigenvektoren a* und h* des jeweiligen dominanten Eigenwertes der Matrizen A T A und AA T.

41 Clever Beispiel: HITS Algorithmus

42 Clever Beispiel: HITS Algorithmus Autoritäten Hubs

43 Clever Beispiel: HITS Algorithmus mit Schleife

44 Clever Beispiel: HITS Algorithmus mit Schleife Autoritäten Hubs

45 Clever HITS Algorithmus Resultate Besten 5 Autoritäten für search engines : Keine dieser Seiten befand sich in der Ausgangsmenge R (root set).

46 Clever Praktische Anwendung Es ist kein praktischer Einsatz in einer großen, kommerziellen Suchmaschine bekannt. Problem: Suchmaschinen werden auf möglichst hohen Durchsatz optimiert. Der Clever Algorithmus von Kleinberg muß für jede Anfrage erneut durchgeführt werden. Eine Vorab-Berechnung ist nicht möglich.