Ranking Functions im Web: PageRank & HITS

Größe: px

Ab Seite anzeigen:

Download "Ranking Functions im Web: PageRank & HITS"

Birgit Lang
vor 6 Jahren
Abrufe

1 im Web: PageRank & HITS 28. Januar 2013 Universität Heidelberg Institut für Computerlinguistik Information Retrieval

4 4 / 30 Idee PageRank Entstehung: Larry Page & Sergey Brin, 1998, genutzt von Google Annahme: Eine wichtige Seite ist eine Seite mit vielen backlinks Problem: Lässt sich leicht manipulieren Jeder Backlink hat das gleiche Gewicht Erweiterung: Die Backlinks werden danach gewichtet, welchen Rang ihre Ausgangsseite hat Formel: R = car Mit u,v: Webseiten c: Konstante R(u): PageRank der Seite u B: Menge aller backlinks N: Anzahl von forward links

6 6 / 30 Berechnung PageRank Darstellung des Graphen: Adjazenzmatrix A mit a ij = 1/n i iff (u,v) E { 0 sonst mit n i = Anzahl forward Links von Seite i Optionen: Eigenproblem lösen Power Iteration Wahrscheinlichkeit: AR = cr a ij kann als Wahrscheinlichkeit verstanden werden, dass Surfer zufällig von Seite i auf Seite j klickt Alle Links auf einer Seite haben die gleiche Wahrscheinlichkeit

7 7 / 30 Berechnung PageRank Probleme mit A: Eine Reihe hat nur 0 Einträge (dann keine Wahrscheinlichkeit) Setze 1/n mit n = Anzahl der Spalten in A /der Webseiten A ist reduzierbar (Rank Sink) A' = α A + (1-α) E mit e ij = 1/n & α ist Konzentrationsparameter Pseudocode für Power Iteration: Setze π T 0 = et /n Until convergence do π T k+1 = α πt k A + (1- α)e π j : Vektor mit allen PageRanks nach j Iterationen π Komponente i des Vektors j ist der Pagerank der Seite i

11 11 / 30 Schritt 5 5: Multipliziere Konzentrationsparameter α = 0.9 mit jedem Eintrag der Matrix A a b c d a b c d a b c 0 0 1/2 1/3 1/3 1/ /2 * 0.9 a b c d 0 1/2 1/2 0 d

12 Schritt 6 & 7 12 / 30 E 6: Erstelle Helfermatrix E mit e ij = 1/n a b c d a b c d a b c * 0.1 a b c d d : Multipliziere 1 - α = 0.1 mit jedem Eintrag der Matrix

13 Schritt 8 13 / 30 8: Addiere A+E a b c d a b c d a b c d a a a b b = b c c c d d d

14 Schritt 9 & / 30 9: Initalisiere PageRank Vektor π 0 mit 1/n in jeder Komponete a a b c d a b c d b π c d : Für 1 bis j update π durch π T = k+1 πt X k π 1 π 2 a b c d a b c d π j d b c a

16 16 / 30 Laufzeit & Konvergenz PageRank Konvergenz Konvergiert immer, da Matrix reduzierbar Schnelligkeit der Konvergenz ist abhängig von α Laufzeit Initialisierung: mehrere Tage Nach query: nur ein look-up

17 17 / 30 Vor- & Nachteile PageRank Vorteil Query unabhängig Schnelle Auswertung nach Anfrage Schwer zu manipulieren Funktioniert offenbar sehr gut, da Erfolgsrezept von Google Nachteil Query unabhängig Topic Drift möglich PageRank muss mit anderem Maß kombiniert werden Hohe Initialisierungskosten

18 18 / 30 Idee HITS Hyperlink Induced Topic Search Entstehung: Jon Kleinberg, 1997 Autoritätsseite: vertrauenswürdige Seite Hubs: Seite, die auf viele Autoritätsseiten verlinkt Ziel: ggb. Query σ, was sind die Autoritätsseiten zu σ? Annahme: Suche in allen Seiten, die σ enthalten (Menge Q σ )

19 19 / 30 Idee HITS Problem: Q σ zu groß Q σ enthält Autoritätsseite nicht möchte Menge S σ mit: vielen relevanten Seiten Klein (fast) alle Authoritätsseiten Erstelle S σ : Nehme t besten Seiten aus Q σ (Menge R σ ) Füge alle Seiten hinzu, auf die ein Link aus R σ zeigt, aber maximal d viele

20 20 / 30 Berechnung HITS Gewichte: Jede Seite p hat ein Autoritätsgewicht x p und ein Hubgewicht y p Formeln: Die Gewichte x und y für alle Seiten werden abwechselnd berechnet (1) (2) Initialisierung: Pseudocode: Until convergence do { Matrix A mit a ij = 1 iff (q,p) E Update (1) 0 sonst Update (2) x & y mit 1 in allen Komponenten Normalisiere x und y

24 Schritt 3: Iteration 1 24 / 30 3: Iteration 1 Update x x a b a b c d Update y c y d Normalisiere x und y x 18 x y 90 y

25 Schritt 3: Iteration 2 25 / 30 3: Iteration 2 Update x x a b a b c d Update y c y d Normalisiere x und y x x x y y y

27 27 / 30 Laufzeit & Konvergenz HITS Konvergenz Konvergiert immer, aber Laufzeit abhängig von Initialvektor Laufzeit Keine Intialisierungskosten Bei jeder Query: Menge S σ & Graph G erstellen Gewichte berechnen: Power Method

28 28 / 30 Vor- & Nachteile HITS Vorteile: Duales ranking Erstellt ein kleines, lösbares Problem Nachteile Query-abhängig Hub Wert kann leicht beeinflust werden Autoritätswert kann durch Werbung beeinflust werden Topic drift

29 29 / 30 Vergleich PageRank & HITS PageRank HITS Manipulierbar? Ja, aber erschwert Ja, der Hub Score Laufzeit? Initialisierung Nach einer Query Kombination mit anderem Maß nötig? mehrere Tage Nur ein look-up Ja Keine Power Method Nein Topic drift möglich? Ja Ja Query unabhängig Ja Nein Konvergiert? Immer Ergebnis kann u.u. Falsch sein

30 References 30 / 30 Papers & Internet Pages Lawrence Page, Sergey Brin, Rajeev Motwani und Terry Winograd The PageRank Citation Ranking: Bringing Order to the Web. Technical Report. Stanford InfoLab. Jon M. Kleinberg Authoritative sources in a hyperlinked environment. In Journal of the ACM. Amy N. Langeville, Carl D. Meyer (2005). A Survey of Eigenvector Methods of Web Information Retrieval. In SIAM Review. Franz Embacher (o.j.) Von Graphen, Genen und dem WWW. [ ] Ian Rogers The Google Pagerank Algorithm and How It Works [ ] Google Inc Google Toolbar. [ ] Patent Page, Lawrence Method for node ranking in a linked database. US Patent 1998, No [ ] Pictures [ ]

31 PageRank: Beispiel Input: Ein Graph G=(V,E) mit V = {1, 2, 3, 4} und E={(a,b), (a,c), (a,d), (b,d), (c,a), (c,d), (d,b), (d,c)} Schritt 10: Iteration ( ) = (a b c d) a = = b = = c = = d = = Iteration ( ) = (a b c d) a = = b = = c = = d = =

32 HITS: Beispiel Input: Ein Graph G=(V,E) mit V = {1, 2, 3, 4} und E={(a,b), (a,c), (a,d), (b,d), (c,a), (c,d), (d,b), (d,c)} Schritt 3: Iteration 1 x = (a b c d) mit a = 1 b = 1+1 = 2 c = 1+1 = 2 d = = 3 y = (a b c d) mit a = = 7 b = 3 = 3 c = 1+3 = 4 d = 2+2 = x = 1² + 2² + 2² + 3² = 18 y = 7² + 3² + 4² + 4² = 90 1 x = (a b c d) mit a = 18 = b = 18 = c = 18 = d = 18 = y = (a b c d) mit a = 90 = b = 90 = c = 90 = d = 90 =

33 Iteration 2 x = (a b c d) mit a = b = = c = = d = = y = (a b c d) mit a = = b = c = = d = = x = ² ² ² ² = = y = ² ² ² ² = = x = (a b c d) mit a = = b = = c = = d = = y = (a b c d) mit a = b = c = d = = = = =

Ähnliche Dokumente

PG520 - Webpageranking

PG520 - Webpageranking 12. Oktober 2007 Webpageranking - Quellen The PageRank citation ranking: Bringing order to the Web; Page, Brin etal. Technical report, 1998. A Unified Probabilistic Framework for Web Page Scoring Systems;