Data Mining 4-1. Kapitel 4: Link Analysis. Johannes Zschache Wintersemester 2018/19

Transkript

1 Data Mining Kapitel 4: Link Analysis Johannes Zschache Wintersemester 2018/19 Abteilung Datenbanken, Universität Leipzig Data Mining 4-1

2 4-2 Data Mining Übersicht Hochdimension. Daten Locality sensitive hashing Clustering Dimension. reduction Graphdaten PageRank, SimRank Network Analysis Spam Detection Unbegrenzte Daten Filtering data streams Web advertising Queries on streams Maschinelles Lernen Support Vector Machines Decision Trees Nearest Neighbors Anwendung Recommen. Systems Association Rules Duplicate document detection

3 Graphdaten: World Wide Web Das Web als ein gerichteter Graph: Knoten: Webseiten Kanten: Hyperlinks I teach a class on Networks. CS224W: Classes are in the Gates building Computer Science Department at Stanford Stanford University Data Mining 4-8

4 World Wide Web Wie kann das Web organisiert werden? 1. Versuch: Webverzeichnis: Yahoo, Curlie (DMOZ) 2. Versuch: Suchmaschine Webcrawler durchlaufen Web Inverted Index für Suchanfragen Herausforderungen für Suchmaschinen 1. Welche Seiten sind vertrauenswürdig und enthalten tatsächlich die relevanten Informationen zu einer Anfrage? 2. Welches ist die beste Antwort auf eine Anfrage? Verwendung der Hyperlink-Struktur um die Bedeutung einer Webseite zu ermitteln PageRank Themenspezifischer PageRank Web Spam Detection Data Mining 4-9

5 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-10

6 PageRank Idee: Webseite ist wichtig, falls sie von vielen Nutzern besucht wird Anstatt das Verhalten direkt zu beobachten, wird angenommen, dass Nutzer den Hyperlinks zufällig folgen: Random-Surfer-Model Beginne auf einer beliebigen Seite Wiederhole: Folge einem zufällig ausgewählten Hyperlink dieser Seite PageRank einer Webseite: Wahrscheinlichkeit, dass ein Random-Surfer diese Webseite besucht Folgerungen: Webseite ist wichtig (hoher PageRank), falls viele Hyperlinks auf sie verweisen Hyperlinks von wichtigen Webseiten haben höheres Gewicht Rekursion: Gewicht einer Webseite ist aus den Gewichten der verweisenden Webseiten zusammengesetzt Data Mining

7 PageRank: Einfache Rekursion PageRank: d i : Anzahl der Hyperlinks (Outdegree) von i i j: Summe läuft über alle verweisenden Webseiten Sei n die Anzahl der Knoten (Webseiten) Lineares Gleichungssystem aus n Gleichungen und n Unbekannten r j Eindeutige Lösung falls Einschränkung auf σ j r j = 1 i j d i r j = r i 3 + r k 4 Gaußsches Eliminationsverfahren nur bei Graphen mit kleinem n möglich Alternative Berechnung für riesigen Webgraph notwendig r i Data Mining 4-12 i j r i 3 r j 3 k r k 4

8 PageRank: Matrixformulierung Stochastische Adjazenzmatrix M Hinweise: 1, M ij = d j j i 0, sonst M ij gibt die Wahrscheinlichkeit, das ein Random-Surfer den Link von j nach i wählt M ij ist unabhängig von der Anzahl der Hyperlinks von j nach i Für den PageRank-Vektor r = r 1, r 2,, r T n gilt: r = M r j r i = i. r j Data Mining 4-13

9 PageRank: Power Iteration Method Random Surfer/Random Walk Sei v = v 1, v 2,, v n T ein Vektor dessen ite Komponente die Wahrscheinlichkeit angibt, ob sich der Random Surfer zu einem gegebenen Zeitpunkt auf Seite i befindet Power Iteration: Zu Beginn: v (0) = 1, 1,, 1 n n n Iteration: v (t+1) = M v (t) Stopp, falls v (t+1) v t < ε T M t v (0) gibt Wahrscheinlichkeit, ob sich Random-Surfer zum Zeitpunkt t auf einer Seite i = 1,, n befindet Falls Algorithmus konvergiert gilt (mit r = M r): log t M t v (0) = r Data Mining 4-14

10 Beispiel: Mini-WWW Yahoo y a m y 1/2 1/2 0 a 1/2 0 1 m 0 1/2 0 Amazon M soft Data Mining 4-15

11 Beispiel: Mini-WWW Iteration v (t+1) = M v (t) mit v (t) = y (t), a (t), m (t) y (t+1) = 1 2 y(t) a(t) a (t+1) = 1 2 y(t) + m (t) m (t+1) = 1 2 a(t) y a m y 1/2 1/2 0 a 1/2 0 1 m 0 1/2 0 y a = m /2 1/2 5/4 1 3/4 9/8 11/8 1/2... 6/5 6/5 3/5 Data Mining 4-16

12 Beispiel: Mini-WWW Yahoo Amazon M soft Data Mining 4-17

13 Beispiel: Mini-WWW Yahoo Amazon M soft Data Mining 4-18

14 Beispiel: Mini-WWW Yahoo Amazon M soft Data Mining 4-19

15 Beispiel: Mini-WWW Yahoo Amazon M soft Data Mining 4-20

16 Beispiel: Mini-WWW Yahoo Amazon M soft Data Mining 4-21

17 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-22

18 PageRank: Probleme Konvergenz der Power-Iteration-Method ist nicht sicher Das reale WWW ist komplex Sackgasse Sackgassen: Webseiten ohne Hyperlinks Random-Surfer kann Sackgasse nicht verlassen Gewichtungen verschwinden über Sackgasse Spider Traps: Gruppen von Webseiten ohne ausgehende Hyperlinks Random-Surfer kann Gruppe nicht verlassen Gewichtungen konzentrieren sich auf Gruppe Data Mining 4-23

19 Problem: Sackgasse Yahoo y a m y 1/2 1/2 0 a 1/2 0 0 m 0 1/2 0 Amazon M soft Data Mining 4-24

20 Problem: Sackgasse Yahoo Amazon M soft Data Mining 4-25

21 Problem: Sackgasse Yahoo Amazon M soft Data Mining 4-26

22 Problem: Sackgasse Yahoo Amazon M soft Data Mining 4-27

23 Problem: Sackgasse Yahoo Amazon M soft Data Mining 4-28

24 Problem: Sackgasse Yahoo Amazon M soft Data Mining 4-29

25 Problem: Spider Trap Yahoo y a m y 1/2 1/2 0 a 1/2 0 0 m 0 1/2 1 Amazon M soft Data Mining 4-30

26 Problem: Spider Trap Yahoo Amazon M soft Data Mining 4-31

27 Problem: Spider Trap Yahoo Amazon M soft Data Mining 4-32

28 Problem: Spider Trap Yahoo Amazon M soft Data Mining 4-33

29 Problem: Spider Trap Yahoo Amazon M soft Data Mining 4-34

30 Lösung: Teleports PageRank [Brin & Page, 1998, r j = i j β r i d i + (1 β) 1 n Mit Wahrscheinlichkeit β, folge einem zufällig gewählten Hyperlink Mit Wahrscheinlichkeit 1 β, wechsel zu einer zufälligen Seite Ausnahme: falls Knoten eine Sackgasse, wechsel mit Wahrscheinlichkeit 1 zu einer zufälligen Seite Gewöhnlich setzt man β auf einen Wert zwischen 0.8 und 0.9 y y a m a m Data Mining 4-35

31 Lösung: Teleports ( = 0.8) y 7/15 M 1/2 1/ / /2 1 [1/n] nxn 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 a m 13/15 = y 7/15 7/15 1/15 a 7/15 1/15 1/15 m 1/15 7/15 13/15 y a = m 1/3 1/3 1/ /33 5/33 21/33 Data Mining 4-36

32 PageRank: Vollständiger Algorithmus Eingabe: Gerichteter Graph G (inkl. Sackgassen und Spider Traps) Parameter β Ausgabe: PageRank Vector r new Setze: r j old = 0, r j new = 1 N Wiederhole solange σ j r j new r j old > ε r old = r new j: r j new = σ i j β r i old S = σ j r j new j: r j new += 1 S N d i Data Mining 4-37

33 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-38

34 Effiziente Berechnung des PageRank Matrix-Vektor-Produkt über MapReduce Problem: PageRank-Vektor r old passt nicht in Hauptspeicher Mind. 1 Billion (10 12 ) Webseiten Einfache/doppelte Genauigkeit für Wert: 4 Byte/8 Byte 4TB/8TB Speicherbedarf für Vektor Unterteilung des Vektors r old in Abschnitte Ein Map-Task ist nur für einen Teil des Vektors zuständig Ein Map-Task benötigt nur einen vertikale Streifen der Matrix M Zusätzlich: 1. Effizientere Repräsentation der Matrix M möglich da spärlich besetzt und nur zwei verschiedene Werte pro Spalte 2. Unterteilung des neuen Vektors r new in Abschnitte Ein Map-Task ist nur für einen Teil des Vektors zuständig Ein Map-Task benötigt nur einen Teil der Matrix Data Mining 4-39

35 Effiziente Repräsentation der Matrix M Für jede Spalte: Speichere d i (Anzahl der Hyperlinks) und Liste der Zeilen mit einem Wert ungleich Null: dest 1,,dest di Mind. 1 Billion (10 12 ) Webseiten: 4 Byte für d i 8 Byte pro Zeilennummer Durchschnittlich 10 Hyperlinks pro Seite: = 84TB Webseite i d i dest 1,,dest di 0 3 1, 5, , 64, 113, , Data Mining 4-40

36 Effiziente Repräsentation der Matrix M Angenommen r new passt in Hauptspeicher Anpassung der Berechnung des PageRank: Initialisiere r j new = 0 Für jede Webseite i : Lese von Festplatte d i dest 1,,dest di, r i old Für j = 1 d i : r new destj += β r i old d i Für alle j: r new j += 1 S mit S = σ new N j r j r new i d i dest 1,,dest di 0 3 1, 5, , 64, 113, , r old Data Mining 4-41

37 Blocking Auch r new passt nicht vollständig in Hauptspeicher Unterteilung von sowohl r old als auch r new in k Blöcke der Länge l Unterteilung der Matrix in Quadrate der Länge l Wähle k so, dass von beiden Vektoren ein Block in Hauptspeicher passt Hinweis: Ein Quadrat der Matrix muss nicht vollständig in Hauptspeicher liegen und kommt somit mit weniger Speicher aus r new r old w 1 M 11 M 12 M 13 v 1 w 2 = M 21 M 22 M 23 v 2 w 3 M 31 M 32 M 33 v 3 Data Mining 4-42

38 Blocking: Matrixrepräsentation r new i d i dest 1,,dest di 0 4 0, r old Data Mining 4-43

39 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-44

40 Themenspezifischer PageRank PageRank misst die allgemeine Beliebtheit einer Webseite und vernachlässigt somit evtl. wichtige themenspezifische Quellen Ziel: Bewertung von Webseiten nicht nur nach Popularität, sondern auch nach Thema, z.b. Wissenschaft, Kunst, Natur, Motorsport, Berücksichtigung der Interessen eines Nutzers bei Suchanfragen Beispiel: Anfrage nach Jaguar soll, je nach Interesse des Nutzers, entweder zu Webseiten mit Tieren oder mit Autos führen Idee: Verwendung des Teleporting um eine höhere Gewichtung für themenspezifischen Seiten zu erlangen Menge S mit themenspezifischen Seiten Beim Teleporting eines Random-Surfer: Wähle zufällig eine Seite aus S Auch Webseiten in der Nähe von Elementen aus S werden höher gewichtet Einen PageRank-Vektor r (S) für jedes S Falls jεs: r j (S) = σi j β r i d i + (1 β) 1 S ; Sonst: r j (S) = σi j β r i d i Data Mining 4-45

41 Beispiel: S = {M soft} Yahoo Teleporting Amazon M soft Data Mining 4-46

42 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-47

43 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-48

44 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-49

45 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-50

46 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-51

47 Beispiel: S = {M soft} Yahoo Amazon M soft Data Mining 4-52

48 Zusammenstellen der Menge S Verwendung der Themen und gesammelten Seiten eines Webverzeichnisses, z.b. Curlie (DMOZ) Erweiterung über Jaccard-Metrik unter Verwendung typischer Worte : Wörter, die generell selten aber relative häufig in einem Dokument eines bestimmten Themas vorkommen z.b. über Tf-idf-Maß f ij : Häufigkeit des Terms i in Dokument j Relative Häufigkeit des Terms i in Dokument j: TF ij = f ij N Dokumente und n i bezeichnet die Anzahl der Dokumente, die Term i enthalten Inverse Dokumenthäufigkeit: IDF i = log 2 N TF. IDF ij = TF ij IDF i Auch die Interessen eines Nutzers können über diese Methode erschlossen werden: Wörter in vergangenen Anfragen, Wörter auf Seiten mit Bookmark, Wörter auf aktuellen Seite (von wo Anfrage gesendet) Data Mining 4-53 n i max k f kj

49 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-54

50 SimRank Konferenz Wissenschaftler Ähnlichkeit im Graph: 2 Knoten sind ähnlich, falls sie mit gleichen Knoten verbunden sind z.b. in k-partiten Graphen: k verschiedene Arten von Knoten und Kanten verlaufen ausschließlich zwischen Knoten unterschiedlicher Art, z.b. Studenten und Vorlesungen/Vereine Wissenschaftler und Konferenzen/Artikel SimRank: Themenspezifischer PageRank mit S = {u} u ist ein Knoten des Graphen Ergebnis gibt die Ähnlichkeit zwischen allen Knoten und u Problem: PageRank-Algorithmus muss für alle Knoten wiederholt werden IJCAI KDD ICDM SDM AAAI NIPS KDD SDM CIKM ECML PKDD ICDM Philip S. Yu Ning Zhong R. Ramakrishnan M. Jordan PAKDD ICML ICDE SIGMOD DMKD Data Mining 4-55

51 Beispiel: SimRank (β = 0. 8) Gus CS246 Ann CS Sue Ma55 Joe Data Mining 4-56

52 Beispiel: SimRank (β = 0. 8) Gus CS246 Ann CS Sue Ma Joe Data Mining 4-57

53 Beispiel: SimRank (β = 0. 8) Gus CS Ann CS Sue Joe Ma Data Mining 4-58

54 Beispiel: SimRank (β = 0. 8) Gus CS Ann CS Sue Joe Ma Data Mining 4-59

55 Beispiel: SimRank (β = 0. 8).019 Gus CS Ann CS Sue Ma Joe Data Mining 4-60

56 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-61

57 Web Spamming Spamming: alle Unternehmungen um eine Webseite im Ranking einer Suchmaschine zu verbessern ohne die Bedeutung der Seite für eine Suchanfrage zu erhöhen Term-Spamming: Manipulation des Inhalts einer Webseite Beispiel: ein Verkäufer von T-Shirts lässt seine Webseite so aussehen, als ob interessante Information zu Sport/Filmen zu finden sind Einfügen von relevanten Wörtern bzw. einer vollständigen Kopie einer relevanten Webseite und ändern der Textfarbe auf Hintergrundfarbe Lösung von Google: Anstelle der Textes einer Webseite, Verwendung des Textes in und um Verlinkungen zu einer Webseite PageRank verhindert den Versuch diese Lösung zu umgehen, indem man tausende irrelevante Seiten mit Verlinkungen auf Zielseite erstellt Link-Spamming: Erstellen einer Struktur von Verlinkungen um PageRank zu erhöhen Data Mining 4-62

58 Google-Bombe (2006) Data Mining 4-63

59 Link-Spamming Aus Sicht des Spammer: 3 Arten von Webseiten Unerreichbare Seiten Erreichbare/editierbare Seiten (z.b. über Kommentare auf Blogs/Nachrichtenseiten) Eigene Seiten Vorgehen: Möglichst viele Verlinkungen von erreichbaren Seiten zur Zielseite t Erstellen einer Link-Farm um PageRank weiter zu erhöhen Erreichbar Eigene Unerreichbar t 1 2 Link-Farm M Data Mining 4-64

60 Funktionsweise der Link-Farm PageRank-Gewicht aus den erreichbaren Seiten: x PageRank der Zielseite t: y Anzahl themenrelevanter Seiten: N PageRank einer der insgesamt M Farm-Seiten: βy + 1 β M N Dann: y = x + βm βy M + 1 β N + 1 β N = x + β2 y + β 1 β M N + 1 β N y = Vervielfachung von x x 1 β 2 + β 1 + β Beliebig großes y durch großes M M N + 1 (1 + β)n Vernachlässigbar Data Mining 4-65

61 TrustRank Google erkennt das klassische Design einer Link-Farm und wird die Webseiten aus dem Index entfernen Außerdem versucht Google neue Designs zu erkennen Krieg zwischen Google und Spammer Alternative: Verwendung des TrustRank: Themenspezifischer PageRank mit einer Auswahl vertrauenswürdiger Seiten als Menge S Prinzip: Vertrauenswürdige Seiten verlinken selten auf Spam Vertrauen in beliebige Seite nimmt ab mit Entfernung zu vertrauenswürdiger Seite Vertrauen wird über alle Verlinkungen aufgeteilt da viele Verlinkungen oft mit einer ungenaueren Prüfung dieser einhergeht Auswahl der vertrauenswürdigen Seiten (ohne menschliche Inspektion): Seiten mit sehr hohem PageRank Verwendung vertrauenswürdiger Domains, z.b..edu,.gov, Spam Mass = (PageRank TrustRank)/PageRank ist Indikator für Link- Spam (wieviel PageRank-Gewicht aus vertrauensunwürdigen Quellen) Data Mining 4-66

62 Inhaltsverzeichnis Graphdaten und die Organisation des World Wide Web PageRank Probleme Effiziente Berechnung Themenspezifischer PageRank SimRank Link-Spam und TrustRank HITS: Hubs and Authorities Data Mining 4-67

63 Hubs and Authorities HITS (Hypertext-Induced Topic Selection) Maße für die Relevanz von Webseiten Alternative zum PageRank Anstatt nach relevanten Webseiten direkt zu suchen: Suche nach Experten, die auf relevante Webseiten verweisen Jede Seite hat 2 Werte: Hub-Wert: Eigenschaft als Experte Authority-Wert: Maß an nützlichen Inhalt Rekursive Definition: Hub-Wert = Summe der Authority-Werte der verlinkten Seiten Authority-Wert = Summe der Hub-Werte der verlinkenden Seiten Beispiele: Authorities: Webseite einer Zeitung, Vorlesung, Unternehmen Hubs: Liste aller Zeitungen, Vorlesungsverzeichnis, Liste aller Unternehmen, Data Mining 4-68

64 Beispiel Data Mining 4-69

65 Beispiel Data Mining 4-70

66 Beispiel Data Mining 4-71

67 Beispiel Data Mining 4-72

68 Hubs and Authorities Jeder Knoten i hat zwei Werte [Kleinberg 98] j 1 j 2 j 3 j 4 Authority-Wert: a i Hub-Wert: h i HITS-Algorithmus: Initialisierung: a j (0) = 1/ N, hj (0) = 1/ N Iteration: i: a i (t+1) = σj i h j (t) i: h i (t+1) = σi j a j (t) Normalisierung: σ i a i t+1 2 = 1, σ j h j t+1 2 = 1 Auch andere Normalisierung möglich, wichtig ist die Richtung und nicht die Länge des Vektors (relative Größe der Werte) i a i = j i h j i j 1 j 2 j 3 j 4 h i = i j a j Data Mining 4-73

69 Hubs and Authorities [Kleinberg 98] Matrixnotation: Vektoren: a = (a 1,, a n ), h = (h 1,, h n ) 1, i j Adjazenzmatrix A (n n): A ij = ቊ 0, sonst Dann: h = A a und a = A T h h = A (A T h) = (A A T ) h a = A T A a = A T A a Unter angemessenen Bedingungen konvergiert HITS zu den Eigenvektoren h und a von (A A T ) bzw. (A T A) Data Mining 4-74

70 Beispiel: HITS A = A T = Yahoo Amazon M soft h(yahoo) h(amazon) h(m soft) = = = a(yahoo) =.58 a(amazon) =.58 a(m soft) = Data Mining 4-75

71 Referenzen, Beispiele, Übungen Kapitel 5 aus Mining of Massive Datasets : Übungen: PageRank: 5.1.1, Spärlich besetzte Matrix: 5.2.1, Themenspezifischer PageRank: ( = 0.8) Data Mining 4-76

72 Übung a b c a 1/3 1/2 0 b 1/3 0 1/2 c 1/3 1/2 1/2 a b = c 1/3 1/3 1/3 5/18 5/18 8/18 25/108 34/108 49/ /13 4/13 6/13 Data Mining 4-78

73 Übung ( = 0.8) M 0.8 1/3 1/2 0 1/3 0 1/ /3 1/2 1/2 [1/n] nxn 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 = 1/3 7/15 1/15 1/3 1/15 7/15 1/3 7/15 7/15 a b = c 1/3 1/3 1/3 13/45 13/45 19/45 175/ / / /81 25/81 35/81 Data Mining 4-80

74 Übung Bit-Repräsentation: n 2 Bit Speicherplatz Anzahl der Einsen: e Spärliche Repräsentation: e 2 log n e 2 log n < n 2 e n 2 < 1 2 log n Übung A 3 B B 2 A C 0 D 2 B A 3 C,D B 2 D C 0 D 2 C Data Mining 4-83

75 Übung ( = 0.8) Teil a) M 0 1/ / /2 1/ / /3 1/ = 1/5 3/5 1 1/5 4/ /5 4/ /5 4/15 2/5 0 0 A B C D 1/4 1/4 1/4 1/4 9/15 2/15 2/15 2/15 27/75 16/75 16/75 16/ /21 4/21 4/21 4/21 Data Mining 4-85