6. Vorlesung. Power Laws Modell der bevorzugten Verbindung Small World-Phänomen und -Netze Watts-Strogatz Modell. Kompression des Web-Graphen

Transkript

1 6. Vorlesung Web Struktur I Power Laws Modell der bevorzugten Verbindung Small World-Phänomen und -Netze Watts-Strogatz Modell Kompression des Web-Graphen Seite 146

2 Beobachtete Phänomene Wenige Multi-Milliardäre, aber viele mit bescheidenem Einkommen [Pareto, 1896] Einige häufige Wörter, aber viele seltene Wörter [Zipf, 1932] Einige Mega-Städte, aber viele kleine Städte [Zipf, 1949] Einige Web-Seiten mit hohem Grad, aber viele Webseiten mit niedrigem Grad [Kumar et al, 99] [Barabási & Albert, 99] In allen obengenannten Beispielen gelten power laws. Seite 147

3 Power Law (Pareto) Verteilung α> 0: Form-Parameter ( Anstieg ) k > 0: Orts-Parameter Beispiel: (k = $1000, α = 2) 1/100 verdienen $10,000 1/10,000 verdienen $100,000 1/1,000,000 verdienen $1,000,000 Seite 148

4 Power Law Eigenschaften PDF, Dichte: Unendlicher Erwartungswert für α 1 Unendliche Varianz für α 2 Falls X diskret ist, Seite 149

5 Power Law Graphen Lineare Achsen Log-Log Achsen Slope = -α 1 Seite 150

6 Skalen-Freie Verteilungen Power laws sind invariant bzügliche Skalierung Beispiel: (k = beliebig, α = 2) 1/100 verdienen 10k 1/10,000 verdienen 100k 1/1,000,000 verdienen 1000k Seite 151

7 Heavy Tailed Verteilungen Viele klassische Verteilungen z.b.: Normal Verteilung, Exponentialverteilung light tail Bei Power Law Verteilungen heavy tail Seite 152

8 Zipf s Verteilung Größe der r-t größten Stadt ist Äquivalent zu einem Power Law: X = Größe der Stadt Änderung der Variablen: Seite 153

9 Power Laws und das Internet Web Graph Ein- und Ausgangsgrad (Ein: Winkel: ~2.1, Aus: Winkel: ~2.7) [Kumar et al. 99, Barabási & Albert 99, Broder et al 00] Größe der Zusammenhangskomponenten [Broder et al 00] Webseitengröße [Huberman & Adamic 99] Internetgraph Grade [Faloutsos 3 99] Eigenwerte [Mihail & Papadimitriou 02] Internetverkehr Anzahl der Besuche auf Webseiten Seite 154

10 Power Laws und Graphen Wenn X eine zufällige Webseite ist, dann Was für ein Modell für Zufallsgraphen kann dieses Phänomen erklären? Seite 155

11 Erdős-Rényi Zufallsgraphen G n,p n: Größe des Graph (fest) p: Kantenwahrscheinlichkeit (fest): Jedes Paar von Knoten u,v ist mit Wahrscheinlichkeit p verbunden. Satz [Erdős & Rényi, 60] Für einen beliebigen Knoten x aus G n,p, Seite 156

12 Bevorzugte Verbindung [Barabási & Albert 99] Neues Zufallsgraphen Modell Initialisierung: Graph startet mit einem Knoten und einer Schleife. Wachstum:In jedem Schritt wird ein neuer Knoten v zum Graphen hinzugefügt. v verbindet sich zu einem Nachbarn. Bevorzugte Verbindung: v verbindet sich zu u mit Wahrscheinlichkeit propotional zum Eingangsgrad von u. Die Reichen werden reicher / Der Gewinner bekommt alles Seite 157

13 Warum funktioniert es? (1/3) : Anzahl der Knoten mit Eingangsgrad k nach t Schritten Betrachte k > 1: Erwartetes Wachstum: Seite 158

14 Warum funktioniert es? (2/3) k = 1 Erwartetes Wachstum: Angenommenes Gleichgewicht: Dann: Und: Deshalb: Seite 159

15 Warum funktioniert es? (3/3) dfdf Seite 160

16 Sechs Grade des Abstandes [Stanley Milgram, 67] Zufällige Startpersonen in Nebraska, Kansas, usw. Ziele: in Boston Zwischenpersonen schicken eine eine Postkarte an Milgram Ergebnisse: im Durchschnitt 6 Postkarten Schlussfolgerung : zwei beliebige Personen in den USA sind durch einen Pfad der Länge ~ 6 verbunden Seite 161

17 Small-World Netzwerke Durchschnittlicher Durchmesser: Länge des kürzesten Pfades von u nach v, gemittelt über alle Paare u,v Clustering Koeffizient: Anteil der Nachbarn von v, die auch sich selbst als Nachbarn haben, gemittelt über alle v Small-world Netzwerk: ein dünner Graph mit durchschnittlichem Durchmesser O(log n) und einem konstantem Clustering Koeffizienten Seite 162

18 Das Web als ein Small World Netzwerk Niedriger Durchmesser Studie eines synthetischen Web-Graphmodells [Albert, Jeong, Barabási 99] Durchschnittlicher Durchmesser des Web ist ~19 Wächst logarithmisch mit der Größe des Web. Studie eines großen Crawls [Broder et al 00] Durchschnittlicher Durchmesser der SCC ist ~ 16 Maximaler Durchmesser der SCC ist 28 Durchmesser des Host-Graphen [Adamic 99] Durchschnittlicher Durchmesser der SCC: ~4 Hoher Clustering Koeffizient Clustering Koeffizient des Host-Graphen [Adamic 99] Clustering Koeffizient: ~0.08 (im Vergleich zu eines verlgeichbaren Zufallsgraphen) Seite 163

19 Modell für Small-World Netzwerke [Watts & Strogatz 98] Ein Extrem: Zufällige Netzwerke Kleiner Durchmesser Niedriger Clustering Koeffizient Anderes Extrem: reguläre Netzwerke (z.b., ein Gitter) Hoher Clustering Koeffizient Hoher Durchmesser Small-world: Interpolation zwischen beiden Niedriger Durchmesser Hoher Clustering Koeffizient Regularität: Soziale Netzwerke Zufälligkeit: individuelle Interessen Seite 164

20 Zufälliges Netzwerk Das Modell: n Knoten Jedes Paar u,v ist mit Wahrscheinlichkeit p = d/n durch eine Kante verbunden (d = ω(log n)) Eigenschaften: Erwartete Anzahl von Kanten: ~dn Graph ist verbunden mit Wahrscheinlichkeit p Durchmesser: O(log n) mit Wahrscheinlichkeit p Clustering Koeffizient: ~ d 2 p = d 3 /n = o(1) Seite 165

21 Ring Gitter Das Modell: n Knoten auf einem Kreis Jeder Knoten hat d Nachbarn: d/2 Knoten zur Rechten und d/2 Knoten zur Linken Eigenschaften: Anzahl der Kanten: dn/2 Graph ist verbunden Durchmeser: O(n/d) Clustering Koeffizient: Seite 166

22 Zufälliges Neuverdrahten Beginne mit einem Ringgitter For i = 1 to d/2 do For v = 1 to n do Wähle den i-ten nächsten Nachbarn von v im Uhrzeigersinn Mit Wahrscheinlichkeit p, ersetze diesen Nachbarn durch einen zufälligen Knoten Seite 167

23 Analyse Falls p = 0, Ringgitter Hoher Clustering Koeffizient Hoher Durchmesser Falls p = 1, zufälliges Netzwerk Logarithmischer Durchmesser Niedriger Clustering Koeffizient Jedoch, Durchmesser sinkt rapide wenn p wächst Clustering Koeffizient sinkt langsam, wenn p wächst Deshalb, für kleine p bekommt man ein small-world Netzwerk. Logarithmic Durchmesser Hoher Clustering Koeffizient Seite 168

24 Kompression von Webgraphen Seite 169

25 Web Graph Eigenschaften von Links im Web-Graphen Lokalität Links zum Navigieren Lexikographisches Sortieren der URL Ähnlichkeit Links mit lexikographisch ähnlicher URL haben ähnliche Link-Listen Empirische Eigenschaften Link-Listen haben viele konsekutive IDs, wenn URLs lexikographisch sortiert sind Seite 170

26 Verteilung der Lücken im Webgraph Häufigkeit Webgraph Lückengröße Lückengröße transponierter Webgraph Seite 171

27 Naive Repräsentation Seite 172

28 Lücken Repräsentation Seite 173

29 Referenzkompression Seite 174

30 Differentielle Kompression Seite 175

31 Intervallkompression Seite 176

32 Ergebnisse Seite 177

33 Ergebnisse Seite 178