Algorithmische Methoden zur Netzwerkanalyse

Transkript

1 Algorithmische Methoden zur Netzwerkanalyse Prof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische Informatik nationales Algorithmische Forschungszentrum Methoden in der Helmholtz-Gemeinschaft zur Netzwerkanalyse

2 Vorlesung 4 Programm des Tages: EVZ Übung: NetworKit II 2 Henning Meyerhenke, Institut für Theoretische Informatik

3 Inhalt 3 Henning Meyerhenke, Institut für Theoretische Informatik

4 Der Algorithmus, mit dem / durch den Google gegründet wurde Zutaten einer Suchmaschine (stark vereinfacht): Crawler Index Ranking The Anatomy of a Large-Scale Hypertextual Web Search Engine Sergey Brin and Lawrence Page Computer Science Department, Stanford University, Stanford, CA 94305, USA sergey@cs.stanford.edu and page@cs.stanford.edu Abstract In this paper, we present Google, a prototype of a large-scale search engine which makes heavy use of the structure present in hypertext. Google is designed to crawl and index the Web efficiently and produce much more satisfying search results than existing systems. The prototype with a full text and hyperlink database of at least 24 million pages is available at To engineer a search engine is a challenging task. Search engines index tens to hundreds of millions of web pages involving a comparable number of distinct terms. They answer tens of millions of queries every day. Despite the importance of large-scale search engines on the web, Google mit damals überlegen beim Ranking very little academic research has been done on them. Furthermore, due to rapid advance in 4 Henning Meyerhenke, technology Institut and für web Theoretische proliferation, Informatik creating a web search engine today is very different from three Beruhte auf years Algorithmus ago. This paper provides und an in-depth schneller description of Berechnung our large-scale web search engine -- the Algorithmische Methoden first such zur detailed Netzwerkanalyse public description we know of to date. Apart from the problems of scaling

5 Ideen hinter Bewertung von Webseiten anhand der Link-Struktur Grob: Je mehr Links auf eine Seite verweisen, desto wichtiger ist sie Ähnlich wie bei EV-Zentralität: Je wichtiger eine Seite ist, desto wichtiger ist ihr Verweis auf eine andere Seite 5 Henning Meyerhenke, Institut für Theoretische Informatik

6 Modell des Zufallssurfers Surfer bewegt sich zufällig im Webgraphen Er folgt dabei den ausgehenden Kanten mit gleicher Wahrscheinlichkeit (Klick auf Link) Außerdem kann man eine Seite verlassen, indem man sich wegteleportiert (eine neue URL im Browser eingibt) ist stationärer Zustand eines stochastischen Prozesses 6 Henning Meyerhenke, Institut für Theoretische Informatik

7 Beispiel [ 7 Henning Meyerhenke, Institut für Theoretische Informatik

8 Die Mathematik hinter Zumindest ein wenig davon... Google-Matrix G Dämpfungsfaktor α (bestimmt Teleport-Wkt.) Transitionsmatrix P für Linkverfolgung Teleport-Vektor y, stochastisch, y 1 = 1 G = αp + (1 α)1y T Wir werden feststellen: Verbindung zur Eigenvektorzentralität ergibt sich aus der Umformung direkt, nur die Matrix ist eine andere! 8 Henning Meyerhenke, Institut für Theoretische Informatik

9 Algebraische Notation des Algorithmus x: -Vektor p ij : Link von Seite i zu Seite j, normalisiert durch den Knotengrad von i Normalisierung erzeugt zeilenstochastische Matrix P, P = D 1 A mit Potenzmethode: (x (t+1) ) T = (x (t) ) T G Ziel: Aussagen über Konvergenz des Algorithmus 9 Henning Meyerhenke, Institut für Theoretische Informatik

10 Eigenschaften von G (1) G ist zeilenstochastisch G uv = αp uv + (1 α)(1y T ) uv = α(d 1 A) uv + (1 α)y v = α Auv D uu + (1 α)y v Somit folgt für eine beliebige Zeile 1 u n: v G uv = α Auv + (1 α)y v v D uu = α D uu v = α + (1 α) = 1 A uv + (1 α) y v v 10 Henning Meyerhenke, Institut für Theoretische Informatik

11 Eigenschaften von G (2) Lemma Der größte Eigenwert von G ist 1 und er ist einfach. Zu diesem Eigenwert korrespondiert der rechte Eigenvektor 1. Beweis: Siehe Tafel! Definition -Zentralität von v: v-ter Eintrag des -Vektors x. Markov-Ketten-Forschung: x heißt dort π π ist dominanter linker Eigenvektor von G: π T = π T G. π i ist der Seite i 11 Henning Meyerhenke, Institut für Theoretische Informatik

12 Potenzmethode 1. Starte mit initialem Vektor x (0) 2. x (t+1) = x (t) G 3. Normalisierung von x 4. Wenn nicht konvergiert: gehe zu 2) (Selbst)Übung: Was passiert, wenn x (0) orthogonal zum EV π gewählt wird? 12 Henning Meyerhenke, Institut für Theoretische Informatik

13 Fazit Mit entsprechender Hardware und Know-how kann man auch für große Graphen in akzeptabler Zeit berechnen Interessantes Maß, reichhaltige mathematische Analyse, in der Praxis nur ein Maß unter vielen Alternativer Algorithmus: Hubs and Authorities von Jon Kleinberg Mit Netzwerkanalyse und dem Engineering paralleler Algorithmen kann man reich werden 13 Henning Meyerhenke, Institut für Theoretische Informatik