Algorithmische Methoden zur Netzwerkanalyse

Transkript

1 Algorithmische Methoden zur Netzwerkanalyse Prof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische Informatik nationales Algorithmische Forschungszentrum Methoden in der Helmholtz-Gemeinschaft zur Netzwerkanalyse

2 Vorlesung 2 Wiederholung: Knotengradverteilung: Wie viele Leute kenne ich? k-kerne: Wie gut bin ich vernetzt? Heute: k-kern-zerlegung parallel Clusterkoeffizienten: Der Freund meines Freundes ist mein Freund 2 Henning Meyerhenke, Institut für Theoretische Informatik

3 Inhalt k-kern-zerlegung Berechnung der k-kern-zerlegung Grundlagen Lokaler CK 3 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

4 k-kern-zerlegung: Definition Definition Der i-kern von G ist der eindeutige Teilgraph, den man erhält, indem man nacheinander alle Knoten mit Grad < i entfernt. 4 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

5 Algorithmus zur Berechnung der k-kern-zerlegung Algorithm 1 Berechnung der Kernzerlegung eines Graphen 1: function COREDECOMPOSITION(G = (V, E)) 2: Output: Kernzahl k des Kerns von G und Feld core mit Kernzahl jedes Knotens 3: Speichere die Knotengrade für alle Knoten in resdegree 4: i 0 5: while V = do 6: i i + 1 7: for each v V mit resdegree[v] < i do 8: core[v] i 1 9: for each u N(v) do 10: resdegree[u] resdegree[u] 1 11: end for 12: Entferne v aus G 13: end for 14: end while 15: return (i 1, core) 16: end function 5 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

6 Beispiel [Baur et al., 2008] 6 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

7 Laufzeit Theorem Sei G = (V, E) mit E = m zusammenhängend und ungewichtet. Der Algorithmus COREDECOMPOSITION kann in Laufzeit O(m) implementiert werden. Beweis: Siehe Tafel und Skript! 7 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

8 Parallele Berechnung der Kernzerlegung Bräuchten eine parallele PQ Wird durch parallele Suche nach Knoten mit passendem Residualgraph ersetzt Diese Knoten und deren Nachbarschaft werden parallel abgearbeitet Siehe Implementierung in NetworKit Literaturhinweise N.S. Dasari, D. Ranjan, and M. Zubair: Park: An efficient algorithm for k-core decomposition on multicore processors. In Proc. Intl. Conference on Big Data 2014, pages Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

9 ParK: Parallele k-kern-zerlegung 3 wesentliche Datenstrukturen: resdeg: Residualgrad jedes Knotens curr: Knoten der aktuellen Iteration next: Knoten der nächsten Iteration 9 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

10 ParK: Parallele k-kern-zerlegung 1: procedure PARK(G = (V, E)) 2: Initialisiere resdeg 3: curr ; next 4: todo n 5: level 1 6: while todo > 0 do 7: scan(resdeg, level, curr) 8: while curr > 0 do 9: todo todo - curr 10: processsublevel(resdeg, level, curr, next) 11: curr next 12: next 13: end while 14: level++ 15: end while 16: end procedure 10 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

11 ParK: Parallele k-kern-zerlegung Untermethode Scan Zweck: Knoten der aktuellen Schale identifizieren 1: procedure SCAN(G = (V, E), resdeg, level, curr) 2: idx 0 3: for i 0 to n-1 do in parallel 4: if resdeg[i] = level then 5: a atomicinc(idx, 1) 6: curr[a] i 7: end if 8: end for 9: end procedure 11 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

12 ParK: Parallele k-kern-zerlegung Untermethode ProcessSublevel 1: procedure PROCESSSUBLEVEL(G = (V, E), resdeg, level, curr, next) 2: idx 0 3: for each v curr do in parallel 4: core[v] level 5: for each u N(v) do 6: if resdeg[u] > level then 7: a atomicdecafter(resdeg[u], 1) 8: if a = level then 9: b atomicinc(idx, 1) 10: next[b] u 11: end if 12: end if 13: end for 14: end for 15: end procedure 12 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

13 Fazit k-kern-zerlegung Die k-kernstruktur gibt ein Maß an, das robuster ist als der Knotengrad zur Bestimmung der Verbindung eines Knotens zum Rest des Graphen Lemmas beleuchten Größe der i-schalen Algorithmische Definition führt zu Algorithmus, der die Struktur berechnet Sequentiell effizient: Bucket-Prioritätsliste Parallel: PQ parallel möglich, aber schwierig parallele Scans 13 Henning Meyerhenke, Institut für Theoretische Informatik k-kern-zerlegung

14 Inhalt k-kern-zerlegung Berechnung der k-kern-zerlegung Grundlagen Lokaler CK 14 Henning Meyerhenke, Institut für Theoretische Informatik

15 Cluster-Koeffizient Einführung Fragestellung Ihnen gibt jemand einen Graphen und behauptet, es sei ein soziales Netzwerk. Sie möchten die Behauptung überprüfen. Welche Analyse-Möglichkeiten fallen Ihnen dazu bereits ein? Hinweis: Erwarten Sie relativ viele oder relativ wenige Dreiecke im Netzwerk? Aufgabe: Formalisierung dieses Konzeptes 15 Henning Meyerhenke, Institut für Theoretische Informatik

16 Cluster-Koeffizient Beschreibung Der Cluster-Koeffizient misst die durchschnittliche Wahrscheinlichkeit, dass zwei Nachbarn desselben Knotens zueinander benachbart sind. Maß für die Dichte von Dreiecken im Netzwerk Gleiche Netzwerktypen haben häufig ähnliche Koeffizienten Unterschiedliche Netzwerktypen haben häufig unterschiedliche Koeffizienten Aber: Ausnahmen nicht so selten Beispiel in [Newman, S. 237]: Werte oft zwischen 0.1 und 0.6 Typische Wkt. dafür, dass gemeinsame Nachbarn zueinander benachbart sind, liegt zwischen 10% und 60%. 16 Henning Meyerhenke, Institut für Theoretische Informatik

17 Cluster-Koeffizient Definition Definition Der globale Cluster-Koeffizient C ist definiert als C := 3 Zahl der (geschlossenen) Dreiecke Zahl der zusammenhängenden Dreiergruppen Alternative Definition: Definition Der globale Cluster-Koeffizient C ist definiert als C := 6 Zahl der (geschlossenen) Dreiecke Zahl der Wege der Länge 2 17 Henning Meyerhenke, Institut für Theoretische Informatik

18 Beispiel Siehe Tafel (1, 2, 3) (4, 2, 1) (1, 2, 4) (4, 2, 3) (1, 2, 5) (4, 2, 5) (2, 3, 4) (4, 3, 2) (2, 3, 5) (4, 3, 5) (2, 3, 6) (4, 3, 6) (2, 4, 3) (4, 6, 3) (2, 4, 6) (5, 2, 1) (2, 5, 3) (5, 2, 3) (3, 2, 1) (5, 2, 4) (3, 2, 4) (5, 3, 2) (3, 2, 5) (5, 3, 4) (3, 4, 2) (5, 3, 6) (3, 4, 6) (6, 3, 2) (3, 5, 2) (6, 3, 4) (3, 6, 4) (6, 3, 5) (6, 4, 2) (6, 4, 3) 34 Wege der Länge 2, 3 Dreiecke C = 18/34 = 9/17 18 Henning Meyerhenke, Institut für Theoretische Informatik

19 Bedeutung Durchschnittliche Wahrscheinlichkeit, dass zwei Personen mit einem gemeinsamen Freund auch befreundet sind. C liegt im Intervall [0, 1]. Ist der Freund meines Freundes mein Freund? Nicht unbedingt, aber viel wahrscheinlicher als jemand Zufälliges! Bei C = 1: Alle zusammenhängenden Dreiergruppen bilden eine Clique. Frage: Wie hoch ist C in einem Baum? 19 Henning Meyerhenke, Institut für Theoretische Informatik

20 Diskussion Soziale Netzwerke: C oft im zweistelligen Prozent-Bereich. Bei technischen Netzwerken ist C häufig niedriger. Bsp.: AS-Netzwerk hat nur ca. C = Intuitive Signifikanz der Werte: Annahme: Alle Knoten haben etwa Grad c Annahme: Meine Freunde wählen ihre Freunde zufällig Wkt., dass ein solcher Freund auch mein Freund ist, ist etwa c/n 20 Henning Meyerhenke, Institut für Theoretische Informatik

21 Zwischenfazit Cluster-Koeffizient gibt durchschnittliche Dichte von Dreiecken an Maß zur Bestimmung von Netzwerktypen mit bestimmten Eigenschaften Auch für gerichtete Graphen möglich bei geeigneter Abwandlung der Definition 21 Henning Meyerhenke, Institut für Theoretische Informatik

22 Lokaler Cluster-Koeffizient Definition Der lokale Cluster-Koeffizient eines Knotens v ist definiert als C(v) := Zahl der Dreiecke mit v Zahl der Tripel (Pfade der Länge 2) mit v als zentralem Knoten Der durchschnittliche lokale Clusterkoeffizient eines Graphen G ist definiert als C local (G) := 1 V C(v) v V Durchschnittliche Wkt., dass ein Paar von Nachbarn von v auch benachbart ist. Bei deg(v) = 0 oder deg(v) = 1 : C(v) = 0 per def. 22 Henning Meyerhenke, Institut für Theoretische Informatik

23 LCC als Zentralitätsmaß Definition Das Zentralitätsmaß LCCC (local clustering coefficient centrality) ordnet jedem Knoten seinen lokalen Clusterkoeffizienten zu. 23 Henning Meyerhenke, Institut für Theoretische Informatik

24 Lokaler Cluster-Koeffizient Anwendung Interessant: Lokaler CK korreliert oft negativ mit Knotengrad. Beurteilung der Häufigkeit struktureller Löcher Viele strukturelle Löcher weniger Routing-Alternativen Lokaler CK kann Art von Wichtigkeit des Knotens ausdrücken Zentralitätsmaß Interessant: Niedrige Werte bedeuten hohen Einfluss auf Nachbarn (da keine Alternativen für diese existieren)! In der Praxis häufig hohe Korrelation zwischen lokalem CK und anderen Maßen zur Wichtigkeit eines Knotens! Achtung, global und lokal nicht verwechseln: Manchmal wird der globale Cluster-Koeffizient anders definiert. Oder er wird Transitivität genannt. 24 Henning Meyerhenke, Institut für Theoretische Informatik

25 Approximation des CK Motivation Naiver Algorithmus: O(nd 2 max ) Bester exakter Algorithmus: O(MM(n)) mit MM(N) n 2,373 Siehe dazu: Literaturhinweis Thomas Schank, Dorothea Wagner: Approximating Clustering Coefficient and Transitivity. Journal of Graph Algorithms and Applications, 9(2): , Henning Meyerhenke, Institut für Theoretische Informatik

26 Approximation des durchschnittlichen lokalen CK 1: function APPROXIMATELOCALCK(G = (V, E), k) 2: l 0 3: for i 1 to k do 4: r UniformRandomNumber(1, V ) 5: u UniformRandomNeighbor(A r ) 6: repeat 7: w UniformRandomNeighbor(A r ) 8: until u = w 9: if {u, w} E then 10: l l : end if 12: end for 13: return l/k 14: end function 26 Henning Meyerhenke, Institut für Theoretische Informatik

27 Garantien zum Algorithmus Theorem Für einen ungerichteten Graphen G = (V, E) kann ein Wert C approx local (G) [C local (G) ɛ, C local (G) + ɛ] mit Wkt. mindestens ν 1 ν in der erwarteten Zeit O( log ν ɛ 2 ) berechnet werden. Beweis. Siehe Tafel! 27 Henning Meyerhenke, Institut für Theoretische Informatik

28 Approximation des globalen CK Was ändert sich? Was müssen wir beim Algorithmus noch beachten? Beispiel: Siehe Tafel! Daher: Gewichtsfunktion ω mit ω(v) = Anzahl der Tripel ( deg(v) 2 ) mit v Stichprobe richtet sich dann nach Anzahl der Tripel eines Knotens 28 Henning Meyerhenke, Institut für Theoretische Informatik

29 Approximation des globalen CK 1: function APPROXIMATEGLOBALCK(G = (V, E, ω), k) 2: W PrefixSum(ω) 3: l 0 4: for i 1 to k do 5: r UniformRandomNumber(1, W V ) 6: r FindIndex(r : W r 1 < r W r ) 7: u UniformRandomNeighbor(A r ) 8: repeat 9: w UniformRandomNeighbor(A r ) 10: until u = w 11: if {u, w} E then 12: l l : end if 14: end for 15: return l/k 16: end function 29 Henning Meyerhenke, Institut für Theoretische Informatik

30 Garantien zum Algorithmus Theorem Für einen ungerichteten Graphen G = (V, E) kann ein Wert C approx global (G) [C global (G) ɛ, C global (G) + ɛ] mit Wkt. mindestens ν 1 ν in der erwarteten Zeit O(n + log ν ɛ 2 log n) berechnet werden. Beweis. Präfixsumme der Gewichte: O(n) Zufälligen Knoten mit passendem Sampling finden: O(log n) Rest wie vorher 30 Henning Meyerhenke, Institut für Theoretische Informatik

31 Fazit CK Laufzeit der exakten Berechnung des globalen CK mit naivem Algorithmus abhängig von Knotengradverteilung: O(nd 2 max ) Bester bekannter exakter Algorithmus: O(MM(n)) mit MM(N) n 2,373 Approximation des globalen CK in linearer Laufzeit (unter Annahmen) Approximation des durchschnittlichen lokalen CK in Laufzeit unabhängig von der Graphgröße 31 Henning Meyerhenke, Institut für Theoretische Informatik