Algorithmische Methoden zur Netzwerkanalyse

Transkript

1 Algorithmische Methoden zur Netzwerkanalyse Juniorprof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische Informatik nationales Algorithmische Forschungszentrum Methoden in der Helmholtz-Gemeinschaft zur Netzwerkanalyse

2 Vorlesungen 20 und 21 Programm: Epidemien in Netzwerken Verzweigungsprozess SI*-Modelle Optimierung der Reaktion auf Cyberattacken Zusammenfassung der Vorlesung 2 Henning Meyerhenke, Institut für Theoretische Informatik

3 Inhalt Einführung Krankheits- und Netzwerkmodelle Zusammenfassung 3 Henning Meyerhenke, Institut für Theoretische Informatik Einführung

4 Einleitung und Motivation Modellierung von Krankheitsausbrüchen wichtiges Anwendungfeld Reale Epidemien SARS EHEC AIDS... Computerschädlinge Viren Würmer... Bildnachweis: Henning Meyerhenke, Institut für Theoretische Informatik Einführung

5 Verwandte Prozesse Randomisiertes Broadcasting Aktualisierung verteilter Datenbanken Ausbreitung von Informationen, z. B. Ideen oder Tratsch Alles Prozesse, die in Netzwerken passieren 5 Henning Meyerhenke, Institut für Theoretische Informatik Einführung

6 Ein erster Modellierungsansatz Verzweigungsprozesse Simples Modell Verzweigungsprozess: (Erste Welle) Eine infizierte Person erreicht eine Population und gibt die Krankheit an jede kontaktierte Person mit Wkt. p weiter. Notation: k Personen werden kontaktiert (Zweite Welle) Jede der k Personen trifft nun wiederum k Personen. Man erhält also eine zweite Welle von k 2 Personen. Weitergabe bei Infektion mit Wkt. p Weitere Wellen analog Erzeugt Baum (Annahme: Kontakte sind jeweils disjunkt) Der Ausbreitungsgrad hängt von k p ab 6 Henning Meyerhenke, Institut für Theoretische Informatik Einführung

7 Verzweigungsprozess [D. Easley, J. Kleinberg: Epidemics. Ch. 21 of Networks, Crowds, and Markets...] 7 Henning Meyerhenke, Institut für Theoretische Informatik Einführung

8 Einfluss der Reproduktionszahl Wird in einer Welle niemand neu infiziert, dann stirbt der Prozess aus Entweder Abbruch oder unendliche Fortsetzung Abhängig von Reproduktionszahl R 0 : Erwartete Zahl neuer Fälle, die durch eine einzelne Person hervorgerufen werden In unserem Modell: R 0 = pk Theorem Falls R 0 < 1, dann stirbt die Krankheit mit Wkt. 1 nach endlich vielen Schritten. Falls R 0 > 1, dann bleibt die Krankheit mit Wkt. größer als 0 erhalten und infiziert in jeder Welle mindestens eine Person. 8 Henning Meyerhenke, Institut für Theoretische Informatik Einführung

9 Inhalt Einführung Krankheits- und Netzwerkmodelle Zusammenfassung 9 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

10 Modellierung Verschiedene Krankheitsmodelle: SI: susceptible (anfällig) und infected (infiziert) SIR: S, I und recovered (geheilt) SIS: S, I und wieder S SIRS: S, I, R und wieder S Übertragungsrate β (Wkt. der Übertragung bei Kontakt in einem Zeitschritt) Kommt auf die Krankheit und weitere Umstände an, welches Modell besser passt 10 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

11 Grenzbetrachtungen SI n Knoten O(1) Knoten zum Zeitpunkt t = 0 infiziert, der Rest anfällig Mit Wkt. β pro Zeitschritt geben infizierte Knoten die Krankheit an ihre anfälligen Nachbarn weiter SI: Für allgemeine Graphen schwierig lösbar, Rückgriff auf Computer-Simulationen Grenzwertbetrachtungen (t ) aber möglich Klar: Jeder, der infiziert werden kann (ZHK), wird irgendwann infiziert (falls β > 0) ZHK des anfangs infizierten Knoten bestimmt Infektionsgrad 11 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

12 Grenzbetrachtungen SIR SIR birgt interessantere Eigenschaften (im Vgl. zu SI) Individuen bleiben nur für eine bestimmte Zeit τ (fix) infektiös Sie geben die Krankheit danach nicht mehr weiter (entweder wegen Immunität oder Tod) ZHK wird nicht zwangsläufig vollständig infiziert Betrachten wir im Folgenden zeitabhängige Eigenschaften von SIR 12 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

13 Zeitabhängigkeit bei SIR Modellbeschreibung s i : Wkt., dass Knoten i empfänglich ist x i : Wkt., dass Knoten i infiziert ist r i : Wkt., dass Knoten i geheilt ist Heilungsrate γ: Wkt. pro Zeitschritt, dass ein Infizierter geheilt wird Wkt. für Heilung in Zeitintervall der Länge δτ: γδτ Wkt., dass ein Individuum nach Gesamtzeit τ noch infiziert ist: lim (1 δτ 0 γδτ)τ/δτ = e γτ Wkt., dass ein Individuum so lange infiziert ist und im Intervall [τ, τ + dτ] geheilt wird: p(τ)dτ = γe γτ dτ Schnelle Heilung wahrscheinlich (aber nicht sicher): Realistisch? 13 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

14 Zeitabhängigkeit bei SIR Die Veränderung der ersten drei Wkt. lässt sich approximieren durch: Empfänglich (S): ds i dt = βs i A ij x j j Infiziert (I): dx i dt dr Geheilt (R): i = γx dt i s i + x i + r i = 1 ) = βs i ( A ij x j γx i j 14 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

15 Zeitabhängigkeit bei SIR Infektionsgeschwindigkeit Seien zum Zeitpunkt t = 0 insgesamt c = O(1) Individuen infiziert Also: s i (0) =... Also: x i (0) =... Also: r i (0) =... Also: s i (0) = 1 c/n Also: x i (0) = c/n Also: r i (0) = 0 Exakte analytische Lösung der Differentialgleichungen nicht möglich Näherung für Veränderung von x i für t 0 und n ( s i 1): ( ) dx i = β dt A ij x j γx i = (βa ij γδ ij )x j, j j mit δ ij als Kronecker-Delta Matrix-Schreibweise: dx = βmx mit M = A γ β I 15 Henning Meyerhenke, Institut für Theoretische Informatik dt Krankheits- und Netzwerkmodelle

16 Zeitabhängigkeit bei SIR Infektionsgeschwindigkeit (Forts.) Beobachtung: M = A γ β I hat die gleichen Eigenvektoren wie A Die Eigenwerte sind um γ/β verschoben Darstellung des Vektors x(t) anhand der Eigenvektoren v r : x(t) = n a r (0)v r e (βκ r γ)t r=1 Der Exponent hängt von β, den Eigenwerten κ r und γ ab Am schnellsten wächst der erste Summand wegen κ 1 Wenn der erste Summand über die Zeit verschwindet, dann auch all die anderen Individuen mit hoher EVZ werden schnell infiziert 16 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

17 Zeitabhängigkeit bei SIR Diskussion Der epidemische Grenzwert unseres Modells wird erreicht für: βκ 1 γ = 0 β γ = 1 κ 1 Der epidemische Grenzwert hängt vom führenden Eigenwert ab Ist der führende Eigenwert klein, muss β groß oder γ klein sein, damit die Krankheit sich gut ausbreiten kann Intuitiv ergibt das Sinn: Ein kleiner Wert für κ 1 bedeutet tendentiell eine eher dünn besetzte Adjazenzmatrix Unsere Rechnungen waren nur Approximationen Dennoch zeigen sie einen Zusammenhang zwischen Spektrum, Netzwerkeigenschaften und Ausbreitungsgeschwindigkeiten Übertragung auf den Entwurf technischer Netze!?! 17 Henning Meyerhenke, Institut für Theoretische Informatik Krankheits- und Netzwerkmodelle

18 Inhalt Einführung Krankheits- und Netzwerkmodelle Zusammenfassung 18 Henning Meyerhenke, Institut für Theoretische Informatik

19 Modell für Cyberattacken: SIS Computernetzwerk: Anfällig, heilbar, wieder anfällig,... SIS: Zwei Zustände, S und I Diskussion: Wie modellieren Sie einen Angriff, wie reagieren Sie? Mögliche Abwehr-/Säuberungs-Strategien: Netzwerkverbindungen umleiten Antivirus-Software aktualisieren Impfen von Individuen (Computer: Patches) Kernfrage hier: Welche Knoten ausschalten, um Netzwerk zu säubern? Literaturhinweis S. Leyffer, I. Safro: Fast response to infection spread and cyber attacks on large-scale networks. Journal of Complex Networks, vol. 1, no. 2, pp , Henning Meyerhenke, Institut für Theoretische Informatik

20 SIS Kenngrößen auf einen Blick S: Zahl der anfälligen (= empfänglichen) Knoten I: Zahl der infizierten Knoten β: Übertragungsrate (wird gleich ersetzt...) γ: Heilungsrate φ i,t : Wkt., dass Knoten i im Zeitpunkt t infiziert ist di dt ds dt = λs γi = γi λs λ = β k I/(S + I): durchschnittliche Infektionsrate k : Durchschnittlicher Knotengrad 20 Henning Meyerhenke, Institut für Theoretische Informatik

21 Anpassungen Infektionsmatrix statt konstanter Rate Eine feste Infektionsrate ist oft unrealistisch Infektionsmatrix P n n = (p ij ) p ij : Wkt., dass i von j infiziert wird h i,t : Wkt., dass gesunder Knoten i zum Zeitpunkt t nicht infiziert ist: h i,t = Π j N(i) (1 p ij φ j,t 1 ) Optimierungsproblem: Maximiere die (gewichtete) Zahl der Kanten, die angeschaltet bleiben Halte gleichzeitig den Infektionsgrad an jedem Knoten klein 21 Henning Meyerhenke, Institut für Theoretische Informatik

22 Optimierungsmodell Netzwerk G = (V, E, w) w(u, v): Stärke der Verbindung (u, v), z. B. Zahl ihrer Benutzer Annahme: Wkt. der Infektion in einer Nachbarschaft unabhängig x i : gibt an, ob Knoten i normal funktioniert oder ausgeschaltet ist b i : Grenzwert für Infektionsgrad eines Knotens i Optimierungsproblem für unser Modell: max x w ij x i x j ij E udnb x i Π j N(i) (1 p ij φ j,t 1 x j ) b i i V (2) (1) x i {0, 1} i V. (3) Nicht-konvexes nichtlin. IP: Finden einer optimalen Lösung N P-schwer 22 Henning Meyerhenke, Institut für Theoretische Informatik

23 Lösen schwieriger Opt.probleme Exakte und heuristische Verfahren: Branch-and-reduce (Meta)Heuristiken Aufgabe: Nennen Sie Beispiele, Vor- und Nachteile! Hier: Mehrebenen/-skalen-Ansatz! Abgekupfert von numerischen Lösern: AMG Ziel: Große Netzwerke mit Hunderttausenden von Knoten 23 Henning Meyerhenke, Institut für Theoretische Informatik

24 Multilevel-Methode Sinn: Relevante Information auf verschiedenen Skalen einsammeln Normalerweise anwendbar auf sehr große Probleme Zutaten: 1. Vergröberung 2. Initiale Lösung 3. Entgröberung und lokale Verbesserung 4. Lösungszyklen 24 Henning Meyerhenke, Institut für Theoretische Informatik

25 Vergröberung Drei Phasen: Knoten des groben Graphen auswählen (C-Knoten) Interpolationsgewichte festlegen (zwischen C- und F-Knoten) Daraus Kanten des groben Graphen (und deren Gewichte) bestimmen Wichtig bei der Methode in den Phasen: Man muss wissen, wie nah sich zwei Knoten auf der feinen Ebene sind Entscheidend in unserem Kontext, denn: Kantengewichte können verrauscht sein Gesamte Nachbarschaft muss in Betracht gezogen werden 25 Henning Meyerhenke, Institut für Theoretische Informatik

26 Algebraische Distanz Näheberechnung in komplexen Netzwerken Idee: Random Walks können dichte Regionen identifizieren Verschiedene Möglichkeiten der Definition eines Random Walks Schwierigkeit: Passende Länge eines Random Walks Alg. Distanz in p-norm 26 Henning Meyerhenke, Institut für Theoretische Informatik

27 Vergröberung Wahl der C-Knoten Zwei Mengen: F, C Initial: F = V, C = Bestimme Kandidaten für C, z.b. als unabhängige Menge Traversiere V, um Knoten für C auszuwählen Reihenfolge: Knoten mit hohen Infektionswerten φ i zuerst (exakte Sortierreihenfolge nicht notwendig) Knoten i wird zu C hinzugefügt, falls j C mit θ = 0.5 als Standardwert ϱ 1 ij / ϱ 1 ij θ j V Kleinere Werte für θ vergröbern schwächer mehr Ebenen, potentiell bessere Ergebnisse, auf jeden Fall höherer Speicher- und Rechenaufwand 27 Henning Meyerhenke, Institut für Theoretische Informatik

28 Vergröberung Interpolationsgewichte und grober Graph Restriktionsmatrix R R V f C Interpolationsmatrix R T ϱ 1 Eintrag Rij T ij / k N C (i) ϱ 1 ik für i F, j N C (i) = 1 für i C, j = i 0 sonst Zu kleine Werte auf 0 setzen Jeder F-Knoten muss gut interpolierbar sein Laplacematrix L f des feinen Graphen Laplacematrix L c des groben Graphen L c = RL f R T Grobes Kantengewicht: W IJ = k =l R Ik w kl R T lj Skizze: Siehe Tafel! 28 Henning Meyerhenke, Institut für Theoretische Informatik

29 Initiale Lösung Wenn Problem klein genug: Exakten Löser anwenden (bspw. MINOTAUR) Grobes Problem: max X W IJ X I X J + A I X I (5) IJ E c I V c udnb X I Π J N(I) (1 P IJ Φ J,t 1 X J ) B I I V c (6) X I {0, 1} I V c. (7) Unterschiede zum feinen Problem: Iteration über grobe Variablenmengen Linearer Term I Vc A I X I, beschreibt feine Kanten innerhalb eines groben Knotens 29 Henning Meyerhenke, Institut für Theoretische Informatik

30 Entgröberung und lokale Verbesserung Prolongation der Lösung auf die nächstfeinere Ebene: 1. Zuerst C-Knoten, 2. dann F-Knoten 3. Lokale Suche zur Verbesserung der Lösung auf der aktuellen Ebene 1. C-Knoten: x i = X I 2. F-Knoten: Normalerweise Interpolation gemäß Matrix R T, hier Extra-Routine zur Maximierung des Beitrags zur ZF 3. Initiale Lösung wird durch Gauss-Seidel-ähnliche Relaxierung verbessert Ziel bei 3: Gemeinsame Verbesserung der Lösung für genügend kleine Teilmengen von Variablen Lokalisierte Verbesserungs-Routine 30 Henning Meyerhenke, Institut für Theoretische Informatik

31 Lokalisierte Verbesserung Löse kleine Teilprobleme unabhängig voneinander Fixierte Randbedingungen für die Knoten, die nicht zum TP S gehören Hoher Grad an Parallelität in diesem Schritt Nachteil: Teilprobleme hängen in der Realität voneinander ab max x i,j S w ij x i x j + i S,j / S w ij x i x j + a i x i (8) i S udnb x i k i Π j N(i) S (1 p ij φ j,t 1 x j ) b i i V (9) x i {0, 1} i V, (10) wobei x j eine feste Lösung für j / S und k i = Π j N(i) S (1 p ij φ j,t 1 x j ) sind. 31 Henning Meyerhenke, Institut für Theoretische Informatik

32 Lösungszyklen V-Zyklus W-Zyklus FMV-Zyklus Diskussion Vor- und Nachteile 32 Henning Meyerhenke, Institut für Theoretische Informatik

33 Viele Teile ergeben ein Ganzes... Zutaten: 1. Vergröberung 2. Initiale Lösung 3. Entgröberung und lokale Verbesserung 4. Lösungszyklen 33 Henning Meyerhenke, Institut für Theoretische Informatik

34 Experimentelle Ergebnisse [Leyffer and Safro, p. 8ff.] Kleine Netzwerke (auf denen man exakte Lösungen ausrechnen kann): Erdös-Renyi Barabasi-Albert R-MAT 70 Knoten, 350 Kanten Ca. 50% optimal gelöst, die übrigen über 90% Ratio between MA and optimal solution FAST RESPONSE TO INFECTION SPREAD Networks ordered by ratios Fig. 3.Comparisonwithoptimalsolutionsfor200smallnetworks.Eachpointrepresentsaratiobetw Abbildung: Vergleich mit optimaler Lösung für and optimal solutions, respectively, for one network. Solutions of MA are feasible. Circles, squares, a Erdös-Rényi, R-MAT, and Barabasi-Albert 200 kleine models, Netzwerke respectively. (ER schwarz, R-MAT rot, BA grün) 34 Henning Meyerhenke, Institut für Theoretische Informatik

35 Experimentelle Ergebnisse HIV-Netzwerk, [Leyffer and Safro, p. 8ff.] Graphen mit 250 Knoten 100-fach randomisiert vervielfältigt 100 Graphen ergeben einen großen (s. Bild) 5% initial mit hohem Ansteckungsgrad (φ i [0.8, 1]) 5 Iterationen des Ausbruchsprozesses 1 V-Zyklus, 5 Verbesserungsiterationen auf der feinsten Ebene Ratio between MA and o Networks ordered by ratios Fig. 3.Comparisonwithoptimalsolutionsfor200smallnetworks.Eachpointrepresentsaratiobetweenth and optimal solutions, respectively, for one network. Solutions of MA are feasible. Circles, squares, and tria Erdös-Rényi, R-MAT, and Barabasi-Albert models, respectively. Ergebnis: Multilevel-Ansatz mit wenigen Iterationen besser als ILS Fig. 4. Infection spread network ( V =25,090, E =28,284) constructed by sparse random connections am networks that are similar to real HIV spread data. contains a network with 250 vertices, where each vertex corresponds to an individual. W similar networks by using a multiscale network generator [32] andconnectedthemby edges in order to create one big network (see Fig. 4). We simulated an immediate 35 Henning Meyerhenke, Institut für Theoretische Informatik infection in which initially 5% of vertices were associated with high level of infection (φ each edge had the same rate of infection transmission. Then five iterations of the infect

36 Problembezogenes Fazit Schwieriges Optimierungsproblem mit Anwendung in der Netzwerksicherheit Exakte Löser viel zu langsam für große Probleme Mehrgitter-Verfahren sehr effektiv Experimentelle Ergebnisse zeigen hohe Qualität Metaheuristik ILS kann nicht mithalten Im Ernstfall zügige Entscheidung möglich, welche Knoten offen bleiben, welche nicht 36 Henning Meyerhenke, Institut für Theoretische Informatik

37 Fazit zur Multilevel-Methode Gängiges Optimierungsverfahren für (große) kombinatorische Probleme Kompromiss aus Laufzeit und Qualität bei großen Problemen meist sehr gut Schwäche lokaler Suchverfahren wird ausgebügelt Stärke (hohe Geschwindigkeit) im Wesentlichen beibehalten 37 Henning Meyerhenke, Institut für Theoretische Informatik

38 Agenda (Skizze) Eigenschaften von Netzwerken: Gradverteilung (Power-law) k-kern-zerlegung Cluster-Koeffizienten Zusammenhang Durchmesser Eigenschaften von (Knoten)Paaren: Paarweise kürzeste Wege Zentralitätsmaße Netzwerkmodelle: Gradfolgen (Existenz und Realisierung) Zufallsgraphen Clusteranalyse: ZF Modularität, Quotientenkriterium Komplexität Verschiedene Algorithmentypen Epidemien in Netzwerken: Verzweigungsmodell SI, SIR, SIRS Eindämmung von Infektionen 38 Henning Meyerhenke, Institut für Theoretische Informatik Zusammenfassung

39 Thematische Zusammenhänge (Beispiele) Konstruktion von Graphen: Gradfolgen Zufallsgraphen Eigenschaften von Knoten: Zentralitätsmaße Cluster-Koeffizienten Verbindung EV-Zentralität - Krankheitsausbreitung Implementierung: Bucket-Datenstruktur Eigenvektor-Berechnung Kürzeste Wege, Zentralität Grapheigenschaften: ZHK Kürzeste Wege, Durchmesser k-kern-struktur Cluster-Struktur Methoden: Numerische Algorithmen Kombinatorische Algorithmen Probabilistische Analysen Relaxierung, Approximation Greedy-Algorithmen Multilevel-Algorithmen Reduktion 39 Henning Meyerhenke, Institut für Theoretische Informatik Zusammenfassung

40 Zum Abschluss Prüfungsrelevantes: Bonus (ja/nein) wird noch vor der Prüfung mitgeteilt Vorbereitungstermin am (Raumbekanntgabe per Mailingliste) Vielen Dank für Ihre Mitarbeit! Abschlussarbeiten: Persönliche Nachfrage 40 Henning Meyerhenke, Institut für Theoretische Informatik Zusammenfassung