Algorithmische Methoden zur Netzwerkanalyse Vorlesung 13, Henning Meyerhenke

Transkript

1 Algorithmische Methoden zur Netzwerkanalyse Vorlesung 13, Henning Meyerhenke 1 KIT Henning Universität desmeyerhenke: Landes Baden-Württemberg und nationales Algorithmische Forschungszentrum Methoden in der Helmholtz-Gemeinschaft zur Netzwerkanalyse

2 Inhalt Zerlegung von Graphen Das Problem des dünnsten Schnitts 2 Henning Meyerhenke:

3 Einführung Definition (SPARSESTCUT) Sei G = (V, E) ein Graph mit n Knoten und m Kanten Für eine nicht leere Menge S V bezeichne (S, S) die Menge der Kanten von G, die genau einen Endknoten in S haben (Schnitt) Ein dünnster Schnitt des Graphen G = (V, E) hat die Größe E(S, S) min S V, S V /2 S Das Berechnen des dünnsten Schnitts hat wichtige Anwendungen in der Theorie: Divide-and-Conquer-Algorithmen 3 Henning Meyerhenke:

4 Einführung Approximationsalgorithmen Wie Probleme zuvor ist SPARSESTCUT N P-schwer zu optimieren Bisher haben wir Heuristiken ohne Qualitätsgarantien betrachtet (oder zumindest keine Garantien hergeleitet) Nun: Approximationsalgorithmus 4 Henning Meyerhenke:

5 Einführung Approximationsalgorithmen Wie Probleme zuvor ist SPARSESTCUT N P-schwer zu optimieren Bisher haben wir Heuristiken ohne Qualitätsgarantien betrachtet (oder zumindest keine Garantien hergeleitet) Nun: Approximationsalgorithmus Definition Bezeichne Π ein Optimierungsproblem. Ein Algorithmus A heißt α-approximationsalgorithmus, wenn A zu jeder Instanz I von Π eine zulässige, aber nicht notwendigerweise optimale Lösung berechnet, so dass R A (I) α wobei R A (I) := A(I), falls Π Minimierungsproblem OPT (I) OPT (I) R A (I) :=, falls Π Maximierungsproblem A(I) Hier bezeichnet A(I) den Wert der Lösung, die A für I berechnet und OPT (I) ist der Wert einer optimalen Lösung für I. Der Faktor α ist die relative Güte von A. 4 Henning Meyerhenke:

6 Historie Approximationen für SPARSESTCUT und eng verwandte Probleme: Eigenvektor-basierte Ansätze mit Faktor-n-Approximation (Cheeger 70, Alon 85, Alon-Milman 85) O(log n)-approximation mit LP (Mehrgüter-Flüsse) von Leighton und Rao ( 88) Nun: Arora, Rao und Vazirani ( 04, 09): O( log n)-approximation in Polynomialzeit Neuere Techniken existieren (schneller, aber nicht mit besserer Güte) 5 Henning Meyerhenke:

7 Der ARV-Algorithmus [Arora, Rao und Vazirani] Kernidee: Einbettung der Knoten in einen abstrakten Raum, wobei die Kanten nicht zu sehr gedehnt werden dürfen, Partitionierung des Graphen durch Partitionierung des Raumes 6 Henning Meyerhenke:

8 Der ARV-Algorithmus [Arora, Rao und Vazirani] Kernidee: Einbettung der Knoten in einen abstrakten Raum, wobei die Kanten nicht zu sehr gedehnt werden dürfen, Partitionierung des Graphen durch Partitionierung des Raumes Vorgehensweise: Wir konstruieren ein semidefinites Programm (SDP) für SPARSESTCUT Die Lösung des SDP weist jedem Knoten i einen Punkt x i auf der Einheitskugel im R n zu Diese Lösung kann man als l 2 2 -Metrik ansehen: d(i, j) = x i x j 2 Ziel: Zuweisung finden, die die durchschnittliche Distanz zwischen allen Knotenpaaren groß macht, die durchschnittliche Distanz zwischen adjazenten Knoten aber klein Komplexität der Einbettung hängt von Metrik ab, für l 1 und l 2 N P-schwer, daher verwenden wir die l 2 2 -Norm 6 Henning Meyerhenke:

9 Der ARV-Algorithmus Vorgehensweise (Forts.) Das Haupttheorem besagt, dass man unter gewissen Voraussetzungen ein Paar von Teilmengen S, T X eines metrischen Raums X findet, so dass S, T = Ω(n) und 1 d(s, T ) = = Ω( ) log n Dann lässt sich d in l 1 mit durchschnittlicher Verzerrung O( log n) einbetten: Bilde jedes x X auf d(x, S) ab Hierdurch wird auf die Gerade R eingebettet Wähle für d in X die quadratische Euklidische Norm l Henning Meyerhenke:

10 Der ARV-Algorithmus Vorgehensweise (Forts.) Das Haupttheorem besagt, dass man unter gewissen Voraussetzungen ein Paar von Teilmengen S, T X eines metrischen Raums X findet, so dass S, T = Ω(n) und 1 d(s, T ) = = Ω( ) log n Dann lässt sich d in l 1 mit durchschnittlicher Verzerrung O( log n) einbetten: Bilde jedes x X auf d(x, S) ab Hierdurch wird auf die Gerade R eingebettet Wähle für d in X die quadratische Euklidische Norm l 2 2 Beim anschließenden Runden macht man nicht zu viel falsch 7 Henning Meyerhenke:

11 Der ARV-Algorithmus Vorgehensweise (Forts.) Um das Theorem zu beweisen, gibt man einen randomisierten Algorithmus mit zwei Phasen an, der die gewünschten Teilmengen S und T findet Phase 1: Wähle zufällig eine Hyperebene und teile X in zwei Punktmengen, die relativ weit (Θ(1/ log n)) von der Hyperebene entfernt liegen, jeweils auf unterschiedlichen Seiten Phase 2: Entferne wiederholt Paare von Punkten, die in den verschiedenen ( Hälften liegen und einander zu nah sind (näher als O 1 log n )) 8 Henning Meyerhenke:

12 Der ARV-Algorithmus Vorgehensweise (Forts.) Um das Theorem zu beweisen, gibt man einen randomisierten Algorithmus mit zwei Phasen an, der die gewünschten Teilmengen S und T findet Phase 1: Wähle zufällig eine Hyperebene und teile X in zwei Punktmengen, die relativ weit (Θ(1/ log n)) von der Hyperebene entfernt liegen, jeweils auf unterschiedlichen Seiten Phase 2: Entferne wiederholt Paare von Punkten, die in den verschiedenen ( Hälften liegen und einander zu nah sind (näher als O 1 log n )) Man erhält so zwei Mengen, die weit genug auseinander liegen Schwierigkeit: Zu zeigen, dass beide Mengen Ω(n) Punkte haben 8 Henning Meyerhenke:

13 Modellierung von SPARSESTCUT { } E(S, S) SC(G) = min : S V, S n S 2 { } ij E d(i, j) E(S, S) η(g) = min = d=δ S i,j d(i, j) S S Mit Indikatorvektor x ergibt sich: SC(G) nη(g) 2SC(G) η(g) = ij E (x i x j ) 2 min x i { 1,1} i,j (x i x j ) 2 Zur Erinnerung: ij E (x i x j ) 2 = x T Lx Klar: Optimierung von η(g) ist N P-schwer 9 Henning Meyerhenke:

14 Einheits-l 2 2 -Repräsentation Idee: Relaxierung mit Einheits-l 2 2 -Repräsentation Definition (l 2 2 -Repräsentation) Eine l 2 2-Repräsentation eines Graphen ist eine Zuweisung eines Punktes (Vektors) an jeden Knoten, etwa x i an Knoten i, so dass für alle i, j, k die Dreiecksungleichung gilt: x i x j 2 + x j x k 2 x i x k 2 Eine l 2 2 -Repräsentation heißt Einheits-l2 2 -Repräsentation, falls alle Punkte auf der Einheitskugel liegen, d. h. Länge 1 haben. 10 Henning Meyerhenke:

15 Relaxierung von SPARSESTCUT Relaxierung der x i von ganzen Zahlen aus der Menge { 1, 1} zu n-dimensionalen Einheitsvektoren: η (G) = ij E x i x j 2 min x i R n, x i 2 =1 i,j x i x j 2 Resultat: Semidefinites Programm (SDP): 1 min x i R n 4 x i x j 2 (1) ij E s.t. i x i 2 = 1 (Vektoren der Länge 1) (2) i, j, k x i x j 2 + x j x k 2 x i x k 2 (3) i<j x i x j 2 4c(1 c)n 2 (4) 11 Henning Meyerhenke:

16 Relaxierung von SPARSESTCUT (Forts.) Umformung in SDP durch passende Skalierung: min x i x j 2 (5) ij E s.t. i, j, k x i x j 2 + x j x k 2 x i x k 2 (6) i<j x i x j 2 = 1 (7) Durch die Dreiecksungleichungen werden die Lösungen auf l 2 2-Metriken beschränkt Durch die Länge 1 der gesuchten Vektoren (vorige Formulierung) liegen diese auf der Einheitskugel 12 Henning Meyerhenke:

17 Semidefinite Programmierung Definition Eine n n-matrix Y über R heißt genau dann positiv semidefinit, wenn gilt: x R n : x T Yx 0. Definition SEMIDEFINITES PROGRAMM SDP: optimiere C Y = c ij y ij i,j gemäß A k Y = a k,ij y ij b k i,j k, wobei Y = (y ij ) symmetrisch positiv semidefinit ist. Semidefinite Optimierung kann in Zeit O(poly(n, m, log( 1 ε )) mit absoluter Güte ε für beliebiges ε > 0 gelöst werden. 13 Henning Meyerhenke:

18 Fakten zur SDP Y ist genau dann symmetrisch positiv semidefinit, wenn es eine m n-matrix X gibt mit X T X = Y. Also: Y ij = x i, x j 14 Henning Meyerhenke:

19 Fakten zur SDP Y ist genau dann symmetrisch positiv semidefinit, wenn es eine m n-matrix X gibt mit X T X = Y. Also: Y ij = x i, x j Ist Y positiv semidefinit und symmetrisch, kann die obige Matrix X in Zeit O(n 3 ) mittels Cholesky-Zerlegung berechnet werden. Sind alle Diagonaleinträge einer symmetrisch positiv semidefiniten Matrix Y gleich 1, sind die Spalten der zugehörigen Matrix X Einheitsvektoren im R n. Wir betrachten den SDP-Löser einfach als Black Box, der die gewünschte Lösung in Polynomialzeit berechnet 14 Henning Meyerhenke:

20 Zusammenhang zwischen Schnitt und Lösung des SDP Jeder Schnitt (S, S) ergibt direkt eine offensichtliche Einheits-l 2 2 -Repräsentation: Allen Knoten in S wird ein Einheitsvektor v 0 zugewiesen Allen Knoten in S wird der Vektor v 0 zugewiesen 15 Henning Meyerhenke:

21 Zusammenhang zwischen Schnitt und Lösung des SDP Jeder Schnitt (S, S) ergibt direkt eine offensichtliche Einheits-l 2 2 -Repräsentation: Allen Knoten in S wird ein Einheitsvektor v 0 zugewiesen Allen Knoten in S wird der Vektor v 0 zugewiesen Für diese Zuweisung sind die Werte von η(g) und η (G) gleich Wichtige Beobachtung Es gilt immer: η (G) η(g) Grund: Jede zulässige Lösung für SPARSESTCUT ist auch eine zulässige Lösung für das SDP (Auffüllen des Vektors mit lauter Nullen) Es gibt aber für das SDP noch mehr zulässige Lösungen mit potentiell niedrigeren Zielfunktionswerten 15 Henning Meyerhenke:

22 Partitionierung von l 2 2 Große Mengen finden Definition Seien v 1, v 2,..., v n R n und 0. Zwei Mengen von Vektoren S und T heißen -separiert, wenn für jedes x i S, x j T gilt: x i x j 2. Wir benötigen zwei -separierte Mengen S, T linearer Größe, also d l 2 2 (S, T ) = min x i x j 2 i S,j T Wollen: = Ω((log n) 1/2 ) 16 Henning Meyerhenke:

23 Partitionierung von l 2 2 Haupttheorem Theorem (Haupttheorem) Für jedes c > 0 gibt es c, b > 0 derart, dass jede Einheits-l 2 2 -Repräsentation mit i<j x i x j 2 4c(1 c)n 2 und n Punkten -separierte Teilmengen S, T der Größe c n enthält, wobei = b/ log n Es gibt einen randomisierten Polynomialzeit-Algorithmus, der diese Teilmengen S und T findet Bemerkung: Der obige Wert für ist scharf. Beispiel: Hypercube { 1, 1} d (nächste Übung) 17 Henning Meyerhenke:

24 Der ARV-Algorithmus Zur Erinnerung Um das Theorem zu beweisen, gibt man einen randomisierten Algorithmus mit zwei Phasen an, der die gewünschten Teilmengen S und T findet Phase 1: Wähle zufällig eine Hyperebene und teile X in zwei Punktmengen, die relativ weit (Θ(1/ log n)) von der Hyperebene entfernt liegen, jeweils auf unterschiedlichen Seiten Phase 2: Entferne wiederholt Paare von Punkten, die in den verschiedenen Hälften liegen und einander zu nah sind (näher als O ( 1 log n )) 18 Henning Meyerhenke:

25 Transformation SDP Schnitt Approximationsfaktor Sei W = ij E x i x j 2 der optimale Wert für das SDP. Wissen: W = η (G) η(g) Wieviel verlieren wir durch das Runden der Lösung? 19 Henning Meyerhenke:

26 Transformation SDP Schnitt Approximationsfaktor Sei W = ij E x i x j 2 der optimale Wert für das SDP. Wissen: W = η (G) η(g) Wieviel verlieren wir durch das Runden der Lösung? Lemma Es gibt einen randomisierten Polynomialzeit-Algorithmus, der mit hoher Wkt. einen Schnitt findet, der c -balanciert ist und Größe O(W log n) hat. Definition Ein Schnitt (S, S) ist c -balanciert, falls sowohl S als auch S mindestens c V Knoten haben. 19 Henning Meyerhenke:

27 Beweis Approximationsfaktor Beweis. Der Algorithmus zum Haupttheorem liefert -separierte Mengen S und T für = b/ log n Bezeichne V 0 die Knoten, deren Vektoren in S liegen Assoziiere mit jeder Kante e = {i, j} eine Länge w e = x i x j 2 Also: W = e E w e 20 Henning Meyerhenke:

28 Beweis Approximationsfaktor Beweis. Der Algorithmus zum Haupttheorem liefert -separierte Mengen S und T für = b/ log n Bezeichne V 0 die Knoten, deren Vektoren in S liegen Assoziiere mit jeder Kante e = {i, j} eine Länge w e = x i x j 2 Also: W = e E w e S und T sind mindestens voneinander entfernt (bzgl. dieser Distanz) Bezeichne V s die Knoten mit Maximalabstand s von S 20 Henning Meyerhenke:

29 Beweis Approximationsfaktor (Forts.) Beweis. Wir erstellen einen Schnitt wie folgt: Ziehe eine Zufallszahl r zwischen 0 und Gebe den Schnitt (V r, V V r ) aus Weil S V r und T V V r, ist dies ein c -balancierter Schnitt 21 Henning Meyerhenke:

30 Beweis Approximationsfaktor (Forts.) Beweis. Wir erstellen einen Schnitt wie folgt: Ziehe eine Zufallszahl r zwischen 0 und Gebe den Schnitt (V r, V V r ) aus Weil S V r und T V V r, ist dies ein c -balancierter Schnitt Bezeichne E s die Menge der Kanten, die aus V s herausführen Weil V 0 = S c n: E s = E s V s V s E s V s c n 21 Henning Meyerhenke:

31 Beweis Approximationsfaktor (Forts.) Beweis. Wir erstellen einen Schnitt wie folgt: Ziehe eine Zufallszahl r zwischen 0 und Gebe den Schnitt (V r, V V r ) aus Weil S V r und T V V r, ist dies ein c -balancierter Schnitt Bezeichne E s die Menge der Kanten, die aus V s herausführen Weil V 0 = S c n: E s = E s V s V s E s V s c n Wir wollen nun die Größe des Schnitts beschränken Beitrag jeder Kante e = {i, j} zu E s im Intervall (s 1, s 2 ) s 1 = d(i, V 0 ), s 2 = d(j, V 0 ) Aus Dreiecksungleichung folgt: s 2 s 1 w e 21 Henning Meyerhenke:

32 Beweis Approximationsfaktor (Forts.) Beweis. W = e w e s=0 E s ds Also: Der erwartete Wert von E s über dem Intervall [0, ] ist höchstens W / 22 Henning Meyerhenke:

33 Beweis Approximationsfaktor (Forts.) Beweis. W = e w e s=0 E s ds Also: Der erwartete Wert von E s über dem Intervall [0, ] ist höchstens W / Der Algorithmus berechnet daher einen Schnitt mit Größe höchstens 2W / mit Wkt. mindestens 1/2 2W / = O(W log n) 22 Henning Meyerhenke:

34 Beweis Approximationsfaktor (Forts.) Beweis. W = e w e s=0 E s ds Also: Der erwartete Wert von E s über dem Intervall [0, ] ist höchstens W / Der Algorithmus berechnet daher einen Schnitt mit Größe höchstens 2W / mit Wkt. mindestens 1/2 2W / = O(W log n) Schließlich: W = η (G) η(g) W log n η(g) log n 22 Henning Meyerhenke:

35 Zusammenfassung ARV Approximation von Graphzerlegungen SPARSESTCUT ist strukturell eng verwandt mit anderen besprochenen Problemstellungen Relaxierung hier mit SDP statt mit Eigenvektorproblem Viel komplexer in der Laufzeit, aber mit besserer Qualitätsschranke ARV-Algorithmus ist wichtiger Beitrag zur Approximation von Partitionierungsproblemen Aus Zeitgründen in der Vorlesung nicht vollständig Literaturhinweis Sanjeev Arora, Satish Rao, Umesh V. Vazirani: Expander flows, geometric embeddings and graph partitioning. J. ACM 56(2): (2009) 23 Henning Meyerhenke: