Algorithmen II Vorlesung am

Transkript

1 Algorithmen II Vorlesung am..03 Randomisierte Algorithmen INSTITUT FÜR THEORETISCHE INFORMATIK PROF. DR. DOROTHEA WAGNER KIT Universität des Landes Baden-Württemberg und Algorithmen nationales Forschungszentrum II Wintersemester 03/04 in der Helmholtz-Gemeinschaft

2 Definition Definition 8.: Ein Algorithmus, der im Laufe seiner Ausführung zufällige Entscheidungen trifft, heißt randomisierter Algorithmus. Bekanntes Beispiel: Quicksort < p p < Eingabe: Unsortierte Liste Laufzeit: Schlimmster Fall: Θ(n ). p. Schritt Wähle Element zufällig. Zu erwartende Laufzeit: O(n log n). Schritt: Umsortieren p p 3. Schritt: Rekursives Vorgehen auf Teilmengen Bemerkung: Algorithmus liefert immer korrektes Ergebnis. Algorithmen II Wintersemester 03/04

3 Arten von randomisierten Algorithmen LAS VEGAS ALGORITHMUS < p p < Liefert immer korrektes Ergebnis. Laufzeit variiert. Beispiel: Quicksort Eingabe: Unsortierte Liste p. Schritt Wähle Element zufällig.. Schritt: Umsortieren p p 3. Schritt: Rekusives Vorgehen auf Teilmengen MONTE CARLO ALGORITHMUS (Eselsbrücke: mostly correct) Kann auch falsches Ergebnis liefern. Betrachte Wahrscheinlichkeit für Fehler. Für Entscheidungsproblem, d.h. nur JA/NEIN-Antwort möglich, gibt es zwei Arten: beidseitig: Für beide möglichen Antworten gibt es Wahrscheinlichkeit > 0, dass Antwort falsch ist. einseitig: Für eine der beiden Antworten ist Wahrscheinlichkeit gleich Null, dass Antwort fehlerbehaftet ist. Beispiel: Die Antwort JA ist immer richtig, die Antwort NEIN kann auch falsch sein. Algorithmen II Wintersemester 03/04

4 Wahrscheinlichkeitsklassen Die Klasse RP (randomisiert polynomial) enthält alle Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I von Π gilt: { I Y Π Pr[A(I) ist JA ] I / Y Π Pr[A(I) ist JA ] = 0 Die Klasse PP (probabilistic polynomial) enthält alle Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I gilt: { I Y Π Pr[A(I) ist JA ] > I / Y Π Pr[A(I) ist JA ] < Die Klasse BPP (bounded error PP) ist die Klasse der Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I gilt: { I Y Π Pr[A(I) ist JA ] 3 4 I / Y Π Pr[A(I) ist JA ] 4 Y Π ist die Menge der sogenannten JA-Beispiele von Π. Dabei entspricht Pr[A(I) ist JA ] der Wahrscheinlichkeit, dass die Antwort, die A bei der Eingabe von I gibt, JA ist. Algorithmen II Wintersemester 03/04

5 Wahrscheinlichkeitsklassen Die Klasse RP (randomisiert polynomial) enthält alle Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I von Π gilt: { I Y Π Pr[A(I) ist JA ] I / Y Π Pr[A(I) ist JA ] = 0 Y Π ist die Menge der sogenannten JA-Beispiele von Π. einseitiger Monte Carlo Algorithmus Die Klasse PP (probabilistic polynomial) enthält alle Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I gilt: { I Y Π Pr[A(I) ist JA ] > I / Y Π Pr[A(I) ist JA ] < beidseitiger Monte Carlo Algorithmus Die Klasse BPP (bounded error PP) ist die Klasse der Entscheidungsprobleme Π, für die es einen polynomialen, randomisierten Algorithmus A gibt, so dass für alle Instanzen I gilt: { I Y Π Pr[A(I) ist JA ] 3 4 I / Y Π Pr[A(I) ist JA ] 4 beidseitiger Monte Carlo Algorithmus Dabei entspricht Pr[A(I) ist JA ] der Wahrscheinlichkeit, dass die Antwort, die A bei der Eingabe von I gibt, JA ist. Algorithmen II Wintersemester 03/04

6 Monte Carlo Algorithmus für MinCut Algorithmen II Wintersemester 03/04

7 Problemdefinition Fasse G = (V, E) mit Kantengewichtsfunktion c : E N als Multigraph auf, d.h. für {u, v} E gibt es c({u, v}) Kanten: 3 Problem MINCUT: Sei G = (V, E) mit c : E N ein solcher Multigraph. Gesucht ist eine Partition V und V von V, sodass minimal ist. cutsize(v, V ) := {{u, v} E u V und v V } Algorithmen II Wintersemester 03/04

8 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück Algorithmen II Wintersemester 03/04

9 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück., Algorithmen II Wintersemester 03/04

10 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück., 4 8 5, Algorithmen II Wintersemester 03/04

11 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück., 4 5, Algorithmen II Wintersemester 03/04

12 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück., 4, 8 5, Algorithmen II Wintersemester 03/04

13 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück., 4, 8 5, 7, 3 6 Algorithmen II Wintersemester 03/04

14 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück Algorithmen II Wintersemester 03/04

15 Algorithmus RANDOM MINCUT Eingabe: Multigraph G = (V, E) Ausgabe: Schnitt in Form eines Graphen mit zwei Superknoten solange V > tue e zufällige Kante in E Bilde neuen Graph G = (V, E), der entsteht, wenn die Endknoten von e verschmolzen werden und alle Kanten zwischen Endknoten von e entfernt werden Gebe V zurück Algorithmen II Wintersemester 03/04

16 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n Algorithmen II Wintersemester 03/04

17 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Algorithmen II Wintersemester 03/04

18 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Idee: Schätze Wahrscheinlichkeit ab, dass keine Kante aus (V, V ) gewählt wird. Ereignis: A i = im i-ten Schritt wird keine Kante aus (V, V ) gewählt. Algorithmen II Wintersemester 03/04

19 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Idee: Schätze Wahrscheinlichkeit ab, dass keine Kante aus (V, V ) gewählt wird. Ereignis: A i = im i-ten Schritt wird keine Kante aus (V, V ) gewählt. Pr[A ] n = n n Denn: Wahrscheinlichkeit, dass im ersten Schritt Kante aus (V, V ) gewählt wird: k k n Algorithmen II Wintersemester 03/04

20 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Idee: Schätze Wahrscheinlichkeit ab, dass keine Kante aus (V, V ) gewählt wird. Ereignis: A i = im i-ten Schritt wird keine Kante aus (V, V ) gewählt. Pr[A ] n = n n Pr[A A ] n = n 3 n Es verbleiben mindestens k (n ) Kanten. Pr[Im zweiten Schritt wird Kante aus (V, V ) gewählt, nachdem A eingetreten ist] k k (n ) Algorithmen II Wintersemester 03/04

21 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Idee: Schätze Wahrscheinlichkeit ab, dass keine Kante aus (V, V ) gewählt wird. Ereignis: A i = im i-ten Schritt wird keine Kante aus (V, V ) gewählt. Pr[A ] n = n n Pr[A A ] Pr[A i n = n 3 n i j= A j ] n i+ = n i n i+ Es verbleiben mindestens k (n i+) Kanten. Pr[ A,..., A i sind eingetreten und i-ter Schritt wählt Kante aus (V, V )] k k (n i+) Algorithmen II Wintersemester 03/04

22 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Beweis: Sei (V, V ) beliebiger minimaler Schnitt mit k Kanten. 8 7 Jeder Knoten bestizt mind. Grad k. G hat mind. k n Kanten Pr Idee: Schätze Wahrscheinlichkeit ab, dass keine Kante aus (V, V ) gewählt wird. Ereignis: A i = im i-ten Schritt wird keine Kante aus (V, V ) gewählt. Pr[A ] Pr[A A ] Pr[A i i j= A j ] [ n i= A i ] n i= n = n n n = n 3 n n i+ = n i n i+ ( ) n i n i + = (n ) (n 3) (n 4) (n 5)... (n 0) (n ) (n ) (n 3) = n (n ) Algorithmen II Wintersemester 03/04

23 Qualität von RANDOM MINCUT Satz 8.7. Wenn jede Kante mit gleicher Wahrscheinlichkeit gewählt wird, dann ist die Wahrscheinlichkeit das RANDOMMINCUT einen bestimmten minimalen Schnitt (V, V = V \ V ) findet größer n, wobei V = n. Folgerung 8.8. Wendet man RANDOM MINCUT nur n l Schritte lang an, d.h. man stoppt, wenn l Knoten übrig sind, so ist die Wahrscheinlichkeit, dass bis dahin keine Kante eines bestimmten minimalen Schnitts (V, V ) gewählt wurde, mindestens ( l ( ( ) ) ( ) l n, d.h. in Ω. ) n Pr [ n l i= A i ] n l i= ( ) n i n i + = (n ) (n 3) (n 4)... l (l ) (n 0) (n ) (n )... (l + ) (l + ) = ( l ) ( n ) Algorithmen II Wintersemester 03/04

24 Zusammenfassung Wenn Wahl einer zufälligen Kante in O(n) realisierbar, dann hat der Algorithmus eine Laufzeit von O(n ). Bessere Laufzeit als deterministische Variante (O(n log n + n m)), siehe Skript. Wendet man RANDOM MINCUT n sich: Pr[Bestimmter Schnitt nicht gefunden] = mal unabhängig voneinander an, so ergibt ( n ) n < e Allerdings O(n 4 )-Algorithmus Schlechter als deterministische Variante. Eulersche Zahl Algorithmen II Wintersemester 03/04

25 Ein effizienterer randomisierter MinCut-Algorithmus Algorithmen II Wintersemester 03/04

26 Fast Random MinCut Eingabe: Graph G = (V, E) als Multigraph, V = n Ausgabe: Schnitt wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

27 Fast Random MinCut Eingabe: Graph G = (V, E) als Multigraph, V = n Ausgabe: Schnitt wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) B C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Satz 8.9: FAST RANDOM MINCUT hat eine Laufzeit O(n log n). Beweis: Laufzeit T (n) ergibt sich aus folgender Rekursionsabschätzung: ( ) n T (n) = T + c n }{{} wobei c eine Konstante ist. }{{} A B Kann mithilfe des Master-Theorems gelöst werden. A Algorithmen II Wintersemester 03/04

28 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

29 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

30 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. FRMC liefert minimalen Schnitt für G Rekursion liefert Schnitt der Größe k für G oder G Ebenfalls minimaler Schnitt für G. wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

31 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

32 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) ( l P ( )) l P für l 7 (für l 6 gilt P(l)) = ) wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

33 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) ( l P ( )) l P für l 7 (für l 6 gilt P(l)) = ) Pr[G enthält alle Kanten von min. Schnitt in G] Pr[FRMC findet min. Schnitt C in G ] Algorithmen II Wintersemester 03/04 wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus.

34 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) ( l P ( )) l P für l 7 (für l 6 gilt P(l)) = ) Pr[G enthält alle Kanten von min. Schnitt in G] Pr[FRMC findet min. Schnitt C in G ] Pr[C ist min. Schnitt in G] Algorithmen II Wintersemester 03/04 wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus.

35 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) ( l P ( )) l P für l 7 (für l 6 gilt P(l)) = ) Pr[G enthält alle Kanten von min. Schnitt in G] Pr[FRMC findet min. Schnitt C in G ] Pr[C ist min. Schnitt in G] Pr[C ist nicht min. Schnitt in G] Pr[C ist nicht min. Schnitt in G] Algorithmen II Wintersemester 03/04 (Analog wie C ) wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus.

36 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) ( l P ( )) l P für l 7 (für l 6 gilt P(l)) = ) Pr[G enthält alle Kanten von min. Schnitt in G] Pr[FRMC findet min. Schnitt C in G ] Pr[C ist min. Schnitt in G] Pr[C ist nicht min. Schnitt in G] Pr[C ist nicht min. Schnitt in G] Pr[C oder C ist min. Schnitt in G] Algorithmen II Wintersemester 03/04 (Analog wie C ) wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus.

37 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) l ( ) l P = P ( ) l 4 P wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus. Algorithmen II Wintersemester 03/04

38 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) l ( ) l P = P ( ) l 4 P Für l = k+ folgt ) ( ( ) ) k P ( k+ P 4 ( ( ) ) k P Algorithmen II Wintersemester 03/04 wenn n 6 dann berechne direkt deterministisch einen MINCUT sonst l n G RANDOM MINCUT(bis l Knoten übrig) G RANDOM MINCUT(bis l Knoten übrig) C FAST RANDOM MINCUT(G ) (rekursiv) C FAST RANDOM MINCUT(G ) (rekursiv) Gib den kleineren der beiden Schnitte C und C aus.

39 Fast Random MinCut (FRMC) ( ) Satz 8.0: Wahrscheinlichkeit, dass FRMC einen minimalen Schnitt findet, ist in Ω log n. Beweisskizze: Sei k Größe eines minimalen Schnitts in G. Annahme: Es gibt Graph G, der l Knoten besitzt, aus G durch Verschmelzung von Knoten hervorgegangen ist und einen Schnitt mit k Kanten besitzt. Nach Folgerung 8.8: l Pr[Berechnung von G wählt 0 Kanten eines bestimmten Schnitts] l l (l ) P(l) := Pr[FRMC findet minimalen Schnitt in Graphen mit l Knoten] ( P(l) ( )) l ( ) l P = P ( ) l 4 P Für l = k+ folgt ) ( ( ) ) k P ( k+ P 4 ( ( ) ) k P Man kann zeigen, dass ( ( ) ) k P Ω ( ) ( k und damit P(l) Ω Algorithmen II Wintersemester 03/04 ) log l wenn n 6 dann 4 4 berechne ( direkt deterministisch s(k + ) = einen ( ) ) k MINCUT Setze nun l = k+, dann folgt ) P ( k+ P sonst ( ( ) ) l k also wenn s(k) := P Wenn man nun q(k) := s(k) = 4 P ( ( ) k ), n, so ist s(k+) s(k) 4 s(k). q(k + ) + q(k) + 4 (q(k) + ) q(k + ) + = q(k) + q(k + ) + q(k) + ( ) = (q(k + ) + ) q(k) + ( ) = q(k + ) + (q(k) + ) q(k)+ G 4 RANDOM MINCUT(bis l Knoten übrig) s(k) setzt, d.h. q(k + ) q(k) + + G 4 RANDOM MINCUT(bis l Knoten übrig) q(k) +, dann folgt: q(k) + Induktiv lässt sich nun zeigen, dass q(k)+ C FAST RANDOM MINCUT(G ) (rekursiv) = k q(k) < k Θ(k + log k) C FAST RANDOM MINCUT(G ) (rekursiv) = q(k) + + i i= Gib den kleineren der beiden Schnitte C und C aus. q(k)+ q(k)+ q(k)+ q(k).

40 Maximum Satisfiability Problem Algorithmen II Wintersemester 03/04

41 Problemdefinition Problem MAXIMUM SATISFIABILITY (MAXSAT): Gegeben: Menge von m Klauseln über n Variablen. Gesucht: Wahrheitsbelegung, die eine maximale Anzahl von Klauseln erfüllt. Bereits N P-schwer, wenn Anzahl der Literale auf zwei pro Klausel beschränkt. Beispiel: MAX--SAT. Klausel: X X. Klausel: X X 3. Klausel: X X 4. Klausel: X X 3 5. Klausel: X X 3 Nicht alle Klauseln sind gleichzeitig erfüllbar: Für X = falsch kann. Klausel nicht mit 3. Klausel gleichzeitig erfüllt sein. Für X = wahr kann 5. Klausel nicht mit. und 4. Klausel gleichzeitig erfüllt sein. Optimale Belegung: X = wahr, X = falsch, X 3 = wahr Algorithmen II Wintersemester 03/04

42 Algorithmus Random Sat Vorgehen: Für jede Variable x V setze x := wahr mit der Wahrscheinlichkeit. Satz 8.6. Für eine Instanz I von MAX SAT mit m Klauseln, in der jede Klausel mindestens k Literale enthält, erfüllt der erwartete Wert der Lösung von RANDOM SAT: ) E[X RS (I)] ( k m, wobei X RS (I) die Zufallsvariable bezeichnet, die den Wert der Lösung von RANDOM SAT bei der Eingabe von I angibt. Beweis: Wahrscheinlichkeit, dass Klausel mit k Literalen nicht erfüllt wird, ist Entsprechend ist Wahrscheinlichkeit, dass Klausel mit mindestens k Literalen erfüllt wird mindestens k. Damit ist der erwartete Beitrag einer Klausel zu E[X RS (I)] mindestens k. Es folgt die Behauptung. k. Algorithmen II Wintersemester 03/04

43 Algorithmus Random Sat Vorgehen: Für jede Variable x V setze x := wahr mit der Wahrscheinlichkeit. Satz 8.6. Für eine Instanz I von MAX SAT mit m Klauseln, in der jede Klausel mindestens k Literale enthält, erfüllt der erwartete Wert der Lösung von RANDOM SAT: ) E[X RS (I)] ( k m, wobei X RS (I) die Zufallsvariable bezeichnet, die den Wert der Lösung von RANDOM SAT bei der Eingabe von I angibt. Korollar 8.7: RANDOM SAT ist -approximativ, d.h. OPT (I) E[X RS(I) ] Algorithmen II Wintersemester 03/04