Zufall oder Absicht?

Transkript

1 Zufall oder Absicht? Randomisierung und Derandomisierung Prof. Markus Bläser Universität des Saarlandes 4. Januar / 21

2 Zufall oder Absicht? 1 Randomisierte Algorithmen 2 Polynom-Identitätstests 3 Straightline-Programm-Identitätstest 2 / 21

3 Randomisierte Algorithmen Algorithmus Eingabe x int Ulam(int x) { if x % 2 == 0 return x/2; return 3 x + 1; } Ausgabe y 3 / 21

4 Randomisierte Algorithmen Algorithmus Eingabe x function Ulam(x: Integer): Integer Begin if x MOD 2 = 0 then Ulam := x/2 else Ulam := 3 x + 1; End; Ausgabe y 3 / 21

5 Randomisierte Algorithmen Algorithmus Eingabe x int Ulam(int x) { if x % 2 == 0 return x/2; return 3 x + 1; } Ausgabe y 3 / 21

6 Randomisierte Algorithmen Algorithmus Eingabe x int Ulam(int x) { if x % 2 == 0 return x/2; return 3 x + 1; } Ausgabe y Jetzt: Algorithmus kann Münzen werfen, d.h. es gibt eine Funktion RandBit(), die mit Wahrscheinlichkeit 1/2 den Wert 1 und mit Wahrscheinlichkeit 1/2 den Wert 0 liefert. 3 / 21

7 Komplexitätstheorie Komplexitätstheoretische Untersuchungen: 1 Abstraktion mathematische Modelle 2 Beweis exakter Aussagen über 1 Laufzeit 2 Speicherplatz 3 Anzahl verwendeter Zufallsbits 4... Beweis und exakt heißt z.b. auf jede Eingabe x werden f( x ) viele Rechenschritte gemacht und nicht: auf 100 Testeingaben wurde im Mittel 10ms gerechnet. 4 / 21

8 Komplexitätstheorie Komplexitätstheoretische Untersuchungen: 1 Abstraktion mathematische Modelle 2 Beweis exakter Aussagen über 1 Laufzeit 2 Speicherplatz 3 Anzahl verwendeter Zufallsbits 4... Beweis und exakt heißt z.b. auf jede Eingabe x werden f( x ) viele Rechenschritte gemacht und nicht: auf 100 Testeingaben wurde im Mittel 10ms gerechnet. Konkret bedeutet dies für heute: weniger bunte Bilder, mehr Mathematik 4 / 21

9 Komplexitätstheorie Komplexitätstheoretische Untersuchungen: 1 Abstraktion mathematische Modelle 2 Beweis exakter Aussagen über 1 Laufzeit 2 Speicherplatz 3 Anzahl verwendeter Zufallsbits 4... Beweis und exakt heißt z.b. auf jede Eingabe x werden f( x ) viele Rechenschritte gemacht und nicht: auf 100 Testeingaben wurde im Mittel 10ms gerechnet. Konkret bedeutet dies für heute: weniger bunte Bilder, mehr Mathematik weniger Verpackung, mehr Inhalt 4 / 21

10 Randomisierte Algorithmen (2) Was ist die Ausgabe eines randomisierten Algorithmus? int Test(int x) { if (RandBit() == 1) return x; if (RandBit() == 1) return x + 1; return 3; } Was ist die Ausgabe von Test(0)? 5 / 21

11 Randomisierte Algorithmen (2) Was ist die Ausgabe eines randomisierten Algorithmus? int Test(int x) { if (RandBit() == 1) return x; if (RandBit() == 1) return x + 1; return 3; } Was ist die Ausgabe von Test(0)? Wahrscheinlichkeitsverteilung auf den möglichen Outputs, also Ausgabe Wahrscheinlichkeit / 21

12 Entscheidungsprobleme Entscheidungsproblem Ausgabe 1: Eingabe hat Eigenschaft Ausgabe 0: Eingabe hat Eigenschaft nicht 6 / 21

13 Entscheidungsprobleme Entscheidungsproblem Ausgabe 1: Eingabe hat Eigenschaft Ausgabe 0: Eingabe hat Eigenschaft nicht Beispiel: Primzahltest Eingabe: { n N 1 n prim Ausgabe: 0 sonst 6 / 21

14 Randomisierte Algorithmen (3) Beispiel: Primzahltest Eingabe n prim: Ausgabe 1 mit Wahrscheinlichkeit > 1/2 (damit Augabe 0 mit Wahrscheinlichkeit < 1/2) n nicht prim: Ausgabe 0 mit Wahrscheinlichkeit > 1/2 (und Ausgabe 1 mit Wahrscheinlichkeit < 1/2). 7 / 21

15 Randomisierte Algorithmen (3) Beispiel: Primzahltest Eingabe n prim: Ausgabe 1 mit Wahrscheinlichkeit > 1/2 (damit Augabe 0 mit Wahrscheinlichkeit < 1/2) n nicht prim: Ausgabe 0 mit Wahrscheinlichkeit > 1/2 (und Ausgabe 1 mit Wahrscheinlichkeit < 1/2). Problem: > 1/2, aber die Ausgabe des Primzahltest wird sich kaum von einem Münzwurf unterscheiden! Ich schummle gerade etwas... 7 / 21

16 Randomisierte Algorithmen (3) Beispiel: Primzahltest Eingabe n prim: Ausgabe 1 mit Wahrscheinlichkeit > 1/2 (damit Augabe 0 mit Wahrscheinlichkeit < 1/2) n nicht prim: Ausgabe 0 mit Wahrscheinlichkeit > 1/2 (und Ausgabe 1 mit Wahrscheinlichkeit < 1/2). Problem: > 1/2, aber die Ausgabe des Primzahltest wird sich kaum von einem Münzwurf unterscheiden! Ich schummle gerade etwas... Lösung: Beschränkte Fehlerwahrscheinlichkeit! Eingabe n prim: Ausgabe 1 mit Wahrscheinlichkeit 2/3 (damit Ausgabe 0 mit Wahrscheinlichkeit 1/3) n nicht prim: Ausgabe 0 mit Wahrscheinlichekit 2/3 (und Ausgabe 1 mit Wahrscheinlichkeit 1/3). 7 / 21

17 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. 8 / 21

18 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. 8 / 21

19 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. Wahrscheinlichkeiten: einmal 2 3 dreimal fünfmal. n-mal 8 / 21

20 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. Wahrscheinlichkeiten: 2 einmal 3 ( dreimal 2 ) 3 ( ) = fünfmal. n-mal 8 / 21

21 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. Wahrscheinlichkeiten: 2 einmal 3 ( dreimal 2 ) 3 ( ) = fünfmal n-mal 8 / 21

22 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. Wahrscheinlichkeiten: 2 einmal 3 ( dreimal 2 ) 3 ( ) = fünfmal n-mal c n 8 / 21

23 Probability Amplification Frage: Warum ist 2/3 besser als > 1/2. Antwort: Probability Amplification! Idee: Lasse Algorithmus mehrmals statt einmal laufen und treffe Mehrheitsentscheid. Wahrscheinlichkeiten: 2 einmal 3 ( dreimal 2 ) 3 ( ) = fünfmal n-mal c n Selbst für mäßig große n ist die Fehlerwahrscheinlichkeit z.b. kleiner als die Wahrscheinlichkeit eines Hardware-Fehlers. 8 / 21

24 Bedeutung der Randomisierung Zentrale Frage: Hilft Randomisierung? 9 / 21

25 Bedeutung der Randomisierung Zentrale Frage: Hilft Randomisierung? Zwei Antworten: 1 Kommt darauf an. 2 Vielleicht, aber eher nicht. 9 / 21

26 Derandomisierung (1) Prinzipiell hilft Randomisierung nicht: Theorem Kann f : N {0, 1} durch einen randomisierten Algorithmus A berechnet werden, dann kann f auch durch einen deterministischen Algorithmus ^A berechnet werden. 10 / 21

27 Derandomisierung (2) Beweis: A verwende r(l) =: r Zufallsbits auf Eingaben der Länge l. 1 ^A auf Eingabe x wird durch folgendes Programm beschrieben: Boolean RandString[r]; c accept := 0; c reject := 0; for jede Belegung von RandString do Simuliere A auf Eingabe x Immer wenn A RandBit() aufruft, verwende RandString Gibt A 1 aus, erhöhe c accept. Sonst c reject. end for Falls c accept > c reject, return 1. Sonst return 0. 1 Länge von n N: Anzahl Bits log 2 (n) 11 / 21

28 Derandomisierung (2) Beweis: A verwende r(l) =: r Zufallsbits auf Eingaben der Länge l. 1 ^A auf Eingabe x wird durch folgendes Programm beschrieben: Boolean RandString[r]; c accept := 0; c reject := 0; for jede Belegung von RandString do Simuliere A auf Eingabe x Immer wenn A RandBit() aufruft, verwende RandString Gibt A 1 aus, erhöhe c accept. Sonst c reject. end for Falls c accept > c reject, return 1. Sonst return 0. Problem: A wird 2 r -mal ausgeführt! 1 Länge von n N: Anzahl Bits log 2 (n) 11 / 21

29 Zufall oder Absicht? 1 Randomisierte Algorithmen 2 Polynom-Identitätstests 3 Straightline-Programm-Identitätstest 12 / 21

30 Polynom-Identitätstests Eingabe: Polynom p(x) = a n X n + a n 1 X n a 1 X + a 0 vom Grad n mit a ν Z, 0 ν n. { 1 falls p 0 Ausgabe: 0 sonst 13 / 21

31 Polynom-Identitätstests Eingabe: Polynom p(x) = a n X n + a n 1 X n a 1 X + a 0 vom Grad n mit a ν Z, 0 ν n. { 1 falls p 0 Ausgabe: 0 sonst Hahahaha... weil p 0 a n = a n 1 = = a 1 = a 0 = 0 13 / 21

32 Polynom-Identitätstests (2) Modell: Blackbox-Modell Eingabe x Z p(x) = a n X n + a n 1 X n a 1 X + a 0 Ausgabe: p(x) Z 14 / 21

33 Polynom-Identitätstests (2) Modell: Blackbox-Modell Eingabe x Z p(x) = a n X n + a n 1 X n a 1 X + a 0 Ausgabe: p(x) Z Algorithmus kann p an beliebiger Stelle auswerten, hat aber keinen Zugriff auf die Koeffizienten. Algorithmus { kennt n (obere Schranke für Grad). 1 falls p in Blackbox identisch 0 Ausgabe: 0 sonst 14 / 21

34 Polynom-Identitätstests (3) Theorem 1 Es gibt einen randomisierten Algorithmus für das Polynom-Identitätsproblem mit Fehlerwahrscheinlichkeit 1/3, der die Blackbox nur einmal fragt. 2 Jeder deterministische Algorithmus, der das Polynom-Identitätsproblem löst, muß die Blackbox mindestens (n + 1)-mal fragen. 15 / 21

35 Zufall oder Absicht? 1 Randomisierte Algorithmen 2 Polynom-Identitätstests 3 Straightline-Programm-Identitätstest 16 / 21

36 Straightline-Programme Definition Ein Straightline-Programm ist eine Folge von Zuweisungen der Form w i := c, w i := w j ± w k, w i := w j w k, c Z j, k < i j, k < i für i = 1, 2,..., l. Semantik: wie erwartet... w i := c in Register w i wird c geschrieben w i := w j + w k nach w i wird die Summe von w j und w k geschrieben / 21

37 Straightline-Programm-Identitätstest Eingabe: { Straightline-Programm P der Länge l. 1 falls 0 in w l steht Ausgabe: 0 sonst 18 / 21

38 Straightline-Programm-Identitätstest Eingabe: { Straightline-Programm P der Länge l. 1 falls 0 in w l steht Ausgabe: 0 sonst Warum ist das schwierig? Betrachte w 1 = 2, w i = w i 1 w i 1, i = 2,..., l. Es gilt: w i = 2 2i 1. Viel zu groß! 18 / 21

39 Straightline-Programm-Identitätstest (2) Sei Q die Menge der ersten 3 2 l Primzahlen. 1 Wähle ein q Q zufällig. 2 Werte P modulo q aus, d.h. berechne jeweils w i := w j + w k mod q. 3 Gebe gleich 0 aus, wenn w l = 0 (modulo q!) Sonst gebe ungleich 0 aus. 19 / 21

40 Straightline-Programm-Identitätstest (2) Sei Q die Menge der ersten 3 2 l Primzahlen. 1 Wähle ein q Q zufällig. 2 Werte P modulo q aus, d.h. berechne jeweils w i := w j + w k mod q. 3 Gebe gleich 0 aus, wenn w l = 0 (modulo q!) Sonst gebe ungleich 0 aus. Theorem 1 Ist w l = 0, so irrt der Algorithmus nie. 2 Ist w l 0, so irrt der Algorithmus mit Wahrscheinlichkeit 1/3. 19 / 21

41 Details Wie viele Primzahlen gibt es? Theorem (Primzahlsatz) ( n ) ln n 2 ln n < #[Primzahlen n] < n ln n ( ) 3 ln n 20 / 21

42 Details Wie viele Primzahlen gibt es? Theorem (Primzahlsatz) ( n ) ln n 2 ln n < #[Primzahlen n] < n ln n Wie wählt man eine Primzahl t zufällig? 1 Wähle eine zufällige Zahl t. 2 Wenn diese nicht prim ist, gehe zu 1. ( ) 3 ln n 20 / 21

43 Details Wie viele Primzahlen gibt es? Theorem (Primzahlsatz) ( n ) ln n 2 ln n < #[Primzahlen n] < n ln n Wie wählt man eine Primzahl t zufällig? 1 Wähle eine zufällige Zahl t. 2 Wenn diese nicht prim ist, gehe zu 1. Wie testet man, ob eine Zahl prim ist? Ein anderes Mal... ( ) 3 ln n 20 / 21

44 Fazit Fazit: Randomisierung hilft nicht prinzipiell. Randomisierung hilft in eingeschränkten Modellen. Randomisierung hilft, Zeugen zu finden, so fern es viele gibt. Offenens Problem: Macht Randomisierung Algorithmen schneller? 21 / 21

45 Fazit Fazit: Randomisierung hilft nicht prinzipiell. Randomisierung hilft in eingeschränkten Modellen. Randomisierung hilft, Zeugen zu finden, so fern es viele gibt. Offenens Problem: Macht Randomisierung Algorithmen schneller? Pseudozufallsgeneratoren kurzer {0, 1}-String (Seed) langer {0, 1}-String Verwende den langen String in ^A! 21 / 21