Theoretische Informatik. Probabilistische Turingmaschinen PTM PTM. Rainer Schrader. 10. Juni 2009

Transkript

1 Theoretische Informatik Rainer Schrader Probabilistische Turingmaschinen Institut für Informatik 10. Juni / 30 / 30 Gliederung probabilistische Turingmaschinen Beziehungen zwischen und NDTM es stellt sich die Frage, wie sich probabilistische Ansätze in die bisher behandelte Komplexitätstheorie einordnen wir werden dazu im folgenden eine Komplexitätstheorie für Algorithmen mit Zufallsschritten behandeln sie beruht u.a. auf probabilistischen Turingmaschinen die als Varianten der nichtdeterministischen TM aufgefasst werden können 3 / 30 4 / 30

2 probabilistische Turingmaschine () Beispiel für eine : die Übergangsfunktion ist eine Abbildung δ : Q A (Q A {L, R, N}) jede der beiden möglichen Rechenschritte wird mit Wahrscheinlichkeit 1 gewählt für drei ausgezeichnete Zustände q +, q, q? stoppt die mit dem Ergebnis akzeptieren, verwerfen, weiß nicht? ja das Ergebnis bei Eingabe x ist eine Zufallsvariable f (x ) mit Werten 8 < 1 akzeptieren f (x ) = 0 verwerfen :? weiß nicht die Wahrscheinlichkeit eines Rechenweges der Länge k ist k die Rechenzeit einer ist die maximale Rechenzeit auf einem der Rechenwege ja nein die von M berechnete Zufallsvariable: 8 >< 1 mit Wahrscheinlichkeit 3 8 f (x) = 0 mit Wahrscheinlichkeit 1 8 >:? mit Wahrscheinlichkeit / 30 6 / 30 Klassen von durch erkannten Sprachen: sei L eine Sprache und χ L ihre charakteristische Funktion i) BPP (Bounded error, Probabilistic, Polynomial time): die Menge aller Sprachen L, für die: es eine polynomiell-zeitbeschränkte und ein ε > 0 gibt, so dass für alle x {0, 1} gilt: Pr (f (x ) = χ(x )) > 1 + ε. (ii) (iii) RP (Randomized Polynomial time) ist die Menge aller Sprachen L, für die es eine polynomiell-zeitbeschränkte gibt mit: Pr (f (x) = 1) > 1 für x L Pr (f (x) = 0) = 1 für x / L beispielsweise gilt: L = {n : n ist nicht prim} RP corp ist die Menge aller Sprachen L, für die es eine polynomiellzeitbeschränkte gibt mit: Pr (f (x) = 1) = 1 für x L BPP ist offensichtlich unter Komplementbildung abgeschlossen. Pr (f (x) = 0) > 1 für x / L 7 / 30 8 / 30

3 (iv) ZPP (Zero error, Probabilistic, Polynomial time) ist die Menge aller Sprachen L, für die es eine polynomiell-zeitbeschränkte gibt mit: Pr (f (x ) = 0) = 0 und Pr (f (x ) = 1) = 0 und Pr (f (x ) = 1) > 1 für x L Pr (f (x ) = 0) > 1 für x / L die sagt also nie die Unwahrheit, im Zweifelsfall antwortet sie? In einigen Fällen kann durch wiederholte Anwendung die Wahrscheinlichkeit erhöht werden. Sei k N. Für L RP gibt es eine M, so dass gilt: Pr (f M (x) = 1) > 1 k für x L Pr (f M (x ) = 0) = 1 für x / L. die M simuliert k -mal die M, die zu L existiert wenn eine dieser Simulationen akzeptiert, akzeptiert M, andernfalls verwirft M die Eingabe x ist x / L, so ist Pr (f M (x ) = 0) = 1. damit ist auch Pr (f M (x ) = 0) = 1. ist x L, so ist Pr (f M (x ) 1) < 1. die Wahrscheinlichkeit, dass dies bei k unabhängigen Versuchen passiert, ist dann Pr (f M (x ) 1) < k. 9 / / 30 das Ergebnis zeigt, dass es auch reicht, Pr (f (x ) = 1) > ε für x L zu verlangen auch für die etwas schwächeren BPP lässt sich ein entsprechendes Ergebnis formulieren dazu ein vorbereitendes Lemma: per Definition von a i ist: a i = t p i (1 p) t i = i sei p = 1 + ε + δ, dann folgt: t i p i (1 p) i (1 p) t i Lemma Sei E ein Ereignis, dessen Wahrscheinlichkeit p größer ist als 1 + ε für t N und i t sei a i die Wahrscheinlichkeit, dass E bei t unabhängigen Versuchen genau i-mal eintritt dann gilt: a i < t i ( 1 4 ε ) t. p(1 p) = ( 1 + ε + δ)( 1 ε δ) = ( 1 + ε)( 1 ε) + δ( 1 ε δ) δ( 1 + ε) = ( 1 + ε)( 1 ε) δε δ < ( 1 + ε)( 1 ε) Somit p i (1 p) i < ( 1 + ε)i ( 1 ε)i = ( 1 4 ε ) i 11 / 30 1 / 30

4 p i (1 p) i < ( 1 4 ε ) i a i = < t i und somit: t p i (1 p) i (1 p) t i i )( 1 4 ε ) i (1 p) t i Da (1 p) < ( 1 ε) = 1 ε + 4 ε < 1 4 ε, folgt a i < t i ( 1 4 ε ) i (1 p) t i < t i ( 1 4 ε ) i ( 1 4 ε ) t i = t i ( 1 4 ε ) t damit können wir die Fehlerwahrscheinlichkeit auch für die etwas schwächeren BPP herabsetzen: Sei M eine BPP für L mit Parameter ε > 0 und k N. Dann gibt es eine M für L mit Pr (f M (x) = χ L (x) > 1 k. sei t eine ungerade natürliche Zahl, die wir später spezifizieren M simuliert M t-mal unabhängig voneinander M akzeptiert (verwirft) x, wenn mindestens t der Simulationen von M x akzeptieren (verwerfen), ansonsten antwortet sie? 13 / / 30 für x L gilt: M akzeptiert x, wenn mindestens t der Simulationen x akzeptieren damit ist die Wahrscheinlichkeit dafür, dass M x akzeptiert: Pr (f M (x ) = 1) = 1 X entsprechend gilt für x / L: i t a i M verwirft x, wenn mindestens t der Simulationen x verwerfen, damit ist die Wahrscheinlichkeit dafür, dass M x verwirft: Pr (f M (x ) = 0) = 1 X i t a i Somit ist Pr `f M (x ) = χ L (x) = 1 X 1 a i > 1 ( 4 ε ) t i t die Binomialkoeffizienten sind symmetrisch X 0 i t (d.h. `t ` i = t t i ) da t ungerade ist, ist die Anzahl der `t i, 0 i t gerade wegen der Symmetrie ist P `t P i t i dann die Hälfte von somit Pr (f M (x) = χ L (x )) > 1 ( 1 4 ε ) t t 1 t i i t `t i = t nach dem letzten Lemma gilt: a i < t i ( 1 4 ε ) t = 1 1 (1 4ε ) t 15 / / 30

5 Pr (f M (x ) = χ L (x )) > 1 1 (1 4ε ) t sei t (k 1)/ log(1 4ε ). dann ist 1 1 (1 4ε ) t 1 > 1 (1 4ε (k 1)/ log(1 4ε ) ). allgemein gilt x 1/ log x = log x/ log x = somit d.h. für t (k 1)/ log(1 4ε ) Versuche ist der Fehler kleiner als k da ε konstant, wächst die Anzahl der Wiederholungen linear in k d.h. der Fehler von BPP-Algorithmen kann schnell klein gemacht werden. Pr (f M (x) = χ L (x)) > 1 1 (1 4ε ) (k 1)/ log(1 4ε ) = 1 1 1) (k = 1 k 17 / / 30 P ZPP RP BPP. P ZPP folgt aus der Definition baue die ZPP so um, dass? durch verwerfen ersetzt wird, Gliederung probabilistische Turingmaschinen Beziehungen zwischen und NDTM dann erhalten wir einen RP nach früherem (etwa mit k = ) gilt RP BPP. 19 / 30 0 / 30

6 Zum Schluss noch einige Beziehungen zwischen und NDTM: RP NP. sei L RP und M die zugehörigen. fasse M als NDTM auf, bei der jeweils höchstens zwei Nachfolgekonfigurationen entstehen für x / L gilt Pr (f M (x ) = 1) = 0, d.h. es gibt keinen akzeptierenden Rechenweg. für x L gilt Pr (f M (x ) = 1) > 1, d.h. es existiert ein akzeptierender Weg und die NDTM akzeptiert x. sei K eine Klasse von Sprachen mit cok haben wir die Menge aller Sprachen bezeichnet, deren Komplement in K liegt d.h. cok = {L Σ : Σ L K}. seien A und B zwei Klassen von Sprachen mit A B dann folgt auch coa cob, denn L coa bedeutet Σ L A damit ist Σ L B und L cob 1 / 30 / 30 ZPP = RP corp. nach früherem ist ZPP RP. wegen der Symmetrie von ZPP ist ZPP = cozpp also folgt auch ZPP = cozpp corp. em 8 < : es gilt: akzeptiert, verwirft, weiß nicht, falls M akzeptiert; falls M nicht akzeptiert, M danach akzeptiert; falls M und M nicht akzeptieren; sei umgekehrt L RP corp, d.h. L RP seien M und M die zugehörigen. konstruiere eine Maschine e M, die nacheinander M, M simuliert, mit em akzeptiert M akzeptiert x L em verwirft M akzeptiert x / L em weiß nicht M, M akzeptieren nicht em 8 < : akzeptiert, verwirft, weiß nicht, falls M akzeptiert; falls M nicht akzeptiert, M danach akzeptiert; falls M und M nicht akzeptieren; im letzten Fall macht eine der beiden Maschinen einen Fehler, nach Voraussetzung ist dieser Fehler kleiner als 1. 3 / 30 4 / 30

7 NP conp BPP. Korollar ZPP NP conp. nach früherem gilt RP NP, damit folgt corp conp somit ZPP = RP corp NP conp. für BPP ist die Definition symmetrisch in akzeptiert und verwerfen somit ist BPP = cobpp es genügt also NP BPP zu zeigen sei L NP und M eine NDTM mit Polynom p wir können annehmen: jede Konfiguration hat keine oder zwei Nachfolgekonfigurationen alle Rechenwege zur Eingabe x stoppen nach genau p( x ) Schritten wir konstruieren eine M wie folgt: 5 / 30 6 / 30 M erzeugt bei Eingabe x eine Zufallszahl z mit 0 z p( x )+ 1 M erzeugt bei Eingabe x eine Zufallszahl z mit 0 z p( x )+ 1 falls z p( x )+1, simuliert M die Maschine M, falls z p( x )+1, simuliert M die Maschine M, andernfalls wird x akzeptiert andernfalls wird x akzeptiert M hat somit polynomielle Rechenzeit M hat somit polynomielle Rechenzeit ist x L: ist x / L: kein Rechenweg von M akzeptiert den Input x M akzeptiert x / L nur dann, wenn p( x )+1 < z p( x )+ 1 die Wahrscheinlichkeit ist ( p( x )+1 1)/ p( x )+ < 1 M akzeptiert auf mindestens einem der Rechenwege p( x ) d.h. mit Wahrscheinlichkeit die Wahrscheinlichkeit, dass M simuliert wird, ist größer als 1 also ist die Wahrscheinlichkeit zu akzeptieren größer als p( x ) 1 + p( x )+1 1 p( x )+ = p( x ) p( x )+ > 1 7 / 30 8 / 30

8 Damit ergibt sich: j NP conp P ZPP = RP corp RP NP conp NP ff BPP. Die s als Verallgemeinerung von DTM s haben zu einer Verschärfung der Church schen These geführt: BPP NP conp Starke Church sche These: Die in einem intuitiven Sinne berechenbaren Funktionen können mit höchstens polynomiellem Mehraufwand auf einer simuliert werden. NP NP conp conp d.h. alle intuitiv berechenbaren Funktionen sind -berechenbar die Rechenzeit steigt dabei höchstens polynomiell an RP ZPP corp wir werden auf die starke Church sche These im Zusammenhang mit Quantencomputern zurückkommen. P 9 / / 30