Grundlagen der Theoretischen Informatik

Transkript

1 1 Grundlagen der Theoretischen Informatik Till Mossakowski Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Wintersemester 2014/15

2 2 4 Komplexitätstheorie

3 Zeitkomplexität 3 Definition: Sei M eine deterministische oder eine nichtdeterministische Turing-Maschine über einem Alphabet Σ. Die Turing-Maschine M heißt polynomiell zeitbeschränkt, falls es ein Polynom p(n) gibt, so dass für alle n N 0 und alle w Σ mit w = n jede Berechnung von M bei Eingabe w nach höchstens p(n) Schritten in einem Haltezustand endet. Zur Erinnerung: Falls eine nichtdeterministische Turingmaschine M eine Sprache L entscheidet, so ist w L genau dann wenn es eine Berechnung gibt, die in q accept endet. Es müssen nicht alle Berechnungen für w L im Haltezustand q accept enden, sondern nur mindestens eine! Aber es müssen alle Berechnungen für w mit w = n nach p(n) Schritten beendet sein, falls M polynomiell zeitbeschränkt ist.

4 4 Die Komplexitätsklasse P Eine Sprache L heißt deterministisch mit polynomiellem Zeitaufwand entscheidbar oder auch deterministisch in Polynomialzeit entscheidbar, falls es eine deterministische polynomiell zeitbeschränkte Turing-Maschine gibt, die L entscheidet. Definition: Die Klasse der deterministisch mit polynomiellem Zeitaufwand entscheidbaren Sprachen wird mit P bezeichnet.

5 5 Beispiele für Probleme in P: Elementeindeutigkeit: {w 1 #w 2 # #w k w 1,...,w k {0,1} und w i w j für alle i j} Graphenprobleme: path = { G,s,t G ist ein ungerichteter Graph, s und t sind Knoten in G, und in G gibt es einen Pfad der s und t verbindet}

6 6 Sei G = (V,E) ein gerichteter Graph. Ein geschlossener Pfad, der jede Kante in G genau einmal benutzt, heißt Euler-Tour. euler-tour = { G G ist ein ungerichteter Graph, der eine Euler-Tour besitzt} Primzahltest: primes = {bin(n) {0,1} n ist eine Primzahl}

7 7 Geometrische Probleme: polyline-simplification = { P, t, k P ist ein einfacher Polygonzug (mit ganzzahligen Eckpunktkoordinaten), der sich zu einem einfachen Polygonzug P mit höchstens k Eckpunkten vereinfachen lässt, so dass P zu P höchstens Abstand t hat}

8 8 Die Komplexitätsklasse NP Eine Sprache L heißt nichtdeterministisch mit polynomiellem Zeitaufwand entscheidbar oder auch nichtdeterministisch in Polynomialzeit entscheidbar, falls es eine nichtdeterministische polynomiell zeitbeschränkte Turing-Maschine gibt, die L entscheidet. Definition: Die Klasse der nichtdeterministisch mit polynomiellem Zeitaufwand entscheidbaren Sprachen wird mit NP bezeichnet.

9 9 Lemma: P NP. Beispiele für Probleme in NP: Graphenprobleme: clique = { G,k G = (V,E) ist ein ungerichteter Graph, k N, und es gibt eine Teilmenge V V mit V = k, so dass für alle v i,v j V, v i v j, gilt, dass die Kante zwischen v i und v j zu E gehört}

10 10 independent-set = { G,k G = (V,E) ist ein ungerichteter Graph, k N, und es gibt eine Teilmenge V V mit V = k, so dass für alle v i,v j V, v i v j, gilt, dass es keine Kante zwischen v i und v j in G gibt} vertex-cover = { G,k G = (V,E) ist ein ungerichteter Graph, k N, und es gibt eine Teilmenge V V mit V = k, so dass für alle Kanten {u,v} E gilt [ u V oder v V ], d.h., mindestens einer der Endknoten jeder Kante gehört zu V }

11 11

12 12 Ein Hamilton-Kreis in einem gerichteten Graphen ist ein geschlossener Pfad, der jeden Knoten genau einmal besucht. hamilton-kreis = { G G besitzt einen Hamilton-Kreis}

13 13 Beim Problem der Handlungsreisenden, engl. traveling salesperson problem (TSP), sind n Orte und eine Distanzmatrix (d i j ) mit nichtnegativen ganzzahligen Einträgen und d ii = 0 für i = 1,...,n sowie K N gegeben. Es ist zu entscheiden, ob die Kosten der kürzesten Rundreise, also das Minimum von c(π) = d π(1)π(2) + d π(2)π(3) + d π(n 1)π(n) + d π(n)π(1) über alle Permutationen π von {1,2,...,n}, höchstens K sind. tsp = { (D i j ),K (D i j ) ist eine Distanzmatrix mit nichtnegativen ganzzahligen Einträgen, so dass die Kosten der kürzesten Rundreise höchstens K sind}

14 14

15 15 Packungsprobleme: Bei Sum of Subset sind a 1,a 2,...,a n N und K N, gegeben und es ist zu entscheiden, ob es I {1,2,...,n} gibt, so dass a i = K i I sum-of-subset = {bin(a 1 )# #bin(a n )#bin(k) es gibt I {1,2,...,n} so dass i I a i = K}

16 16 Beim Problem Partition sind a 1,a 2,...,a n N gegeben und es ist zu entscheiden, ob es I {1,2,...,n} gibt, so dass i I a i = a i i I partition = {bin(a 1 )# #bin(a n ) es gibt I {1,2,...,n} so dass i I a i = i I a i }

17 17 Beim Rucksackproblem sind w 1,w 2,...,w n N und v 1,v 2,...,v n N gegeben sowie W N und V N und es ist zu entscheiden, ob es I {1,2,...,n} gibt, so dass i I w i W und v i V i I

18 18 Geometrische Probleme: area-preserving-polyline-simplification = { P, k P ist ein einfacher Polygonzug (mit ganzzahligen Eckpunktkoordinaten), so dass es einen P vereinfachenden Polygonzug Q mit höchstens k Eckpunkten gibt, derart dass die Flächen zwischen P und Q links von P und die Flächen zwischen P und Q rechts von P gleich groß sind}

19 19 Überdeckungsprobleme: Gegeben eine endliche Menge U = {u 1,...,u n } und eine Familie F = {S 1,...,S m } von Teilmengen von U, gesucht ist eine Teilmenge C F, so dass die Mengen in C paarweise disjunkt sind und ihre Vereinigung U ergibt. exact-cover = { U,F es gibt C F mit C 1,C 2 C : (C 1 C 2 C 1 C 2 = /0) und C C = U}

20 20 Erfüllbarkeitsproblem der Aussagenlogik: Eine Variable, die Wahrheitswerte annehmen kann, nennen wir eine Boolesche Variable. Im Folgenden steht 1 für wahr und 0 für falsch. Eine Boolesche Formel ist ein Ausdruck über Booleschen Variablen und den Operationen, und. Beispiel: (X 1 X 3 ) (X 2 X 3 X 4 X 5 ) (X 1 X 4 X 5 ) (X 2 X 3 X 5 ) Eine Boolesche Formel φ ist erfüllbar, falls es eine Belegung der Variablen mit Konstanten aus {0,1} gibt, so dass sich für φ der Wert 1 ergibt.

21 21 Beim Erfüllbarkeitsproblem, engl. satisfiability problem, ist eine Boolesche Formel gegeben und es ist zu entscheiden, ob die Formel erfüllbar ist. Falls X i eine Boolesche Variable ist, dann sind X i und X i Literale. Falls Y 1,...,Y k Literale sind, dann ist (Y 1 Y 2 Y k ) eine Klausel vom Grad k. Falls C 1,...,C m Klauseln sind, dann ist C 1 C 2 C m eine Boolesche Formel in konjunktiver Normalform. sat = { φ φ ist eine Boolesche Formel in konjunktiver Normalform und φ ist erfüllbar}

22 22 Für keine der Sprachen aus obigen Beispielen für NP ist bekannt, ob die Sprache auch in P liegt! Alle betrachteten Sprachen haben aber die folgende Eigenschaft: Es lässt sich für eine angebliche Lösung in Polynomialzeit überprüfen, ob die angebliche Lösung auch eine tatsächliche Lösung ist.

23 verify-tsp = { (D i j ),K,π (D i j ) ist eine symmetrische Distanzmatrix mit nichtnegativen ganzzahligen Einträgen, so dass die Kosten der durch π gegebenen Rundreise höchstens K sind} P 23

24 24 Verifizierer und Zertifikate Eine Turing-Maschine V ist ein Verifizierer für eine Sprache L genau dann wenn gilt w L c : w,c L(V ) Ein c mit w,c L(V ) heißt Zertifikat für w. Eine Sprache L heißt in Polynomialzeit verifizierbar, falls es einen Verifizierer V gibt mit L(V ) P und ein Polynom p(n), so dass aus w,c L(V ) folgt, dass c p( w ) gilt.

25 Satz: Die Klasse der in Polynomialzeit verifizierbaren Sprachen stimmt genau mit der Klasse NP überein. 25

26 26 Polynomialzeitreduktion Eine Funktion f : Σ Σ heißt in polynomieller Zeit berechenbar oder auch in Polynomialzeit berechenbar, falls es eine polynomiell zeitbeschränkte deterministische Turingmaschine gibt, die f berechnet. Definition: Seien L 1,L 2 Σ Sprachen. L 1 heißt in Polynomialzeit auf L 2 reduzierbar, falls es eine in polynomieller Zeit berechenbare Reduktion f : Σ Σ von L 1 auf L 2 gibt. Die Reduktion f heißt dann Polynomialzeitreduktion. Wir schreiben L 1 P L 2, falls L 1 in Polynomialzeit auf L 2 reduzierbar ist.

27 27 Zur Erinnerung: τ : Σ Σ ist eine Reduktion von A auf B falls für alle x Σ gilt x A τ(x) B Satz: Falls A P B und B P C gilt, so gilt auch A P C. Beweis: τ AB : Σ A Σ B τ BC : Σ B Σ C τ BC τ AB : Σ A Σ C x A x B x A τ AB (x) B τ BC (x) C τ BC (τ AB (x)) C p(n) q(n) p(n) + q(p(n))

28 28 Satz: independent-set P vertex-cover. Beweis: Bei einem ungerichteten Graphen G = (V,E) ist V V eine unabhängige Knotenmenge, also eine Teilmenge, deren Knoten paarweise nicht miteinander verbunden sind, genau dann wenn V V ein Vertex-Cover ist: Sei V eine unabhängige Knotenmenge. Falls {u,v} E, so können nicht beide Knoten in V liegen; also muss mindestens einer in V V liegen. Sei V V ein Vertex-Cover. Falls u und v beide in V liegen, gilt {u,v} E, da sonst mindestens einer der beiden in V V liegen müsste.

29 29 Wir definieren eine Funktion τ : Σ Σ. Die Funktion τ bildet Wörter aus Σ, die nicht von der Form G,k sind, auf ebensolche ab. Ansonsten gilt G,k τ( G,k ) = G,n k wobei G = (V,E) und n = V. Die Funktion τ ist wie eben gezeigt eine Reduktion von independent-set auf vertex-cover. Ferner ist sie, eine vernünftige Kodierung vorausgesetzt, in polynomieller Zeit berechenbar.

30 30 Beispiel für eine vernünftige Kodierung: G = ({v 1,...,v n },E) wird dargestellt mit Hilfe der n n Adjazenzmatrix (a i j ) mit { 1 falls {vi,v a i j = j } E 0 sonst Eine Zeile der Adjazenzmatrix wird dargestellt als Folge von n Nullen und Einsen, umrahmt von $-Zeichen, eine Adjazenzmatrix als Folge von n solchen Zeilendarstellungen. k wird binär dargestellt, umrahmt von #-Zeichen. G,k ist die Konkatenation der Darstellungen von G und k.

31 31 Satz: Falls B P und A P B, so gilt auch A P. Beweis: Sei M τ eine Turingmaschine, die eine Polynomialzeitreduktion τ von A auf B in Zeit q(n) berechnet. Wegen B P gibt es eine Turingmaschine M B, die B in Polynomialzeit p(n) entscheidet. Zunächst wird τ(w) via M τ in Zeit q( w ) berechnet. Man beachte, dass τ(w) q( w ). Dann wird via M B in Zeit p( τ(w) ) entschieden, ob τ(w) B.

32 32 w τ(w) τ(w) B τ(w) B w A w A M A M τ M B Die Gesamtlaufzeit ist in O( q( w ) + p(q( w ))), also polynomiell in w. Also kann auch A in Polynomialzeit entschieden werden und somit gilt A P. Analog zeigt man Satz: Falls B NP und A P B, so gilt auch A NP.

33 33 Satz: hamilton-kreis P tsp. Beweis: Zu G = ({v 1,...,v n },E) konstruieren wir eine tsp-instanz mit Distanzmatrix (D i j ) mit 0 i = j D i j = 1 {v i,v j } E 2 sonst Diese tsp-instanz besitzt eine Rundreise der Länge höchstens n genau dann wenn G einen Hamilton-Kreis besitzt. Dies liefert uns, vernünftige Kodierung vorausgesetzt, eine Polynomialzeitreduktion.

34 34 NP-Vollständigkeit Definition: Eine Sprache C heißt NP-vollständig, falls C NP und für alle L NP gilt L P C. Eine Sprache C heißt NP-hart, falls für alle L NP gilt L P C. C ist also NP-vollständig genau dann wenn C eine NP-harte Sprache ist, die in NP liegt.

35 35 Satz: Sei L eine NP-vollständige Sprache. Dann gilt P = NP genau dann wenn L P. Beweis: Nehmen wir an, es sei P = NP. Als NP-vollständige Sprache liegt L in NP und somit in P = NP. Nehmen wir an, L sei eine NP-vollständige Sprache in P. Sei ferner A eine beliebige Sprache in NP. Da L eine NP-vollständige Sprache ist, gilt A P L. Nach dem zuvor bewiesenen Satz folgt aus L P und A P L auch A P. Also gilt NP P. Da P NP, ergibt sich P = NP.

36 36 NP-vollständige Sprachen (bzw. Probleme) sind also deshalb so wichtig, weil das Finden eines Polynomialzeitalgorithmus für auch nur eine von ihnen schon Polynomialzeitalgorithmen für alle Sprachen (bzw. Probleme) in NP nach sich ziehen würde. Gelänge es andererseits, zu zeigen, dass P NP, so würde dies bedeuten, dass es für keine NP-vollständige Sprache (bzw. Problem) einen Polynomialzeitalgorithmus gibt.

37 37 Satz: Sei L eine Sprache und sei C eine NP-vollständige Sprache. Falls L NP und C P L, so ist auch L eine NP-vollständige Sprache. Beweis: Da C eine NP-vollständige Sprache ist, gilt für alle A NP, dass A P C. Wegen C P L und der Transitivität von P somit auch A P L für alle A NP.

38 38 Ein NP-vollständiges Problem Ein beschränktes Kachelproblem ist gegeben durch ein Fünftupel D = (D, f 0,H,V,l), wobei D eine endliche Menge von Kacheltypen ist, l N eine natürliche Zahl, f 0 : [ l : l] D eine Funktion und H,V D D binäre Relationen auf D sind. Gesucht ist eine Funktion f : [ l : l] [0 : l + 1] D, so dass f (m,0) = f 0 (m) für l m l ( f (m,n), f (m + 1,n)) H für l m < l, 0 n l + 1 ( f (m,n), f (m,n + 1)) V für l m l, 0 n l Eine solche Funktion f heißt D-Kachelung.

39 39 domino = { D D ist ein beschränktes Kachelproblem, für das es eine D-Kachelung gibt} Satz: domino ist NP-vollständig. Beweis: Sei A NP beliebig. Wir müssen A P domino zeigen. A NP, d.h., es gibt eine nichtdeterministische Turing-Maschine M A = (K,Σ,Γ,,q s,q a,q r ), die A in polynomieller Zeit p(n) entscheidet.

40 40 Zu einer Eingabe w Σ konstruieren wir ein beschränktes Kachelproblem D mit l = p( w ), so dass eine Kachelung einer akzeptierenden Berechnung von M A entspricht. D.h., D besitzt eine Kachelung genau dann wenn w A. Die Kachelreihen einer Kachelung repräsentieren relevanten Bandinhalt und Zustand. f 0 stellt sicher, dass die unterste Kachelreihe dem Bandinhalt zu Beginn einer Berechnung von M A mit Eingabe w entspricht.

41 41 Details: Sei Γ = {σ 1,...,σ m }. Dann gibt es in D die Kacheltypen σ 1 σ 1 σ 2 σ 2 σ m σ m Ferner gibt es Kacheltypen, die zu Übergängen in korrespondieren: (q i,σ j,q k,σ r,s) (q i,σ j,q k,σ r,l) (q i,σ j,q k,σ r,r) q k,σ r q i,σ j q k σ r q i,σ j σ r q k q i,σ j

42 42 (...,...,q k,...,l) q k,σ 1 q k q k,σ 2 q k q k,σ m q k σ 1 σ 2 σ m (...,...,q k,...,r) q k,σ 1 q k σ 1 σ 2 q k,σ 2 q k q k,σ m q k σ m

43 43 Schließlich enthält D die Kacheltypen q s,σ 1 σ 1 q s,σ m σ m und q a,σ 1 q a,σ 1 q a,σ m q a,σ m Kachelpaare gehören zu H bzw. V, wenn die zugehörigen Randteile farblich und in der Beschriftung übereinstimmen, falls vorhanden.

44 44 Beim Erreichen des verwerfenden Haltezustands q r ist es nicht möglich, eine zugehörige Kachelreihe nach oben hin fortzusetzen. Eine Reduktion τ A, die w Σ wie eben beschrieben auf ein beschränktes Kachelsystem abbildet, ist in Polynomialzeit berechenbar, und es gilt für alle w Σ w A τ A (w) domino Da A eine beliebige Sprache aus NP war, haben wir somit gezeigt, dass alles Sprachen in NP in Polynomialzeit auf domino reduzierbar sind. Es gilt ferner domino NP.

45 45 Beispiel(e): b ;, R q s ;, S q a a ;, R a ;, R a ;, R q ;, S q r b ;, R

46 46 D enthält die folgenden Kacheltypen: q s q s q s q a b q a, b,, q s,a, q r q s,a, q a, q r, q s q s q q s,b, q s,, q,a, q,b, q,, q s,a q s,b q s, q,a q,b q q a, b,, a, b, q, q r,a q r,b q r, q s,a q q r q r r, a, b,, a, q s,b q s, q a,a q a,b q a, b,, q a,a, q a,b, q a,

47 47 (ε,q s,aba) M (ε,q,ba) M (ε,q,a) M (ε,q s,ε) M (ε,q a,ε) q s,a a b b a a q s,a q q,b b q a a q,b q q,a a q q,a q s q s, q s q s, q a, q a, q a,

48 48 (ε,q s,bab) M (ε,q s,ab) M (ε,q,b) M (ε,q,ε) M (ε,q r,ε) q s,b b a a b b q s,b q s q s,a a q s b b q s,a q q,b b q q,b q q, q q, q r,

49 49 (ε,q s,aba) M (ε,q r,ba) q s,a a b b a a q s,a q r q r,b b q r a a