Vorlesung Berechenbarkeit und Komplexität alias Theoretische Informatik: Komplexitätstheorie und effiziente Algorithmen. Wintersemester 2011/12

Transkript

1 Vorlesung Berechenbarkeit und Komplexität alias Theoretische Informatik: und effiziente Algorithmen Wintersemester 2011/12 Prof. Barbara König Übungsleitung: Henning Kerstan & Jan Stückrath Barbara König BeKo/TI 1

2 Wir verwenden nun die Reduktions-Beweistechnik und zeigen die folgender Probleme: des Adventure-Problems (Level 4) Es ist unentscheidbar, ob ein gegebenes Adventure des Levels 4 eine Lösung besitzt. Postsches Korrespondenzproblem PCP PCP: ein kombinatorisches Problem auf Wörtern, wichtiges (Hilfs-)Problem, um damit die anderer Probleme zu zeigen Schnittproblem für kontextfreie Grammatiken Barbara König BeKo/TI 181

3 Adventure-Problem (Level 4) Adventures bestehen aus Graphen bzw. Automaten, die mit folgenden Symbolen markiert sind: Torbogen: Drachen: Schwert: Fluss: Tür: Schlüssel: Schatz: Barbara König BeKo/TI 182

4 Barbara König BeKo/TI 183

5 Adventure-Problem (Level 4) Regeln: Die Schatz-Regel Man muss mindestens zwei Schätze finden. Tür-Regel Die Schlüssel sind magisch und verschwinden sofort, nachdem eine Tür mit ihnen geöffnet wurde. Sobald man eine Tür durchschritten hat, schließt sie sich sofort wieder. Barbara König BeKo/TI 184

6 Adventure-Problem (Level 4) Drachen-Regel Unmittelbar nach der Begegnung mit einem Drachen muss man in einen Fluss springen, da uns der Drache in Brand stecken wird. Dies gilt nicht mehr, sobald man ein Schwert besitzt, mit dem man den Drachen vorher töten kann. Schwerter werden jedoch durch das Drachenblut unbenutzbar, sobald man einen Drachen damit getötet hat. Außerdem werden Drachen sofort wieder ersetzt. Barbara König BeKo/TI 185

7 Adventure-Problem (Level 4) Schlüssel-Regel Der magische Torbogen kann nur passiert werden, wenn man keinen Schlüssel besitzt. Schwert-Regel Ein Fluss kann nur passiert werden, wenn man kein Schwert besitzt (weil man sonst ertrinkt!). Barbara König BeKo/TI 186

8 Adventure-Problem (Level 4) Gegeben ist ein Adventure durch eine Karte bzw. einen endlichen Automaten M. Das Adventure-Problem (Level 4) lautet folgendermaßen: A 4 = {M es gibt einen Pfad von einem Anfangs- zu einem Endzustand von M, der alle Regeln erfüllt}. Dabei sollen die Automaten M in entsprechender Kodierung als Eingabe zur Verfügung gestellt werden. Barbara König BeKo/TI 187

9 Barbara König BeKo/TI 188

10 Adventure-Problem (Level 4) Wir zeigen die von A 4 durch Reduktion des Halteproblems für Goto-Programme (mit zwei Variablen x 1, x 2 und initialer Variablenbelegung 0) auf A 4. Annahmen: Um die Kodierung graphisch darstellen zu können, repräsentieren wir Goto-Programme durch Flussdiagramme, bei denen die Sprungmarken durch Pfeile ersetzt werden. Wir betrachten nur Zuweisungen der Form x i := x i + 1 bzw. x i := x i 1 und Vergleiche mit 0 (alle anderen Zuweisungen bzw. Vergleiche können simuliert werden) Barbara König BeKo/TI 189

11 Adventure-Problem (Level 4) Intuition: Tür- und Schlüssel-Regel: wird zur Simulation einer Variable x 1 benutzt (mit Inkrementierung und Nulltest). Drachen- und Schwert-Regel: wird zur Simulation einer Variable x 2 benutzt Barbara König BeKo/TI 190

12 Adventure-Problem (Level 4) Übersetzung: Goto-Programm Adventure x 1 := x x 1 := x 1 1 Barbara König BeKo/TI 191

13 Adventure-Problem (Level 4) Übersetzung: Goto-Programm Adventure yes x 1 = 0 no If... Then... Barbara König BeKo/TI 191

14 Adventure-Problem (Level 4) Übersetzung: Goto-Programm Adventure x 2 := x x 2 := x 2 1 Barbara König BeKo/TI 191

15 Adventure-Problem (Level 4) Übersetzung: Goto-Programm Adventure yes x 2 = 0 no If... Then... Barbara König BeKo/TI 191

16 Adventure-Problem (Level 4) Übersetzung: Goto-Programm Adventure Halt Mit Schatz beschriftete Transitionen können auch zum Zusammenfügen der einzelnen Teilautomaten verwendet werden. Barbara König BeKo/TI 191

17 Adventure-Problem (Level 4) Beispiel: Übersetze das folgende Goto-Programm in ein Adventure durch Zusammensetzen der einzelnen Teil-Automaten: x 1 := x 1 + 1; x 1 := x 1 + 1; M 1 : If x 1 = 0 Then Goto M 2 ; x 1 := x 1 1; x 2 := x 2 + 1; Goto M 1 ; M 2 : Halt M 2 M 1 Barbara König BeKo/TI 192

18 Adventure-Problem (Level 4) Goto-Programm Adventure Ein Goto-Programm (bei dem alle Variablen am Anfang mit 0 belegt werden) hält genau dann, wenn das entsprechend übersetzte Adventure eine Lösung hat. Wir können diese Kodierung daher als Reduktionsfunktion f auffassen und es folgt: des Adventure-Problems (Level 4) Das Adventure-Problem A 4 ist unentscheidbar. Barbara König BeKo/TI 193

19 Adventure-Problem (Level 4) Tag der offenen Tür 2011 an der TU München... Barbara König BeKo/TI 194

20 Adventure-Problem (Level 4) Barbara König BeKo/TI 194

21 Postsches Korrespondenzproblem Wir betrachten nun ein wichtiges unentscheidbares Problem, das dazu benutzt wird, die vieler anderer Probleme zu zeigen: Postsches Korrespondenzproblem (PCP) Eingabe: Eine endliche Folge von Wortpaaren (x 1, y 1 ),..., (x k, y k ) mit x i, y i Σ +. (Dabei ist Σ ein beliebiges Alphabet.) Ausgabe: Gibt es eine Folge von Indizes i 1,..., i n {1,..., k}, n 1 mit x i1... x in = y i1... y in? Barbara König BeKo/TI 195

22 Postsches Korrespondenzproblem Beispiel 1: Löse das Postsche Korrespondenzproblem für x 1 = 0 x 2 = 1 x 3 = 0101 y 1 = 010 y 2 = 101 y 3 = 01 Eine mögliche Lösung: 3, 3, 1, 2: Eine weitere (kürzere) Lösung ist: 3, 1 Barbara König BeKo/TI 196

23 Postsches Korrespondenzproblem Beispiel 2: Löse das Postsche Korrespondenzproblem für x 1 = 001 x 2 = 01 x 3 = 01 x 4 = 10 y 1 = 0 y 2 = 011 y 3 = 101 y 4 = 001 Eine kürzeste Lösung besteht bereits aus 66 Indizes: 2, 4, 3, 4, 4, 2, 1, 2, 4, 3, 4, 3, 4, 4, 3, 4, 4, 2, 1, 4, 4, 2, 1, 3, 4, 1, 1, 3, 4, 4, 4, 2, 1, 2, 1, 1, 1, 3, 4, 3, 4, 1, 2, 1, 4, 4, 2, 1, 4, 1, 1, 3, 4, 1, 1, 3, 1, 1, 3, 1, 2, 1, 4, 1, 1, 3. An der Komplexität dieser Lösung kann man bereits die Schwierigkeit des Problems ablesen. Barbara König BeKo/TI 197

24 Postsches Korrespondenzproblem Semi-Entscheidbarkeit des PCP (Satz) Das Postsche Korrespondenzproblem ist semi-entscheidbar. Beweisidee: Probiere erst alle Indexfolgen der Länge 1 aus, dann alle Indexfolgen der Länge 2,... Falls irgendwann eine passende Indexfolge gefunden wird, so gib 1 aus. Barbara König BeKo/TI 198

25 Postsches Korrespondenzproblem Der erste Schritt des sbeweises ist es, das folgende modifizierte Problem zu betrachten. Modifiziertes PCP (MPCP) Eingabe: wie beim PCP. Ausgabe: Gibt es eine Lösung i 1,..., i n des PCP mit i 1 = 1? Barbara König BeKo/TI 199

26 Postsches Korrespondenzproblem Wir beweisen nun zwei Reduktions-Lemmata, aus denen die des Postschen Korrespondenzproblems folgt: MPCP auf PCP reduzierbar (Lemma) MPCP PCP Barbara König BeKo/TI 200

27 Postsches Korrespondenzproblem Halteproblem auf MPCP reduzierbar (Lemma) H MPCP Barbara König BeKo/TI 201

28 Postsches Korrespondenzproblem (Lemma) PCP unentscheidbar Das Postsche Korrespondenzproblem ist unentscheidbar. Beweis: Die Behauptung folgt direkt aus den beiden vorherigen Lemmata. Aus H MPCP PCP folgt H PCP (durch Komposition der Reduktionsabbildungen). Und da außerdem bekannt ist, dass H (das allgemeine Halteproblem) nicht entscheidbar ist, folgt daraus, dass das PCP nicht entscheidbar ist. Barbara König BeKo/TI 202

29 Postsches Korrespondenzproblem Bemerkungen: Das Postsche Korrespondenzproblem ist bereits unentscheidbar, wenn man sich auf das Alphabet Σ = {0, 1} einschränkt. Für unäres (einelementiges) Alphabet ist das PCP jedoch entscheidbar. Hier entspricht die Konkatenation von Wörtern der Addition von Zahlen. Wir werden nun das PCP dazu nutzen, um die des Schnittproblems für kontextfreie Grammatiken zu zeigen. Barbara König BeKo/TI 203

30 Schnittproblem für kontextfreie Grammatiken Zuletzt betrachten wir noch das Schnittproblem für kontextfreie Grammatiken Schnittproblem für kontextfreie Grammatiken Eingabe: zwei kontextfreie Grammatiken G 1, G 2. Ausgabe: Gilt L(G 1 ) L(G 2 ) =? (D.h., es gibt kein Wort, das sowohl von G 1 als auch von G 2 erzeugt wird.) Barbara König BeKo/TI 204

31 Schnittproblem für kontextfreie Grammatiken PCP auf Schnittproblem reduzierbar (Lemma) Das Postsche Korrespondenzproblem ist auf das Komplement des Schnittproblems für kontextfreie Grammatiken reduzierbar. Barbara König BeKo/TI 205

32 Schnittproblem für kontextfreie Grammatiken Beweis (alternativ zum Beweis im Buch von Schöning): Gegeben sei ein Postsches Korrespondenzproblem K = {(x 1, y 1 ),..., (x k, y k )} über dem Alphabet {0, 1}. Betrachte zunächst folgende Grammatik G 1 : S x i Sy R i x i $y R i i = 1,..., k Dabei steht y R i für y i rückwärts. L(G 1 ) = {x i1... x in $yi R n... yi R 1 i 1,..., i n {1,..., k}} Betrachte jetzt folgende Grammatik G 2 : S 0S0 1S1 $ L(G 2 ) = {w$w R w {0, 1} } Barbara König BeKo/TI 206

33 Schnittproblem für kontextfreie Grammatiken Zusammen: L(G 1 ) L(G 2 ) = {x i1... x in $yi R n... yi R 1 i 1,..., i n {1,..., k}, x i1... x in = y i1... y in } Das heißt, der Schnitt der Sprachen ist nicht-leer, genau dann, wenn das PCP eine Lösung hat. Barbara König BeKo/TI 207

34 Schnittproblem für kontextfreie Grammatiken Schnittproblem unentscheidbar Das Schnittproblem für kontextfreie Grammatiken ist unentscheidbar. Barbara König BeKo/TI 208

35 Schnittproblem für kontextfreie Grammatiken Bemerkungen: Das Komplement des Schnittproblems ist semi-entscheidbar: man leitet mit beiden Grammatiken parallel Wörter ab und bricht ab, sobald ein Wort von beiden Grammatiken abgeleitet wurde. Daraus folgt auch, dass das Schnittproblem selbst nicht semi-entscheidbar sein kann. Ansonsten wäre es nämlich entscheidbar. Außer dem Schnittproblem sind noch einige andere verwandte Probleme für kontextfreie Sprachen unentscheidbar: Inklusion, Gleichheit, Mehrdeutigkeit, Regularität,... (siehe Schöning). Barbara König BeKo/TI 209

36 Spezielles Wortproblem Wir haben nun von mehreren semi-entscheidbaren Problemen (Halteproblem, PCP, etc.) gezeigt, dass sie unentscheidbar sind. Damit haben wir Typ-0-Sprachen identifiziert, deren Wortproblem unentscheidbar ist. ( des speziellen Wortproblems.) Es gibt natürlich auch Typ-0-Sprachen mit einem entscheidbaren Wortproblem. Beispielsweise, wenn es sich um Typ-1-, Typ-2- oder Typ-3-Sprachen handelt. Barbara König BeKo/TI 210

37 Typ-1-Sprachen und Entscheidbarkeit Typ-1-Sprachen und Entscheidbarkeit (Zusammenfassung) Jede Typ-1-Sprache ist entscheidbar. (Aufgrund der Bedingung linke Seite rechte Seite kann man die Wörter, die von der Grammatik erzeugt werden, in aufsteigender Länge aufzählen. Stopp, sobald die Wörter länger als das gesuchte werden.) Es gibt entscheidbare Sprachen, die nicht vom Typ 1 sind. Barbara König BeKo/TI 211

38 Typ-1-Sprachen und Entscheidbarkeit Konstruktion einer entscheidbaren Sprache, die nicht vom Typ 1 ist (mittels Diagonalisierung): Betrachte ein Alphabet Σ, in dem sich Grammatiken kodieren lassen. Wir bezeichnen die Kodierung einer Grammatik G mit cod(g). Sei E die Menge der Kodierungen aller Grammatiken G, die folgende Eigenschaften erfüllen: G erzeugt Wörter über dem Alphabet Σ G ist vom Typ 1 (kontextsensitiv) cod(g) L(G) Die Sprache E ist entscheidbar. Die letzte Bedingung ist überprüfbar, da das Wortproblem für Typ-1-Sprachen entscheidbar ist. Barbara König BeKo/TI 212

39 Typ-1-Sprachen und Entscheidbarkeit Angenommen, E ist vom Typ 1. Dann gibt es eine Typ-1-Grammatik G mit L(G ) = E. Die Frage ist jetzt, ob die Kodierung von G in E liegt. Da die ersten beiden Bedingungen auf jeden Fall erfüllt sind, hängt dies nur noch von der letzten Bedingung ab. cod(g ) E cod(g ) L(G ) cod(g ) E. Die letzte Äquivalenz gilt wegen L(G ) = E. Damit ergibt sich ein Widerspruch und E kann nicht vom Typ 1 sein. Barbara König BeKo/TI 213

40 Typ-1-Sprachen und Entscheidbarkeit Bemerkungen: Bei diesem Resultat gibt es eine Analogie zu der Tatsache, dass es totale und berechenbare Funktionen gibt, die nicht Loop-berechenbar sind. Jeder andere Versuch, syntaktisch eine Klasse von Grammatiken zu definieren, die genau die entscheidbaren Sprachen erzeugen, muss scheitern. In diesem Fall wäre ein analoger Diagonalisierungsbeweis möglich. Barbara König BeKo/TI 214

41 Typ-1-Sprachen und Entscheidbarkeit Damit ergibt sich folgende Hierarchie in Bezug auf semi-entscheidbare Sprachen (= Typ 0), Typ-1-Sprachen und entscheidbare Sprachen: Menge aller Sprachen Typ-0-Sprachen semi-entscheidbare Sprachen Entscheidbare Sprachen Typ-1-Sprachen kontextsensitive Sprachen Barbara König BeKo/TI 215

42 Äquivalenzproblem für Turingmaschinen Wir haben bereits ein Problem kennengelernt, das nicht semi-entscheidbar ist: das Schnittproblem für kontextfreie Sprachen. Allerdings ist das Komplement dieses Problems semi-entscheidbar. Es gibt allerdings sogar noch schwerere Probleme, die nicht semi-entscheidbar sind und deren Komplement auch nicht semi-entscheidbar ist. Beispielsweise folgendes Problem: Äquivalenzproblem für Turingmaschinen Eingabe: Zwei Turingmaschinen M 1, M 2 Ausgabe: Berechnen M 1, M 2 dieselbe Funktion? Beweis: Reduktion vom Satz von Rice. Barbara König BeKo/TI 216

43 Weitere sresultate Wir betrachten nun noch einige weitere interessante (unentscheidbare) Probleme aus der Logik und Mathematik: Unerfüllbarkeit für Formeln der Prädikatenlogik 1. Stufe und 2. Stufe Diophantische Gleichungen Barbara König BeKo/TI 217

44 Logik-Probleme Kontextsensitive und Typ-0-Sprachen Unerfüllbarkeit für Formeln der Prädikatenlogik 1. Stufe Das Problem, zu entscheiden, ob eine gegebene Formel F der Prädikatenlogik 1. Stufe unerfüllbar ist, ist unentscheidbar. Es ist jedoch noch semi-entscheidbar (z.b. mit Hilfe des Resolutionskalküls). Das gleiche gilt für das Gültigkeitsproblem. Prädikatenlogik 1. Stufe: die einfachste Form der Prädikatenlogik; man darf über Elemente quantifizieren ( x, x), nicht jedoch über Mengen oder Relationen. Barbara König BeKo/TI 218

45 Logik-Probleme Kontextsensitive und Typ-0-Sprachen Das Unerfüllbarkeits- bzw. Gültigkeitsproblem für Logiken höherer Stufe (beispielsweise für die Prädikatenlogik 2. Stufe, bei der Quantifikation über Relationen erlaubt ist), ist nicht mehr semi-entscheidbar. Der Beweis benutzt die Tatsache, dass man mit Hilfe dieser Logiken die natürlichen Zahlen axiomatisieren und damit Aussagen über arithmetische Ausdrücken formulieren kann, etwas, das mit Hilfe der Prädikatenlogik 1. Stufe nicht ohne weiteres möglich ist (da man darin das Induktionsaxiom nicht ausdrücken kann). Barbara König BeKo/TI 219

46 Logik-Probleme Kontextsensitive und Typ-0-Sprachen Daraus folgt auch, dass solche Logiken höherer Stufe keinen Kalkül haben können. Denn aus einem Kalkül, der es ermöglicht, alle wahren Formeln abzuleiten, kann man immer ein Semi-Entscheidungsverfahren gewinnen. Die Nicht-Existenz eines solchen (vollständigen) Kalküls für die Arithmetik ist die Aussage des (Ersten) Gödelschen Unvollständigkeitssatzes (1931). Für die Mathematik bedeutet das: Es gibt wahre Aussagen, die nicht beweisbar sind. Unterhaltsame Lektüre zu diesem Thema: Douglas R. Hofstadter: Gödel, Escher, Bach: An Eternal Golden Braid In deutscher Übersetzung: Douglas R. Hofstadter: Gödel, Escher, Bach: Ein endloses geflochtenes Band Barbara König BeKo/TI 220

47 Diophantische Gleichungen Wir beschäftigen uns nun mit dem Lösen diophantischer Gleichungen (auch bekannt als Hilberts 10. Problem). Diophantische Gleichung Eine diophantische Gleichung ist eine Gleichung der Form p(x 1,..., x n ) = 0 Wobei p(x 1,..., x n ) ein Polynom in den Variablen x 1,..., x n mit ganzzahligen Koeffizienten ist. Beispiele: 3x 4y 1 = 0 2x 4y 1 = 0 x 2 1 = 0 xy 2y 2 2 = 0 x 2 + y 2 z 2 = 0 x 3 + y 3 z 3 = 0 Barbara König BeKo/TI 221

48 Diophantische Gleichungen Problem: Lösen diophantischer Gleichungen Eingabe: Eine diophantische Gleichung Ausgabe: Hat diese Gleichung eine Lösung in den ganzen Zahlen? Alternative Fragestellung: Hat diese Gleichung eine Lösung in den natürlichen Zahlen? des Lösens diophantischer Gleichungen Es gibt kein allgemeines Verfahren, um diophantische Gleichungen zu lösen. D.h., das entsprechende Problem ist unentscheidbar. (Matiyasevich, 1970) (Ohne Beweis) Barbara König BeKo/TI 222

49 Diophantische Gleichungen Bemerkungen: Eine der berühmtesten Klassen von diophantischen Gleichungen ist x n + y n = z n. Nach einem Result von Wiles von 1995 hat keine solche Gleichung für n > 2 eine Lösung in den natürlichen Zahlen (ohne die Null). (Beweis des letzten Satzes von Fermat) Für bestimmte Klassen von diophantischen Gleichungen gibt es Lösungsverfahren: Für eine Gleichung vom Typ x n + y n = z n mit n > 2 ist die Ausgabe der Algorithmus immer nein (= keine Lösung). Lineare diophantische Gleichungen der Form a 1 x a n x n = b haben ein Lösungsverfahren ( erweiterter euklidischer Algorithmus). Barbara König BeKo/TI 223

50 Abschlusseigenschaften Abgeschlossenheit (Definition) Gegeben sei eine Menge M und ein binärer Operator : M M M. Man sagt, eine Menge M M ist unter abgeschlossen, wenn für zwei beliebige Elemente m 1, m 2 M gilt: m 1 m 2 M. Uns interessieren hier vor allem folgende Operatoren: Komplement, Schnitt, Vereinigung Barbara König BeKo/TI 224

51 Abschlusseigenschaften Entscheidbare Sprachen: Abschluss unter Komplement Die entscheidbaren Sprachen sind unter Komplement abgeschlossen. D.h., wenn L entscheidbar ist, dann ist auch Σ \L entscheidbar. (Dabei ist Σ das Alphabet, über dem L definiert ist.) Semi-entscheidbare Sprachen: kein Abschluss unter Komplement Die semi-entscheidbaren Sprachen sind nicht unter Komplement abgeschlossen. Barbara König BeKo/TI 225

52 Abschlusseigenschaften (Semi-)entscheidbare Sprachen: Abschluss unter Schnitt Die entscheidbaren Sprachen sind unter Schnitt abgeschlossen. D.h., wenn L 1, L 2 entscheidbar sind, dann ist auch L 1 L 2 entscheidbar. Das gleiche gilt für die semi-entscheidbaren Sprachen. (Semi-)entscheidbare Sprachen: Abschluss unter Vereinigung Die entscheidbaren Sprachen sind unter Vereinigung abgeschlossen. D.h., wenn L 1, L 2 entscheidbar sind, dann ist auch L 1 L 2 entscheidbar. Das gleiche gilt für die semi-entscheidbaren Sprachen. Barbara König BeKo/TI 226