Unentscheidbare Probleme: Existenz, Diagonalsprache, Halteproblem

Transkript

1 Unentscheidbare Probleme: Existenz, Diagonalsprache, Halteproblem Prof. Dr. Berthold Vöcking Lehrstuhl Informatik 1 Algorithmen und Komplexität RWTH Aachen 25. Oktober 2010 Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

2 Wdh: Die Church-Turing-These Kein jemals bisher vorgeschlagenes vernünftiges Rechnermodell hat eine größere Mächtigkeit als die TM. Diese Einsicht hat Church zur Formulierung der folgenden These veranlasst. Church-Turing-These Die Klasse der TM-berechenbaren Funktionen stimmt mit der Klasse der intuitiv berechenbaren Funktionen überein. Wir werden deshalb nicht mehr von TM-berechenbaren Funktionen sprechen, sondern allgemein von berechenbaren Funktionen. Gleichbedeutend verwenden wir den Begriff rekursive Funktion bzw. rekursive oder auch entscheidbare Sprache. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

3 Gibt es nicht-rekursive Probleme? Ja, es gibt nicht-rekursive Probleme, denn die Mächtigkeit der Menge aller Sprachen ist größer als die Mächtigkeit der Menge aller TMen. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

4 Exkursion: abzählbare und überabzählbare Mengen Def: abzählbare Menge Eine Menge M heißt abzählbar, wenn es eine surjektive Funktion c : N M gibt. Jede endliche Menge M ist offensichtlich abzählbar. Im Fall einer abzählbar unendlichen Menge M gibt es immer auch eine bijektive Abbildung c : N M, denn Wiederholungen können bei der Abzählung offensichtlich ausgelassen werden. Die Elemente einer abzählbaren Menge können also nummeriert werden. Abzählbar unendliche Mengen haben somit dieselbe Mächtigkeit wie die Menge der natürlichen Zahlen N. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

5 Exkursion: abzählbare und überabzählbare Mengen Beispiele für abzählbar unendliche Mengen: die Menge der ganzen Zahlen Z: c(i) = { i/2 falls i gerade (i + 1)/2 falls i ungerade Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

6 Exkursion: abzählbare und überabzählbare Mengen Beispiele für abzählbar unendliche Mengen: die Menge der rationalen Zahlen Q: Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

7 Exkursion: abzählbare und überabzählbare Mengen Beispiele für abzählbar unendliche Mengen: {0, 1}, die Menge der Wörter über dem Alphabet {0, 1}: (kanonische Reihenfolge) Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

8 Exkursion: abzählbare und überabzählbare Mengen Beispiele für abzählbar unendliche Mengen: die Menge der Gödelnummern, da Gödelnumern Wörter über dem Alphabet {0, 1} sind, und somit auch die Menge der TMen, weil jede TM durch eine eindeutige Gödelnummer beschrieben wird. Das i-te Wort gemäß der kanonischen Reihenfolge bezeichnen wir im Folgenden mit w i und die i-te TM mit M i. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

9 Exkursion: abzählbare und überabzählbare Mengen Nun betrachte die Potenzmenge P(N), also die Menge aller Teilmengen von N. Satz: Die Menge P(N) ist überabzählbar. Beweis: (Diagonalisierung) Zum Zweck des Widerspruchs nehmen wir an, dass P(N) abzählbar ist. Mit S i bezeichnen wir die i-te Menge aus P(N). Wir definieren eine zwei-dimensionale unendliche Matrix (A i,j ) i N,j N mit A i,j = { 1 falls j Si 0 sonst Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

10 Exkursion: abzählbare und überabzählbare Mengen Illustration: die Matrix A könnte etwa folgendermaßen aussehen Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

11 Exkursion: abzählbare und überabzählbare Mengen Fortsetzung Beweis: Wir definieren die Menge S diag = {i N A i,i = 1}. Für die Beispielmatrix ergibt sich: Das Komplement dieser Menge ist S diag = N \ S diag = {i N A i,i = 0}. Für die Beispielmatrix ergibt sich: Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

12 Exkursion: abzählbare und überabzählbare Mengen Fortsetzung Beweis: Auch S diag ist ein Element von P(N). In der Nummerierung von P(N) nehme S diag den k-ten Platz ein, d.h. S diag = S k. Jetzt gibt es zwei Fälle, die jeweils zum Widerspruch führen. Fall 1: A k,k = 1 Def. S diag Def.A k Sdiag k S k A k,k = 0 Fall 2: Widerspruch! A k,k = 0 Def. S diag Def.A k Sdiag k S k A k,k = 1 Widerspruch! Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

13 Wie viele verschiedene Entscheidungsprobleme gibt es? Sei L die Menge aller Entscheidungsprobleme bzw. Sprachen über {0, 1}, d.h. L = P({0, 1} ). Wir beobachten: {0, 1} hat dieselbe Mächtigkeit wie N. P({0, 1} ) hat somit dieselbe Mächtigkeit wie P(N). L ist deshalb überabzählbar. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

14 Existenz unentscheidbarer Probleme Es gibt überabzählbar viele Sprachen. Aber es gibt nur abzählbar viele TMen. Schlussfolgerung Es gibt nicht-rekursive Sprachen. Die reine Existenz unentscheidbarer Probleme ist noch nicht dramatisch, denn es könnte sich ja um uninteressante, nicht praxis-relevante Probleme handeln. Leider werden wir sehen, dass diese Hoffnung sich nicht bestätigt. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

15 Das Halteproblem Beim Halteproblem geht es darum, zu entscheiden, ob ein gegebenes Programm mit einer gegebenen Eingabe terminiert. In der Notation der TMen ergibt sich die folgende formale Problemdefinition. H = { M w M hält auf w}. Es wäre äußerst hilfreich, wenn Compiler das Halteproblem entscheiden könnten. Wir werden jedoch sehen, dass dieses elementare Problem nicht entscheidbar ist. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

16 Unentscheidbarkeit der Diagonalsprache Zum Beweis der Unentscheidbarkeit des Halteproblems machen wir einen Umweg über die sogenannte Diagonalsprache. D = { w {0, 1} w = w i und M i akzeptiert w nicht}. Anders gesagt, das i-te Wort bzgl. der kanonischen Reihenfolge, also w i, ist genau dann in D, wenn die i-te TM, also M i, dieses Wort nicht akzeptiert. Satz: Die Diagonalsprache D ist nicht rekursiv. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

17 Unentscheidbarkeit der Diagonalsprache Intutition Warum trägt die Sprache den Namen Diagonalsprache? Betrachte eine unendliche binäre Matrix A mit A i,j = { 1 falls Mi akzeptiert w j 0 sonst Beispiel: w 0 w 1 w 2 w 3 w 4 M M M M M Die Diagonalsprache läßt sich auf der Diagonale der Matrix ablesen. Es ist D = {w i A i,i = 0}. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

18 Unentscheidbarkeit der Diagonalsprache Beweis Beweis: Wir führen einen Widerspruchsbeweis und nehmen an, D ist rekursiv. Dann gibt es eine TM M j, die D entscheidet. Wir starten die TM M j mit der Eingabe w j. Es ergeben sich zwei Fälle, die jeweils direkt zum Widerspruch führen. Fall 1: w j D M j entsch. D Def. von D M j akzeptiert w j w j D Fall 2: w j D M j entsch. D M j akzeptiert w j nicht Def. von D Widerspruch! w j D Widerspruch! Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

19 Unentscheidbarkeit des Komplements der Diagonalsprache Das Komplement zur Diagonalsprache ist Satz: D = { w {0, 1} w = w i und M i akzeptiert w} Das Komplement D der Diagonalsprache ist nicht rekursiv. Beweis: Zum Widerspruch nehmen wir an, es gibt eine TM M D, die die Sprache D entscheidet. Gemäß der Def rekursiver Sprachen hält M D auf jeder Eingabe w und akzeptiert genau dann, wenn w D. Wir konstruieren nun eine TM M, die M D als Unterprogramm verwendet: M startet M D auf der vorliegenden Eingabe und negiert anschließend die Ausgabe von M D. Die TM M entscheidet nun offensichtlich D. Ein Widerspruch zur Unentscheidbarkeit von D. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

20 Unentscheidbarkeit des Komplement der Diagonalsprache Illustration: Aus M D konstruieren wir M D. M D w M D accept reject accept reject Aber die Existenz von M D steht im Widerspruch zur Unentscheidbarkeit von D. Damit kann es M D nicht geben, und D ist nicht entscheidbar. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

21 Unterprogrammtechnik Die Beweistechnik aus diesem Satz lässt sich allgemein wie folgt zusammenfassen: Unterprogrammtechnik zum Nachweis von Unentscheidbarkeit Um nachzuweisen, dass eine Sprache L nicht rekursiv ist, genügt es zu zeigen, dass man durch Unterprogrammaufruf einer TM M L, die L entscheidet, ein anderers Problem L entscheiden kann, das bereits als nicht rekursiv bekannt ist. Im Folgenden üben wir die Unterprogrammtechnik an einigen Beispielsprachen, die auch das Halteproblem umfassen. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

22 Unentscheidbarkeit des Halteproblems Satz: Das Halteproblem H ist nicht rekursiv. Beweis: Wir nutzen die Unterprogrammtechnik: Sei M H eine TM die H entscheidet, also eine TM, die auf jede Eingabe hält, und nur Eingaben der Form M w akzeptiert, bei denen M auf w hält. Wir konstruieren eine TM M D mit M H als Unterprogramm, die D entscheidet, was im Widerspruch zur Nicht-Berechenbarkeit von D steht. Aus diesem Widerspruch ergibt sich die Unmöglichkeit der TM M H. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

23 Unentscheidbarkeit des Halteproblems Forts. Beweis Algorithmus der TM M D mit Unterprogramm M H : 1) Auf Eingabe w, berechne i, so dass gilt w = w i. 2) Berechne nun die Gödelnummer der i-ten TM, also M i. 3) Jetzt starte M H als Unterprogramm mit Eingabe M i w. 3.1) Falls M H akzeptiert, so simuliere das Verhalten von M i auf w (genau wie die universelle TM U dies tun würde). 3.2) Falls M H verwirft, so verwirf die Eingabe. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

24 Unentscheidbarkeit des Halteproblems Illustration: Aus M H konstruieren wir M D. w M D <M i> w i w=w i M H <M i> w i accept U accept reject reject Aber die Existenz von M D steht im Widerspruch zur Unntscheidbarkeit von D. Damit kann es M H nicht geben, und das Halteproblem H ist nicht entscheidbar. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

25 Unentscheidbarkeit des Halteproblems Forts. Beweis Wir müssen zeigen, dass M D korrekt arbeitet. Für die Korrektheit ist zu zeigen: 1 w D M D akzeptiert w 2 w D M D verwirft w Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26

26 Unentscheidbarkeit des Halteproblems Forts. Beweis Sei w = w i. Es gilt w D M i akzeptiert w i M H und U akzeptieren M i w i M D akzeptiert w. w D M i akzeptiert w i nicht ( M i hält nicht auf w i ) oder ( M i verwirft w i ) ( M H verwirft M i w i ) oder ( M H akzeptiert und U verwirft M i w i ) M D verwirft w. Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und Komplexität 25. Oktober / 26