Inhalt Theoretische Informatik WS17/18

Transkript

1 Inhalt Theoretische Informatik WS17/18 (nach Modulbeschreibung) Formale Sprachen Wortersetzungssysteme Grammatiken Chomsky-Hierarchie (für Grammatiken und Sprachen) abstrakte Maschinenmodelle zur Akzeptanz von Sprachen Endliche Automaten (NFA) Kellerautomaten (PDA) Linear beschränkte Automaten (LBA) Turingmaschinen (Turing-)Berechenbarkeit (partieller Funktionen) (Turing-)Entscheidbarkeit (von Sprachen / Mengen) (mehr in Master-LV zur theoretischen Informatik) 221

2 Lernziele Theoretische Informatik WS17/18 (nach Modulbeschreibung) Die Studierenden sind in der Lage, wichtige Klassen formaler Sprachen als Grundlage von Programmier- und Beschreibungssprachen einzuordnen und kennen die wesentlichen Eigenschaften der Sprachklassen. Sie kennen die entsprechenden abstrakten Maschinenmodelle und Algorithmen und können sie zur Darstellung und Lösung praktischer Aufgabenstellungen einsetzen. Die Studierenden wissen, dass nicht jedes formal darstellbare Problem algorithmisch lösbar ist. 222

3 Prüfung Theoretische Informatik WS17/18 Klausur am Mittwoch, um 8:00-10:00 Uhr in HS N001 Zur Prüfung ist zugelassen, wer alle folgenden Bedingungen erfüllt: Autotool: 25/2 = 12 Punkte für Pflicht-Aufgaben und Übungen: 3 Punkte für erfolgreiches Vorrechnen Aufgabentypen wie in Übungsserien einzige zugelassene Hilfsmittel: ein (beidseitig) handbeschriebenes A4-Blatt 223

4 Formale Sprachen endliches Alphabet X Wort w X Operationen auf Wörtern:,, R Relationen auf Wörtern: Infix, Präfix, Postfix, lexikographische und quasilexikographische Ordnung (formale) Sprache L X Operationen auf Sprachen:,,, \,,, R Reguläre Ausdrücke (endliche formale Darstellung unendlicher Sprachen) 224

5 Aufgaben (Probleme) als formale Sprachen Entscheidungsproblem (Aufgabe) = Menge (Sprache) der Codierungen aller korrekten Instanzen z.b. Wortproblem für Typ-3-Grammatiken Wortproblem WP G3 = {(G, w) w L(G)} Parameter (Eingaben für Lösungsverfahren) : (G, w), Typ-3-Grammatik G = (N, T, P, S) und w T Frage: Gilt w L(G)? Antwort (mögliche Ausgaben des Lösungsverfahrens): ja (1), falls w L(G) nein (0), falls w L(G) Instanzen z.b. mit G = ({S}, {a, b}, {S as b}, S): (G, aab) WP G3 (korrekte Instanz), (G, aba) WP G3 225

6 Aufgaben und Instanzen Aufgabe (Problem): Sprache P X (Codierungen einer Klasse von verwandten Aufgaben) Instanz eines Problems: Wort w X (Codierung einer speziellen Aufgabe aus dieser Klasse) Lösungsverfahren für das Problem P: Entscheidungsverfahren für P, d.h. Verfahren, welches für jede Instanz (Wort) w X bestimmt, ob w P Beispiel: Wortproblem für reguläre Sprachen Problem: WP-REG = {(c(l), w) w L} mit endlicher Darstellung c(l) der Sprache L z.b. c(l) = A für einen NFA A mit L = L(A) Instanz: (c(a), aba) mit A = ({a, b}, {p, q}, δ, {p}, {p, q}) und δ(a) = {(p, p)}, δ(b) = {(p, q), (q, q)} Frage: Gilt (A, aba) WP-REG? wahr gdw. aba L(A) Lösungsungsverfahren (Entscheidungsverfahren), z.b. Pfadsuche im Automatengraphen 226

7 Aufgaben und Instanzen Beispiele Enthaltensein in einer Folge (von Elementen des Typs E) Aufgabe: F = {((x 1,..., x n ), y) E E k {1,..., n} : x k = y} Menge aller Paare ((x 1,..., x n ), y) mit y {x 1,..., x n } Instanz: ((1, 3, 4, 6), 4) (Gilt ((1, 3, 4, 6), 4) F? ) Ja, ((1, 3, 4, 6), 4) LS, weil 4 {1, 3, 4, 6} Lösungsverfahren (Entscheidungsverfahren): (beliebiges) Suchverfahren in Folgen SAT (Erfüllbarkeitsproblem der Aussagenlogik) Aufgabe: SAT = {ϕ AL Mod(ϕ) } Menge aller erfüllbaren aussagenlogischen Formeln Instanz: a (a b c) c b (Gilt ( a (a b c) c b) SAT?) Nein, weil Mod(ϕ) = Lösungsverfahren (Entscheidungsverfahren): semantisch: Wahrheitswerttabellen syntaktisch: Kalküle, z.b. Resolution, äquivalente Umformungen 227

8 Aufgaben und Entscheidungsverfahren Aufgabe P (formale Sprache) ist unentscheidbar gdw. kein Entscheidungsverfahren (TM, Programm, Algorithmus,... ) für P existiert, z.b. spezielles Halteproblem entscheidbar gdw. wenigstens ein Entscheidungsverfahren für P existiert (i.a. existieren mehrere) z.b. SAT, Suche in Folgen, Sortieren von Folgen durch verschiedene Such- und Sortierverfahren Entscheidbarkeit eines Problems (Sprache) P wird i.a. durch Angabe eines Entscheidungsverfahrens für P gezeigt. Unentscheidbarkeit eines Problems P wird oft durch Reduktion bekannter unentscheidbarer Probleme (oft HP) auf P gezeigt. 228

9 Wortersetzungssysteme Wortersetzungssystem (SRS) S X X (Menge von Ersetzungsregeln) Ableitungsrelation S zum SRS S, transitiver Abschluss S durch Wortersetzungssystem S und Menge W von Wörtern definierte Sprache L(S, W ) = {v u W : u S v} endliche formale Darstellung unendlicher Sprachen Wortproblem für Wortersetzungssysteme: {(S, u, v) S X X (endlich) v X v X u s v} (Menge aller Tripel (S, u, v) mit u s v) Wortproblem (S, u, v) ( = Frage: Gilt v L(S, {u})?) im Allgemeinen unentscheidbar für nichtverkürzende SRS entscheidbar für nichtverlängernde SRS entscheidbar 229

10 Grammatiken (endliche Darstellung unendlicher Sprachen) Grammatik G = (N, T, P, S) Ableitungen in Grammatiken von Grammatik G erzeugte Sprache L(G) Wortproblem für Grammatiken: {(G, v) G = (N, T, P, S) v T v L(G)} (Menge aller Paare (G, v) mit v L(G)) Ableitungsbäume für kontextfreie Grammatiken eindeutige / mehrdeutige kontextfreie Grammatiken 230

11 Chomsky-Hierarchie Eine Grammatik G = (N, T, P, S) ist vom Chomsky-Typ 0 immer, 1, falls für jede Regel (l r) P gilt: l r (monoton, kontextsensitiv) 2, falls Typ 1 und für jede Regel (l r) P gilt: l N (kontextfrei) 3, falls Typ 2 und für jede Regel (l r) P gilt: l N und r (T TN) (regulär) Sprache L hat Chomsky-Typ i gdw. eine Grammatik G mit Chomsky-Typ i mit L(G) = L \ {ε} existiert praktisch: Zulassung der ε-sonderregel: Grammatik G = (N, T, P, S) hat auch dann Chomsky-Typ i, wenn sie nur Regeln der für Chomsky-Typ i erlaubten Form und evtl. die Regel S ε enthält 231

12 Endliche Automaten NFA A = (X, Q, δ, I, F ) akzeptierende Pfade (I Q F ) (I F ) akzeptierte Wörter akzeptierte Sprache L(A) X Äquivalenz, Isomorphie Eigenschaften: vollständig, deterministisch, mit ε-übergängen, Minimalautomat Abschluss unter,,,,, R Nachweis Nicht-Regularität durch Schubfachschluss NFA akzeptieren genau alle regulären Sprachen (Typ 3) = genau alle durch reguläre Ausdrücke darstellbaren Sprachen Wortproblem für Typ-3-Sprachen in O(n) lösbar (Minimalautomat) (n Länge des Eingabewortes) Anwendung z.b. in String-Matching-Algorithmen (siehe LV Algorithmen und Datenstrukturen) 232

13 Kellerautomaten PDA A = (X, Q, Γ, δ, q 0, F, ) Konfiguration, Konfigurationenfolge akzeptierte Wörter akzeptierte Sprache Äquivalenz Akzeptanz durch akzeptierende Zustände / leeren Keller PDA akzeptieren genau die kontextfreien Sprachen (Typ 2). (DPDA akzeptieren echte Teilmenge) kontextfreie Sprachen: Chomsky-Normalform CYK-Algorithmus (dynamische Programmierung) löst Wortproblem für Typ-2-Sprachen in O(n 3 ) Abschluss unter,,, R, Schnitt mit regulären Sprachen aber nicht unter, Nachweis Nicht-Kontextfreiheit durch Pumping-Lemma für kontextfreie Sprachen Anwendung z.b. beim Parsen von Programmen und (arithmetischen, regulären, logischen,... ) Ausdrücken 233

14 Turing-Maschinen TM M = (X, Q, Γ, δ, q 0, F, ) deterministisch / nichtdeterministisch Konfiguration, Konfigurationenfolge akzeptierte Wörter akzeptierte Sprache L(M) X Akzeptanz durch akzeptierende Zustände / Halt Abschluss Turing-akzeptierbarer Sprachen unter,,,, R aber nicht unter TM akzeptieren genau alle durch eine Grammatik erzeugten Sprachen (Chomsky-Typ 0). LBA (TM mit linear beschränktem Band) akzeptieren genau alle kontextsensitiven Sprachen (Chomsky-Typ 1). LBA-Problem (ungelöst): Ist jede von einen nichtdeterministischen LBA akzeptierte Sprache durch einen deterministischen LBA akzeptierbar? 234

15 Beispiel: Sprache vom Chomsky-Typ 0 Regeln l r mit l (T N) +, r (T N) G = ({S, T, }, {0, 1}, P, S) mit S 1S101 S 01S00 S 110S11 0S0 T P = 0T 0 T 1S1 T 1T 1 T T ε Gilt ε L(G)? S 110S S S S T T T 11 1T 1 T ε 235

16 TM und Sprachen vom Chomsky-Typ 0 Satz Die Menge aller Sprachen, die von einer TM akzeptiert werden, ist genau die Menge aller Sprachen vom Chomsky-Typ 0. Idee der Konstruktionen: Grammatik TM: M berechnet für das Eingabewort w (letztes Wort einer Ableitung) eine Ableitung in der Grammatik rückwärts. (Bei jeder Regelanwendung wird der aktuelle Bandinhalt geeignet verschoben.) TM akzeptiert, wenn Bandinhalt = Startsymbol TM Grammatik: Grammatik erzeugt Kandidaten w für jedes Eingabewort w. Grammatik-Regeln beschreiben die lokalen Änderungen bei Konfigurationsübergängen der TM. (Simulation der Berechnung der TM auf w durch Ableitung in der Grammatik) Wird in der Ableitung ein akzeptierender Zustand errreicht, Übersetzung des Kandidaten w in Terminalwort w. 236

17 Beispiel: Sprache vom Chomsky-Typ 1 monotone Grammatik Regeln l r mit l, r (T N) + mit l r G = ({S, R, T, A, B}, {a, b}, P, S) mit P = Ableitung für das Wort baaaa S RT R RB BT AA BA AA RA ba aa aa S RT RBT RBBT RBBBT RBBAA RBAAA RAAAA baaaa baaaa baaaa baaaa nichtverkürzende Grammatik, also sind Wörter in Zwischenschritten nie länger als das abgeleitete Wort 237

18 Turing-akzeptierbare Sprachen Deterministische TM akzeptieren dieselbe Sprachklasse wie nichtdeterministische TM, und zwar genau alle Sprachen vom Chomsky-Typ 0 Die Menge aller TM-akzeptierbaren Sprachen ist abgeschlossen unter,,,, aber nicht unter (Gegenbeispiel später) Wortproblem, Leerheit, Endlichkeit und Gleichheit sind für TM-akzeptierbare Sprachen nicht algorithmisch entscheidbar alternative Bezeichnung: Die Menge aller TM-akzeptierbaren Sprachen ist genau die Menge aller Turing-aufzählbaren Sprachen. 238

19 LBA-akzeptierbare Sprachen (Nichtdeterministische) linear beschränkte TM (LBA) akzeptieren genau alle Sprachen vom Chomsky-Typ 1 (kontextsensitiv) Ob deterministische und nichtdeterministische LBA dieselbe Sprachklasse akzeptieren, ist unbekannt (LBA-Problem) Die Menge aller von LBA akzeptierten Sprachen (Chomsky-Typ 1) ist abgeschlossen unter,,,,, R Wortproblem ist für LBA-akzeptierbare Sprachen algorithmisch entscheidbar. (schon früher gezeigt: Wortproblem für nichtverlängernde Wortersetzungssysteme) Leerheit, Endlichkeit und Gleichheit kontextsensitiver Sprachen sind nicht algorithmisch entscheidbar. 239

20 Berechenbarkeit von (partiellen) Funktionen deterministische TM M = (X, Q, Γ, δ, q 0, F, ) definiert (partielle) Funktion f M : Γ Γ durch { v falls Bandinhalt v, nachdem M hält f M (w) = nicht definiert falls M nicht hält Codierung ein- und mehrstelliger Funktionen auf N partielle Funktion f ist (Turing-)berechenbar gdw. eine TM M mit f = f M existiert intuitiver Berechnebarkeitsbegriff These von Church: Die Menge aller intuitiv berechenbaren Funktionen ist genau die Menge aller Turing-berechenbaren Funktionen. 240

21 Universelle TM Gödelisierung: endliche Codierung von TM (z.b. als Binärwort) Universelle TM: kann auf Eingabe von c(m) w alle Berechnungen jeder TM M auf jeder Eingabe w simulieren programmierbare TM Gödelnummer einer TM ist also: endliche Beschreibung einer speziellen TM Eingabe (Programm) für eine universelle TM (Simulator) 241

22 Nicht Turing-berechenbare Funktionen Ist jede partielle Funktion f : X X (f : X Y, f : N N, f : N n N) Turing-berechenbar? Nein (Gegenbeispiel später) Begründung: (Aussage für X = {0, 1} zu zeigen, genügt) 1. Wieviele Turing-Maschinen über einem endlichen Alphabet X gibt es? abzählbar viele (weil TM endlich codiert werden können, nach erstem Diagonalverfahren von Cantor) 2. Wieviele partielle Funktionen f : X X gibt es? überabzählbar viele (zweites Diagonalverfahren von Cantor) Damit existieren sogar sehr viel mehr (überabzählbar viele) partielle Funktionen f : X X (f : X Y, f : N N, f : N n N), die nicht von TM berechnet werden können. 242

23 Entscheidbarkeit von Sprachen / Mengen Spache L X ist entscheidbar gdw. χ L : X {0, 1} mit { 1 falls w L χ L (w) = 0 sonst berechenbar ist. Menge aller entscheidbaren Sprachen genau die Menge aller Sprachen L, für die L und L Turing-akzeptierbar sind, abgeschlossen unter,,,,, R 243

24 Abschlusseigenschaften der Menge aller entscheidbarer Sprachen Satz Eine Sprache L ist genau dann entscheidbar, wenn L und L TM-akzeptierbar sind. Idee: parallele Ausführung der Maschinen M mit L(M) = L und N mit L(N) = L auf Eingabe w, falls w L, hält M nach endlicher Zeit, sonst N Die Menge aller entscheidbaren Sprachen ist abgeschlossen unter Vereinigung wegen χ L L (w) = max(χ L (w), χ L (w)) berechenbar Schnitt wegen χ L L (w) = min(χ L (w), χ L (w)) berechenbar Komplement wegen χ L (w) = 1 χ L (w) berechenbar Achtung (Unterschied zu TM-akzeptierbaren Sprachen): Aus der TM-Akzeptierbarkeit von L folgt i.a. nicht die TM-Akzeptierbarkeit von L. 244

25 Spezielles Halteproblem für TM c(m): endliche Codierung c(m) der TM M (z.b. als Binärwort) Das spezielle Halteproblem ist die Sprache S = {c(m) M hält bei Eingabe c(m)} Satz Die Sprache S ist Turing-akzeptierbar. Warum? Frage: Ist die Sprache S entscheidbar? 245

26 Unentscheidbarkeit des speziellen Halteproblems Satz Es existiert keine TM, welche das spezielle Halteproblem (die Sprache S) entscheidet, d.h. die folgende Funktion berechnet: 1 falls w = c(m) für eine TM M und χ S (w) = M hält bei Eingabe von w 0 sonst indirekter Beweis: (analog Barbier-Problem) Annahme: N ist TM mit f N = χ S Konstruktion einer TM N, so dass für jede TM M gilt: { nicht definiert falls M bei Eingabe von c(m) hält f N (c(m)) = 1 falls M bei Eingabe von c(m) nicht hält Ist f N (c(n )) definiert? Widerspruch, eine solche TM N kann also nicht existieren. 246

27 Komplement des speziellen Halteproblems Spezielles HP: S = {c(m) M hält bei Eingabe c(m)} Komplement des speziellen HP: { w ist keine Codierung einer TM oder S = w w = c(m) und M hält bei Eingabe c(m) nicht } Folgerung Die Sprache S ist nicht Turing-akzeptierbar. Beweisidee (indirekt): bekannt: 1. S ist TM-akzeptierbar. 2. S ist nicht entscheidbar. 3. S TM-akzeptierbar S TM-akzeptierbar S entscheidbar Annahme: S ist TM-akzeptierbar. dann ist S entscheidbar wegen 1. und 3. Widerspruch zu 2., also Annahme falsch, also S nicht TM-akzeptierbar. 247

28 Folgerungen aus der Unentscheidbarkeit von S Keine der folgenden Probleme (Sprachen) ist entscheidbar: A = {c(m) w M hält bei Eingabe w} allgemeines Halteproblem E = {c(m) M hält bei Eingabe ε} Halteproblem mit leerer Eingabe T = {c(m) M hält für jede beliebige Eingabe} Totalitätsproblem I = {c(m) M hält für irgendeine Eingabe} N = {c(m) M hält für keine Eingabe} 248

29 Praktische Bedeutung nach These von Church: Das Halteproblem ist für kein intuitives Berechnungsmodell entscheidbar. Es existiert kein Programm, welches für jedes beliebige Programm P feststellt, ob P immer (für jede Eingabe) hält. (Unentscheidbarkeit des Totalitätsproblems) Es existiert kein Programm, welches für jedes beliebige Paar (P, v) feststellt, ob das Programm P bei Eingabe von v anhält. (Unentscheidbarkeit des allgemeinen Halteproblems) Solche negativen Aussagen sind nützlich, z.b. um Arbeitskraft- und -zeitverschwendung zu vermeiden. 249

30 Spezialfälle Für spezielle Programme P und Eingaben w lässt sich häufig automatisch feststellen, ob P bei Eingabe von w anhält. realistische Ziele: Anwendung: Programme verwenden, für die Termination für alle (relevanten) Eingaben bewiesen wurde (z.b. als Gerätetreiber) Forschung: möglichst viele und große Klassen von Programmen und Eingaben finden, für die sich Termination (oder Nicht-Termination) beweisen lässt, (Weiter-)Entwicklung von Verfahren zum Nachweis der Termination von Programmen 250

31 Entscheidbarkeit Beispiele Beispiele entscheidbarer Sprachen: Wortproblem für Typ-1,2,3-Grammatiken, z.b. WP G3 = {(G, w) w L(G)} NFA-Äquivalenzproblem: Eq NFA = {(A, B) L(A) = L(B)} Beispiele unentscheidbarer Sprachen: Wortproblem für Typ-0-Grammatiken spezielles Halteproblem für TM: H = {c(m) TM M hält bei Eingabe von c(m)} weitere Halteprobleme Erfüllbarkeitsproblem der Prädikatenlogik: SAT FOL = {ϕ FOL(Σ,X) Mod(ϕ) } Wortproblem für Typ-0-Grammatiken: WP G0 = {(G, w) w in G ableitbar} 251