Automaten und Formale Sprachen alias Theoretische Informatik. Sommersemester 2013

Transkript

1 Automaten und Formale Sprachen alias Theoretische Informatik Sommersemester 2013 Dr. Sander Bruggink Übungsleitung: Jan Stückrath Sander Bruggink Automaten und Formale Sprachen 1

2 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Wir betrachten nun eine Unterklasse von Kellerautomaten, die dazu verwendet werden können, Sprachen deterministisch und damit effizient zu erkennen. Deterministischer Kellerautomat (Definition) En deterministischer Kellerautomat M ist ein 7-Tupel M = (Z, Σ, Γ, δ, z 0, #, E), wobei (Z, Σ, Γ, δ, z 0, #) ein Kellerautomat ist, E Z die Menge von Endzuständen ist und die Überführungsfunktion δ deterministisch ist, das heißt: für alle z Z, a Σ und A Γ gilt: δ(z, a, A) + δ(z, ε, A) 1. Sander Bruggink Automaten und Formale Sprachen 327

3 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Unterschiede zwischen Kellerautomaten und deterministischen Kellerautomaten: Deterministische Kellerautomaten haben eine Menge von Endzuständen und akzeptieren mit Endzustand und nicht mit leerem Keller. Für jeden Zustand z und jedes Kellersymbol A gilt: entweder gibt es höchstens einen ε-übergang oder es gibt für jedes Alphabetsymbol höchstens einen Übergang. Konfigurationen und Übergänge zwischen Konfigurationen bleiben jedoch gleich definiert. Sander Bruggink Automaten und Formale Sprachen 328

4 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Akzeptierte Sprache bei deterministischen Kellerautomaten (Definition) Sei M = (Z, Σ, Γ, δ, z 0, #, E) ein deterministischer Kellerautomat. Dann ist die von M akzeptierte Sprache: D(M) = {x Σ (z 0, x, #) (z, ε, γ) für ein z E, γ Γ }. Sander Bruggink Automaten und Formale Sprachen 329

5 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Deterministisch kontextfreie Sprachen Eine Sprache heißt deterministisch kontextfrei genau dann, wenn sie von einem deterministischen Kellerautomaten akzeptiert wird. Sander Bruggink Automaten und Formale Sprachen 330

6 Deterministisch kontextfreie Sprachen Deterministische Kellerautomaten Beispiel: Die Sprache L = {w$w R w {a, b} } ist deterministisch kontextfrei. M = ({z 1, z 2, z 3 }, {a, b, $}, {#, A, B}, δ, z 1, #, {z 3 }), wobei δ folgendermaßen definiert ist (wir schreiben (z, a, A) (z, x), falls (z, x) δ(z, a, A)). (z 1, a, #) (z 1, A#) (z 1, a, A) (z 1, AA) (z 1, a, B) (z 1, AB) (z 1, b, #) (z 1, B#) (z 1, b, A) (z 1, BA) (z 1, b, B) (z 1, BB) (z 1, $, #) (z 2, #) (z 1, $, A) (z 2, A) (z 1, $, B) (z 2, B) (z 2, a, A) (z 2, ε) (z 2, b, B) (z 2, ε) (z 2, ε, #) (z 3, #) Sander Bruggink Automaten und Formale Sprachen 331

7 Deterministisch kontextfreie Sprachen Deterministische Kellerautomaten Beispiel 2: Die Sprache L = {ww R w {a, b} } ist jedoch nicht deterministisch kontextfrei. (Ohne Beweis.) Wir haben letzte Woche schon gesehen, dass diese Sprache kontextfrei ist. Das heißt, die Klasse der kontextfreien Sprachen und die Klasse der deterministisch kontextfreien Sprachen sind nicht identisch! Die Klasse der deterministisch kontextfreien Sprachen ist eine echte Teilmenge der Klasse der kontextfreien Sprachen. Sander Bruggink Automaten und Formale Sprachen 332

8 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Weitere Bemerkungen: Effizienz: Mit Hilfe von deterministischen Kellerautomaten hat man jetzt ein Verfahren zur Lösung des Wortproblems, das eine lineare Anzahl von Schritten braucht (als Funktion der Länge des Eingabewortes). Dazu lässt man einfach den Automaten auf dem Wort arbeiten und überprüft, ob man in einen Endzustand gelangt. Deterministisch kontextfreie Grammatiken: Es gibt auch Grammatikklassen, die zu den deterministisch kontextfreien Sprachen passen. Dies ist aber nicht ganz trivial; daher gibt es hierzu mehrere Ansätze. Der bekannteste davon sind die sogenannten LR(k)-Grammatiken. Sander Bruggink Automaten und Formale Sprachen 333

9 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Die Abschlusseigenschaften bei deterministisch kontextfreien Sprachen sehen etwas anders aus als bei kontextfreien Sprachen. Abgeschlossenheit Sind die kontextfreien Sprachen abgeschlossen unter den folgenden Operationen? Vereinigung (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Schnitt (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Schnitt mit regulärer Sprache (L 1 kontextfrei, L 2 regulär L 1 L 2 kontextfrei)? Komplement (L kontextfrei L = Σ \L kontextfrei)? Sander Bruggink Automaten und Formale Sprachen 334

10 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Abschluss unter Komplement Wenn L eine deterministisch kontextfreie Sprache ist, dann ist auch L = Σ \L deterministisch kontextfrei. Informeller Beweisansatz: Wie bei DFAs, können wir einen deterministischen Kellerautomaten für das Komplement bauen, indem wir (mit ein bisschen rumbasteln) die Endzustände und Nicht-Endzustände vertauschen. Sander Bruggink Automaten und Formale Sprachen 335

11 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Kein Abschluss unter Schnitt Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist L 1 L 2 nicht notwendigerweise deterministisch kontextfrei. Begründung: Die Beispiel-Sprachen aus dem Argument, dass die kontextfreien Sprachen unter Schnitt nicht abgeschlossen sind, sind sogar deterministisch kontextfrei, ihr Schnitt jedoch noch nicht einmal kontextfrei: L 1 = {a j b k c k j 0, k 0} L 2 = {a k b k c j j 0, k 0} L 1 L 2 = {a n b n c n n 0} Sander Bruggink Automaten und Formale Sprachen 336

12 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Abschluss unter Vereinigung Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist auch L 1 L 2 eine deterministisch kontextfreie Sprache. (??) Kein Abschluss unter Vereinigung Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist L 1 L 2 nicht notwendigerweise deterministisch kontextfrei. Begründung: Aus dem Abschluss unter Vereinigung und Komplement würde auch der Abschluss unter Schnitt folgen (wegen L 1 L 2 = L 1 L 2 ). Sander Bruggink Automaten und Formale Sprachen 337

13 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Deterministisch kontextfreie Sprachen sind unter Schnitt mit regulären Sprachen abgeschlossen. Abschluss unter Schnitt mit regulären Sprachen Sei L eine deterministisch kontextfreie Sprache und R eine reguläre Sprache. Dann gilt, dass L R eine deterministisch kontextfreie Sprache ist. Beweisidee: Analog zu kontextfreien Sprachen. Sander Bruggink Automaten und Formale Sprachen 338

14 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Zusammenfassung Abschlusseigenschaften Abgeschlossen unter Reguläre Spr. Det. KF Spr. KF Sprachen Vereinigung Konkatenation Kleene-Stern Schnitt Schnitt mit RS Komplement Sander Bruggink Automaten und Formale Sprachen 339

15 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Entscheidbarkeit bei deterministisch kontextfreien Sprachen Folgende Probleme sind für deterministisch kontextfreie Sprachen (repräsentiert durch einen deterministischen Kellerautomaten) entscheidbar: Wortproblem: Gegeben eine deterministisch kontextfreie Sprache L und w Σ. Gilt w L? Mit einem deterministischen Kellerautomaten in O( w ) Zeit. Leerheitsproblem: Gegeben eine deterministisch kontextfreie Sprache L. Gilt L =? Siehe das entsprechende Entscheidungsverfahren für kontextfreie Sprachen. Sander Bruggink Automaten und Formale Sprachen 340

16 Deterministische Kellerautomaten Entscheidbarkeit Entscheidbarkeit bei deterministisch kontextfreien Sprachen Endlichkeitsproblem: Gegeben eine kontextfreie Sprache L. Ist L endlich? Siehe das entsprechende Entscheidungsverfahren für kontextfreie Sprachen. Äquivalenzproblem: Gegeben zwei deterministisch kontextfreie Sprachen L 1, L 2. Gilt L 1 = L 2? War lange offen und die Entscheidbarkeit wurde erst 1997 von Géraud Sénizergues gezeigt. Sander Bruggink Automaten und Formale Sprachen 341

17 Deterministische Kellerautomaten Entscheidbarkeit Unentscheidbarkeit bei deterministisch kontextfreien Sprachen Folgende Probleme sind für deterministisch kontextfreie Sprachen nicht entscheidbar, d.h., man kann zeigen, dass es kein entsprechendes Verfahren gibt: Schnittproblem: Gegeben zwei deterministisch kontextfreie Sprachen L 1, L 2. Gilt L 1 L 2 =? Wie bei kontextfreien Sprachen ist dieses Problem jedoch entscheidbar, wenn eine der beiden Sprachen regulär ist. Sander Bruggink Automaten und Formale Sprachen 342

18 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Kontextfreie Grammatiken werden häufig benutzt, um den Syntax von Computersprachen (Programmiersprachen, Markup-Sprachen, usw.) anzugeben. Ein Parser ist ein Programmmodul, das den Quellcode eines Programms als Eingabe nimmt und irgendwelche Repräsentation (z.b. einen Syntaxbaum) davon ausgibt. In dieser Vorlesung werden wir ANTLR v4 (ANother Tool for Language Recognition) kennenlernen, einen parser generator, mit dem man einfach einen Parser (in Java) erzeugen kann. Sander Bruggink Automaten und Formale Sprachen 343

19 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Der Parser eines Compilers bzw. eines Interpreters besteht im Allgemeinen aus zwei Komponenten: Der lexical analyser teilt die einzelnen Zeichen in Ketten auf, den sogenannten Tokens. Der Parser selbst analysiert die Folge von Tokens und konstruiert einen Syntaxbaum (bzw. eine andere Repräsentation). ANTLR erzeugt beide Komponenten. Sander Bruggink Automaten und Formale Sprachen 344

20 Parsing in der Praxis Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Eingabe: (8 + sqrt(16)) * 3 Lexikalische analyse Tokens: Syntaxbaum: ( 8 + sqrt ( 16 ) ) * 3 expr Parsen expr * expr ( expr ) expr + expr 8 sqrt ( expr 16 Weiterverarbeitung 3 ) Sander Bruggink Automaten und Formale Sprachen 345

21 Kontextfreie Sprachen in der Praxis Einschub: Extended Backus-Naur-Form In der Praxis wird oft die Extended Backus-Naur-Form (EBNF) benutzt, eine Abkürzung für kontextfreie Grammatiken. In EBNF sind die rechten Seiten der Regeln keine Zeichenketten, sondern reguläre Ausdrücke (die auch Variablen enthalten können). Sander Bruggink Automaten und Formale Sprachen 346

22 Kontextfreie Sprachen in der Praxis Einschub: Extended Backus-Naur-Form EBNF-Grammatiken können einfach in richtige kontextfreie Grammatiken umgewandelt werden: A α(β 1 β n )γ A αβ γ { A αbγ B β 1 β n { A αγ αbγ B β βb Abkürzungen: α + αα, α? (ε α), usw. Regeln anwenden bis die Grammatik keine - und (geschachtelten) -Operationen mehr enthält. Sander Bruggink Automaten und Formale Sprachen 347

23 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Wir werden einen Parser erzeugen, der die folgende Grammatik parst: program statement statement ID = expression expression expression expression * expression expression / expression expression + expression expression - expression sqrt ( expression ) ( expression ) ID NUMBER Terminalsymbole stehen in Anführungszeigen. Die Tokens ID und NUMBER werden vom Lexical Analyser erkannt. Ambiguitäten werden von ANTLR automatisch gelöst. Sander Bruggink Automaten und Formale Sprachen 348

24 Parsing mit ANTLR Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Beispieleingabe: a = * 5 b = (a / 2) * sqrt(16) a + b Sander Bruggink Automaten und Formale Sprachen 349

25 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Aufbau einer ANTLR Quelldatei: grammar Parser-Name ; Regeln des lexical analysers Regeln der Grammatik Sander Bruggink Automaten und Formale Sprachen 350

26 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Der lexical analyser: // lexical rules NUMBER : [0-9]+ [0-9]*. [0-9]+ ; NEWLINE : \r? \n ; SQRT : [ss][qq][rr][tt] ; ID : [a-za-z] [a-za-z0-9]* ; WHITESPACE : [ \t]+ -> skip ; Variablen des Lexical Analysers fangen mit einer Großbuchstabe an. Der Befehl -> skip sorgt dafür, dass Leerzeichen nicht an den Parser weitergeleitet werden. sqrt ist ein SQRT-Token, obwohl es auch von ID gematcht wird. Sander Bruggink Automaten und Formale Sprachen 351

27 Parsing mit ANTLR Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Übersetzung einer Regel statement ID = expression expression statement : var=id = expression NEWLINE # Assignment expression NEWLINE # PrintExpression NEWLINE # Empty ; Name des Teilbaums Name einer Alternative Variablen des Parsers fangen mit einem Kleinbuchstabe an. Sander Bruggink Automaten und Formale Sprachen 352

28 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR ANTLR-Werkzeuge: antlr4: Liest eine Grammatik ein und erzeugt einen Lexical Analyser und einen Parser (und Java-Klassen die bei der Weiterverarbeitung des Syntaxbaum verwendet werden). grun: Programm, dass den Parser anruft und den Syntaxbaum zeigt. Sander Bruggink Automaten und Formale Sprachen 353

29 Kontextfreie Sprachen in der Praxis Parsing mit ANTLR Wir wollen jetzt den Syntaxbaum verarbeiten und das Programm ausführen. Dafür hat ANTLR schon einige Klassen erzeugt. Wir schreiben eine Implementation von ExpressionVisitor<T> um den Syntaxbaum zu durchlaufen und die Teilergebnisse auszurechnen. Für Grammatik Expression.g, Alternative X und Rückgabewert T : public T visitx (ExpressionParser.X Context ctx) { T wert =...; // Besuche Teilbäume return wert; } Sander Bruggink Automaten und Formale Sprachen 354

30 Kontextfreie Sprachen in der Praxis Beispiel für expression :... left=expression + right=expression # Plus... public Double visitplus(expressionparser.pluscontext ctx) { return visit(ctx.left) + visit(ctx.right); } Sander Bruggink Automaten und Formale Sprachen 355

31 Parsing mit ANTLR Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Zum Selbststudium: Sander Bruggink Automaten und Formale Sprachen 356

32 Konklusion Lösung des Wortproblems Kontextfreie Grammatiken Kellerautomaten Pumping Lemma für KFS Det. Kellerautomaten Reguläre Grammatiken DFAs und NFAs Reguläre Ausdrücke Pumping Lemma für RS Myhill Nerode-Äquivalenz Alle Sprachen Semi-Entscheidbare Spr. (0) Kontextsensitive Spr. (1) Kontextfreie Sprachen (2) Det. kontextfreie Sprachen Reguläre Sprachen (3) Sander Bruggink Automaten und Formale Sprachen 357

33 Konklusion Übersicht Abgeschlossen unter Reguläre Spr. Det. KF Spr. KF Sprachen Vereinigung Konkatenation Kleene-Stern Schnitt Schnitt mit RS Komplement Problem entscheidbar Reguläre Spr. Det. KF Spr. KF Sprachen Wortproblem Leerheit Endlichkeit Schnittproblem Schnittp. mit RS Äquivalenz Sander Bruggink Automaten und Formale Sprachen 358

34 Übersicht Konklusion Anwendungen: Reguläre Sprachen Verifikation Suchen und Ersetzen in Texteditoren Lexikalische Analyse Kontextfreie Sprachen Beschreibung von Computersprachen (Programmiersprachen, HTML, XML, arithmetische Ausdrücke,... ) Beschreibung natürlicher Sprachen Verifikation der Keller wird benutzt um Funktionsanrufe zu modellieren Sander Bruggink Automaten und Formale Sprachen 359

35 Konklusion Ausblick zu Berechenbarkeit und Komplexität Berechenbarkeit: Fokus liegt auf kontextsensitiven Sprachen, semi-entscheidbaren Sprachen und nicht-entscheidbare Sprachen Automatenmodell: Turing-Maschine Wortproblem lösen Entscheidungsproblem lösen Charakteristische Funktion berechnen Nicht-entscheidbare Probleme / Nicht-berechenbare Funktionen Komplexität: Komplexität von Algorithmen Komplexitätsklassen Sander Bruggink Automaten und Formale Sprachen 360