Automaten und Formale Sprachen alias Theoretische Informatik. Sommersemester 2012

Transkript

1 Automaten und Formale Sprachen alias Theoretische Informatik Sommersemester 2012 Dr. Sander Bruggink Übungsleitung: Jan Stückrath Sander Bruggink Automaten und Formale Sprachen 1

2 Einschub: Kellerautomaten mit Endzuständen In der Fachliteratur werden Kellerautomaten auch manchmal so definiert, dass sie Endzustände haben und nicht mit leerem Keller akzeptieren. Kellerautomat mit Endzuständen (Definition) En Kellerautomat mit Endzuständen M ist ein 7-Tupel M = (Z, Σ, Γ, δ, z 0, #, E), wobei (Z, Σ, Γ, δ, z 0, #) ein Kellerautomat ist, E Z die Menge von Endzuständen ist Sander Bruggink Automaten und Formale Sprachen 270

3 Einschub: Kellerautomaten mit Endzuständen Akzeptierte Sprache bei Kellerautomaten mit Endzuständen (Definition) Sei M = (Z, Σ, Γ, δ, z 0, #, E) ein Kellerautomat mit Endzuständen. Dann ist die von M akzeptierte Sprache: N(M) = {x Σ (z 0, x, #) (z, ε, γ) für ein z E, γ Γ }. Es gibt folgende Unterschiede: Der erreichte Zustand z muss ein Endzustand sein. Es darf ein Kellerinhalt γ übrigbleiben. Sander Bruggink Automaten und Formale Sprachen 271

4 Einschub: Kellerautomaten mit Endzuständen Satz Eine Sprache wird von einem Kellerautomaten mit Endzustände akzeptiert, gdw. eine Sprache von einem Kellerautomaten akzeptiert wird. (Ohne Beweis) Sander Bruggink Automaten und Formale Sprachen 272

5 Einschub: Kellerautomaten mit Endzuständen L = {ww R w {a, b} }. M = ({z 1, z 2, z 3 }, {a, b}, {A, B, #}, δ, z 1, #, {z 3 }), wobei δ gegeben ist durch: (z 1, a, #) (z 1, A#) (z 1, a, A) (z 1, AA) (z 1, a, B) (z 1, AB) (z 1, b, #) (z 1, B#) (z 1, b, A) (z 1, BA) (z 1, b, B) (z 1, BB) (z 1, ε, #) (z 2, #) (z 1, a, A) (z 2, ε) (z 1, b, B) (z 2, ε) (z 2, a, A) (z 2, ε) (z 2, b, B) (z 2, ε) (z 2, ε, #) (z 3, #) Sander Bruggink Automaten und Formale Sprachen 273

6 Abschlusseigenschaften Abschlusseigenschaften Abgeschlossenheit Sind die kontextfreien Sprachen abgeschlossen unter den folgenden Operationen? Vereinigung (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Produkt/Konkatenation (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Stern-Operation (L kontextfrei L kontextfrei)? Schnitt (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Komplement (L kontextfrei L = Σ \L kontextfrei)? Sander Bruggink Automaten und Formale Sprachen 274

7 Abschlusseigenschaften Abschlusseigenschaften Abschluss unter Vereinigung Wenn L 1 und L 2 kontextfreie Sprachen sind, dann ist auch L 1 L 2 kontextfrei. Begründung: Gegeben zwei kontextfreie Grammatiken G 1 = (V 1, Σ, P 1, S 1 ) und G 2 = (V 2, Σ, P 2, S 2 ) (mit V 1 V 2 = ) für L 1 = L(G 1 ), L 2 = L(G 2 ). Die Grammatik G = (V 1 V 2 {S}, Σ, P 1 P 2 {S S 1, S S 2 }, S) wobei S / V 1 V 2, ist eine kontextfreie Grammatik für L 1 L 2. Sander Bruggink Automaten und Formale Sprachen 275

8 Abschlusseigenschaften Abschlusseigenschaften Abschluss unter Produkt/Konkatenation Wenn L 1 und L 2 kontextfreie Sprachen sind, dann ist auch L 1 L 2 kontextfrei. Begründung: G 1 = (V 1, Σ, P 1, S 1 ) und G 2 = (V 2, Σ, P 2, S 2 ) (mit V 1 V 2 = ) für L 1 = L(G 1 ), L 2 = L(G 2 ). Dann ist G = (V 1 V 2 {S}, Σ, P 1 P 2 {S S 1 S 2 }, S) wobei S / V 1 V 2, eine kontextfreie Grammatik für L 1 L 2. Sander Bruggink Automaten und Formale Sprachen 276

9 Abschlusseigenschaften Abschlusseigenschaften Abschluss unter der Stern-Operation Wenn L eine kontextfreie Sprache ist, dann ist auch L kontextfrei. Begründung: Gegeben sei eine kontextfreie Grammatik G 1 = (V 1, Σ, P 1, S 1 ) für L = L(G 1 ). Dann ist G = (V 1 {S}, Σ, P 1 {S ε, S S 1 S}, S) eine kontextfreie Grammatik für L. Sander Bruggink Automaten und Formale Sprachen 277

10 Abschlusseigenschaften Kontextfreie Sprachen Abschlusseigenschaften Kein Abschluss unter Schnitt Wenn L 1 und L 2 kontextfreie Sprachen sind, dann ist L 1 L 2 nicht notwendigerweise kontextfrei. Gegenbeispiel: Die Sprachen L 1 = {a j b k c k j 0, k 0} L 2 = {a k b k c j j 0, k 0} sind beide kontextfrei. Für ihren Schnitt gilt jedoch L 1 L 2 = {a k b k c k k 0} und diese Sprache ist nicht kontextfrei. Sander Bruggink Automaten und Formale Sprachen 278

11 Abschlusseigenschaften Abschlusseigenschaften Abschluss unter Schnitt mit regulären Sprachen Sei L eine kontextfreie Sprache und R eine reguläre Sprache. Dann gilt, dass L R eine kontextfreie Sprache ist. Idee: Ähnlich zur Konstruktion eines Kreuzproduktautomaten zweier endlichen Automaten können wir den Kreuzproduktautomaten eines endlichen Automaten und eines Kellerautomaten konstruieren, der den Schnitt beider Sprachen akzeptiert. Sander Bruggink Automaten und Formale Sprachen 279

12 Abschlusseigenschaften Kontextfreie Sprachen Abschlusseigenschaften Beweisidee: Konstruktion eines Kellerautomaten M für L R aus einem Kellerautomaten (mit Endzuständen) M = (Z 1, Σ, Γ, δ 1, z 1 0, #, E 1) für L und einem deterministischen endlichen Automaten A = (Z 2, Σ, δ 2, z 2 0, E 2) für R: M = (Z 1 Z 2, Σ, Γ, δ, (z 1 0, z 2 0 ), #, E 1 E 2 ) mit ((z 1, z 2 ), B 1... B k ) δ((z 1, z 2 ), a, A), falls (z 1, B 1... B k ) δ 1 (z 1, a, A) und δ 2 (z 2, a) = z 2 ((z 1, z 2), B 1... B k ) δ((z 1, z 2 ), ε, A), falls (z 1, B 1... B k ) δ 1 (z 1, ε, A) Sander Bruggink Automaten und Formale Sprachen 280

13 Abschlusseigenschaften Kontextfreie Sprachen Abschlusseigenschaften Kein Abschluss unter Komplement Wenn L eine kontextfreie Sprache ist, dann ist L = Σ \L nicht notwendigerweise kontextfrei. Begründung: Nehmen wir an, die kontextfreien Sprachen wären unter Komplement abgeschlossen. Wegen L 1 L 2 = L 1 L 2 wären sie dann auch unter Schnitt abgeschlossen, was aber nicht der Fall ist. D.h., wir erhalten einen Widerspruch. Sander Bruggink Automaten und Formale Sprachen 281

14 Abschlusseigenschaften Abschlusseigenschaften Abgeschlossenheit (Zusammenfassung) Die kontextfreien Sprachen sind abgeschlossen unter: Vereinigung (L 1, L 2 kontextfrei L 1 L 2 kontextfrei) Produkt/Konkatenation (L 1, L 2 kontextfrei L 1 L 2 kontextfrei) Stern-Operation (L kontextfrei L kontextfrei) Schnitt mit einer regulären Sprache (L kontextfrei, R regulär L R kontextfrei) Die kontextfreien Sprachen sind nicht abgeschlossen unter: Schnitt Komplement Sander Bruggink Automaten und Formale Sprachen 282

15 Entscheidbare Eigenschaften Entscheidbarkeit Sind die folgende Probleme entscheidbar? Wortproblem: Gegeben eine kontextfreie Sprache L und w Σ. Gilt w L? Leerheitsproblem: Gegeben eine kontextfreie Sprache L. Gilt L =? Endlichkeitsproblem: Gegeben eine kontextfreie Sprache L. Ist L endlich? Äquivalenzproblem: Gegeben zwei kontextfreie Sprachen L 1, L 2. Gilt L 1 = L 2? Schnittproblem: Gegeben zwei kontextfreie Sprachen L 1, L 2. Gilt L 1 L 2 =? Sander Bruggink Automaten und Formale Sprachen 275

16 Entscheidbare Eigenschaften Entscheidbarkeit Entscheidbarkeit des Wortproblems Das Wortproblem für kontextfreie Sprachen ist entscheidbar. Kann mit dem CYK-Algorithmus gelöst werden. Sander Bruggink Automaten und Formale Sprachen 276

17 Entscheidbare Eigenschaften Entscheidbarkeit Entscheidbarkeit des Leerheitsproblem Das Leerheitsproblem für kontextfreie Sprachen ist entscheidbar. Beweisidee: Bestimme alle produktiven Variablen (siehe Übung), d.h., alle Variablen A, für die es ein x Σ gibt mit A x. Die Sprache L ist leer, genau dann wenn das Startsymbol S nicht produktiv ist. Sander Bruggink Automaten und Formale Sprachen 277

18 Entscheidbare Eigenschaften Entscheidbarkeit Entscheidbarkeit des Endlichkeitproblems Das Endlichkeitsproblem für kontextfreie Sprachen ist entscheidbar. Beweisidee: Gegeben eine kontextfreie Grammatik. Sei n = 2 V, d.h. die der Sprache zugeordnete Pumping-Lemma-Zahl. Alle Wörter x L mit x n können gepumpt werden und alle Wörter x L mit x 2n können geschrumpft werden. Das heißt, dass L unendlich ist, gdw. es ein Wort x L gibt mit n x 2n. Es gibt nur endlich viele von diesen Wörter und diese können also in endlicher Zeit auf Mitgliedschaft in der Sprache getestet werden. Sander Bruggink Automaten und Formale Sprachen 278

19 Entscheidbare Eigenschaften Entscheidbarkeit Unentscheidbarkeit bei kontextfreien Sprachen Folgende Probleme sind für kontextfreie Sprachen nicht entscheidbar, d.h., man kann zeigen, dass es kein entsprechendes Verfahren gibt: Äquivalenzproblem: Gegeben zwei kontextfreie Sprachen L 1, L 2. Gilt L 1 = L 2? Schnittproblem: Gegeben zwei kontextfreie Sprachen L 1, L 2. Gilt L 1 L 2 =? Bemerkung: In der Vorlesung Berechenbarkeit und Komplexität wird es u.a. darum gehen, wie man solche Unentscheidbarkeitsresultate zeigen kann. Sander Bruggink Automaten und Formale Sprachen 279

20 Entscheidbare Eigenschaften Entscheidbarkeit Das Schnittproblem ist jedoch entscheidbar, wenn von einer der beiden Sprachen L 1, L 2 bekannt ist, dass sie regulär ist und sie als endlicher Automat gegeben ist. Entscheidungsverfahren: 1 Konstruiere einen Kellerautomat M, der L 1 L 2 akzeptiert. 2 Der Kellerautomat M kann dann in eine kontextfreie Grammatik G umgewandelt werden. 3 Von dieser Grammatik kann das Leerheitsproblem gelöst werden. Sander Bruggink Automaten und Formale Sprachen 280

21 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Wir betrachten nun eine Unterklasse von Kellerautomaten, die dazu verwendet werden können, Sprachen deterministisch und damit effizient zu erkennen. Deterministischer Kellerautomat (Definition) En deterministischer Kellerautomat M ist ein 7-Tupel M = (Z, Σ, Γ, δ, z 0, #, E), wobei (Z, Σ, Γ, δ, z 0, #) ein Kellerautomat ist, E Z die Menge von Endzuständen ist und die Überführungsfunktion δ deterministisch ist, das heißt: für alle z Z, a Σ und A Γ gilt: δ(z, a, A) + δ(z, ε, A) 1. Sander Bruggink Automaten und Formale Sprachen 281

22 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Unterschiede zwischen Kellerautomaten und deterministischen Kellerautomaten: Deterministische Kellerautomaten haben eine Menge von Endzuständen und akzeptieren mit Endzustand und nicht mit leerem Keller. Für jeden Zustand z und jedes Kellersymbol A gilt: entweder gibt es höchstens einen ε-übergang oder es gibt für jedes Alphabetsymbol höchstens einen Übergang. Konfigurationen und Übergänge zwischen Konfigurationen bleiben jedoch gleich definiert. Sander Bruggink Automaten und Formale Sprachen 282

23 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Akzeptierte Sprache bei deterministischen Kellerautomaten (Definition) Sei M = (Z, Σ, Γ, δ, z 0, #, E) ein deterministischer Kellerautomat. Dann ist die von M akzeptierte Sprache: D(M) = {x Σ (z 0, x, #) (z, ε, γ) für ein z E, γ Γ }. Sander Bruggink Automaten und Formale Sprachen 283

24 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Deterministisch kontextfreie Sprachen Eine Sprache heißt deterministisch kontextfrei genau dann, wenn sie von einem deterministischen Kellerautomaten akzeptiert wird. Sander Bruggink Automaten und Formale Sprachen 284

25 Deterministisch kontextfreie Sprachen Deterministische Kellerautomaten Beispiel: Die Sprache L = {w$w R w {a, b} } ist deterministisch kontextfrei. M = ({z 1, z 2, z 3 }, {a, b, $}, {#, A, B}, δ, z 1, #, {z 3 }), wobei δ folgendermaßen definiert ist (wir schreiben (z, a, A) (z, x), falls (z, x) δ(z, a, A)). (z 1, a, #) (z 1, A#) (z 1, a, A) (z 1, AA) (z 1, a, B) (z 1, AB) (z 1, b, #) (z 1, B#) (z 1, b, A) (z 1, BA) (z 1, b, B) (z 1, BB) (z 1, $, #) (z 2, #) (z 1, $, A) (z 2, A) (z 1, $, B) (z 2, B) (z 2, a, A) (z 2, ε) (z 2, b, B) (z 2, ε) (z 2, ε, #) (z 3, #) Sander Bruggink Automaten und Formale Sprachen 285

26 Deterministisch kontextfreie Sprachen Deterministische Kellerautomaten Beispiel 2: Die Sprache L = {ww R w {a, b} } ist jedoch nicht deterministisch kontextfrei. (Ohne Beweis.) Wir haben letzte Woche schon gesehen, dass diese Sprache kontextfrei ist. Das heißt, die Klasse der kontextfreien Sprachen und die Klasse der deterministisch kontextfreien Sprachen sind nicht identisch! Die Klasse der deterministisch kontextfreien Sprachen ist eine echte Teilmenge der Klasse der kontextfreien Sprachen. Sander Bruggink Automaten und Formale Sprachen 286

27 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Weitere Bemerkungen: Effizienz: Mit Hilfe von deterministischen Kellerautomaten hat man jetzt ein Verfahren zur Lösung des Wortproblems, das eine lineare Anzahl von Schritten braucht (als Funktion der Länge des Eingabewortes). Dazu lässt man einfach den Automaten auf dem Wort arbeiten und überprüft, ob man in einen Endzustand gelangt. Deterministisch kontextfreie Grammatiken: Es gibt auch Grammatikklassen, die zu den deterministisch kontextfreien Sprachen passen. Dies ist aber nicht ganz trivial; daher gibt es hierzu mehrere Ansätze. Der bekannteste davon sind die sogenannten LR(k)-Grammatiken. Sander Bruggink Automaten und Formale Sprachen 287

28 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Die Abschlusseigenschaften bei deterministisch kontextfreien Sprachen sehen etwas anders aus als bei kontextfreien Sprachen. Abgeschlossenheit Sind die kontextfreien Sprachen abgeschlossen unter den folgenden Operationen? Vereinigung (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Schnitt (L 1, L 2 kontextfrei L 1 L 2 kontextfrei)? Schnitt mit regulärer Sprache (L 1 kontextfrei, L 2 regulär L 1 L 2 kontextfrei)? Komplement (L kontextfrei L = Σ \L kontextfrei)? Sander Bruggink Automaten und Formale Sprachen 288

29 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Abschluss unter Komplement Wenn L eine deterministisch kontextfreie Sprache ist, dann ist auch L = Σ \L deterministisch kontextfrei. Informeller Beweisansatz: Wie bei DFAs, können wir einen deterministischen Kellerautomaten für das Komplement bauen, indem wir (mit ein bisschen rumbasteln) die Endzustände und Nicht-Endzustände vertauschen. Sander Bruggink Automaten und Formale Sprachen 289

30 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Kein Abschluss unter Schnitt Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist L 1 L 2 nicht notwendigerweise deterministisch kontextfrei. Begründung: Die Beispiel-Sprachen aus dem Argument, dass die kontextfreien Sprachen unter Schnitt nicht abgeschlossen sind, sind sogar deterministisch kontextfrei, ihr Schnitt jedoch noch nicht einmal kontextfrei: L 1 = {a j b k c k j 0, k 0} L 2 = {a k b k c j j 0, k 0} L 1 L 2 = {a n b n c n n 0} Sander Bruggink Automaten und Formale Sprachen 290

31 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Abschluss unter Vereinigung Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist auch L 1 L 2 eine deterministisch kontextfreie Sprache. (??) Kein Abschluss unter Vereinigung Wenn L 1 und L 2 deterministisch kontextfreie Sprachen sind, dann ist L 1 L 2 nicht notwendigerweise deterministisch kontextfrei. Begründung: Aus dem Abschluss unter Vereinigung und Komplement würde auch der Abschluss unter Schnitt folgen (wegen L 1 L 2 = L 1 L 2 ). Sander Bruggink Automaten und Formale Sprachen 291

32 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Deterministisch kontextfreie Sprachen sind unter Schnitt mit regulären Sprachen abgeschlossen. Abschluss unter Schnitt mit regulären Sprachen Sei L eine deterministisch kontextfreie Sprache und R eine reguläre Sprache. Dann gilt, dass L R eine deterministisch kontextfreie Sprache ist. Beweisidee: Analog zu kontextfreien Sprachen. Sander Bruggink Automaten und Formale Sprachen 292

33 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Zusammenfassung Abschlusseigenschaften Abgeschlossen unter Reguläre Spr. Det. KF Spr. KF Sprachen Vereinigung Konkatenation Kleene-Stern Schnitt Schnitt mit RS Komplement Sander Bruggink Automaten und Formale Sprachen 293

34 Deterministische Kellerautomaten Deterministisch kontextfreie Sprachen Entscheidbarkeit bei deterministisch kontextfreien Sprachen Folgende Probleme sind für deterministisch kontextfreie Sprachen (repräsentiert durch einen deterministischen Kellerautomaten) entscheidbar: Wortproblem: Gegeben eine deterministisch kontextfreie Sprache L und w Σ. Gilt w L? Mit einem deterministischen Kellerautomaten in O( w ) Zeit. Leerheitsproblem: Gegeben eine deterministisch kontextfreie Sprache L. Gilt L =? Siehe das entsprechende Entscheidungsverfahren für kontextfreie Sprachen. Sander Bruggink Automaten und Formale Sprachen 294

35 Deterministische Kellerautomaten Entscheidbarkeit Entscheidbarkeit bei deterministisch kontextfreien Sprachen Endlichkeitsproblem: Gegeben eine kontextfreie Sprache L. Ist L endlich? Siehe das entsprechende Entscheidungsverfahren für kontextfreie Sprachen. Äquivalenzproblem: Gegeben zwei deterministisch kontextfreie Sprachen L 1, L 2. Gilt L 1 = L 2? War lange offen und die Entscheidbarkeit wurde erst 1997 von Géraud Sénizergues gezeigt. Sander Bruggink Automaten und Formale Sprachen 295

36 Deterministische Kellerautomaten Entscheidbarkeit Unentscheidbarkeit bei deterministisch kontextfreien Sprachen Folgende Probleme sind für deterministisch kontextfreie Sprachen nicht entscheidbar, d.h., man kann zeigen, dass es kein entsprechendes Verfahren gibt: Schnittproblem: Gegeben zwei deterministisch kontextfreie Sprachen L 1, L 2. Gilt L 1 L 2 =? Wie bei kontextfreien Sprachen ist dieses Problem jedoch entscheidbar, wenn eine der beiden Sprachen regulär ist. Sander Bruggink Automaten und Formale Sprachen 296

37 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Kontextfreie Grammatiken werden häufig benutzt, um den Syntax von Computersprachen (Programmiersprachen, Markup-Sprachen, usw.) anzugeben. Ein Parser ist ein Programmmodul, das den Quellcode eines Programms als Eingabe nimmt und irgendwelche Repräsentation (z.b. einen Syntaxbaum) davon ausgibt. In dieser Vorlesung werden wir JavaCC kennenlernen, einen parser generator, mit dem man einfach einen Parser (in Java) erzeugen kann. Sander Bruggink Automaten und Formale Sprachen 297

38 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Der Parser eines Compilers bzw. eines Interpreters besteht im Allgemeinen aus zwei Komponenten: Der Scanner (auch lexical analyser) teilt die einzelnen Zeichen in Ketten auf, den sogenannten Tokens. Der Parser selbst analysiert die Folge von Tokens und konstruiert einen Syntaxbaum (bzw. eine andere Repräsentation). JavaCC ist in der Lage beide Komponenten zu erzeugen. Sander Bruggink Automaten und Formale Sprachen 298

39 Kontextfreie Sprachen in der Praxis Einschub: Extended Backus-Naur-Form In der Praxis wird oft die Extended Backus-Naur-Form (EBNF) benutzt, eine Abkürzung für kontextfreie Grammatiken. In EBNF sind die rechten Seiten der Regeln keine Zeichenketten, sondern reguläre Ausdrücke. Sander Bruggink Automaten und Formale Sprachen 299

40 Kontextfreie Sprachen in der Praxis Einschub: Extended Backus-Naur-Form EBNF-Grammatiken können einfach in richtige kontextfreie Grammatiken umgewandelt werden: A α(β 1 β n )γ A αβ γ { A αbγ B β 1 β n { A αγ αbγ B β βb Abkürzungen: α + αα, α? (ε α), usw. Regeln anwenden bis die Grammatik keine - und (geschachtelten) -Operationen mehr enthält. Sander Bruggink Automaten und Formale Sprachen 300

41 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Wir werden einen Parser erzeugen, der die folgende Grammatik (in EBNF) für arithmetische Ausdrücke parst: E T ( + T - T ) T F ( * F / F ) F ( E ) number Terminalsymbole stehen in Anführungszeigen. Das Token number wird vom Scanner erkannt. Sander Bruggink Automaten und Formale Sprachen 301

42 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Aufbau einer JavaCC Quelldatei: PARSER_BEGIN(Name) public class Name {... } PARSER_END(Name) Regeln des lexical analysers Regeln der Grammatik Sander Bruggink Automaten und Formale Sprachen 302

43 Parsing mit JavaCC Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Der lexical analyser: // lexical analyser SKIP: {" " "\t"} // skip spaces and tabs SKIP: {"\n" "\r"} // skip newlines and carriage returns TOKEN: { <PLUS: "+"> <MINUS: "-"> <MULT: "*"> <DIV: "/"> <PAROPEN: "("> <PARCLOSE: ")"> <NUMBER: (["0"-"9"])+ ("." (["0"-"9"])+)?> } Sander Bruggink Automaten und Formale Sprachen 303

44 Parsing mit JavaCC Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Übersetzung der Regel E T ( + T - T ) public void E() : {} { T() ( <PLUS> T() <MINUS> T() )* } Sander Bruggink Automaten und Formale Sprachen 304

45 Parsing mit JavaCC Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Ganze Datei parsen: Das Token <EOF> wird am Ende der Datei ausgegeben. Um eine vollständige Datei zu parsen, brauchen wir also noch die folgende Regel: public void expression() : {} { E() <EOF> } Sander Bruggink Automaten und Formale Sprachen 305

46 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Der Parser erkennt zwar die syntaktisch korrekten arithmetischen Ausdrücke, gibt aber noch keine Repräsentation des eingelesenen Ausdrucks zurück. Dafür sollen die Zwischenergebnisse der Nichtterminale gespeichert werden und es muss während des Parsings manchmal Java-code ausgeführt werden, um die Repräsentationen zu konstruieren. In der Praxis gibt ein Parser den Syntaxbaum des eingelesenen Programms zurück. Wir sind heute aber zufrieden mit dem Wert des arithmetischen Ausdrucks. Sander Bruggink Automaten und Formale Sprachen 306

47 Parsing mit JavaCC Kontextfreie Sprachen Kontextfreie Sprachen in der Praxis Eine Produktion des endgültigen Parsers public double E() : { double value; double value2; } { value = T() ( <PLUS> value2 = T() { value += value2; } <MINUS> value2 = T() { value -= value2; } )* { return value; } } Sander Bruggink Automaten und Formale Sprachen 307

48 Kontextfreie Sprachen in der Praxis Parsing mit JavaCC Im Grunde werden mit JavaCC LL(1)-Grammatiken erzeugt, das heißt, dass nur deterministisch kontextfreie Sprachen erkannt werden können. Es gibt aber verschiedene Tricks, um Parser für größere Klassen von Grammatiken zu erzeugen. Zum Selbststudium: Sander Bruggink Automaten und Formale Sprachen 308