WS07/08 Automaten und Formale Sprachen 14. Vorlesung

Transkript

1 WS07/08 Automaten und Formale Sprachen 14. Vorlesung Martin Dietzfelbinger 29. Januar 2008 FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Klausur: Mittwoch, 5. März :00 Uhr, Helmholtz-Hörsaal Keine Hilfsmittel! Themen: Stoff der Vorlesung: Definitionen, Sätze, Sachverhalte Übungsaufgaben Möglich: Beweis aus der Vorlesung. Vorbereitungszeit? 4P ˆ= ca. 120 Stunden Gesamtaufwand für diese Veranstaltung. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Stichworte (etzte Vorlesung) EBNF Syntaxdiagramme Nichtdeterministische automaten... und ihre Sprachen Formale Definition Ein nichtdeterministischer automat M (englisch: nondeterministic pushdown automaton; Abk.: NPDA) besteht aus 6 Komponenten: Q, endliche, nichtleere Zustandsmenge Σ, alphabet Γ, alphabet q 0 Q, Startzustand Z 0 Γ, Anfangs--Zeichen δ : Q (Σ {ε}) Γ P < (Q Γ ) (Tabelle!) (P < (R) = {T R T endlich }, für Mengen R.) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

2 Beispiel 2 Palindrome gerader änge ohne Mittezeichen: 2 = {w w R w {a, b, c} } Der NPDA benutzt Nichtdeterminismus, um die Mitte zu raten. Q = {, R} Σ={a, b, c} Γ={A, B, C, } q 0 = Z 0 = δ ist durch folgende Tabelle gegeben. δ A B C (, a) (, A) (, AA) (, AB) (, AC) (, b) (, B) (, BA) (, BB) (, BC) (, c) (, C) (, CA) (, CB) (, CC) (,ε) (R,ε) (R, A) (R, B) (R, C) (R, a) (R,ε) (R, b) (R,ε) (R, c) (R,ε) Wo ist die nichtdeterministische Entscheidungsmöglichkeit? In Zustand : ese a Σ oder schalte mit einem ε-schritt in Zustand R. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Graphische Darstellung Start Akzeptierungsmodus, informal Gegeben: NPDA M und wort x = a 1 a n Σ a, b, c, a, u b, u A B C Au B u ε, u u ε, ε R a, A b, B c, C ε ε ε Starte mit esekopf auf erstem Buchstaben a 1, im Startzustand q 0, mit Zeichen Z 0 im Führe Schritt für Schritt legale Züge gemäß δ durch Eine Situation, in der w vollständig gelesen und der leer ist, heißt akzeptierend c, u Cu u steht für A, B oder C Wir sagen, dass M die w akzeptiert, falls es mindestens eine Folge legaler Schritte gibt, die zu einer akzeptierenden Situation führt. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

3 Formalisierung: Konfigurationen Definition Ein Tripel (q, w, γ) Q Σ Γ heißt eine Konfiguration von M. In Beispiel 2: (, aabbc, BBC) oder (R, aabbc, CCC) Soll bedeuten: q: gegenwärtiger Zustand w: Restwort, noch zu lesen γ: inhalt (egale) Konfigurationsübergänge Definition M sei NPDA. Wenn k =(q, au, Zγ) Konfiguration ist, a Σ,u Σ, und (q,z 1 Z r ) δ(q, a, Z), dann schreiben wir (q, au, Zγ) M (q,u,z 1 Z r γ)=k. Wenn k =(q, u, Zγ) Konfiguration ist, und (q,z 1 Z r ) δ(q, ε, Z), dann schreiben wir (q, u, Zγ) M (q,u,z 1 Z r γ)=k. Jedesmal heißt k eine Nachfolgekonfiguration von k. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Eine Konfiguration k kann keine, eine, oder mehrere verschiedene Nachfolgekonfigurationen haben. In Beispiel 2: (, aabbc, BBC) M (, abbc, ABBC) (, aabbc, BBC) M (R, aabbc, BBC) (Auch dumme Übergänge können legal sein.) (R, aabbc, BBC) hat keine Nachfolgekonfiguration. Es kommt nicht darauf an, ob k und k in echten Berechnungen vorkommen: (, abc, BBC A) M (, bc, ABBC A) M (oder, wenn M gegeben ist) ist Relation auf der Menge K M aller Konfigurationen von M. (Achtung: K M ist eine (abzählbar) unendliche Menge.) Definition Wir schreiben k M k, wenn es eine Konfigurationsfolge k = k 0,k 1,...,k r = k, r 0, gibt mit Beachte: k M k. k 0 M k 1 M k 2 M M k r. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

4 Definition Sei M NPDA, x wort zu M. Wir sagen, dass M x akzeptiert, wenn es ein q Q gibt derart dass (q 0,x,Z 0 ) M (q, ε, ε). Das heißt:... wenn es eine Folge k 0 M M k r gibt mit k = init M (x) :=(q 0,x,Z 0 ) (Startkonfiguration) und k r =(q, ε, ε) (akzeptierende (Halte-)Konfiguration) Eine solche Folge heißt eine akzeptierende Berechnung von M auf x. In Beispiel 2: und akzeptiere! (, cbbc, ) (, bbc, C) (, bc, BC) (R, bc, BC) (R, c, C) (R,ε,ε) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ In Beispiel 2: (, cbbc, ) (, bbc, C) (, bc, BC) (, c, BBC) (R, c, BBC) keine Nachfolgekonfiguration Sackgasse dies ist eine Berechnung, aber keine akzeptierende Berechnung! Definition Für einen NPDA M =(Q, Σ, Γ,q 0,Z 0,δ) definieren wir M := {x Σ M akzeptiert x}. D.h.: x M genau dann wenn es eine akzeptierende Berechnung von M auf x gibt. Beachte: Die Definitionen von M, M M sind pur mathematisch kein Bezug zu, Steuereinheit, esen usw. Überblick über alle Berechnungen auf festem x: Baum aller möglichen Berechnungen zum Beispiel: (x M der Baum hat ein Blatt (q, ε, ε).) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

5 Startkonfiguration: (,abbbba, ) Top-Down-Parsing, Beispiel (,bbbba,a) (R,abbbba, ε ) (,bbba,ba) (R,bbbba,A) (,bba,bba) (R,bbba,BA) (,ba,bbba) (R,bba,BBA) (,a,bbbba) (R,ba,BBBA) (, ε,abbbba) (R,a,BBBBA) (R,a,BBA) (R, ε,abbbba) (R,bba,A) (R,ba,BA) (R,a,A) (R, ε, ε ) G =(V,Σ,S,P) mit V = {S}, Σ={(, )}, Produktionen S (S)S ε erzeugt die Klammersprache. NPDA M: alphabet Γ={S, (, )} Anfangs--Zeichen S Expandiere : Oberstes zeichen S mit ε-zug durch (S)S oder ε ersetzen ese : Oberstes zeichen a Σ und a das nächste Zeichen in der lese a und streiche a vom FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ : ()(()()) Resteingabe gelesen nächste Aktion ()(()()) S E: S (S)S ()(()()) (S)S : ( )(()()) ( S)S E: S ε )(()()) ( )S : ) (()()) () S E: S (S)S (()()) () (S)S : ( ()()) ()( S)S E: S (S)S ()()) ()( (S)S)S : ( )()) ()(( S)S)S : ()(()()) Resteingabe gelesen nächste Aktion )()) ()(( S)S)S E: S ε )()) ()(( )S)S : ) ()) ()(() S)S E: S (S)S ()) ()(() (S)S)S : ( )) ()(()( S)S)S E: S ε )) ()(()( )S)S : ) ) ()(()() S)S E: S ε ) ()(()() )S : ) ()(()()) S E: S ε ()(()()) ε Akzeptiere! FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

6 Eigenschaften dieser Verarbeitungsweise: -Parsing : Von links lesen, inksableitung erzeugen (Konkatenation (gelesene ) bildet inksableitung) Top-Down-Parsing : Ableitungsbaum von der Wurzel beginnend erzeugen Parsing : Syntaxanalyse durchführen Top-Down-Parsing, allgemein Gegeben sei eine kfg G =(V,Σ,S,P). Baue NPDA M G wie folgt: Q = {0}, q 0 =0 (ein Zustand genügt) Γ=V Σ Z 0 = S Expandiere : δ(0,ε,a):={(0,α) A α Produktion } ese : Für jedes a Σ ist δ(0,a,a):={(0,ε)} FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Satz (5.2.2) Für den eben beschriebenen NPDA M G gilt: MG = (G). Insbesondere: kontextfrei = M für einen NPDA M. Beweis: Zeige für x Σ folgende Aussagen: (i) Eine gegebene inksableitung S = α 0 α t = x kann in eine akzeptierende Berechnung von M G umgebaut werden. (ii) Eine gegebene akzeptierende Berechnung (0,x,S)=k 0 MG MG (0,ε,ε) liefert eine inksableitung für x. Bsp.: S (S)S ((S)S)S (()S)S (()(S)S)S (()()S)S (()())S (()()) S E (S)S ( S)S E ( (S)S)S (( S)S)S E (( )S)S (() S)S E (() (S)S)S (()( S)S)S E (()( )S)S (()() S)S E (()() )S (()()) S E (()()) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

7 (i) Allgemein: Eine gegebene inksableitung S = α 0 α t = x kann in eine akzeptierende Berechnung von M G umgebaut werden. Beweis: Erweitere Satzformen um einen Cursor, z.b.. Starte mit β 0 = S = α 0. Invariante: β t ist Satzform α i mit Cursor, irgendwo links vom ersten Nichtterminal (falls es eines gibt). Wenn in β t auf den Cursor ein Terminalzeichen a folgt, schiebt man den Cursor über a hinweg, um β t+1 zu erhalten (-Schritt). Wenn in β t auf den Cursor eine Variable A folgt, dann ersetzt man A wie im nächsten Ableitungsschritt α i α i+1 (E-Schritt). Ende: α t = x. (Fast) klar: Die entstehende Folge entspricht einer akzeptierenden Berechnung des NPDA M G. inks vom Cursor: Gelesene. Rechts vom Cursor: inhalt. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ (ii) Eine gegebene akzeptierende Berechnung (0,x,S)=k 0 MG MG (0,ε,ε) der änge t liefert eine inksableitung für x. Beweis: Man betrachtet die Folge S = β 0,β 1,...,β t = x, die sich ergibt, wenn man nach jedem M-Schritt die Folge (gelesener Teil der ) (inhalt) notiert. -Schritte führen zu einer Wiederholung (die man ignoriert). E-Schritte führen zur Anwendung einer legalen Produktion auf die am weitesten links stehende Variable (weil der gelesene teil keine Variablen enthält). Bezeichnung Top-Down-Syntaxanalyse : Produktionen werden in einer Reihenfolge angewendet, die einem Aufbau des Ableitungsbaums von der Wurzel her nach unten entspricht. Problem: Nichtdeterminismus Wunsch: Entscheide in E-Schritten deterministisch, welche Produktion auf die oberste variable anzuwenden ist. Sogenannte (1)-Grammatiken erlauben es, diese Entscheidung zu treffen, wobei als Zusatzinformation genau ein weiteres Zeichen der angesehen wird. ookahead von 1 Zeichen. (Verallgemeinerung: (k), k 1. Details: Nächstes Mal.) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

8 Straffung der Arbeit: Unmittelbares esen Gegeben: kfg G =(V,Σ,S,P). Baue NPDA M G wie folgt: Q = {0}, q 0 =0, Γ=V Σ, Z 0 = S Expandiere : Wenn A Z 1 Z r Produktion ist, und r =0oder Z 1 V, dann ist (0,Z 1 Z r ) δ(0,ε,a) ese : Für jedes a Σ ist (0,ε) δ(0,a,a) Expandiere/ese : Wenn A Z 1 Z r Produktion ist, und Z 1 = a Σ, dann ist (0,Z 2 Z r ) δ(0,a,a) Auch dieser NPDA akzeptiert genau die Wörter aus (G). Beispiel: Klammersprache Produktionen: S (S)S ε NPDA: Q = {0}, Σ={(, )}, Γ={S, (, )}, Z 0 = S; δ(0, ), )) ={(0,ε)} ese δ(0, (,S)={(0,S)S)} Expandiere/ese δ(0,ε,s)={(0,ε)} Expandiere. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Greibach-Normalform Die letzte Konstruktion ist günstig besonders wenn jede Produktion die Form hat: A ab 1 B r,a Σ,r 0,B 1,...,B r V Greibach-Normalform Jeder Schritt liest genau ein Zeichen. Satz Man kann jede kfg G, ε/ (G), in eine äquivalente Grammatik G in Greibach-Normalform umbauen. oder: R-Parsing oder: Shift-Reduce-Parsing Bottom-Up-Syntaxanalyse... liest von links nach rechts, erzeugt Rechtsableitung, erzeugt Ableitungsbaum von unten nach oben. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

9 Anfang: a 1 a a n unten Z.... a r Z1 i an gelesen Steuereinheit oben unten oben Steuereinheit Aktion shift : ese ein Zeichen in den. Zwischensituation: Z.... a r Z1 i an Z r.... Z 1 a i Steuereinheit gelesen a i a n unten oben Steuereinheit gelesen FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ unten Z.... a r Z1 i an gelesen Steuereinheit oben Aktion reduce : Wende Produktion A Z s Z 1 rückwärts! auf s obere zeichen an. Rückwärts! Zr.... Z s +1 A Steuereinheit gelesen a i a n Entscheidung zwischen verschiedenen möglichen Zügen: (hier) nichtdeterministisch Beispielgrammatik: (Klammersprache ohne ε) S (S)S () (S) ()S. (())((()())()) shift: ( (.())((()())()) shift: (( ((.))((()())()) shift: (() (().)((()())()) reduce: (S (().)((()())()) shift: (S) (()).((()())()) Griff :() FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

10 (S) (()).((()())()) Griff :(S) Shift-Reduce-Konflikt : für shift entschieden shift: (S)( (())(.(()())()) shift: (S)(( (())((.()())()) shift: (S)((( (())(((.)())()) shift: (S)((() (())((().())()) Konflikt! shift shift: (S)((()( (())((()(.))()) shift: (S)((()() (())((()().)()) (S)((()() (())((()().)()) Konflikt! reduce reduce: (S)((()S (())((()().)()) Konflikt! reduce reduce: (S)((S (())((()().)()) shift: (S)((S) (())((()()).()) Konflikt! shift shift: (S)((S)( (())((()())(.)) shift: (S)((S)() (())((()())().) reduce: (S)((S)S (())((()())().) reduce: (S)(S (())((()())().) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ S (S)(S (())((()())().) shift: (S)(S) (())((()())()). reduce: (S)S (())((()())()). ( S ) ( ) S ( ) S reduce: S (())((()())()). Schluss-Schritt: leere ε ( S ) S ( ) ( ) S ( ) FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

11 Im Ableitungsbaum: Arbeiten von den Blättern startend: Bottom-Up Beobachtung: Von unten nach oben gelesen, bilden die Konkatenationen inhalt Restwort eine Rechtsableitung für das wort w. Technisches Problem: Wenn t = max{ α A α Produktion }, muss die Steuereinheit zur Entscheidung über den nächsten Zug die t obersten symbole kennen. Trick: t symbole (cacheartig) in der Steuereinheit aufbewahren. (Details: Skript.) Auch bottom-up-parsing führt zum Resultat: G kontextfreie Grammatik (G) = M für einen NPDA M. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Störend: Nichtdeterminismus. Aufgrund der t obersten zeichen (in Steuereinheit) und 1 weiteren Zeichen der ( ookahead 1 ) löse shift-reduce-konflikte eindeutig auf. Ob eine Grammatik hierfür geeignet ist ( R(1)-Grammatiken ), kann algorithmisch getestet werden. Steuerstruktur (Übergangsfunktion δ in Form von Tabellen) kann aus einer Standard-Beschreibung von G automatisch erzeugt werden. ( Parsergeneratoren, z.b. yacc.) Allgemeiner: R(k)-Grammatiken (k Zeichen ookahead) Basis der meisten realen Compiler. Von automaten zu Grammatiken (5.5) Satz (5.5.1) Wenn M ein NPDA ist, dann gibt es (konstruktiv) eine kontextfreie Grammatik G mit M = (G). Beweis: Tripelkonstruktion (Skript, Details sind nicht prüfungsrelevant.) Also: = M für einen NPDA = (G) für eine kfg G Das Maschinenmodell für die 2 -Sprachen ist der NPDA. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

12 Von automaten zu Grammatiken Tripelkonstruktion. Gegeben: M =(Q, Σ, Γ,q 0,Z 0,δ). V := {S} { q, A, p p, q Q, A Γ}. Von automaten zu Grammatiken Absicht: Für q, p Q, A Γ und w Σ soll gelten: q, A, p G w (q, w, A) M (p, ε, ε). ( ) In Worten: Es gibt einen G-Ableitungsbaum mit Wurzel q, A, p und Ergebnis (Blattinschrift) w M kann von Zustand q mit A als oberstem symbol die Teileingabe w lesen, dabei Zustand p erreichen und das Zeichen A aus dem streichen. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ Von automaten zu Grammatiken Produktionen: (i) S q 0,Z 0,p, für jedes p Q. Von automaten zu Grammatiken Angenommen, folgendes gilt: q, A, p G w (q, w, A) M (p, ε, ε). ( ) (ii) q, A, q m+1 a q 1,A 1,q 2 q 2,A 2,q 3 q m,a m,q m+1, für (q, a, A) Q (Σ {ε}) Γ,q 1,...,q m+1 Q, m 0, wo (q 1,A 1 A m ) δ(q, a, A). Beachte: G wird aus M ganz formal, mechanisch gebildet. Dann: w M p Q :(q 0,w,Z 0 ) M (p, ε, ε) p Q : q 0,Z 0,p G w S G w w (G). FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/

13 Von automaten zu Grammatiken Die Äquivalenz q, A, p G w (q, w, A) M (p, ε, ε) ( ) Bis zum nächsten Mal: Folien aus Netz besorgen, durcharbeiten. Skript Seiten , , oben durcharbeiten. Definitionen lernen, Beispiele ansehen, Fragen vorbereiten. beweist man und, für jede Richtung einzeln, jeweils mit einer geeigneten Induktion. Details: Skript. FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/ FG KTuEA, TU Ilmenau Automaten und Formale Sprachen WS07/