Bottom-up-Syntaxanalyse

Transkript

1 Bottom-up-Syntaxanalyse Lernziele: Einführung in die bu-syntaxanalyse LR(k)-Analyseverfahren Auflösung von Konflikten bei der Parsergenerierung Zusammenhang: KFGs und Kellerautomaten Einführung: Bottom-up-Analyseverfahren sind von großem praktischen Interesse, da sie mächtiger als td-verfahren sind. Grund: Die Produktionsauswahl erfolgt erst am Ende möglicher Produktionen, während sie bei td-verfahren im Allg. am Anfang erfolgt. Beim LR steht das L für die Leserichtung von links nach rechts, das R dafür, dass Rechtsableitungen gesucht werden. 77

2 Grundlegende Idee von LR-Verfahren: 1. Reduziere vom Satz zum Axiom 2. Dabei entstehen Satzformen mit Anfängen aus (N U T)* und einem Eingaberest aus T*, wobei die Anfänge Präfixe von Rechtssatzformen der Grammatik sein müssen. Solche Präfixe nennt man zuverlässige Präfixe (viable prefixes). 3. Reduktionen werden immer soweit links wie möglich ausgeführt. Die unter 2. genannte Eigenschaft gilt offensichtlich am Anfang der Reduktion (wenn die Eingabe ein Satz ist) und muss invariant bleiben, um Sackgassen zu vermeiden. Definition: (zuverlässiger Präfix) Sei S =>* βau => βαu eine Rechtsableitung zu Γ. rm rm Dann heißt α der Griff/Handle/Redex (auch die Reduktionsstelle) der Rechtssatzform βαu. Jedes Präfix von βα heißt ein zuverlässiges Präfix von Γ. 78

3 Satz: Die Sprache der zuverlässigen Präfixe einer Grammatik Γ ist regulär. Beweis: Siehe WM Satz und Korallar (S. 361,362). Wesentliche Schritte des Beweises im Folgenden durch Konstruktion des LR-DEA(Γ) illustriert. Beispiele: (Hinführung zu LR-Parsen) 1. Γ : S acd, C b, D a b Analyse von aba (siehe Vorlesung) kann in Sackgasse führen! Verfolgen der zuverlässigen Präfixe kann Sackgassen vermeiden. 2. Γ : S E #, E a ( E ) E E Analyse von ( ( a ) ) ( a ) # (siehe Vorlesung) Kellermechanismus kann gelesene Präfixteile verwalten. 3. Γ5 : S E #, E E + T T, T Analyse von + + # : (siehe Vorlesung) 79

4 Schematischer Syntaxbaum zur Eingabe xay mit a in T, x,y in T* und Startsymbol S: α x a y Lesezeiger Schiebe Schritt (shift): Reduktionsschritt (reduce): αa βα => α = βγ x a y Lesezeiger x a y Lesezeiger 80

5 Hauptprobleme bei LR: 1. Nur Reduktionen durchführen, so dass der entstehende Präfix zuverlässig bleibt. 2. Wann schieben, wann reduzieren, mit welcher Produktion reduzieren? Lösungsansatz: Zu jeder Grammatik Γ gibt es einen endlichen Automaten, den sogenannten LR-DEA(Γ), oft auch als LR(0)-Automat bezeichnet, der die zuverlässigen Präfixe beschreibt. Konstruktion von LR-DEA: Sei Γ = ( N, T, Π, S ) eine kf. Grammatik. Konstruiere zu jedem Nichtterminal den Item-Automaten (siehe ) Die Item-Automaten werden vereinigt. Startzustand des vereinigten Automaten ist der Startzustand des Item-Automaten für S. Endzustände sind die Endzustände der Item-Automaten. Füge ε-kanten ein von jedem Zustand, in dem der Positionspunkt vor einem Nichtterminal A steht, zu dem Startzustand des Item-Automaten von A. Wenn man alle Zustände der LR-DEA als Endzustände betrachtet, erhält man einen Automaten, der die Menge der zuverlässigen Präfixe beschreibt. 81

6 Beispiel: (Konstruktion eines LR-DEA) Konstruktion des LR-DEA für Γ5 : S E #, E E + T T, T E # [S.E #] [S E.# ] [S E#.] ε [E.E+T] [E.T ] ε ε E + T [E E.+T] [E E+.T] T [E T.] ε [E E+T.] [T. ] [T.] Deterministisch machen liefert folgenden Automaten: 82

7 q0 [S.E #] [E.E+T] [E.T ] [T. ] T q1 E [S E.# ] # [E E.+T] + Fehler q7 q5 [E T.] [T.] q6 q2 [S E#.] q3 [E E+.T] [T. ] T [E E+T.] q4 bezeichnet Fehlerkanten Die zuverlässigen Präfixe maximaler Länge: E#, T,, E+, E+T Bemerkungen: Im Beispiel enthält jeder Endzustand genau eine vollständig gelesene Produktion. Dies ist im Allg. nicht so. Enthält ein Endzustand mehrere vollständig gelesene Produktionen spricht man von einem reduce/reduce- Konflikt. Enthält ein Endzustand eine vollständig gelesene und eine unvollständig gelesene Produktion mit einem Terminal nach dem Positionspunkt, spricht man von einem shift/reduce-konflikt. 83

8 Beispiel: (Analyse mit LR-DEA) Analyse von + + # mit dem LR-DEA, unterstrichen ist jeweils der zuverlässige Präfix: Beachte: + + # <= T + + # <= E + + # <= E + T + # <= E + # <= E + T # <= E # <= Die Satzformen bestehen immer aus einem zuverlässigen Präfix und der Resteingabe. Verwendet man nur den LR-DEA zur Analyse muss man nach jeder Reduktion die Satzform von Anfang an lesen. deshalb: verwende Kellerautomaten zur Analyse S 84

9 Definition: (LR-Kellerautomat) Sei Γ = ( N, T, Π, S ) eine KFG; der LR-DEA- Kellerautomat zu Γ hat die folgenden Bestandteile: eine endliche Menge Q von Zuständen entsprechend den Zuständen des LR-DEA(Γ); eine Menge von Aktionen AKT = { schieben, akzeptieren, fehler} U red(π), wobei red(π) für jede Produktion A->α eine Aktion reduziere A->α enthält; eine Aktionstabelle at: Q eine Nachfolgertabelle nt: P x (NUT) P = { q in Q at(q) = schieben } AKT (action table) Q mit Bemerkungen: Der LR-DEA-Kellerautomat ist eine Kellerautomatenvariante speziell fürs LR-Parsen. Die Zustände codieren den gelesenen Linkskontext. Sofern keine Konflikte vorliegen, ergibt sich die Aktionstabelle direkt aus dem LR-DEA: akzeptieren: Endzustand zum Item-Automaten des Startsymbols. reduzieren: die anderen Endzustände fehler: Fehlerzustand schieben: alle anderen Zustände 85

10 Ausführen des Kellerautomaten: Konfiguration: Q* x T* wobei im Folgenden die Variable keller die Zustandsfolge und die Variable egr den Eingaberest bezeichnet; Anfangskonfiguration: ( q0, eingabe ), wobei q0 der Startzustand des LR-DEA ist. Interpretationsprozedur des Kellerautomaten: } (keller,egr) := (q0,eingabe) ; do { schritt( keller, egr ); } while( at(top(keller))!= akzeptieren and at(top(keller))!= fehler ); if ( at(top(keller))==fehler ) melde fehler; wobei void schritt( var ZustandSeq keller, var SymbolSeq egr ){ Zustand tk := top(keller); switch( at(tk) ) { case schieben: keller:= push( nt(tk,top(egr)), keller ) egr := rest(egr); break; case reduziere A a: keller:= mpop(laenge(a), keller); keller:= push(nt(top(keller),a),keller); break; } 86

11 Beispiel: (LR-Kellerautomat zu Γ5 ) LR-DEA mit Zuständen q0 q7 (siehe Beipiel oben) Aktionstabelle: q0 q1 q2 q3 q4 q5 q6 q7 schieben schieben akzeptieren schieben reduzieren E E+T reduzieren E T reduzieren T fehler Nachfolgertabelle: + # E T q0 q6 q7 q7 q1 q5 q1 q7 q3 q2 q7 q7 q2 q3 q6 q7 q7 q7 q4 q4 q5 q6 q7 Rechnung zu Eingabe + + # : Keller Eingaberest Aktion q0 q0 q6 q0 q5 q0 q1 q0 q1 q3 q0 q1 q3 q6 q0 q1 q3 q4 q0 q1 q0 q1 q3 q0 q1 q3 q6 q0 q1 q3 q4 q0 q1 q0 q1 q2 + + # schieben + + # reduzieren T + + # reduzieren E T + + # schieben + # schieben + # reduzieren T + # reduzieren E E+T + # schieben # schieben # reduzieren T # reduzieren E E+T # schieben akzeptieren 87

12 Fragen: Funktioniert die obige Konstruktion für alle eindeutigen Grammatiken? Für welche Grammatiken funktioniert sie? Wie kann man sie verallgemeinern/mächtiger machen? Beispiel: LR-DEA für Γ6 : S E #, E T+E T, T N( ), N q0 q1 q2 # q3 [S E.# ] [S E#.] [E T+E.] E [S.E #] [E.T+E] [E.T ] [T. ] [T.N( ) ] [N. ] N T [E T.+E] [E T. ] [T [N.].] q4 q6 + T N E q5 [E T+.E] [E.T+E] [E.T ] [T. ] [T.N( ) ] [N. ] q10 Fehler q7 [ T N(.) ] ( ) q8 q9 [ T N.( ) ] [ T N( ). ] bezeichnet Fehlerkanten 88

13 Bemerkung: Zwei Arten von Konflikten: Shift/reduce-Konflikt Reduce/reduce-Konflikt ( q4 im obigen Beispiel) ( q6 im obigen Beispiel) Grundbegriffe der LR-Theorie: Definition: ( LR(k)-Grammatik ) Sei Γ = ( N, T, Π, S ) eine kf. Grammatik, k in N. Γ heißt LR(k)-Grammatik, wenn für zwei beliebige Rechtsableitungen gilt: S =>* α Au => αβu rm S =>* rm γ Bv => αβw Ist präfix(k,u) = präfix(k,w), dann ist α = γ, A = B und v = w. Bemerkungen: rm rm Während bei LL-Grammatiken die Produktionsauswahl vom Sprachschatz des abzuleitenden Nichtterminals abhängt, hängt sie bei LR-Grammatiken von dem gesamten Linkskontext ab. Die Vorausschau erstreckt sich bei LL-Grammatiken auf den aus einem Nichtterminal zu erzeugenden Sprachschatz, bei LR-Grammatiken auf den Sprachschatz noch nicht gesehener Nichtterminale. 89

14 Satz: (Charakterisierung LR(0) ) Eine reduzierte KFG Γ ist genau dann LR(0), wenn LR-DEA(Γ) keine Konflikte enthält. Beweis: Siehe Vorlesung und Arbeitsblatt 1. Beispiel: (Anwendung LR(0)-Charakterisierung) Zeige mit obigem Lemma, dass die Grammatik S A B, A aab 0, B abbb 1 LR(0) ist (siehe Vorlesung). Bemerkungen: (zur Mächtigkeit von LR(k) ) Für jede kontextfreie Sprache L mit der Präfixeigenschaft ( v,w in L: v ist nicht Präfix von w ) gibt es eine LR(0)-Grammatik. Die Grammatik S A B, A aab 0, B abbb 1 ist nicht LL(k) (siehe oben), aber LR(0). Methoden und Vorgehensweisen, die wir hier für LR(1) demonstrieren, lassen sich in geeigneter Form auf den Fall LR(k) bzw. SLR(k) bzw. LALR(k) verallgemeinern. 90

15 Auflösen von Konflikten: Idee: <k Berechne Vorausschaumengen aus (NUT) für die Items. Dafür gibt es unterschiedliche Verfahren (s.u.). Die Vorausschaumenge zu einem Item in einem Zustand approximiert die Menge der möglichen Präfixe mit Länge k, mit denen der Eingaberest bei diesem Item beginnen kann. Sind die Vorausschaumengen für Items, die zu Konflikten führen, disjunkt, so kann die auszuführende Aktion (schieben/reduzieren) durch Vorausschau von k Symbolen bestimmt werden: Wähle die Aktion zu dem Item aus, in dessen Vorausschaumenge der Präfix des Eingaberestes liegt. Dementsprechend muss die Aktionstabelle erweitert werden. Verbreitete Verfahren: SLR(k) benutzt LR-DEA und verwendet FOLLOWk der konfligierenden Items als Vorausschaumengen. LALR(k) lookahead LR benutzt LR-DEA, aber mit zustandsabhängigen Vorausschaumengen. LR(k) integriert die Berechnung der Vorausschaumengen mit der Automatenkonstruktion (LR(k)-Automat). 91

16 Definition: ( SLR(1)-Grammatik ) Sei Γ= ( N, T, Π, S ) eine kf. Grammatik und LA( [A α.] ) = FOLLOW1(A). Ein Zustand von LR-DEA(Γ) besitzt einen SLR(1)-Konflikt, wenn es in ihm entweder zwei unterschiedliche reduce-items gibt mit LA( [A α.] ) LA( [B β.] ) = / { } oder zwei Items [A α.] und [B α.aβ] mit a in LA( [A α.] ). Γ heißt SLR(1), wenn es keinen SLR(1)-Konflikt besitzt. U Beispiel: Γ6 : S E #, E T+ E T, T N( ), N ist eine SLR(1)-Grammatik. Zu betrachten sind die Konflikte zwischen [E T. ] und [E T.+E] bzw. zwischen [T.] und [N.]. FOLLOW1(E) { + } = { # } { + } = { } U FOLLOW1(T) FOLLOW1(N) = { #,+ } { ( } = { } U U U 92

17 Beispiel: (nicht SLR(1)-Sprache) Betrachte folgende Grammatik für vereinfachte C-Ausdrücke: Γ7 : S E #, E L = R R, L *R, R L Der zugehörige LR-DEA: [E R.] R [S.E# ] [E.L=R] [E.R] [L.*R] [L.] [R.L] L [E L.=R] [R L.] [S E.# ] # [S E#. ] E [L *.R] R [R.L] * [L.*R] [L.] * L = [L.] [E L=.R] [R.L] [L.*R] [L.] [R L.] L R [L *R.] [E L=R.] * Der einzige Zustand mit einem Konflikt enthält die Items [E L.=R] und [R L.] mit FOLLOW1(R) { = } = { =, # } { = } = { =} = / { } U U 93

18 Konstruktion von LR(1)-Automaten: Items der Form [ A α.β, V ] mit V T und der Bedeutung, dass α auf dem Keller liegt und der Anfang des Eingaberests aus βc ableitbar ist mit c in V. D.h. V FOLLOW1(A). U U S E#. S E.# E S.E# E.L=R # E.R # L.*R #,= L. #,= R.L # * # L *.R #,= R.L #,= L.*R #,= L. #,= L R L R E L.=R # R L. # E R. # R L. # L. #,= L. # R L. #,= L *R. #,= = L L E L=.R # R.L # L.*R # L. # R E L=R. # * * L *.R # R.L # L.*R # L. # R L *R. # * Konflikt kann behoben werden, da {=} {#} = {} U 94

19 LALR(1)-Automaten: Aus dem LR(1)-Automaten erhält man den LALR(1)- Automaten durch Zusammenlegen der Zustände, in denen sich die Items nur in der Vorausschaumenge unterscheiden. Die Vorausschaumengen zu gleichen Items werden dabei vereinigt. Der resultierende Automat hat die gleichen Zustände wie der LR-DEA.. q8 q4 S E#. E L.=R # = E L=.R # R L. # R.L # q3 # L L.*R # S E.# q5 L. # E R. # q0 E R q9 R S.E# E L=R. # E.L=R # E.R # q1 L.*R #,= L. #,= L L. #,= R.L # q2 * L *.R #,= R.L #,= L.*R #,= L. #,= L R q6 R L. #,= q7 L *R. #,= * * Der LALR(1)-Automat lässt sich allerdings effizienter direkt konstruieren. 95

20 Lesen Sie zu Unterabschnitt : Wilhelm, Maurer: aus Kap. 8, Abschnitt bis einschl , S Zusammenhang der Grammatikklassen: eindeutige Grammatiken LL(k) LL(1) LR(k) LR(1) LALR(1) SLR(1) LL(0) LR(0) mehrdeutige Grammatiken 96