LR-Parser, Shift-Reduce-Verfahren

Transkript

1 LR-Parser, Shift-Reduce-Verfahren Bottom-Up-Syntaxanalyse LR-Parser L: Eingabe von links nach rechts; R: Rechtsherleitung Shift-Reduce-Verfahren Beachte: Kein Backtracking nicht auf jede Grammatik anwendbar P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 1

2 Beispiel E ::= E + E E ::= E * E E ::= (E) E ::= a b c (Eine) Rechtsherleitung von c + b * a E E + E E + E * E E + E * a E + b * a c + b * a es gibt eine weitere Rechtsherleitung P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 2

3 Begriff: Handle Definition Ein Handle (bzgl. einer CFG G) ist ein Unterstring v in einem Wort w (T N) an der Stelle i, so dass A v ist eine Regel es gibt eine Rechtsherleitung σ A v w 0 w P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 3

4 Beispiel E ::= E + E E ::= E * E E ::= (E) E ::= a b c (Eine) Rechtsherleitung von c + b * a mit Handles E E + E E + E * E E + E * a E + b * a c + b * a P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 4

5 Handle: Benutzung Handle: Hilfsmittel zur Konstruktion einer Rechtsherleitung in umgekehrter Reihenfolge Handles sind nicht immer eindeutig P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 5

6 Fortsetzung des Beispiels Konstruiere Rechtsherleitung von c + b * a durch Ersetzen von Handles hergeleitetes Wort Handle Produktion c + b a c E c E + b a b E b E + E a a E a E + E E E E E E E E + E E + E E E + E E P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 6

7 Methode: Schieben-Reduzieren (Shift-Reduce) Shift-Reduce Syntax-Analysemethode Zustand während der Analyse: Aktuelles Zeichen ist zu verarbeiten Rest der Eingabe Stack das bisher (rückwärts) hergeleitete Wort Stack + aktuelles Zeichen + Rest der Eingabe = Gesamtwort P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 7

8 Methode: Schieben-Reduzieren (Shift-Reduce) Aktionen der Analyse: Schieben: Lesen eines Zeichens der Eingabe und Ablage auf den Stack Reduzieren: Ersetzen eines obersten Teils des Stacks, des Handle, mittels einer Produktion rückwärts Die Auswahl der Produktion ist abhängig vom Anfang der Resteingabe und vom Inhalts des Stacks. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 8

9 Beispiel $ bezeichnet das Ende der Eingabe und den Boden des Stacks Stack Eingabe Aktion $ c + b*a$ schiebe $c + b*a$ reduziere mit E ::= c $E + b*a$ schiebe; schiebe $E+b *a$ reduziere mit E ::= b $E+E *a$ schiebe $E+E* a$ schiebe $E+E*a $ reduziere mit E ::= a $E+E*E $ reduziere mit E ::= E*E $E+E $ reduziere mit E ::= E+E $E $ akzeptiere P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 9

10 Die 4 Parser-Aktionen: Schieben: Reduzieren: Akzeptieren: Fehlererkennung: Zeichen von Eingabe auf Stack Handle, d.h. ein oberes Stück des Stacks durch ein Nichtterminal ersetzen. Wenn Stack = Startsymbol und die Eingabe leer Wenn weder Schiebe- noch Reduzieraktion möglich. Hierbei gilt: Handle kann nur ein oberer Teil des Stacks sein P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 10

11 Shift-Reduce-Parser: Eigenschaften Shift-Reduce-Parser sind deterministisch: Berechnung der nächsten Aktion auf der Basis des Stackinhalts und des ersten Symbols der Eingabe Shift-Reducer-Parser können tabellengesteuert arbeiten. Die manuelle Erzeugung der Tabellen aus der Grammatiken ist komplex ε-produktionen werden in Shift-Reduce-Parsern vermieden. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 11

12 Korrespondenz: Aktionen zu Rechtsherleitung Notation: v sei Terminalwort w;v Stack;Eingaberest w 0 Av w 0 A; v A w reduz. w 0 wv w 0 w; v Regeln A w A B, B w B w 0 Av A w A B w 0 w A Bv B w B w 0 w A w B v w 0 A; v reduz. w 0 w A B; v reduz. w 0 w A w B ; v P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 12

13 Korrespondenz: Aktionen zu Rechtsherleitung Regeln: A w A Babc B w B w 0 Av w 0 w A Babcv w 0 w A w B abcv w 0 A; v w 0 w A Babc; v w 0 w A B; abcv w 0 w A w B ; v Reduzieren 3 X Schieben Reduzieren P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 13

14 Shift-Reduce-Parser: Fehlerbehandlung Schiebe-Reduziere-Konflikt: unklarer Zustand: Schieben oder Reduzieren? Die Tabelle enthält in diesem Fall bereits einen Fehlerausgang. Reduziere-Reduziere-Konflikt: unklarer Zustand: Reduzieren mit welcher Regel? 2 verschiedene Handles, oder ein Handle und 2 Regeln. Keine anwendbare Regel Analoge Fehlermeldungen von LR-Parser-Generatoren Folgerung: der Shift-Reduce Parser erfordert Umbau der Grammatik P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 14

15 Operatorgrammatiken, Operator-Prioritäts-Syntaxanalyse Operatorgrammatiken erlauben die Konstruktion eines Shift-Reduce Parsers, wenn neben einer (mehrdeutigen) Basisgrammatik weitere Angaben vorliegen Definition Operatorgrammatik: keine ε-produktion keine rechte Seite einer Produktion hat direkt benachbarte Nichtterminale Terminale sind Operatoren oder Klammern, oder Bezeichner (eigentlich ein Nichtterminal) wesentliches Nichterminal: Ausdrücke P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 15

16 Operatorgrammatiken; Beispiel E ::= E + E E E E E E E/E (E) E ˆE E! Id Hierbei steht Id (Identifier) für ein Nichtterminal, beispielsweise Konstanten, oder Variablen. Operatoren sind: +,-,*,\,^,! Klammern sind vorhanden E: Nichtterminal für Ausdrücke. Beachte, dass diese Grammatik mehrdeutig ist: hat 2 Parsebäume P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 16

17 Operatorgrammatiken : Eindeutigkeit Weitere Angaben zu den Operatoren um Eindeutigkeit zu erreichen: Stelligkeit: wieviele Argumente bindet der Operator? I.a.: 1 oder 2. Infix, Prefix, welchen Ausdruck (welche Ausdrücke) bindet Postfix: der Operator? Prioritäten welcher Operator bindet stärker? I.a. sind die Prioritäten natürliche Zahlen Assoziativität: Ist der Operator rechtsassoziativ oder linksassoziativ, oder nicht assoziativ? Z.B. a+b+c kann als a+(b+c) (rechtsassoziativ) oder als (a + b) + c (linksassoziativ) geklammert werden. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 17

18 Operatorgrammatiken; Beispiel Basisgrammatik: E ::= E + E E E E E E E/E (E) E ˆE E! Id wird eindeutiger durch die Eigenschaften: +,, /, ˆ sind zweistellige Infixoperatoren. kann zweistelliger Infix- oder einstelliger Präfixoperator sein. Prioritäten:! vor ˆ vor einstelligem vor, / vor +,. +,, /, linksassoziativ, ˆ ist rechtsassoziativ !ˆ3 entspricht 1 + ((2!)ˆ3) ! entspricht ((1 3) (5 (6!)) P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 18

19 Operatorgrammatiken Es gilt: Basisgrammatik + Eigenschaften der Operatoren ist in eine CFG kodierbar Aber Datengrundlage eines Shift-Reduce Parser ist die Basisgrammatik und Eigenschaften der Operatoren nicht die volle Grammatik. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 19

20 Operatorgrammatiken, Beispiel Gegeben: Postfix-Operator! mit hoher Priorität, einstelliges mit geringerer Priorität binäres + mit geringster Priorität, linksassoziativ Zahl sei Nichtterminal für Zahlenkonstanten. Grammatik dazu: E ::= PlusE FakE ::= Zahl FakE! (PlusE) MinE ::= FakE - MinE PlusE ::= MinE PlusE + FakE - - 1!! ist als - (- ((1!)!)) erkennbar. Vermutlich ist diese Grammatik eindeutig. Diese Grammatik ist linksrekursiv P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 20

21 Shift-Reduce Syntaxanalyse für Operatorgrammatiken Vorgehen: Auf dem Stack sind in der Reihenfolge der Eingabe: die bisherigen Operatoren, die offenen Klammern und Bezeichner und erkannte Ausdrücke (d.h. Herleitungsbäume) P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 21

22 Shift-Reduce Syntaxanalyse; Aktionen Wenn ein Bezeichner in der Eingabe ist, dann Schieben manchmal danach reduzieren, Z.B., wenn ;E auf dem Stack Wenn Tokenstrom zu Ende, dann reduzieren. Wenn (, dann schieben Bei ) : Wenn der Stack noch offene Operatoren enthält, dann reduzieren. Am Ende muss auf dem Stack ( ; E stehen: Der Klammerausdruck (E) wird erkannt, und der Syntaxbaum für E bleibt auf dem Stack. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 22

23 Operatorgrammatiken: Beispiele Stack Eingabe-Rest $E +E $ Reduzieren, da keine Argumente mehr folgen $(E +E )* 5 + 6! $ Reduzieren, da keine Argumente mehr folgen $(E )* 5 + 6! $ Schieben, da Klammerausdruck beendet $E + (3 + 5! $ Schieben $E : E : 5 : [] $ Schieben da : rechtsassoziativ P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 23

24 Shift-Reduce Syntaxanalyse; Aktionen Annahme: es gibt nur binäre Operatoren. op Op in der Eingabe: lop oberster Op. auf dem Stack. Stack; Eingabe... lop... ; op... Wenn lop größere Priorität hat als op, dann reduzieren. Wenn lop und op gleiche Priorität hat und beide linksassoziativ, dann ebenfalls reduzieren. Wenn lop und op gleiche Priorität und beide rechtsassoziativ, dann schieben. Wenn lop niedrigere Priorität hat als op dann schieben. Wenn es Infix und Postfix-Operatoren gibt, dann muss man noch Unterfälle betrachten (siehe das bereitgestellte Programm, allerdings ist auch das kein allgemeiner Fall. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 24

25 Operatorgrammatiken: Beispiele Stack Rest der Eingabe $E *E + 5 * 6! $ Reduzieren, da > + $E +E * 5 + 6! $ Schieben, da > + $E + E + 5 * 6! $ Reduzieren, da + linksassoziativ $E : E : 5 : [] $ Schieben da : rechtsassoziativ P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 25

26 Operatorgrammatiken: Beispielablauf $ * 6! $ S $ * 6! $ R $E * 6! $ S $E * 6! $ S $E * 6! $ R $E - E - 5 * 6! $ R $E - 5 * 6! $ S $E - 5 * 6! $ S $E - 5 * 6! $ R $E - E * 6! $ S $E - E* 6! $ S $E - E*6! $ R $E - E*E! $ S $E - E*E! $ R $E - E*E $ R $E - E $ R $E $ Erkannt wurde der Ausdruck: ((1 3) (5 (6!))) P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 26

27 Operatorgrammatiken: Bemerkungen Der Parser baut nicht direkt auf einer Grammatik auf. Definition der erkannten formalen Sprache? Fehler in der Eingabe sind gut erkennbar: Wenn es keine erlaubte Aktion mehr gibt Mehrdeutigkeiten werden durch die Implementierung des Parsers aufgelöst. Bei gleicher Priorität gewinnt der frühere Operator. Zweideutigkeit von (einstellig Präfix und zweistellig Infix) wird entschieden durch folgende Vereinbarung: wenn links von kein Operand, dann einstellig, sonst zweistellig. Operatoren, die links mehr als ein Argument konsumieren, sind i.a. nicht zugelassen. Die Semantik kann direkt aus dem Syntaxbaum abgelesen werden. P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 27

28 Operatorgrammatiken: Bemerkungen Vorteil: Die Operatoren und deren Eigenschaften können vom Benutzer definiert werden ( siehe Haskell) Nachteil einer klammerfreien Eingabe: vom Benutzer gewollter und vom Parser erkannter Ausdruck können verschieden sein. auch unter strengem Typsystem usw. Abhilfe: wenn man unsicher ist, mehr Klammern setzen. Mögliche Erweiterung: Prioritätsrelationen Beim Testen muss man auch falsche Eingaben mittesten Unproblematische Erweiterung in Haskell : (+), (+ 1) (1 +) sind ebenfalls Ausdrücke es gibt Parsergeneratoren: i.a. Shift-Reduce, z.b. yacc, Happy P raktische Informatik 2, SS 2005, F olien Kap.4, 3, (29. Juni2005) Seite 28