Seminar Informatik: Syntaxanalyse von DKFG mittels Yacc

Transkript

1 Fachhochschule Köln Cologne University of Applied Sciences Seminar Informatik: Syntaxanalyse von DKFG mittels Yacc Jan Bollenbacher Studiengang: Master Technische Informatik Prof. Dr. Hans W. Nissen

2 Inhaltsverzeichnis Inhaltsverzeichnis Inhaltsverzeichnis 1 Einleitung 4 2 Syntaxanalyse Parser Kontextfreie Grammatiken Top-Down-Syntaxanalyse Syntaxanalyse durch rekursiven Abstieg Prädiktive Parser Nicht-rekursive prädiktive Parser FIRST und FOLLOW Konstruktion prädikativer Parse-Tabellen LL(1)-Grammatiken Bottom-Up-Syntaxanalyse LR-Parser LR-Syntaxanalysealgorithmus LR-Grammatiken LALR-Syntaxanalysetabellen Parser-Generator Yacc 17 4 Fazit 20 Literatur 21 2

3 Abbildungsverzeichnis Tabellenverzeichnis Abbildungsverzeichnis 1 Schnittstelle Parser/Scanner Parse-Baum für Recursive-Descent-Parser Modell eines nicht-rekursiven prädiktiven Parsers Modell eines LR-Parsers Tabellenverzeichnis 1 Parse-Tabelle für eine mehrdeutige Grammatik Anwendung der Shift-Reduce-Syntaxanalyse Produktionen der Grammatik für arithmetische Ausdrücke Syntaxanalysetabelle der Grammatik für arithmetische Ausdrücke Aktionen eines LR-Parsers

4 2 SYNTAXANALYSE 1 Einleitung Wie funktioniert der Parser-Generator Yacc (Yet Another Compiler Compiler)? Das ist die grundlegende Frage die in diesem Seminar beantwortet werden soll. Dazu wird zuerst die Theorie zur Syntaxanalyse betrachtet. Es wird eine Einführung in die Syntaxanalyse von LL- bzw. LR-Grammatiken gegeben. Im Anschluss wird ein Yacc-Beispielprogramm betrachtet. Das Ziel dieser Arbeit ist, die Brücke zu schlagen von der Theorie eines LALR-Parsers zu Yacc. Dieses Seminar ist keine Beschreibung von Yacc im Allgemeinen. Die Syntax von vielen Programmiersprachen kann durch deterministische kontextfreie Grammatiken(DKFG) beschrieben werden. In der Chomsky Hierarchie benden sich die DKFG genau zwischen den regulären Sprachen und den kontextfreien Grammatiken. Wenn ein Compiler eingesetzt werden soll, ist es generell erforderlich, dass die Syntax der Sprache einer DKFG entspricht. [HU69, S. 233] 2 Syntaxanalyse 2.1 Parser Abbildung 1: Schnittstelle Parser/Scanner [Job91] In unserem Modell (Abbildung 1) liefert der Scanner dem Parser eine Folge von Symbolen (Token). Der Parser prüft dann, ob diese Symbolfolge von der Grammatik der Quellsprache erzeugt werden kann [ASU88a]. Der Scanner durchsucht also ein Eingabedokument und liefert dem Parser Token. Diese Token werden im Scanner mittels regulärer Ausdrücke deniert. Laut [ASU88a] lassen sich Parser für Grammatiken in drei Kategorien einteilen: Universelle Parse-Methoden wie z.b. die Algorithmen von Cocke-Younger-Kasami und Early, die für alle Grammatiken funktionieren, 4

5 2.2 Kontextfreie Grammatiken 2 SYNTAXANALYSE Top-Down-Parser und Bottom-Up-Parser. Auf die universellen Parse-Methoden wird im Rahmen dieser Arbeit nicht weiter eingegangen. Die Top-Down- bzw. Bottom-Up-Parser werden überwiegend in Compilern verwendet. Dabei beginnt der Top-Down-Parser, wie der Name schon sagt, die Konstruktion des Parse-Baums mit der Wurzel (Top) und setzt seine Arbeit in Richtung der Blätter (Bottom) fort. Ein Bottom-Up-Parser arbeitet sich von den Blättern zur Wurzel hoch. Beide Parser-Typen lesen die Symbole der Eingabe sukzessive von links nach rechts. [ASU88a] Die ezienten Top-Down- und Bottom-Up-Methoden sind auf Teilklassen von Grammatiken beschränkt. Einige dieser Teilklassen, z.b. LL- und LR-Grammatiken, sind jedoch mächtig genug, um die meisten syntaktischen Konstrukte in Programmiersprachen beschreiben zu können.[asu88a] 2.2 Kontextfreie Grammatiken In Programmiersprachen gibt es oft Konstrukte mit einer inhärent rekursiven Struktur. Diese lässt sich mit Hilfe kontextfreier Grammatiken denieren. [ASU88a] Beispiel 1: Wenn S1 und S2 Anweisungen sind und E ein Ausdruck ist, dann ist if E then S1 else S2 eine Anweisung. Diese Art einer bedingten Anweisung lässt sich nicht durch reguläre Ausdrücke denieren. Reguläre Ausdrücke eignen sich dazu, die lexikalische Struktur von Symbolen zu beschreiben. Beispiel 1 lässt sich in folgende Grammatik überführen. Dabei bezeichnet die syntaktische Variable stmt die Klasse der Anweisungen und expr die Klasse der Ausdrücke.[ASU88a] Beispiel 2 (Kontextfreie Sprache): stmt ::== if expr then stmt else stmt Eine kontextfreie Grammatik ist ein Quadrupel G=(N,, P, S)[Zim89]. Dieses Quadrupel besteht aus Nichtterminalen, Terminalen, Produktionen und einem Startsymbol. [ASU88a] 1. N - Nichtterminale sind syntaktische Variablen, die Mengen von Strings bezeichnen. [ASU88a] In Beispiel 2 sind stmt und expr Nichtterminale. Nichtterminale 5

6 2.3 Top-Down-Syntaxanalyse 2 SYNTAXANALYSE stehen für String-Mengen und vereinfachen die Denition der von der Grammatik erstellten Sprache. Die Nichtterminale sorgen für eine hierarchische Struktur, die für Syntaxanalyse und Übersetzung hilfreich ist.[asu88a] 2. - Terminale sind die Grundsymbole, aus denen Strings bestehen. [ASU88a] In dieser Arbeit wird für Terminal das Synonym Token benutzt. In Beispiel 2 sind die Schlüsselwörter if, then und else die Token. 3. P - Produktionen einer Grammatik geben an, wie Terminale und Nichtterminale zur Bildung von Strings miteinander kombiniert werden dürfen. [ASU88a] In Beispiel 2 ist eine Produktionsregel dargestellt. 4. S - Ein Nichtterminal einer Grammatik ist als Startsymbol deniert. Die vom Startsymbol bezeichnete String-Menge ist die von der Grammatik denierte Sprache. [ASU88a] 2.3 Top-Down-Syntaxanalyse In diesem Abschnitt werden die grundlegenden Ideen der Top-Down-Syntaxanalyse vorgestellt. Die Klasse der LL(1)-Grammatiken wird deniert. Des Weiteren wird auf nichtrekursive Implementierungen prädiktiver Parser eingegangen Syntaxanalyse durch rekursiven Abstieg Bei der Top-Down-Analyse kann man sich vorstellen, dass versucht wird eine Links- Herleitung (ersetze stehts das linkeste Nichtterminal) für einen Eingabestring zu nden. [ASU88a] Darin kann auch der Versuch gesehen werden, für die Eingabe einen Parse-Baum zu erstellen, wobei die Knoten beginnend mit der Wurzel in Vorordnung erzeugt werden. Die prädikative Syntaxanalyse, die kein Rücksetzen erfordert, ist eine spezielle Form der Syntaxanalyse durch rekursiven Abstieg.[ASU88a] An dieser Stelle wird auf eine allgemeine Form der Top-Down-Analyse eingegangen, die häug Recursive- Descent-Analyse genannt wird. Dabei ist im allgemeinen Rücksetzen, d.h. wiederholtes Lesen der gleichen Eingabe notwendig.[asu88a] Rücksetzende Parser sind jedoch relativ selten.[asu88a] Bei der Syntaxanalyse von programmiersprachlichen Konstrukten ist Rücksetzen praktisch nie notwendig.[asu88a] 6

7 2.3 Top-Down-Syntaxanalyse 2 SYNTAXANALYSE Beispiel 3 (Rücksetzen ist notwendig): Gegeben ist die folgende Grammatik: S ::== c A d A ::== ab a und der Eingabestring w = cad. Um für diese Eingabe einen Parse-Baum von oben nach unten zu erstellen, wird zunächst ein Baum der nur aus dem mit S markierten Knoten besteht erstellt. Der Eingabezeiger zeigt auf c, das erste Symbol von w. Anschlieÿend wird die erste Produktion für S angewandt und es ergibt sich der Parse-Baum in (2a). Das am weitesten Links stehende Blatt ist mit c markiert und stimmt mit dem ersten Symbol von w überein. Der Eingabezeiger wird zu dem zweiten Symbol, a vorgerückt. Es wird nun das nächste Blatt betrachtet. Die Marke A kann mit der ersten Alternative von A expandiert werden, es entsteht der Baum von Abbildung (2b). Damit kann das Zeichen a verarbeitet werden. Der Eingabezeiger zeigt nun auf das Symbol d. Das Symbol d und das Blatt b führt zu einem Widerspruch. Es muss also zu dem Blatt A zurück gekehrt werden um eine Alternative für A zu nden, die noch nicht ausprobiert wurde. Ein Rücksprung auf A erfordert auch, dass der Eingabezeiger auf die zweite Position zurück gestellt wird. Eine Prozedur muss sich also die Position bei dem ersten Aufruf von einem Unterblatt in einer lokalen Variable merken. Die zweite Alternative wird nun ausprobiert und führt zu dem Parse-Baum in Abbildung (2c). Wie man erkennen kann, stimmen die Nichtterminale mit dem Eingabewort überein. Die Prozedur stoppt und meldet den erfolgreichen Abschluss der Analyse.[ASU88a] Bei links-rekursiven Grammatiken kann es passieren, dass Recursive-Descent-Parser, auch wenn sie mit Backtracking arbeiten, in Endlosschleifen geraten. Es kann also vorkommen, dass immer wieder versucht wird, A zu expandieren, ohne dass irgendein Eingabesymbol konsumiert wurde.[asu88a] (a) S (b) S (c) S c A d c A d c A d a b a Abbildung 2: Parse-Baum für Recursive-Descent-Parser 7

8 2.3 Top-Down-Syntaxanalyse 2 SYNTAXANALYSE Prädiktive Parser Durch sorgfältigen Entwurf, Links-Faktorisierung und Elimination von Links-Rekursionen erhält man in vielen Fällen eine Grammatik, die sich für prädiktive Parser eignet, die ohne Backtracking auskommen.[asu88a] Allerdings sind prädiktive Parser nur möglich, wenn für ein Eingabesymbol a und ein Nichtterminal A zu jeder Zeit feststeht, welche Produktionsalternative von A als einzige den mit a beginnenden String herleiten kann. D.h. man kann die richtige Alternative allein durch das Aussehen des ersten Tokens bestimmen. Beispiel 4 (Kontrolluÿkonstrukte in Programmiersprachen [ASU88a]): stmt ::== if expr then stmt else stmt while expr do stmt begin stmt_list end In dem Beispiel 4 lässt sich erkennen, dass man an Hand der Schlüsselwörter if, while und begin festlegen kann welche Alternative zur erfolgreichen Herleitung einer Anweisung führen kann.[asu88a] Nicht-rekursive prädiktive Parser Rekursive Funktionen benötigen viel Speicher und sind u.u. sehr langsam. Es ist möglich, prädiktive Parser nicht-rekursiv zu implementieren.[asu88a] Der Stapel wird dabei vom Programm selber verwaltet, anstatt die implizite Stapelverwaltung im Zuge rekursiver Aufrufe zu benutzen. Der nicht-rekursive Parser inspiziert dabei das Eingabewort und generiert mit Hilfe einer Parse-Tabelle eine Produktion für ein gegebenes Nichtterminal. Abbildung 3 zeigt das Modell eines nicht-rekursiven prädiktiven Parsers. [ASU88a] Abbildung 3: Modell eines nicht-rekursiven prädiktiven Parsers.[ASU88a] 8

9 2.3 Top-Down-Syntaxanalyse 2 SYNTAXANALYSE Ein tabellengesteuerter prädiktiver Parser besteht aus einem Eingabepuer, einem Stapel, einer Parse-Tabelle und einem Ausgabestrom. [ASU88a] Der Eingabepuer enthält den zu untersuchenden String ($ als Endsymbol). Der Stapel enthält eine Folge von Grammatiksymbolen ($ als unterstes Element). Zu Beginn enthält der Stack das Bodensymbol $ und das Startsymbol der Grammatik. Die Parse-Tabelle ist ein zweidimensionaler Array M[A,a], wobei A ein Nichtterminal und a ein Terminal (oder $) ist.[asu88a] Das Programm verhält sich folgendermaÿen: Das oberste Stapelsymbol X und a, das aktuelle Eingabesymbol werden betrachtet. Es gibt drei Möglichkeiten, wie das System reagiert: 1. Wenn X = a = $ ist, stoppt der Parser und meldet den erfolgreichen Abschluss der Syntaxanalyse. 2. Wenn X = a $ ist (X ist also ein Terminal), wird das oberste Element vom Stapel entfernt und der Eingabezeiger auf das nächste Eingabesymbol gesetzt. 3. Wenn X ein Nichtterminal ist, wird aus der Parse-Tabelle M der Eintrag M [X,a] betrachtet. Dabei gibt es zwei Möglichkeiten: 1. der Eintrag ist ein Fehleintrag der Parser ruft eine Routine zur Fehlerbehandlung auf, 2. der Eintrag ist eine X-Produktion der Grammatik. Wenn etwa M [X,a] = {X UVW} ist, wird das oberste Stapelelement X durch WVU (wobei U oben liegt) ersetzt. [ASU88a] FIRST und FOLLOW Die Funktionen FIRST und FOLLOW können deniert werden, um leicht Parse-Tabellen für eine Grammatik zu erstellen. Dabei ist FIRST(α) als die Menge aller Terminale deniert, mit denen ein aus α hergeleiteter String beginnen kann. Für ein Nichtterminal A wird FOLLOW(A) als Menge aller Terminale a deniert, die in einer Satzform direkt rechts neben A stehen können.[asu88a] FOLLOW(A) ist also die Menge aller Terminale a, für die es eine Herleitung der Form S αaaβ mit beliebigen α, β gibt. Wenn A das am weitesten rechts stehende Symbol ist, dann gehört auch $ zu FOLLOW(A).[ASU88a] Auf die Regeln zur Berechnung der Mengen FIRST und FOLLOW wird an dieser Stelle verzichtet und stattdessen auf [ASU88a, Seite 230] verwiesen. 9

10 2.3 Top-Down-Syntaxanalyse 2 SYNTAXANALYSE Konstruktion prädikativer Parse-Tabellen Hat man die Mengen FIRST und FOLLOW berechnet, so ist es ein Leichtes eine prädikative Parse-Tabelle zu erstellen. Die Idee ist dabei folgende: wenn A a gilt und a ist in FIRST(α), dann expandiert der Parser A zu α, wenn a aktuelles Eingabesymbol ist. Ein Sonderfall ist α=ɛ. In diesem Fall muss A erneut zu α expandiert werden, wenn das aktuelle Eingabesymbol in FOLLOW(A) ist oder in der Eingabe die Endmarkierung $ erreicht wurde und $ in FOLLOW(A) enthalten ist. Der genaue Algorithmus ist in [ASU88a, Seite 232] beschrieben LL(1)-Grammatiken Aus den oben genannten Algorithmen lassen sich für jede Grammatik G eine Parse- Tabelle M erstellen. Es kann allerdings bei machen Grammatiken vorkommen, dass M in einer Zelle mehrere gleiche Einträge hat. Das tritt auf, wenn G links-rekursiv oder mehrdeutig ist. Eine Zelle besitzt dann mehrere Einträge.[ASU88a] Beispiel 5 (Mehrdeutige Grammatik): S ::== ietss' a S' E ::== es ɛ ::== b Die Parse-Tabelle dieser Grammatik zeigt Tabelle 1.[ASU88a] Nichtterminal Eingabesymbol a b e i t $ S S a S ietss' S' S' ɛ S' ɛ S' es E E b Tabelle 1: Parse-Tabelle M für die Grammatik aus Beispiel 5[ASU88a]. Alle leeren Felder in der Tabelle können als Error-Zustände betrachtet werden. An der Stelle M [S',e] benden sich zwei Einträge: S' ɛ und S' es. Die Grammatik ist also mehrdeutig. Bei einem Eingabesymbol e (else) ist die auszuwählende Produktion unbestimmt. Es wird eine Entscheidung zugunsten S' es getroen. Damit wird die 10

11 2.4 Bottom-Up-Syntaxanalyse 2 SYNTAXANALYSE Mehrdeutigkeit aufgelöst. Diese Wahl entspricht der Strategie, ein else dem vorhergehenden then zuzuordnen. [ASU88a] Besitzt die Parse-Tabelle einer Grammatik keine Mehrfach-Einträge, so heiÿt sie LL(1). Das erste L in LL(1) bedeutet, dass die Eingabe von links nach rechts gelesen wird; das zweite L, dass eine Links-Herleitung erzeugt wird; die 1 gibt an, dass in jedem Schritt des Parse-Prozesses ein Symbol voraus geschaut wird (Lookahead). [ASU88a] LL(1)-Grammatiken besitzen eine Reihe charakteristischer Eigenschaften. Eine mehrdeutige oder links-rekursive Grammatik kann nie LL(1) sein. Folgende Regeln müssen gelten damit eine Grammatik G LL(1) ist. Dabei gilt für je zwei Produktionen A α β von G [ASU88a]: 1. Aus α und β sind keine Strings herleitbar, die beide mit dem gleichen Nichtterminal beginnen. 2. Der leere String kann nicht sowohl aus α als auch aus β hergeleitet werden. 3. Wenn β ɛ gilt, dann beginnt kein aus α herleitbarer String mit einem Terminal aus FOLLOW(A). Es kann passieren, dass sich aus einer Grammatik G keine LL(1)-Grammatik machen lässt (siehe Beispiel 5). Die Grammatik lässt sich dennoch mit einem prädikativen Parser verarbeiten, wenn man festlegt, dass M [S',e] ={S' es} ist.[asu88a] 2.4 Bottom-Up-Syntaxanalyse In diesem Abschnitt wird die Shift-Reduce-Syntaxanalyse beschrieben. Bei der Shift- Reduce-Syntaxanalyse wird versucht ein Parse-Baum zu konstruieren, wobei man von den Blättern (bottom) beginnt und sich zur Wurzel (top) hocharbeitet. Dabei wird ein String von links nach rechts abgearbeitet und jedes bekannte Symbol auf seine Produktion reduziert, bis nur noch das Startsymbol einer Grammatik vorhanden ist.[asu88a] Beispiel 6 (Shift-Reduce-Syntaxanalyse [ASU88a]): S ::== aabe A B ::== Abc b ::== d Der Satz abbcde wird jetzt auf S reduziert. 11

12 2.5 LR-Parser 2 SYNTAXANALYSE abbcde aabcde aabcde aade Der Parser beginnt links und geht den Eingabestring bis zum ersten Vorkommen von b durch. Dieses b wird jetzt durch A ersetzt. Danach geht der Parser den String erneut durch. Er ndet die Stelle Abc die der Produktion A entspricht und ersetzt sie mit der Produktion A. aade aabe Der Parser ndet das Terminal d und ersetzt es durch B. aabe S Der Parser kann nun auf das Startsymbol S reduzieren. Tabelle 2: Anwendung der Shift-Reduce-Syntaxanalyse Es ist also durch eine Folge von vier Reduktionen möglich, abbcde auf S zu reduzieren. Tatsächlich geben diese Reduktionen in umgekehrter Reihenfolge die Rechtsableitung wieder[asu88a]: S rm aabe rm aade rm aabcde rm abbcde 2.5 LR-Parser In diesem Abschnitt soll auf eine eziente Bottom-Up-Syntaxanalysetechnik eingegangen werden, die benutzt werden kann um eine groÿe Klasse kontextfreier Grammatiken syntaktisch zu analysieren. Diese Technik wird LR(k)-Syntaxanalyse genannt; das L steht für eine Bearbeitung von links nach rechts; das R steht für die Bildung einer Rechtsableitung in umgekehrter Reihenfolge, und das k steht für den Lookahead. Wird (k) weggelassen, so kann man k =1 annehmen. Die LR-Syntaxanalyse ist aus einer Vielzahl von Gründen attraktiv[asu88a]: LR-Parser können praktisch alle Programmiersprachenkonstrukte erkennen, für die kontextfreie Grammatiken geschrieben werden können. Die LR-Syntaxanalysemethode ist die allgemeinste Shift-Reduce-Syntaxanalysemethode ohne Backtracking. Sie kann einfacher implementiert werden als andere Shift-Reduce- Methoden. Die Klasse der Grammatiken, die von der LR-Methode analysiert werden können, ist eine echte Obermenge der Klasse der Grammatiken, die mit prädiktiven Parsern analysiert werden können. Syntaxfehler können so früh wie möglich entdeckt werden, indem die Eingabe von links nach rechts abgearbeitet wird. 12

13 2.5 LR-Parser 2 SYNTAXANALYSE Der Nachteil dieser Methode ist, dass es ein zu groÿer Aufwand ist, einen LR-Parser für eine Grammatik einer typischen Programmiersprache von Hand zu konstruieren[asu88a]. Dazu wird ein spezielles Werkzeug, ein LR-Parser-Generator, benötigt. Ein Beispiel für so einen Parser-Generator ist Yacc. Der Aufbau und Gebrauch von Yacc wird in Kapitel 3 genau beschrieben.[asu88a] Grundsätzlich gibt es drei Techniken zur Konstruktion einer LR-Syntaxanalysetabelle für eine Grammatik[ASU88a]: 1. einfacher LR (kurz SLR) Ist am einfachsten zu implementieren, aber der schwächste der drei. Für bestimmte Grammatiken kann es fehlschlagen eine Syntaxanalysetabelle zu erstellen. 2. kanonische LR ist die stärkste, aber auch die teuerste Methode. 3. vorausschauende LR (kurz LALR) sie liegen in der Mächtigkeit und in den Kosten genau zwischen den beiden anderen. Die LALR-Methode arbeitet auf den meisten Grammatiken für Programmiersprachen und kann ezient implementiert werden. Yacc ist ein LALR-Parser-Generator. Tabelle 4 stellt eine solche LALR-Syntaxtabelle dar LR-Syntaxanalysealgorithmus Das Schema eines LR-Parsers ist in Abbildung 4 dargestellt. Der Parser besteht aus einer Eingabe, einer Ausgabe, einem Stack, einem Treiberprogramm und einer Syntaxtabelle. Die Syntaxtabelle besteht aus zwei Teilen: Aktion und Sprung. Das Treiberprogramm ist für alle o.g. Parser das gleiche; nur die Syntaxtabelle ändert sich von Parser zu Parser. Das Syntaxanalyseprogramm liest zeichenweise aus einem Eingabepuer. Das Programm benutzt einen Stack, um einen String in der Form s 0 X 1 s 1 X 2 s 2... X m s m zu speichern, wobei s m als oberstes Element steht. X i ist ein Grammatiksymbol und s i ist ein Symbol, das einen Zustand repräsentiert. Jedes Zustandssymbol fasst die Information zusammen, die im Stack unter ihm enthalten ist. Die Kombination aus Zustandssymbol an der Spitze des Stacks und des aktuellen Eingabesymbols wird benutzt, um die Syntaxanalysetabelle zu indizieren und Entscheidungen bei der Shift-Reduce-Syntaxanalyse zu bestimmen.[asu88a] Das Treiberprogramm des LR-Parsers verhält sich wie folgt: Es bestimmt den momentan an der Spitze des Stacks stehenden Zustand s m und das aktuelle Eingabesymbol a j. Dann 13

14 2.5 LR-Parser 2 SYNTAXANALYSE wird die Aktionstabelle konsultiert. Der Eintrag Aktion[s m, a j ], kann einen der folgenden Werte enthalten: 1. schiebe s, wobei s ein Zustand ist, 2. reduziere mit einer Grammatikproduktion A β, 3. akzeptiere und 4. Fehler Abbildung 4: Modell eines LR-Parsers.[ASU88a] Die Funktion Sprung enthält einen Zustand und ein Grammatiksymbol als Argumente und erzeugt einen Zustand. Die Sprungfunktion einer Syntaxanalysetabelle ist die Übergangsfunktion eines DEA (deterministischer endlicher Automat), der die gültigen Vorsilben von G erkennt. Die gültigen Vorsilben von G sind Vorsilben rechtsabgeleiteter Satzformen, die auf dem Stack eines Shift-Reduce-Parsers auftauchen. Der Anfangszustand dieses DEA ist der Zustand, der anfangs als oberstes Element auf dem Stack abgelegt wurde. [ASU88a] Am einfachsten macht man sich die Funktion eines LR-Parsers anhand eines Beispiels klar. Beispiel 7 (LR-Syntaxanalyseprogramm [ASU88a]): 14

15 2.5 LR-Parser 2 SYNTAXANALYSE (1) E E + T (2) E T (3) T T * F (4) T F (5) F (E) (6) F id Tabelle 3: Produktionen der Grammatik für arithmetische Ausdrücke Die Codierung der Aktionen lautet: 1. si bedeutet schieben und den Zustand i auf den Stack legen, 2. rj bedeutet mit der Produktion Nummer j reduzieren, 3. acc bedeutet akzeptieren, 4. Leereintrag bedeutet Fehler. Zustand Aktion Sprung id + * ( ) $ E T F 0 s5 s s6 acc 2 r2 s7 r2 r2 3 r4 r4 r4 r4 4 s5 s r6 r6 r6 r6 6 s5 s s5 s s6 s11 9 r1 s7 r1 r1 10 r3 r3 r3 r3 11 r5 r5 r5 r5 Tabelle 4: Syntaxanalysetabelle der Grammatik für arithmetische Ausdrücke Für die Eingabe id * id + id ist die Reihenfolge des Stackinhalts und der Eingabe in Tabelle 5 gezeigt. Das Syntaxanalyseprogramm verhält sich wie folgt: (1) Zuerst liegt der Zustand 0 auf dem Stack. Der Parser erhält die Eingabe id. Die Aktion[0,id] ist s5. s steht für shift bzw. schiebe. Bei einer Schiebeaktion wird immer das Eingabewort und der neue Zustand auf den Stack geschoben. Es wird also das Eingabewort und der neue Zustand 5 auf den Stack geschoben. 15

16 2.5 LR-Parser 2 SYNTAXANALYSE (2) Der Zustand 5 liegt jetzt an erster Stelle auf dem Stack, das Eingabewort ist *. Die Aktion[5,*] ist r6. r steht für reduce bzw. reduziere. Bei einer Reduzieraktion wird ein Terminal anhand einer Regel mit einem Nichtterminal ersetzt. Danach wird ein Sprung anhand des Nichtterminals durchgeführt. Das bedeutet also für die Aktion r6 eine Reduktion mit der Regel (6). Es wird also F id reduziert. Dazu werden zwei Symbole vom Stack heruntergeholt. Dadurch wird Zustand 0 wieder freigelegt. Der Sprung in Zustand 0 ist für das Nichtterminal F gleich 3. F und 3 werden also wieder auf den Stack gelegt. Es ergibt sich die Konguration in Zeile (3). Alle anderen Aktionen werden ähnlich bestimmt. Stack Eingabe Aktion (1) 0 id * id + id$ schiebe (2) 0 id 5 * id + id$ reduziere durch F id (3) 0 F 3 * id + id$ reduziere durch T F (4) 0 T 2 * id + id$ schiebe (5) 0 T 2 * 7 id + id$ schiebe (6) 0 T 2 * 7 id 5 + id$ reduziere durch F id (7) 0 T 2 * 7 F 10 + id$ reduziere durch T T * F (8) 0 T 2 + id$ reduziere durch E T (9) 0 E 1 + id$ schiebe (10) 0 E id$ schiebe (11) 0 E 1+ 6 id 5 $ reduziere durch F id (12) 0 E 1+ 6 F 3 $ reduziere durch T F (13) 0 E 1+ 6 T 9 $ E E + T (14) 0 E 1 $ akzeptiere Tabelle 5: Aktionen des LR-Parsers bei Eingabe von id * id + id LR-Grammatiken Es gibt kontextfreie Grammatiken, die nicht LR sind, aber diese können im allgemeinen für typische Programmiersprachkonstrukte vermieden werden. Damit eine Grammatik LR ist, reich es intuitiv, dass ein von links nach rechts arbeitender Shift-Reduce-Parser fähig ist, Handles zu erkennen, wenn diese an der Spitze des Stacks auftauchen.[asu88a] (Ein Handle eines Strings ist - informell ausgedrückt - ein Substring, der mit der rechten Seite einer Produktion übereinstimmt und dessen Reduktion zum Nichtterminalen auf der linken Seite der Produktion einem Schritt einer inversen Rechtsableitung entspricht [ASU88a].) 16

17 3 PARSER-GENERATOR YACC Es ist nicht nötig, dass ein LR-Parser den ganzen Stack abarbeitet, um zu wissen, wann der Handle an der Spitze erscheint. Das Zustandssymbol an der Spitze des Stacks enthält alle Informationen, die der Parser benötigt. Um die Shift-Reduce-Entscheidung zu unterstützen, kann der Parser auch die nächsten k Eingabesymbole betrachten. Die Fälle k =0 und k=1 sind von praktischem Interesse. Eine Grammatik, die der Parser bis zu k Eingabesymbolen bei jeder Aktion untersucht, wird LR(k)-Grammatik genannt.[asu88a] LALR-Syntaxanalysetabellen Die allgemeinsten Syntaxkonstrukte von Programmiersprachen können bequem durch eine LALR-Grammatik ausgedrückt werden. Die LALR-Technik wird in der Praxis häug benutzt um Syntaxanalysetabellen zu erstellen, da die Tabellen, die man durch sie erhält, bedeutend kleiner sind als die kanonischen LR-Tabellen. Bei einem Vergleich der Parsergröÿe haben die SLR- und LALR-Tabellen für eine Grammatik immer die gleiche Anzahl von Zuständen. Für eine Sprache wie Pascal liegt diese Gröÿe bei einigen hundert Zuständen. Die kanonische LR-Tabelle hätte typischerweise einige tausend Zustände. [ASU88a] Auf die Konstruktion von LALR-Syntaxanalysetabellen soll hier nicht weiter eingegangen werden. Die Algorithmen sind in [ASU88a, 288] zu nden. 3 Parser-Generator Yacc Grundsätzlich ist ein Yacc-Quellprogramm wie folgt aufgebaut: Listing 1: Aufbau eines Yacc-Quellprogramms 1 D e k l a r a t i o n e n 2 %% 3 U e b e r s e t z u n g s r e g e l n 4 %% 5 U n t e r s t u e t z e n d e C Routinen Die Übersetzungsregeln sind die Produktionen der umzusetzenden Grammatik. Listing 2 zeigt den Yacc-Quellcode für einfache arithmetische Ausdrücke. Die Grammatik wurde in Beispiel 7 bereits verwendet. 17

18 3 PARSER-GENERATOR YACC Listing 2: Grammatik für arithmetische Ausdrücke [Job91] 1 %{ 2 / Grammatik f u e r a r i t h m e t i s c h e Ausdruecke mit + ( ) / 3 / O r i g i n a l von F r i t z Jobst aus seinem Buch "Compilerbau ", 1992, Hanser Programmtexte 4 / i n c l u d e s und D e f i n i t i o n e n / 5 #include <s t d i o. h> 6 void y y e r r o r ( char ) ; 7 int y y p a r s e ( void ) ; 8 %} 9 / Startsymbol der Grammatik f e s t l e g e n / 10 %s t a r t expr 11 / Token der Grammatik f e s t l e g e n soweit erforderlich / 12 %token ID 13 %% / Regeln / 14 expr : 15 expr '+ ' term 16 term 17 ; 18 term : 19 term ' ' f a c t o r 20 f a c t o r 21 ; 22 f a c t o r : 23 ' ( ' expr ' ) ' 24 ID 25 ; 26 %% / Programm / 27 char yytext ; 28 int y y l e x ( void ) / Einfacher Scanner / 29 { 30 int c ; 31 while ( ( c= g e t c h a r ( ) ) == ' ' ) 32 ; 33 y y l v a l = c ; yytext = c ; 34 switch ( c ) 35 { 36 case '+ ' : case ' ' : case ' ( ' : case ' ) ' : 37 return ( c ) ; 38 case ' 0 ' : case ' 1 ' : case ' 2 ' : case ' 3 ' : case ' 4 ' : 39 case ' 5 ' : case ' 6 ' : case ' 7 ' : case ' 8 ' : case ' 9 ' : 40 y y l v a l = c ' 0 ' ; return ( ID ) ; 41 case ' $ ' : 42 return ( 0 ) ; 43 default : 44 y y e r r o r ( " U n g u e l t i g e s Symbol" ) ; e x i t ( 1 ) ; 45 } 46 } 47 main ( ) 48 { 49 y y p a r s e ( ) ; 50 } 51 void y y e r r o r ( char t e x t ) 52 { 53 p r i n t f ( "%s : z e i c h e n %c \n", t e x t, y y t e x t ) ; 54 } Yacc erstellt aus der Eingabedatei einen Parser. Mit der Operation -v erhält man eine lesbare Beschreibung des Parsers. Das Listing 3 stellt den Parser für den Yacc-Quellcode oben dar. 18

19 3 PARSER-GENERATOR YACC 1 Zustand $ a c c e p t :. expr $ end 3 ID s c h i e b e und gehe zu Zustand 1 ueber 4 ' ( ' s c h i e b e und gehe zu Zustand 2 ueber 5 expr gehe zu Zustand 3 ueber 6 term gehe zu Zustand 4 ueber 7 f a c t o r gehe zu Zustand 5 ueber 8 9 Zustand f a c t o r : ID. 11 $ d e f a u l t r e d u z i e r e mit Regel 6 ( f a c t o r ) Zustand f a c t o r : ' ( '. expr ' ) ' 15 ID s c h i e b e und gehe zu Zustand 1 ueber 16 ' ( ' s c h i e b e und gehe zu Zustand 2 ueber 17 expr gehe zu Zustand 6 ueber 18 term gehe zu Zustand 4 ueber 19 f a c t o r gehe zu Zustand 5 ueber Zustand $ a c c e p t : expr. $ end 23 1 e x p r : expr. '+ ' term 24 $ end s c h i e b e und gehe zu Zustand 7 ueber 25 '+ ' s c h i e b e und gehe zu Zustand 8 ueber Zustand e x p r : term t e r m : term. ' ' f a c t o r 30 ' ' s c h i e b e und gehe zu Zustand 9 ueber 31 $ d e f a u l t r e d u z i e r e mit Regel 2 ( expr ) Zustand t e r m : f a c t o r. 35 $ d e f a u l t r e d u z i e r e mit Regel 4 ( term ) Zustand e x p r : expr. '+ ' term 39 5 f a c t o r : ' ( ' expr. ' ) ' 40 '+ ' s c h i e b e und gehe zu Zustand 8 ueber 41 ' ) ' s c h i e b e und gehe zu Zustand 10 ueber Zustand $ a c c e p t : expr $ end. 45 $ d e f a u l t annehmen Zustand e x p r : expr '+ '. term 49 ID s c h i e b e und gehe zu Zustand 1 ueber 50 ' ( ' s c h i e b e und gehe zu Zustand 2 ueber 51 term gehe zu Zustand 11 ueber 52 f a c t o r gehe zu Zustand 5 ueber Zustand t e r m : term ' '. f a c t o r 56 ID s c h i e b e und gehe zu Zustand 1 ueber 57 ' ( ' s c h i e b e und gehe zu Zustand 2 ueber 58 f a c t o r gehe zu Zustand 12 ueber Zustand f a c t o r : ' ( ' expr ' ) '. 62 $ d e f a u l t r e d u z i e r e mit Regel 5 ( f a c t o r ) Zustand e x p r : expr '+ ' term t e r m : term. ' ' f a c t o r 67 ' ' s c h i e b e und gehe zu Zustand 9 ueber 68 $ d e f a u l t r e d u z i e r e mit Regel 1 ( expr ) Listing 3: Ausgabe von Yacc 19

20 4 FAZIT Zustand t e r m : term ' ' f a c t o r. 72 $ d e f a u l t r e d u z i e r e mit Regel 3 ( term ) Aus den Zuständen in Listing 3 kann die Parser-Tabelle rekonstruiert werden. Die so erstellte Parser-Tabelle entspricht weitestgehend der Parse-Tabelle 4. Einziger Unterschied sind andere Labels für die Zustände und ein weiterer Annehmen-Zustand (Zustand 7). 4 Fazit Als Fazit lässt sich schlieÿen, dass LALR-Parser für Syntaxkonstrukte von Programmiersprachen ausreichend sind. LALR-Syntaxtabellen sind von Hand, insbesondere für komplexere Grammatiken, schwer zu entwickeln. Deswegen wird ein Parser-Generator wie Yacc benötigt. Der Einsatz von Yacc lohnt sich allerdings nur für Sprachen, die auch wirklich DKFG sind. Für reguläre Sprachen sind andere Werkzeuge besser geeignet. Yacc wurde bereits 1970 entwickelt und wurde stehts weiter verbessert. GNU Bison ist eine Weiterentwicklung von Yacc und wird heute in Unix-artigen Betriebssystemen eingesetzt. 20

21 Literatur Literatur Literatur [ASU88a] Aho, Alfred ; Sethi, Ravi ; Ullmann, J.D.: Compilerbau Teil [ASU88b] Aho, Alfred ; Sethi, Ravi ; Ullmann, J.D.: Compilerbau Teil [GLNR92] Gardner, Jim ; Linseman, Anne ; Nicol, Scott ; Retterath, Chris: Lex & Yacc. Mortice Kern Systems, Inc., 1992 [HU69] [Job91] [SF85] Hopcroft, John E. ; Ullman, J. D.: Introduction to Automata Theory. Addison Wesley, 1969 Jobst, Fritz: Compilerbau. Von der Quelle zum professionellen Assemblertext. Hanser Fachbuchverlag, 1991 Schreiner, A. T. ; Friedman, H. G.: Compiler bauen mit UNIX e. Einf. Hanser Fachbuchverlag, 1985 [Zim89] Zima, Hans: COMPILERBAU I. Spektrum Akademischer Verlag,