4 Lexikalische Analyse und Parsing

Transkript

1 4 Lexikalische Analyse und Parsing Lexikalische Analyse und Parsing sind die wichtigsten Bereiche des Compilerbaus. Prinzipien und Techniken des Compilerbaus beschränken sich nicht auf die Erstellung von Übersetzern für Programmiersprachen. Compilerbau-Techniken finden generell dort Anwendung, wo Zeichenfolgen sequentiell verarbeitet werden, um hieraus abgeleitete Informationen oder Aktionen zu erzeugen. In diesem Kapitel werden wir insbesondere allgemein verwendbare Compilerbau-Techniken kennenlernen. 168 Beispiele für die Anwendung von Compilerbau-Techniken: Pretty-Printer (Programmtext formatierter Programmtext) Anfrage-Interpreter, Shells (Befehle Aktionen) Dokumentationswerkzeuge (javadoc, kdoc) (Programmtext HTML-Seiten) Indexierer für Web-Seiten (HTML-Seiten Datenbankeinträge) Aktionen für die Verarbei- XML-Prozessoren (XML-Dokumente tung) 169

2 Aufgaben bei der Compilierung 1. Lexikalische Analyse (Scanning) Der Strom von Zeichen, aus denen ein Text besteht, wird sequentiell gelesen und in Symbole (Tokens) separiert. Ein Symbol stellt eine Zeichenfolge dar, die eine bestimmte Bedeutung hat. Beispiel: Die lexikalische Analyse teilt die Zeile summe = gebuehr + rate * 12; wie folgt auf: Bezeichner: summe, Operator: =, Bezeichner: gebuehr, Operator: +, Bezeichner: rate, Operator: *, Ganzzahl-Literal: 12, Trenner: ; Syntaxanalyse (Parsing) Zuweisung Symbole des Textes werden zu grammatikalischen Einheiten zusammengefaßt. Bezeichner = Ausdruck Diese Zusammenfassung wird durch Syntaxregeln bestimmt. summe Ausdruck Bezeichner + Ausdruck Ausdruck * Ausdruck Dies kann durch einen Syntaxbaum veranschaulicht werden. gebuehr Bezeichner Integer rate

3 3. Semantische Analyse Der Text wird auf semantische Fehler hin untersucht. Beispiele: Verwendung von Bezeichnern Typüberprüfungen Bestimmung von Typ-Informationen, um die anschließende Phase der Synthese vorzubereiten. Erzeugung einer Zwischendarstellung 4. Synthese Auswertung der Zwischendarstellung Optimierung Transformation der Zwischendarstellung in die Enddarstellung 172 Lexikalische Analyse Die lexikalische Analyse bildet die erste Phase der Compilierung. Ihre Hauptaufgabe besteht darin, Eingabezeichen zu lesen und als Ausgabe eine Folge von Symbolen zu erzeugen, die der Parser syntaktisch analysiert. Text Scanner Symbol Parser Zwischendarstellung gib naechstes Symbol Symbol tabelle 173

4 Warum teilt man lexikalische Analyse und syntaktische Analyse auf? Vereinfachung des Entwurfs Eine Grammatik, die direkt auf den Eingabezeichen basiert, wäre typischerweise mit vielen Konflikten behaftet. Die Trennung führt auch zu einem klareren Sprachentwurf. Verbesserung der Effizienz des Compilers Ist der Scanner getrennt von den anderen Teilen der Compilierung, kann er spezifischer und effizienter implementiert werden. Die Portabilität von Compilern wird verbessert. Besonderheiten des Eingabealphabets und andere spezifische Eigenarten können auf den Scanner beschränkt werden. 174 Grundproblem: Wie fassen wir einzelne Zeichen zu Eingabesymbolen zusammen? Lexikalische Analyse ist ein klassischer Anwendungsbereich für die Automatentheorie. Man könnte einen Automaten für ein bestimmtes Erkennungsproblem entwerfen. Solch einen Automaten kann man leicht in ein entsprechendes Programm überführen. Allgemeines Problem: Spezifikation und Entwurf von Programmen, deren Aktionen durch bestimmte Textmuster ausgelöst werden. 175

5 Beispiel 4.1. Ein Automat zur Ausgabe von Kommentaren im Stil von C: / * / / [gespeicherte Zeichen ausgeben] * * * [Zeichen speichern] / [* und Zeichen speichern] 176 Mit dem Automat geben wir an, wie ein Muster erkannt werden soll. Einfacher wäre es, wenn wir nur angeben müssten, was wir erkennen wollen. Wir bräuchten also eine geeignete Spezifikationssprache für zu erkennende Muster. Hierfür eignen sich reguläre Ausdrücke. Zu regulären Ausdrücken können die Automaten zur Erkennung automatisch konstruiert werden. Diese Automaten müssen dann geeignet simuliert werden. 177

6 Reguläre Ausdrücke Zur Spezifikation von Mustern verwenden wir reguläre Ausdrücke mit den Operationen Konkatenation, Auswahl ( ) und Wiederholung (*) wie üblich. Wir vereinbaren die folgenden Prioritäten: 1. Die Wiederholung * hat die höchste Priorität. 2. Die Konkatenation hat die zweithöchste Priorität. 3. Die Auswahl hat die niedrigste Priorität Alle Operationen sind links-assoziativ. 178 Zur Vereinfachung der Schreibweise ist es vorteilhaft, regulären Ausdrücken Namen zu geben. Diese Namen können dann in folgenden regulären Ausdrücken wie Symbole verwendet werden. Definition 4.1. Es sei ein Alphabet. Eine reguläre Definition ist eine Folge von Definitionen der Form. Dabei ist ein eindeutiger Name und den Symbolen aus. ein regulärer Ausdruck über 179

7 ) ) ) ) Beispiel 4.2. Eine reguläre Definition für Bezeichner im Stil von C: letter digit identifier A B Z a z letter ( letter digit )* Definition 4.2. Es sei ein Alphabet und ein regulärer Ausdruck über. 1.! bezeichne den regulären Ausdruck " #. 2. %$ bezeichne den regulären Ausdruck &('. 3. Wir führen eine Notation für Zeichenklassen ein. * - /. Für ) bezeichne +,) den regulären Ausdruck '"'0) Für ) bezeichne +,) 3) den regulären Ausdruck ) '56',). 0. Diese beiden Arten der Bezeichnung dürfen innerhalb von + kombiniert werden. Beispiel 4.3. Mit den engeführten Bezeichnungen können Bezeichner im Stil von C durch folgenden regulären Ausdruck beschrieben werden: + A-Za-z. + A-Za-z

8 lex Das Unix-Programm lex ist ein Werkzeug für die lexikalische Analyse: lex akzeptiert eine Menge von Mustern, die erweiterte reguläre Ausdrücke und Definitionen darstellen. Hieraus produziert lex ein durch Tabellen gesteuertes C-Programm, das in der Lage ist, Folgen von Zeichen zu erkennen, die auf die Muster passen. Zusätzlich können Aktionen angegeben werden, die bei Erkennung eines Musters ausgeführt werden sollen. 182 Benutzung von lex: regulaere Definition lex.l lex Programm lex.yy.c lex.yy.c C Compiler a.out Text a.out Folge von Symbolen 183

9 Definition von regulären Ausdrücken mit lex: Ziffern Buchstaben und manche Sonderzeichen repräsentieren sich selbst. Es stehen die üblichen Operationen zur Definition von regulären Ausdrücken zur Verfügung. Die Operatoren +,? und [ ] stehen gemäß Definition 4.2 zur Verfügung. Ein Punkt steht für ein beliebiges Zeichen, mit Ausnahme des Zeilentrenners. ˆ am Anfang eines Musters repräsentiert den Anfang einer Eingabezeile. 184 Es gibt eine Negation für Zeichenklassen: [ˆ7 ] bezeichnet alle Zeichen, die nicht zu der durch 7 spezifizierten Zeichenklasse gehören. $ am Ende eines Musters repräsentiert das Ende einer Eingabezeile. \ zitiert ein einzelnes, unmittelbar folgendes Sonderzeichen. Backspace (\b), Zeilentrenner (\n) und Tabulatorzeichen (\t) werden wie in C bzw. Java repräsentiert. Einen String bestehend aus beliebigen Zeichen kann man in Doppel- Anführungszeichen angeben. Dann haben Sonderzeichen keine spezielle Bedeutung. Für die Verwendung von regulären Definitionen benutzt man { }. 185

10 lex-programme Ein lex-programm besteht aus drei Teilen: Deklarationen Übersetzungsregeln Hilfsprozeduren Deklarationsteil: Der Deklarationsteil ist optional. Er enthält Optionen, Deklarationen von Variablen, symbolischen Konstanten und regulären Definitionen. Text der zwischen den speziellen Klammern %{ und %} wird unverändert in die Ausgabe von lex übernommen. 186 Hilfsprozeduren: Die Hilfsprozeduren sind ebenfalls optional. Dort kann C- Programmtext stehen, der unverändert in die Ausgabe von lex übernommen wird. Üblicherweise stehen dort lokale Funktionen, die im zweiten Teil verwendet werden. Übersetzungsregeln: Hier hat man eine Tabelle von Muster und Aktionen. Jedes Muster ist ein regulärer Ausdruck. 187

11 Jede Aktion ist eine einzelne C-Anweisung oder ein Folge von C- Anweisungen eingeschlossen in { }. Statt einer C-Anweisung kann auch angegeben werden. In diesem Fall wird für das Muster die gleiche Aktion wie für das folgende Muster ausgeführt. Alle Zeichen, die nicht in auf eines der Muster passen, werden in die Ausgabe kopiert. Aus der Tabelle konstruiert lex eine Funktion yylex(), die in der Datei lex.yy.c abgelegt wird. Übersetzt man diese C-Datei und bindet die lex-bibliothek hinzu, hat man einen funktionierenden Scanner. 188 Beispiel 4.4. %option noyywrap [A-Z]+ ; Entfernen aller Großbuchstaben (gemäß flex): Die Option sorgt dafür, daß man keine Funktion yywrap() angeben muß. Mit $ lex removeuc.l $ gcc lex.yy.c -lfl erhält man ein Programm, daß von der Standardeingabe liest und dabei alle Großbuchstaben entfernt. 189

12 Innerhalb der Aktionen stehen die folgenden wichtigen Variabeln zur Verfügung: extern char yytext[]; Die Zeichenfolge, die auf das erkannte Muster paßt. extern int yyleng; Länge von yytext. extern int yylineno; Nummer der aktuellen Eingabezeile. 190 Beispiel 4.5. Numerierung von Zeilen: %option noyywrap ˆ.*\n printf( "%4d\t%s", yylineno-1, yytext ); Beispiel 4.6. Ausgabe aller Bezeichner mit Zeilennummer: %option noyywrap letter [_A-Za-z] digit [0-9] letterordigit [_A-Za-z0-9] whitespace [ \t\n] other. {letter}{letterordigit}* printf( "%d: %s\n", yylineno, yytext ); {whitespace} ; {other} ; 191

13 Mehrdeutigkeiten: An dem letzten Beispiel sieht man, daß die angegebenen Muster mehrdeutig sein können. lex verwendet zwei Regeln, um solche Mehrdeutigkeiten aufzulösen: lex benutzt immer das Muster, das die längstmögliche Folge von Eingabezeichen repräsentiert. Repräsentieren dabei immer noch zwei Muster die gleiche Eingabe, so wird das erste Muster innerhalb der Übersetzungsregeln verwendet. Diese Regeln setzt man gezielt ein. Man gibt die spezifischeren Muster, die eine Teilmenge eines allgemeineren Musters beschreiben, zuerst an. 192 Beispiel: int printf( "Schluesselwort" ); [_a-za-z][_a-za-z0-9]+ printf( "Bezeichner" ); Durch die von lex angewendeten Regeln ist sichergestellt, daß int als Schlüsselwort erkannt wird und nicht als Bezeichner. Das nächste Beispiel verdeutlicht den Gebrauch von %{ %} im Deklarationsteil und die Verwendung von Hilfsprozeduren. 193

14 Beispiel 4.7. Zeichen, Wörter und Zeilen einer Datei zählen: %{ int nchar, nword, nline; %} %option noyywrap \n { ++nchar; ++nline; } [ˆ \t\n]+ { ++nword; nchar += yyleng; }. { ++nchar; } int main() { yylex(); printf( "%d %d %d\n", nchar, nword, nline ); } 194