Inhalte der Vorlesung. Wiederholung. Die Phasen der Übersetzung. 1. Einführung

Transkript

1 Inhalte der Vorlesung Wiederholung 1.Einführung 2.Lexikalische Analyse 3.Der Textstrom-Editor sed 4.Der Scanner-Generator lex 5.Syntaxanalyse und der Parser-Generator yacc 6.Syntaxgesteuerte Übersetzung 7.Übersetzungssteuerung mit make Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 2 Die Phasen der Übersetzung Quellprogramm (Text) Analyse 1. Einführung Synthese attributierter Syntaxbaum Symboltabellenverwaltung Fehlerbehandlung Zielprogramm (Assemblerprogramm) Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 3 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 4

2 Die Analysephasen Die Synthesephasen Quellprogramm (Text) attributierter Syntaxbaum lexikalische Analyse Symbolstrom Syntaxbaum Syntaxanalyse Symboltabellenverwaltung Fehlerbehandlung Zwischencodeerzeugung Optimierung Zwischencode Zwischencode Symboltabellenverwaltung Fehlerbehandlung semantische Analyse attributierter Syntaxbaum Codeerzeugung Zielprogramm (Assemblerprogramm) Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 5 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 6 Lexikalische Analyse position := initial + rate * Lexikalische Analyse position := initial + rate * 60 Bezeichner := (Zuweisungssymbol) Bezeichner + Bezeichner * Zahl (Addit.- Symbol) (Mult.- Symbol) position initial rate 60 Gruppierung der Eingabezeichen in Lexeme Leerzeichen werden entfernt Zuordnung Lexem Symbol Symbole (Token): Bezeichner, :=, +, *, Zahl,... Symbol hat z.t. Wert als Attribut Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 7 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 8

3 Die Begriffe Symbol, Lexem, Muster Lexikalische vs. syntaktische Analyse Begriff Symbol Lexem Muster Beispiele Bezeichner position, initial, rate ein Buchstabe, gefolgt von Buchstaben und Ziffern lexikalische und syntaktische Struktur könnten zusammen beschrieben werden Trennung aber sinnvoll die Phasen werden einfacher Beispiel: Leerraumbehandlung nur im Lexer Sprachdefinition wird übersichtlicher effizienter Einkapselung möglicher Änderungen Eingabealphabet Beispiel: ASCII vs. Unicode Beispiel: Sprache Z mit LaTeX- und -Markup Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 9 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 10 Äquivalenz regulärer Ausdrücke und endlicher Automaten die Sprache jedes regulären Ausdrucks kann von einem endlichen Automaten erkannt werden auch Umkehrung gilt: die Sprache eines endlichen Automaten kann mit einem regulären Ausdruck beschrieben werden Automat: im allgemeinen nicht deterministisch jeder nichtdeterministische endliche Automat kann in einen deterministischen übersetzt werden Folgerung: für jeden regulären Ausdruck kann automatisch ein effizienter erkennender Automat erzeugt werden Einfügen und Suchen von Bezeichnern Bezeichner werden als Zahl verschlüsselt effizienter Gleichheitstest Abbildungen als Felder implementierbar effizient Verfahren: Streuspeicher (Hashing) Tabelleneinträge willkürlich, aber deterministisch und möglichst gleichmäßig in Eimer verteilen Standardverfahren siehe Standard-C-Library: hcreate(), hsearch() siehe Vorlesung Praktische Informatik 2 siehe Drachenbuch, Kap 7.6 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 11 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 12

4 Einfache typische Anwendungen kleine Textmodifikation 3. Der Textstrom-Editor sed Betreff in Vacation-Text einsetzen Formatierung einer Liste etwas ändern festes Präfix in einer Dateiliste entfernen Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 13 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 14 Die Grundkommandos von sed Syntax: sed [ e Editierkommando] [ f Scriptdatei] [ n] [Datei...] Editierkommando: Adresse Funktion Funktion: s/ausdruck/ersetzung/[g][p] d!funktion Adresse: (leer) /Ausdruck/ Ausdruck: ein regulärer Ausdruck wie bei grep (substitute) (delete) (not) ersetzt auf Ausdruck passenden Text löscht aktuelle Zeile, nichts wird gedruckt führt Funktion aus, falls Adresse nicht paßt Modus: g p (global) (print) ersetzt alle passenden Texte, nicht nur den ersten falls Ersetzung stattgefunden hat, drucke Zeile (trotz Option n) Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 15 Typische Anwendungen von regulären Ausdrücken variable Textanteile erkennen variables Präfix in einer Dateiliste entfernen interessante Textanteile extrahieren Liste aller Benutzer aus /etc/passwd extrahieren Liste aller echten Benutzer aus /etc/passwd extrahieren Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 16

5 4. Der Scanner-Generator lex Aufbau einer lex-datei Definitionen Regeln Unterprogramme } optional Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 17 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 18 Einsetzen des Benutzernamens: Lösung username.l: %{ #include <stdio.h> #include <stdlib.h> %} %option main "<username>" printf("%s", getenv("user")) Regel: vorne Muster, hinten Aktion Default-Regel: druckt aktuelles Zeichen Definitionen: C-Definitionen in %{, %} lex-option hinter %option Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 19 Kommunikation mit einem Parser Unterbrechung der Scan-Schleife: return n Nummer des Symbols in n weitere Informationen in globalen Variablen (yytext,...) Fortsetzung der Scan-Schleife: yylex() Symbolnummern in gemeinsamer Header-Datei Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 20

6 Spezifikation kontextfreier Grammatiken mit BNF 5. Syntaxanalyse und der Parser-Generator yacc Backus-Naur-Form: Notation für kontextfreie Grammatiken Regeln geschrieben als a ::=... Terminale in Anführungszeichen: '+' Verkettung durch Hintereinanderschreiben Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 21 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 22 Erweiterung zu EBNF Mehrdeutigkeit: Beispiel zusätzlich Abkürzungen: erste Linksableitung e Alternative: Regeln mit gleichem Nichtterminal links zusammengefaßt als a ::= [...]: Option, null- oder einmal {...}: Wiederholung, null- bis beliebig mal (...): Klammerung e e + e e e + e ID e + e ID ID + e ID ID + ID zweite Linksableitung e e e ID e ID e + e ID ID + e ID ID + ID e + e e e ID ID ID e e e ID e + ID e ID Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 23 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 24

7 Aufbau einer yacc-datei Definitionen Regeln Unterprogramme }optional Demo Der kadonische Leuchtturm: Lösung leuchtturm.y: %{ #include <stdio.h> void yyerror(char *) %} %token ROT WEISS SCHREIBFEHLER kadonischerturm: helfer helfer helfer helfer helfer: mann frau mann: ROT WEISS ROT frau: WEISS ROT WEISS void yyerror(char *msg) { } int main() { printf("wie sieht der Leuchtturm aus, Sir? ") if(yyparse() == 0) printf("wir liegen vor der Insel Kadonien, Sir!\n") else printf("wir liegen *nicht* vor der Insel Kadonien, Sir!\n") return 0 } Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 25 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 26 Absteigende Analyse versus aufsteigende Analyse Absteigende Analyse (top-down-analyse) Knoten des Ableitungsbaums werden von der Wurzel her konstruiert leichter von Hand zu programmieren Praktische Informatik 2 Aufsteigende Analyse (bottom-up-analyse) Knoten des Ableitungsbaums werden von den Blättern her konstruiert größere Klasse von Grammatiken yacc seltener Grammatiktransformation von Hand nötig Prinzip der aufsteigenden Analyse reduzieren des Eingabeworts auf das Startsymbol Reduktionsschritt: wenn: ein Teilwort = rechte Seite einer Regel ersetze Teilwort durch Symbol auf linker Seite richtige Wahl des Teilworts nötig liefert Rechtsableitung in umgekehrter Reihenfolge Name auch: shift-reduce-syntaxanalyse Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 27 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 28

8 Implementierung der aufsteigenden Analyse mit einem Stack Idee: lies jeweils ein Zeichen und packe es oben auf den Stack wenn ein passendes Muster im Stack steht, wende eine Grammatikregel rückwärts an Stack: repräsentiert die bisher gelesene Eingabe bereits erkannte Teile sind zu Nichtterminalen verdichtet Stack-Implementierung: Beispiel Stack Eingabe ABBCDE A BBCDE AB BCDE Aa BCDE AaB CDE AaBC DE Aa DE AaD E Aab E AabE s Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 29 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 30 Grundoperationen eines Shift-Reduce- Parsers LR-Parser 1. schieben (shift) nächstes Eingabesymbol Stack Eingabe A 1... A i... A n $ 2. reduzieren (reduce) Stack: oberste Symbole Nichtterminal 3. akzeptieren 4. Fehler melden Stack (s m, x m ) (s m-1, x m-1 )... LR-Syntaxanalyseprogramm Ausgabe Satz: Beim Reduzieren reicht es, nur die obersten Symbole auf dem Stack zu betrachten Beweis: Drachenbuch Zustand (s 0, x 0 ) Symbol oder Nichtterminal Syntaxanalysetabellen Aktion Sprung Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 31 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 32

9 Typische Konflikte mehrdeutige Grammatik Konflikt in Ausdrücken Konflikt in if-then-else Konflikt in verschachtelten Listen Konflikt in überlappenden Alternativen Nicht-LALR(1)-Grammatik Konflikt wegen begrenzter Vorschau Konflikt wegen Nicht-LALR-Grammatik Präzedenzen: Idee manchmal umständlich: Grammatik eindeutig bzw. LALR(1) machen Beispiel: Ausdrücke Alternative: Konflikt bleibt in Grammatik, aber Parser nimmt immer richtige Wahl explizit definieren, welche Wahl richtig ist: Präzedenz Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 33 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 34 Behandlung von Syntaxfehlern schlecht: Abbruch bei erstem Fehler besser: fehlerhafte Stelle überspringen Analyse wieder aufsetzen nach weiteren Fehlern suchen Annahme: 6. Syntaxgesteuerte Übersetzung es gibt Stellen, wo die Analyse wieder aufsetzen kann Beispiel: Semikolon (Ende einer Anweisung) nur Heuristik Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 35 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 36

10 Attributierter Syntaxbaum position real Knoten mit Werten := + initial * real rate real inttoreal 60 integer Konstruktion expliziter Syntaxbäume Vorteil: entkoppelt Syntaxanalyse und Übersetzung Reihenfolge der Analyse beschränkt nicht Generierung Nachteil: Platzbedarf ggf. hoch Wert: durch Semantikregel des Knotens Semantikregel mit Seitenwirkungen möglich Ausgabe globale Variable verändern Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 37 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 38 Syntaxgesteuerte Definition eines einfachen Taschenrechners Grammatikregel l e NL e e 1 + t e t t t 1 f t f f ( e ) f NUMBER Semantikregel print(e.val) e.val := e 1.val + t.val e.val := t.val t.val := t 1.val f.val t.val := f.val f.val := e.val f.val := NUMBER.val Abhängigkeiten von Attributen synthetisiertes Attribut Wert hängt nur von Nachfolgeknoten ab ererbtes Attribut Wert hängt von Vorgängern und Geschwistern ab Auswertungsreihenfolge muß Abhängigkeitsgraph beachten Baum: nicht unbedingt explizit aufgebaut Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 39 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 40

11 Übersetzungsschema Übersetzungsschema: Beispiel (3) Notation zur Spezifikation der Übersetzung während der Syntaxanalyse kein expliziter Syntaxbaum notwendig kontextfreie Grammatik Attribute an Grammatiksymbolen synthetisiert und ererbt semantische Aktionen in rechte Seiten der Regeln eingefügt, eingeschlossen in Klammern { } Zeitpunkt der Auswertung dadurch explizit yacc verwendet Übersetzungsschemata Demo calc-int.y %{ #include <stdio.h> #define YYERROR_VERBOSE void yyerror(char *) %} %token NUMBER ILLEGAL_CHAR %left '-' '+' %left '*' '/' eingabe: /* empty */ eingabe berechnung berechnung: term '=' { printf("ergebnis: %d\n", $1) } term: NUMBER term '+' term { $$ = $1 + $3 } term '-' term { $$ = $1 - $3 } term '*' term { $$ = $1 * $3 } term '/' term { $$ = $1 / $3 } '(' term ')' { $$ = $2 } void yyerror(char *msg) { printf("\neingabefehler: %s\n", msg) } int main() { return yyparse() } Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 41 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 42 main.c kbd.c Motivation Beispiel: Übersetzung eines kleinen Editors cc -c main.o command.h cc -c kbd.o 7. Übersetzungssteuerung mit make command.c cc -c command.o files.c display.c buffer.h cc -c cc -c files.o display.o cc -o main main insert.c cc -c insert.o search.c cc -c search.o utils.c cc -c utils.o defs.h Demo Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 43 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 44

12 Grundlagen von Makefiles Algorithmus von make editor-simple/makefile # Makefile for "edit". edit : main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o cc -o edit main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o main.o : main.c defs.h cc -c main.c kbd.o : kbd.c defs.h command.h cc -c kbd.c command.o : command.c defs.h command.h cc -c command.c display.o : display.c defs.h buffer.h cc -c display.c insert.o : insert.c defs.h buffer.h cc -c insert.c search.o : search.c defs.h buffer.h cc -c search.c files.o : files.c defs.h buffer.h command.h cc -c files.c utils.o : utils.c defs.h cc -c utils.c clean : rm edit main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o Aufruf: make Vorgehen von make: Default-Ziel: erstes Ziel hier: edit Analyse der Abhängigkeiten edit hängt von 8 Objekt-Dateien ab rekursiv weitere Abhängigkeiten schließlich existierende Dateien ohne Regeln Sortieren der Abhängigkeiten Ausführen Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 45 Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 46 Inhalte der Vorlesung 1.Einführung 2.Lexikalische Analyse 3.Der Textstrom-Editor sed 4.Der Scanner-Generator lex 5.Syntaxanalyse und der Parser-Generator yacc 6.Syntaxgesteuerte Übersetzung 7.Übersetzungssteuerung mit make Übersetzergenerierung Wiederholung Jan Bredereke, Universität Bremen 47