Einführung in den Compilerbau

Transkript

1 Einführung in den Compilerbau Überblick und Einleitung Dr. Armin Wolf 1. Vorlesung SoSe 2010, Universität Potsdam 1

2 Organisatorisches Ablage von Unterlagen (Folien,Literatur etc.) unter der URL Zugang: user: guest password: guest Übungen, sporadisch zur Vertiefung der Theorie (Beispiele) Schriftliche Ausarbeitung an der Tafel Praktische Programmierung mittels Java u./o. ANTLR Aktive Beteiligung Ihrerseits ausdrücklich erwünscht! Terminvorschlag für schriftliche Prüfung: erste Vorschläge? Meine -Adresse: Sonstiges... 2

3 Weiterführende Literatur A.V. Aho, R. Sethi, J.D. Ullmann: Compilerbau ( Drachenbuch ), Teil 1 (Teil 2), Addison-Wesley, ISBN: x, 1988 (z.b. 4. unveränderter Nachdruck 1995). Der Klassiker. A.V. Aho, M.S. Lam, R. Sethi, J.D. Ullmann: Compiler, Pearson Studium, ISBN: , 2008, 1252 Seiten, Neuauflage des Drachenbuchs. W.M. Waite, G. Goos: Compiler Construction, Texts and Monographs in Computer Science, Springer Verlag, ISBN , Online verfügbar, Link auf Website! N. Wirth: Compilerbau, Teubner Studienbücher Informatik, ISBN , 3. überarbeitete, erweiterte Aufl., A.W. Appel: Modern Compiler Implementation in Java.Cambridge University Press Umfassendes, leicht lesbares Buch R. Wilhelm, D. Maurer: Übersetzerbau, 2. Aufl. Springer Ausführlich, auch funkt. und logische Programmiersprachen. W.M. Waite, L.R. Carter: An Introduction to Compiler Construction,Harper- Collins Praktisch, leicht lesbar, Architektur von Compilern 3

4 Eingesetztes Compiler-Werkzeug Terence Parr: ANTLR, ANother Tool for Language Recognition, freier Download unter (hier: Zielsprache Java) Getting Started with ANTLR, online verfügbar unter (Installation, erster Test, Tutorials, weitere Hinweise) ANTLR Documentation, online verfügbar unter Scott Stanchfield: An ANTLR Tutorial, online verfügbar unter (allerdings für Version 2.0) Ashley J.S Mills: ANTLR, online verfügbar auch als PDF-Datei unter build/tutorials/antlr/antlrhome.html (Tutorial für Zielsprache Java) 4

5 I. Einleitung 5

6 Was ist ein Compiler? Ein Übersetzerprogramm, das (i. Allg.) ein Programm in einer Quellsprache liest und in ein äquivalentes Programm einer Zielsprache übersetzt. Zwei Schwerpunkte: Syntax und Semantik beider Sprachen Eine wichtige Teilaufgabe des Compilers: Fehlererkennung und -meldung an den Benutzer Syntaktische Fehler, z.b. vergessene Klammern summe += (factor * summand;... Semantische Fehler, z.b. nicht deklarierte Variable in Ausdruck summe += (factor * summand);... [erstes Auftreten von factor ] 6

7 Was leistet ein Compiler? Aufgabe eines Compilers (Übersetzers) Ein-Paß-Compiler Mehr-Paß-Compiler Compiler mit Testhilfen Quellprogramm Compiler Zielprogramm Fehlermeldungen Cobol, Fortran, Algol, Pascal, Oberon, C, C++, C#, Java, Prolog Spezialsprachen (z.b. CHR) Textformatierer mit Kommandos Log. Verknüpfung v. elektr. Bauteilen Log. Beschriebene DB-Anfrage Textformatierer Silicon-Compiler Anfrage-Interpreter Maschinenprogramm beliebige Programmiersprache C, C++, C#, Java, JVM, WAM Spezialsprachen (Java-CHR-Engine) Aufbereiteter Text Textformatierer mit Kommandos Log. Beschriebene DB-Anfrage 7

8 Analyse-Synthese-Modell der Übersetzung Zweitteilung der Compilierung: Analyse und Synthese Analyse: Zerlegung des Quellprogramms in seine Bestandteile Erzeugung einer Zwischendarstellung z.b. Syntaxbaum := position + initial * rate 60 Syntaxbaum der Zuweisung: position := initial +(rate*60) Synthese: Konstruktion des Zielprogramms aus der Zwischendarstellung Anspruchsvollerer Teil der Übersetzung (spezialisierte Techniken) 8

9 Analyse Softwarewerkzeuge (Beispiele) Strukureditoren (z.b. in Programmierumgebungen wie eclipse): Vervollständigung von Eingaben: wh_ while... do Hervorheben des öffenden begin zum schliessenden end Hervorheben der öffenden Klammer zur schliessenden Klammer Pretty Printer (z.b. in Programmierumgebungen): Verwendung spez. Schriftsätze/Farben für Schlüsselworte oder Wortgruppen (z.b. Scheifenkonstruktoren, Attribute in XML) Einrücken gemäß der hierarchischen Textstruktur (z.b. XML-Dokus) Statische Überprüfungen (z.b. in Programmierumgebungen): Erkennung toter Programmteile (z.b. nach return-anweisungen) Erkennung von nicht deklarierten/initialisierten Variablen Erkennung von Typ-Inkompatibilitäten von Parametern/Argumenten, z.b. real Argument verlangt String übergeben. 9

10 Einsatz von Compilerbau-Techniken Textformatierer: z.b. TeX / LaTeX Satz / Layout von Dokumenten, insb. von mathematischen Formeln: $$\sum_{i=1}^n i = \frac{n \cdot (n-1)}{2} $$ Silicon-Compiler: Transformation von logischen Verknüpfungen in einer Progammiersprache in Schaltkreis-Entwürfe Anfrage-Interpreter: Übersetzung von relationalen und logischen Prädikaten für Datenbank-Anfragen in Kommandofolgen zur Suche von Datensätzen Beispiele: SQL für relationale Datenbanken: select... where... XQuery für XML-Datenbanken: for, let, where, order by, return". Verarbeitung sogenannter Domain Specific Languages (DSL); meist mit graphischer Syntax 10

11 Umgebung eines Compilers Präprozessor: Expandierung von Makros (z.b. in C) Inputs/Includes von Modulen oder Programmpaketen Post-Processing (Assembler, Lader/Binder) Übersetzung eines Assembler-Programms in verschiebbaren Maschinencode (hat symbolische Speicheradressen) Hinzubinden erforderlicher Bibliotheksroutinen zum Maschinencode und Auflösung der symbolischen Adressen aufführbarer Maschinencode (meist logische Speicheradressen statt realer; dieses übernimmt in aller Regel das Betriebssystem) Abstrakte Maschine (Abstraktionsgrad der Zielmaschine ) Abgrenzung Hardware/Laufzeitsystem (z.b. dyn. Range-Checking) Anbindung an das Betriebssystem (ggf. über Laufzeitsystem) 11

12 Analyse des Quellprogramms Lineare Analyse: Zeichenstrom wird von links nach rechts (linear) gelesen und in Symbole ( tokens ) aufgeteilt. Symbol = Folge von Zeichen mit bestimmter Bedeutung, z.b repräsentiert eine Gleitpunktzahl; 4711 eine Ganzzahl Hierarchische Analyse: Symbolstrom wird hierarchisch zu Gruppen zusammengefasst: Zuweisung Bezeichner := Ausdruck Bezeichner sum, Ausdruck Ausdruck + Ausdruck Ausdruck Bezeichner sum, Ausdruck Zahl 17 Semantische Analyse: Ausdruck0 Ausdruck1 + Ausdruck2 Ausdruck0.otype = coercion(ausdruck1.otype, Ausdruck2.otype); iscompatible(ausdruck0.itype, Ausdruck0.otype) 12

13 Trennung lexikalische/syntaktische Analyse erscheint etwas willkürlich Beispiele: Ganzzahl ( + - )? Ziffer+; (lexikalisch) Zuweisung Bezeichner = Ausdruck; (syntaktisch) Trennung, z.b. wenn Konstrukt von seiner Struktur her rekursiv: Ausdruck Ausdruck + Ausdruck; Konstrukt semantischer (Kontext-)Analyse bedarf, die nicht aus den Zeichen direkt ableitbar ist: Ganzzahl: Wert und Typ direkt aus syntaktischer Struktur; Semantik unabhängig vom Kontext bestimmbar: -123 Semantik abhängig vom Kontext: Typ des Bezeichners ist durch Kontext bestimmt ; Typ des Ausdrucks ergibt sich aus dessen Struktur und folglich der Typ der Zuweisung aus beiden. Lexikalische Analyse verdichtet Zeichen aufgrund regulärer Ausdrücke Kontextfreie Grammatiken jedoch für alle syntaktische Strukturen möglich 13

14 Trennung lexikalische/syntaktische Analyse Durchschnittliche Komplexität einer Anweisung (Knuth und andere): var := var + const; const { -1, 0, 1 } 6 Symbole, aber ca Zeichen, viele (10-40) Leerzeichen pro Zeile wg. Einrückungen/Kommentaren Informationskompression größer als in allen anderen Phasen der Übersetzung deshalb Abtrennung Beobachtung zeigt, daß bei modernen Programmiersprachen endliche Automaten (für reguläre Ausdrücke) ausreichen Umfangreiche Eingabe, daher effiziente Hilfsmittel endlicher Automat schneller als Kellerautomat Jedoch: Sich selbst erfüllende Prophezeiung: Weil endliche Automaten ausreichen, sind moderne Programmiersprachen so formuliert, dass endliche Automaten ausreichen. keine geschachtelten Kommentare in Java /*... */ 14

15 Einschub: Sprachdefinition mit EBNF EBNF in EBNF: Grammar ::= { Rule } ; // 0-n Regeln Rule ::= NT `::= Expr `; ; // alternativ auch `: oder statt `::= Expr ::= Seq Opt Alt Rep `( Expr `) NT T ; Seq ::= Expr Expr ; Opt ::= `[ Expr `] ; // alternativ: Expr `? Alt ::= Expr ` Expr ; Rep ::= `{ Expr `} ; // alternativ: Expr `* Expr `+ ; // (0-n)- / (1-n)-mal NT ::= Symbol; // Menge vordefinierte Nicht-Terminale T ::= `String ; // Menge vordefinierte Terminale 15

16 Semantische Analyse Überprüfung des Quellprogramms auf semantische Fehler Verwendung einer nichtdeklarierten Variablen Indizierung eines Arrays mit einem reellwertigen, negativen Index reicht das aus? Sammeln von Typinformation für Codegenerierung z.b. Umwandlung und Anpassung von Typen type cohersion Umwandlung eines ganzzahligen Operanden in einer arithmetischen Operation mit int/real-operanden in einen reellwertigen und Folgerung, dass Ergebnis wiederum reellwertig ist. Rundung eines reellwertigen Operanden in einer ganzzahligen Operation (z.b. Ganzzahldivision) 16

17 Phasen eines Compilers Front-End Quellprogramm Lexikalische Analyse Syntaxanalyse Analyse Symboltabellenverwaltung Semantische Analyse Fehlerbehandlung Zwischencode Erzeugung Back-End Code Optimierung Code Erzeugung Synthese Zielprogramm 17

18 Symboltabellenverwaltung Gemeinsame Nutzung der Symboltabelle in vielen Phasen der Übersetzung Aufgaben: Speichern der Symbole Abbilden auf eindeutige Bezeichner Sammeln von Informationen zu Eigenschaften (Attribute) Speicherplatzbedarf Typinformation Gültigkeitsbereich Parameterzahl und Typen der Argumente bei Prozeduren, Methoden, Funktionen; ggf. Typ des Rückgabewerts Methode der Argumentübergabe (Wert- oder Adresse?) 18

19 Symboltabelle Datenstruktur, die für jedes Symbol ein Objekt (oder Record) für dessen Attribute ( Eigenschaftswerte ) speichert. Bezeichner (Id) mit Name: (z.b. num ) und Index: (z.b. 347) Wichtige Eigenschaften: Schnelles, effizientes Speichern der Attributinformation Schnelles Auffinden von Attributinformation eines Symbols Schrittweise Vervollständigung der Attributinformation (z.b. Typinformation zu einem Bezeichner, z.b. (String, int) int) Implementierung meist auf Basis von Hashtabellen 19

20 Fehlerbehandlung Erkennung, Melden und Behandeln von Fehlern Grundprinzip: Fehler im Quellprogramm dürfen zu keinem Absturz führen egal bei welcher Eingabe (egal wie unsinnig sie sei). Wiederaufsetzen nach Fehlern ( error recovery ), um weitere Fehler zu entdecken und zu melden. Lexikalische Analyse: Entdeckung unzulässiger Zeichenfolgen Syntaktische Analyse: Entdeckung unzulässiger Strukturen Semantische Analyse: Entdeckung von Unvollständigkeiten oder von un- oder widersinnigen Ausdrücken: Verwendung einer nicht deklarierten Variablen Addition eines Arrays und einer Prozedur Aufruf einer unbekannten Methode oder mit falschen Argumenten (Anzahl und/oder Typ) 20

21 1-Pass-Compiler Quellsprache: Zeichenstrom lexikalische Analyse (Scanner) Symbolstrom syntaktische Analyse (Parser) Syntaxbaum/Strukturbaum semantische Analyse attributierter Syntaxbaum (AST) Code-Erzeugung Zwischen- oder Zielsprache Mehrpass-Compiler wiederholen Teile dieses Ablaufes, wobei erzeugte Datenstrukturen erweitert / ergänzt / vervollständigt werden: Beispiel: (La)TeX (auch ein Compiler!) Verweis auf eine Marke - \ref{tag} -, die erst später im Dokument definiert wird - \label{tag}. 2-Pass-Compilierung kann durch Backpatching vermieden werden. 21

22 Funktionsweise des Backpatching Anw. Anw. goto Beim Vorwärtssprung ist die Zieladresse noch nicht bekannt. Der dazwischen liegende Code muss erst gelesen und Zwischencode für ihn erzeugt werden. Aber: Fehlende Information kann durch einen leeren Eintrag gekennzeichnet und durch eine Nachbesserungstechnik ( backpatching ) nachgetragen werden. Quelltext Zwischenspeicher Zwischencode Sprungmarke Adresse GOTO ziel ziel Adr1 Adr.1: goto??? ziel: MOV x, R1 Adr.n: MOV x. R1. 22

23 Analyse Symboltabelle 1 BEQ 2 PLS 3 MUL 4 Id1 (position) t=real 5 Id2 (initial) t=real Zeichenstrom (Quellprogramm) position := initial + rate * 60 (25 Zeichen ohne Zwischenräume) nach lexikalischer Analyse: Id1 BEQ Id2 PLS Id3 MUL Num1 Symbolstrom mit 7 Symbolen 6 Id3 (rate) t=real 7 Num1 (60) t=int, val=60 23

24 Syntaktische Analyse Eingabe: Symbolstrom; meist als Ganzzahl-Konstanten-Strom kodiert Ausgabe: Syntaxbaum, dessen Knoten ggf. für semantische Prüfungen/Berechnungen vorbereitet oder entspr. erweiterbar. Datenstruktur: Baumstrukturen mit entspr. Knoten und Verweisen Symbolstrom (token stream): Id1 BEQ Id2 PLS Id3 MUL Num1 Syntaktische Analyse := Id1 + Id2 * Id3 Num1 Syntaxbaum (enthält Verweise auf Symboltabelle) 24

25 Semantische Analyse Eingabe: Syntaxbaum Ausgabe: attributierter Syntaxbaum (AST) Datenstruktur: attributierter Baum (mit Attributen dekoriert ). Prüfung, ob alle Variablen deklariert Prüfung, ob alle Operationen für alle Operandentypen zulässig Prüfung, ob Typanpassung erforderlich := Id1 + Id2 * Id3 N1 Semantische Analyse :=.t=real Id1.t= +.t=real real Id2.t= *. t=real real Id3.t= N1.t= real int Berechnung der Attribute und deren Ergänzung durch Traversierung des Syntaxbaums 25

26 Zwischencode-Erzeugung + Code-Optimierung Eingabe: attributierter Syntaxbaum Ausgabe: Zwischencode z.b. Drei-Adress-Code (Resultat unäre/binärer Operation) Zwischencodeerzeugung mittels Attributberechnung möglich! Code-Optimierung mittels Datenflussanalyse Einsetzen von Konstanten: 60 Vorab-Berechnungen: 60.0 Kompression von Zuweisungsketten... Attributierter Syntaxbaum (s.o.) Zwischencode-Erzeugung Temp1 := int2real(60): Temp2 := multreal(id3, Temp1) Temp3 := plusreal(id2, Temp2) Id3 := Temp3 Code-Optimierung (min. Temps) Temp1 := multreal(id3, 60.0) Id3 := plusreal(id2, Temp1) opt. Ausnutzung der meist wenigen CPU-Register 26

27 Ziel-Code-Erzeugung Eingabe: (optimierter) Zwischencode Ausgabe: verschiebbarer Zielcode (mit symbolischen Adressen) Leistungsumfang: Wahl der Maschinenbefehle Registerallokation (ggf. optimiert) Temp1 := multreal(id3, 60.0) Id3 := plusreal(id2, Temp1) Ziel-Code-Generierung: MOVF id3, R2 MULF #60.0, R2 MOVF id2, R1 ADDF R2, R1 MOVF R1, id1 27

28 Inhalte der Vorlesung I. Einleitung Überblick über die Phasen eines Compilers (erledigt) Lexikalische Analyse Syntaxanalyse Parse-Baum Syntax-Baum Syntaxgesteuerte Übersetzung Attributierter Parsebaum Syntaxgesteuerte Definition Übersetzungsschemata 28

29 Inhalte der Vorlesung II. Lexikalische Analyse (in Abhängigkeit von Vorkenntnissen) Reguläre Ausdrücke Reguläre Definitionen Übergangsdiagramme Endliche Automaten (Def.) Def.: Nichtdeterministische endliche Automaten (NEA) Def.: Deterministische endliche Automaten (DEA) NEA -> DEA Regulärer Ausdruck -> NEA nach Thompsonscher Konstruktion Regulärer Ausdruck -> DEA nach Followpos-Konstruktion Followpos-Graph -> NEA Minimierung von DEA 29

30 Inhalte der Vorlesung III. Syntaxanalyse Kontextfreie Grammatiken statt regulärer Ausdrücke Kellerautomaten statt endlicher Automaten Herleitung Mehrdeutigkeiten Arten der Syntaxanalyse Prädikative (rekursive) Parser rekursiver Abstieg Nicht-rekursive prädikative Parser (Kellerautomaten) Top-down / Bottum-up Syntaxanalyse 30

31 Inhalte der Vorlesung IV. Semantische Analyse Attributierte Grammatiken als Grundlage der semantischen Analyse Klassifikation von Attributen vollständige / wohldefinierte / lokal azyklische AGs Zerlegung von AGs LAG(1)-Definition und Bedingung (Traversierung des Parsebaums) syntaxgesteuerte Übersetzung mittels AGs anhand von Beispielen Konstruktion von (abstrakten) Syntaxbäumen mittels AGs als interne Zwischenrepräsentation (ggf. DAGs statt Bäume) Entfernen von Linksrekursionen in LAG(1) (für top-down Parser) Konstruktion eines prädiktiven Übersetzers mit LAG(1) 31

32 Inhalte der Vorlesung V. Codeerzeugung und Laufzeitumgebung Syntaxgesteuerte Übersetzung Laufzeitumgebung (Parameterübergabe, Speicherverwaltung)... mal sehen wie weit wir kommen... 32

33 Vielen Dank für Ihr Interesse! Dr. Armin Wolf 33