Einführung Compilerbau

Transkript

1 Reinhard Tartler 1. Juni 2005 Vorlesung Syntaxanalyse SS 2005

2 Denition Übersetzung eines Textes von Sprache L1 in andere Sprache L2 unter Beibehaltung der Semantik Sprache deniert eine abstrakte Maschine (und umgekehrt) Quell- und Zielsprache können identisch sein (reine Optimierer) Ziel kann maschineninterpretierbare Sprache sein

3 Randbedingungen Beibehaltung der Semantik Korrektheit Ezienz Sprachumfang Kooperation mit anderen Übersetzern gcc/icc P/Invoke (mono/c#) JNI

4 Ausprägungen Übersetzer von höheren Programmiersprachen in Maschinencode Workstations Eingebettete Systeme (Cross Compiler) Metacompiler AspectC++ Qt (moc) Beschreibungssprachen SGML/HTML LATEX PostScript Reinhard Tartler

5 Spielarten Reine Interpreter JavaScript php Interpretation nach Vorübersetzung Pascal P-Code python.net Just In Time (JIT) Übersetzer Java HotSpot

6 Phasen eines Compilers phase Lexer Semantische Abbildungsphase en globale Optimierung Synthesephase Maschienencodeerzeugung Assemblieren und Linken Reinhard Tartler

7 Häug auch Lexer oder Scanner ('Abtaster') genannt Eingabestrom (Zeichenfolge) wird in eine Tokenfolge umgewandelt Häug werden schon hier Kommentare und irrelevante Zeichen entfernt Einheiten sind z.b. Bezeichner, Zahlen, Schlüsselworte, Operatoren,...

8 Arbeitsweise Anhand eines kurzen Beispiels

9 Implementierung eines Lexers Implementierung mittels regulären Automaten Einteilung in Zeichenklassen mittels regulären Ausdrücken: bu = a z oder zi = 0 9: id = bu(bu zi) intconst = zi zi realconst = intconst.intconst(e zi zi ɛ) Enstehende NFAs ausdeterminisieren Tools, die mit regulären Automaten arbeiten: GNU sed AT&T's lex / GNU ex Reinhard Tartler

10 Generierung eines Lexers Am Beispiel einer Pascal ähnlichen Sprache #include %{ #include <math.h> %} <stdio.h> DIGIT ID [0 [a za Z][ 9] a za Z0 9_] %% {DIGIT}+ { yytext printf ("Eine, atoi (yytext Ganz Zahl )); : '%s ' (%d)\n", } {DIGIT}+"."{DIGIT} printf { ("Eine yytext Fliesskomma Zahl, atof(yytext )); : '%s ' (%g)\n", " if " "then" "begin" "end" "procedure" "function" "=" ";" } printf ("Ein Schluesselwort : '%s '\n", yytext ); { {ID} } "+" { printf ("Ein Bezeichner : '%s '\n", yytext ); } " " " " "/" { "{"[^}\n] "}" printf ("Ein Operator : '%s '\n", yytext ); } / ueberspringe e i n z e i l i g e Kommentare / [ \t\n]+ / ueberspringe White Space /. { printf ("Unbekanntes Zeichen : '%s '\n", yytext );} Reinhard Tartler

11 Syntaktische Erkennung von Symbolen die Bedeutung in der Sprache haben Erkennung, lokasierung und Diagnostizierung von Syntaktischen Fehlern Trennung von relevanten und irrelevanten Tokens des Eingabetextes (Zeilenumbrüche, Kommentare)

12 Zerteilungsbeispiel in Konkrete Syntax Parsen eines typischen Pascalprogramms

13 vs. Syntaktische lexikalische und syntaktische Struktur könnten zusammen beschrieben werden Trennung aber sinnvoll die Phasen werden einfacher Beispiel: Leerraumbehandlung nur im Lexer Sprachdenition wird übersichtlicher ezienter schnellere Fehlersuche Wartungsfreundlicher Eingabealphabet: ASCII vs. Unicode Reinhard Tartler

14 Semantische Semantische des Syntaxbaumes Namens und Typanalyse Konsistenzprüfungen (modier) Bedeutungsbindung Strukturbaum

15 Attributierter Strukturbaum Semantische Strukturbaum Zerschachtelung der bedeutungstragenden Einheiten Zuordnung operationeller Semantik möglich Abstrakte Syntax, unerheblich sind bestimmte Schlüsselworte Satzzeichen Klammerung

16 Semantische Konkreter Syntaxbaum vs. Abstrakter Syntax Baum (AST)

17 Symboltabelle Semantische Wird komplett aus dem AST gewonnen Tabelle aller Vereinbarungen Zuordnung von Token/AST-Knoten Beziehungen Wann bezeichnen die gleichen Token dieselben Objekte Speicherung des semantischen Kontext von AST-Knoten

18 Semantische Allgemeine Baumstransformationen auf dem AST Arithmetische Optimierungen Spracherweiterungen Rein Zielplattform unabhängige en

19 Beispiel Inner Classes in Java Semantische p u b l i c c l a s s Stack { p u b l i c c l a s s StackEnum implements Enumeration { p u b l i c boolean hasnext ( ) { // Code } // Weitere F e l d e r und Methode der i n n e r c l a s s } p u b l i c Enumeration enumerator ( ) { r e t u r n new StackEnum ( ) ; } // Weitere F e l d e r und Methoden der o u t e r c l a s s

20 von Inneren Klassen Semantische javac Stack.java erzeugt: Stack.class Stack$StackEnum.class Innere Klasse StackEnum wird transformiert zu:

21 Transformierter Code Semantische c l a s s Stack { p u b l i c Enumeration enumerator ( ) { r e t u r n new Stack$StackEnum ( t h i s ) ; } // w e i t e r e r code wie oben } c l a s s Stack$StackEnum { // R e f e r e n z auf ä u s s e r e s Objekt p r i v a t e Stack t h i s $ 0 ; Stack$StackEnum ( Stack t h i s $ 0 ) { t h i s. t h i s $ 0 = t h i s $ 0 ; // more magic } p u b l i c boolean hasnext ( ) { // Code wi e oben } } Reinhard Tartler

22 Zwischensprachen Semantische Reine interne Repräsentation Code für Kellermaschienen JVM Pascal P Code Code für Zielmaschiene ohne Beschränkung der Ressourcen RTL von GCC

23 Optimierung Semantische komplette Vorlesung an Lehrstuhl 2 Eleminierung von totem Code Konstantenpropagation Kopienfortschreibung Optimierung gemeinsamer Teilausdrücke Schleifenoptimierung: vorziehen von... Schleifeninvarianten Induktionsvariablen

24 Schleifenoptimierung (1) Beispiel Semantische Beispielcode while( i > 0) { y = 5 z + j y; j = i 2; i = i 1;} Denition Eine Variable, die innerhalb einer Schleife keine Zuweisung erfährt, heiÿt Schleifeninvariante Schleifeninvariante h = 5 z; while(i > 0) {y = h + j y; j = i 2; i = i 1;} Reinhard Tartler

25 Schleifenoptimierung (2) Fortsetzung des Beispiels Semantische Beispielcode h = 5 z; while( i > 0) { y = h + j y; j = i 2; i = i 1;} Denition Eine Variable, die bei jedem Schleifendurchlauf erhöht oder erniedrigt wird, heiÿt Induktionsvariable Induktionsvariable h = 5 z; j = i 2; while(j > 0) {y = h + j y; j = j 2;}i = 0; Reinhard Tartler

26 Registervergabe Semantische Begin der Synthesephase Berücksichtigung der Gegebenheiten der Zielmachine Wortbreite Adresslänge Alignment Machinenparameter legen Mapping von Datentypen des Zwischencodes zu Zielcode fest Kleinere Objekte können in gröÿere Speichereinheiten/Strukturen gepackt werden

27 Code Erzeugung Semantische Registerzuteilung naiv klever: halten von Werten in Registern Registervariablen Verwenden von Codepatterns zur Übersetzung Besondere Beachtung von den gegebenen Addressierungsarten Endianess

28 Semantische Maschinenabhängige Optimierung des Programms Blick auf lokale Teile eines Programms (z.b. Funktionen) Peephole Optimierer: zu optimierender Code x := y + 2; z := x * 3; erzeugtes Code Pattern LOAD R,y ADD R,2 STORE R,x LOAD R,x MULT R,3 STORE R,z Reinhard Tartler

29 Semantische Assemblieren und Binden des Zielprogramms Ergebnis ist Assemblercode in der Zielsprache Erzeugung von Objektdateien Auösung von internen Adressen (Symbole) Linken von Ausführbaren Dateien oder zu Bibliotheken Auösung von externen (globale Symbole) Adressen Hinzufügen von Startup Code (je nach OS)

30 wird im Compiler für die Erzeugung des AST verwendet Der Assembler hat wieder einen (wesentlich einfacheren)