Compiler; Übersetzungsprogramme. Grundlagen der Programmierung 3 A. Compiler für Programmiersprachen. Phasen eines Compilers

Transkript

1 ompiler; Übersetzungsprogramme Grundlagen der Programmierung 3 A ompiler A: Phasen; Scanner Prof. Dr. Manfred Schmidt-Schauß Sommersemester 2017 Ein Übersetzer (ompiler) ist ein Programm, das ein Wort einer formalen Sprache S 1 (den Quelltext) in ein Wort einer anderen formalen Sprache S 2 (den Zieltext) umwandelt, wobei die Semantik erhalten bleibt. (Semantik meist separat erklärt) Beispiele: Programme in Haskell, Java, Python, oder PASAL, werden in Maschinenkode,, Assembler, oder Bytecode übersetzt. LaTex-Eingaben werden in eine PDF-Datei (bzw. ps-datei) übersetzt Grundlagen der Programmierung 2 (ompiler-a) 2/28 ompiler für Programmiersprachen Phasen eines ompilers Ein ompiler ist ein Programm, das ein S 1 -Programm (das Quellprogramm) in ein S 2 -Programm (das Zielprogramm) umwandelt, wobei die (operationale) Semantik erhalten bleibt Lexikalische (Scanning): Text des Programms wird in Tokenstrom umgewandelt Syntaxanalyse (Parsing): Tokenstrom wird entsprechend der Grammatik in einen Syntaxbaum transformiert Semantische : Typcheck, Scope von Variablen,... Zwischencode-Erzeugung: Generierung von ode für eine abstrakte Maschine odeoptimierung: Verbesserung des Zwischencodes ode-erzeugung: Erzeugung des Ausgabe-Programms (z.b. in, Assembler) Grundlagen der Programmierung 2 (ompiler-a) 3/28 Grundlagen der Programmierung 2 (ompiler-a) 4/28

2 Phasen eines ompilers: Diagramm T-Diagramme nach N. Wirth Quelltext (String) Lexikalische Syntaxbaum Zwischencode Syntaktische Semantische Zwischencodeerzeugung odeoptimierung odegenerierung Tokenstrom Syntaxbaum (annotiert) Zwischencode (optimiert) S 3 S 3 Intp Übersetzung von S 1 nach S 2 Programm ist geschrieben in S 3 Im rechten Diagramm: ein Interpreter für S 3 ist vorhanden. ompiler kann ausgeführt werden. S 3 maschinennaher ode Grundlagen der Programmierung 2 (ompiler-a) 5/28 Grundlagen der Programmierung 2 (ompiler-a) 6/28 Zusammensetzen von ompilern: Zusammensetzen von ompilern: S 4 S 4 Intp S 2 S 3 S 5 S 5 Intp Hintereinanderausführung: übersetzt S 1 S 3, falls S 4 und S 5 -Interpreter vorhanden sind. S 4 S 4 S 5 S 6 S 6 Intp S 5 S 5 Intp Das rechteste (blaue) T-Diagramm steht für den resultierenden ompiler. Konstruierbar: lauffähiger Übersetzer von S 1 nach S 2 der nur einen S 5 -Interpreter benötigt Grundlagen der Programmierung 2 (ompiler-a) 7/28 Grundlagen der Programmierung 2 (ompiler-a) 8/28

3 T-Diagramme; Anwendung: Bootstrapping Anwendung der T-Diagramme: Bootstrapping Konstruktion eines ompilers für die Programmiersprache P möglichst viel bereits in P geschrieben. Untersprachen: P XXL P L P ore 1. P ore -ompiler für einen kleinen Ausschnitt von P 2. P L -Übersetzer nach P ore, geschrieben in P ore 3. P L - ompiler zusammensetzen ; (Resultat: blau) P L P ore P ore P ore P L P ore P ore P L Darauf aufbauend kann man weiter konstruieren P XXL P L Resultat: P L P L P XXL P L P L P XXL Ein ompiler, der die volle Sprache P XXL übersetzt. und der in P L geschrieben ist. Grundlagen der Programmierung 2 (ompiler-a) 9/28 Grundlagen der Programmierung 2 (ompiler-a) 10/28 Phasen eines ompilers Phasen eines ompilers: Diagramm Lexikalische (Scanning): Text des Programms wird in Tokenstrom umgewandelt Syntaxanalyse (Parsing): Tokenstrom wird entsprechend der Grammatik in einen Syntaxbaum transformiert Semantische : Typcheck, Scope von Variablen,... Quelltext (String) Syntaxbaum Lexikalische Syntaktische Semantische Tokenstrom Zwischencode-Erzeugung: Generierung von ode für eine abstrakte Maschine Zwischencodeerzeugung Syntaxbaum (annotiert) odeoptimierung: Verbesserung des Zwischencodes ode-erzeugung: Erzeugung des Ausgabe-Programms (z.b. in, Assembler) Zwischencode odeoptimierung odegenerierung Zwischencode (optimiert) maschinennaher ode Grundlagen der Programmierung 2 (ompiler-a) 11/28 Grundlagen der Programmierung 2 (ompiler-a) 12/28

4 Beispiele zu den Phasen Lexikalische Z.B. IF 13 == X1 THEN A wird zu: ( IF, 13, ==, X1, THEN, A ) Syntaxanalyse (Parsing): Test, ob das Programm der Grammatik entspricht. Umwandlung in Herleitungsbaum, dann in Syntaxbaum: Z.B. ( IF, 13, ==, X1, THEN, A ) wird zu: IFTHEN IF 13 == X1 THEN A == 13 X1 Semantische Typüberprüfungen: Z.B. 1 + a wird zurückgewiesen. Scopeprüfungen: Sind Variablen/Funktionen/... definiert? Sind sie an der richtigen Stelle deklariert? A Weitere Komponenten Symboltabelle speichert wesentliche Attribute (Typ, Gültigkeitsbereich, etc.) der Bezeichner des Quellprogramms. Fehlerbehandlung der Fehler, Lokalisierung im Quellprogramm, Meldung an den Benutzer. Evtl. automatische Behebung des Fehlers und Fortsetzung der Übersetzung Grundlagen der Programmierung 2 (ompiler-a) 13/28 Grundlagen der Programmierung 2 (ompiler-a) 14/28 Weitere mögliche Phasen Front-End und Back-End Einleseroutine; Zeichenbehandlung abhängig vom Prozessor bzw. Betriebssystem I.a. Standard-Routinen (Einlesen, Zeichenkodierung) Präprozessor Vorverarbeitung des Quellprogramms (i.a. Makro-Expansion) Assembler Objektcode. übersetzt das Assemblerprogramm in Binder/Lader Umsetzung in ausführbaren Maschinenkode plus Hinzunahme von anderem Objektcode z.b. aus Bibliothek Aufteilung des ompilers: Front-End: maschinenunabhängiger Teil (z.b. Syntaxanalyse, lexikalische, Typüberprüfung, Zwischencode-Erzeugung, Zwischencode-Optimierung). Back-End: maschinenspezifischer Teil (z. B. I/O, odegenerierung) Grundlagen der Programmierung 2 (ompiler-a) 15/28 Grundlagen der Programmierung 2 (ompiler-a) 16/28

5 Worte, Zeichenketten, formale Sprachen Beispiele Gegeben: ein Alphabet Σ Definitionen: Eine Zeichenkette (String) ist endliche Folge von Σ-Symbolen ε bezeichnet den leeren String Σ : die Menge aller Worte über Σ formale Sprache über Σ: ist definiert als eine Teilmenge von Σ Beispiele Σ = {a, b, c}, ac, aaaabcc sind Strings über Σ. Σ = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}: Die Ziffernrepräsentationen aller natürlichen Zahlen ist eine formale Sprache über Σ. Z.B. 111, 7, ,... Σ = {A,..., Z, a,..., z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ), (,...}. Alle möglichen Haskell-Programme (als Strings) sind eine formale Sprache über Σ. Z.B. die Zeichenfolge: main = map quadrat [] Grundlagen der Programmierung 2 (ompiler-a) 17/28 Grundlagen der Programmierung 2 (ompiler-a) 18/28 Reguläre formale Sprachen: Formalismen Reguläre Ausdrücke: Beispiele Beschreibungsmöglichkeiten für reguläre formale Sprachen: reguläre Ausdrücke (rechts- bzw. links-)reguläre Grammatik (nur ein Nichtterminal am rechten bzw. linken Ende von rechten Seiten von Produktionen erlaubt) DEA (deterministischer endlicher Automat): akzeptierte Sprache NEA (nicht-deterministischer endlicher Automat): akzeptierte Sprache Diese sind alle äquivalent in folgendem Sinn: die gleichen formalen Sprachen sind damit definierbar 0+( )( ) positive ganze Zahlen (als Text) (A Z)(A Z + a z) Worte, die mit Großbuchstaben beginnen (A Z)(A Z + a z)(a Z + a z) Worte aus drei Buchstaben, die mit Großbuchstaben beginnen Nicht regulär: alle geklammerten Ausdrücke wie (1 + ((2 + 3) + 9) Grundlagen der Programmierung 2 (ompiler-a) 19/28 Grundlagen der Programmierung 2 (ompiler-a) 20/28

6 Lexikalische (Tokenizer, Scanner) Scanner: Etwas genauer Aufgaben-Aufteilung des ompilers: Zuerst Scanner (lokale) Zeichen (Symbol-) Dann Parser Syntax- (kommt noch) Aufgaben des Scanners: Erkennung von: Zahlen, Bezeichner, Namen, Schlüsselworte, Strings d.h. reguläre Ausdrücke Aufbau der Symboltabelle Zeichenstrom Tokenstrom und Weitergabe an den Parser Einlesen des Programmtexts als lineare Zeichenkette Beseitigung von Kommentaren, Leer- und Tabulatorzeichen. Zusammenfassen von Teilstrings (Schlüsselworte, Bezeichner, Zahlenwerte, u ä) Ergebnis: Strom von Token Ein Token kann bestehen aus: Markierung: Art des Tokens (Schlüsselwort, Name, Zahl,... ) Attribute: wie String, Zahlwert, Position im Eingabefile. Es gibt Scanner-Generatoren (Z.B. lex). Allerdings ist es oft einfacher, einen Scanner selbst zu schreiben. Z.B. unter Benutzung endlicher Automaten. Üblich: Eigenes Ende-Token für Eingabestrom. Grundlagen der Programmierung 2 (ompiler-a) 21/28 Grundlagen der Programmierung 2 (ompiler-a) 22/28 Beispiel für Tokens Grammatik-Zerlegung: Eingabe Tokenmarkierung Attribut Position in der Eingabe if Keyword if Num x1 Id x Mult ode( ) 2000 <= Relop ode(<=) (501,30) Scanner Parser Zahl ::= Ziffer Ziffer Zahl Ziffer ::= Bezeichner ::= har har RestBez RestBez ::= Alphanum RestBez Alphanum Alphanum ::= Ziffer har E ::= E + T T T ::= T F F F ::= (E) Zahl Bezeichner Parseralphabet = {Tokenmarkierungen} Parseralphabet im Beispiel: {+,*,Zahl, Bezeichner,),( } Der Parser behandelt alle Bezeichner als ein einziges Terminal Grundlagen der Programmierung 2 (ompiler-a) 23/28 Grundlagen der Programmierung 2 (ompiler-a) 24/28

7 ompiler-phasen: Struktur und Typen Fehlererkennung des Scanners Typen der Funktionen, in Haskell-Notation: Scanner: deterministischer Teil-Parser: Teil-Parser mit Backtracking Gesamt-Parser: String -> [Token] [Token] -> ([Token], Syntaxbaum) Tokenliste -> (Rest der Tokenliste, Syntaxbaum der konsumierten Tokenliste) [Token] -> [([Token], Syntaxbaum)] Tokenliste -> Liste der Möglichkeiten [Token] -> Syntaxbaum falsche Zahlen Z.B. 123.a falsche Escape-Folgen in Strings, ein fehlendes String-Endezeichen, oder evtl. Längenüberschreitungen. Bezeichner, die nicht der Konvention entsprechen Ungültige Symbole in bestimmten Kontexten Nicht erkennbar für den Scanner: Klammerfehler, Klammerfehler bzgl. (tief) geschachtelter Kommentare falsche Schlüsselworte. Grundlagen der Programmierung 2 (ompiler-a) 25/28 Grundlagen der Programmierung 2 (ompiler-a) 26/28 Scannen von Kommentaren und Strings Scannen von Kommentaren: String im Eingabestrom: = Unterstring mit linkem und rechtem Begrenzungssymbol. Bekannte Problematik: String im String? Beachte: trennt, erzeugt aber keine Klammerstruktur sinnvolle Lösungsalternativen: Escape-symbol \ als Kommando: \ im String \\ im String \ Verdopplung: im String Nachteil: Exponentiell große Strings könnten in der Eingabe erforderlich sein abhängig von der Tiefe bzw. der Anzahl Scanner-Durchgänge. Zeilenkommentare geklammerte Kommentare Anfangssymbol z.b. * oder ; oder % oder oder //. Kommentar-Begrenzer: Z.B. Anfang: /, Ende: /. Aktuelle Programmiersprachen: nur eine Klammerebene; Echte Kommentar-Schachtelung muss vom Parser erkannt werden. Beachte Zeilenkommentar im String sind Stringzeichen. Der Scanner darf keine Leerzeichen in Strings entfernen Grundlagen der Programmierung 2 (ompiler-a) 27/28 Grundlagen der Programmierung 2 (ompiler-a) 28/28