Grundlagen der Programmierung 2 (Comp-A)

Transkript

1 Grundlagen der Programmierung 2 (Comp-A) Prof. Dr. Manfred Schmidt-Schauÿ Künstliche Intelligenz und Softwaretechnologie 23. Mai 2007

2 Compiler; Übersetzungprogramme Ein Übersetzer (Compiler) ist ein Programm, das ein Wort einer formalen Sprache S 1 (den Quelltext) in ein Wort einer anderen formalen Sprache S 2 (den Zieltext) umwandelt, wobei die Semantik erhalten bleibt. Beispiele: Programme in Haskell, Java, Python, oder PASCAL, werden in Maschinencode, C, Assembler, oder Bytecode übersetzt. LaTex-Eingaben werden in eine PDF-Datei (bzw. ps-datei) übersetzt Grundlagen der Programmierung 2 (Comp-A) - 1 -

3 Compiler für Programmiersprachen Ein Compiler ist ein Programm, das ein S 1 -Programm (das Quellprogramm) in ein S 2 -Programm (das Zielprogramm) umwandelt, wobei die (operationale) Semantik erhalten bleibt Grundlagen der Programmierung 2 (Comp-A) - 2 -

4 T-Diagramme nach N. Wirth S1 S2 S1 S2 S3 S3 S3 Intp Übersetzung von S 1 nach S 2 geschrieben in S 3 Im rechten Diagramm: ein Interpreter für S 3 gegeben. kann ausgeführt werden Grundlagen der Programmierung 2 (Comp-A) - 3 -

5 Zusammensetzen von Compilern: S1 S2 S2 S3 S4 S5 S4 Intp S5 Intp Hintereinanderausführung: übersetzt S 1 S 3, falls S 4, S 5 -Interpreter gegeben sind. Grundlagen der Programmierung 2 (Comp-A) - 4 -

6 Zusammensetzen von Compilern: S1 S2 S1 S2 S4 S4 S5 S5 S6 S5 Intp S6 Intp das rechteste T-Diagramm steht für den resultierenden Compiler Konstruierbar: lauffähiger Übersetzer von S 1 nach S 2 der nur einen S 5 -Interpreter benötigt Grundlagen der Programmierung 2 (Comp-A) - 5 -

7 T-Diagramme; Anwendung: Bootstrapping Konstruktion eines Compilers für P neu möglichst viel bereits in P neu geschrieben P neu,cor -Compiler für einen kleinen Ausschnitt P neu,l -Übersetzer nach P neu,cor, geschrieben in P neu,cor 3. P neu,l - Compiler zusammensetzen P L P COR PL P COR P COR C P COR P COR C C C C C Intp C Intp C Intp Resultat P L C C C Intp Grundlagen der Programmierung 2 (Comp-A) - 6 -

8 Anwendung der T-Diagramme: Bootstrapping Darauf aufbauend, kann man weiter konstruieren: P XXL P L P XXL P L P L C P L P L C C C C C Intp C Intp C Intp Resultat: Ein Compiler, der die volle Sprache P XXL übersetzt. und weitgehend in P L geschrieben ist. Grundlagen der Programmierung 2 (Comp-A) - 7 -

9 Phasen eines Compilers Lexikalische Analyse (Scanning): Text des Programms wird in Tokenstrom umgewandelt Syntaxanalyse (Parsing): Tokenstrom wird entsprechend der Grammatik in eine Syntaxbaum transformiert Semantische Analyse: Typcheck, Scope von Variablen,... Zwischencode-Erzeugung: Generierung von Code für eine abstrakte Maschine Codeoptimierung: Verbesserung des Zwischencodes Code-Erzeugung: Erzeugung des Ausgabe-Programms (z.b. in C, Assembler) Grundlagen der Programmierung 2 (Comp-A) - 8 -

10 Beispiele zu den Phasen Lexikalische Analyse Z.B. IF 13 == X1 THEN A wird zu: ( IF, 13, ==, X1, THEN, A ) Syntaxanalyse (Parsing): Test, ob das Programm der Grammatik entspricht. Umwandlung in Syntaxbaum: Z.B. ( IF, 13, ==, X1, THEN, A ) wird zu: IF 13 == X1 THEN A Semantische Analyse Typüberprüfungen : 1 + a wird zurückgewiesen. Sind Variablen / Funktionen / Klassen an der richtigen Stelle deklariert? Grundlagen der Programmierung 2 (Comp-A) - 9 -

11 Weitere Komponenten Symboltabelle speichert wesentlichen Attribute (Typ, Gültigkeitsbereich, etc.) der Bezeichner des Quellprogramms Fehlerbehandlung Analyse der Fehler, Lokalisierung, Meldung an den Benutzer Evtl. automatische Behebung des Fehlers und Fortsetzung der Übersetzung Grundlagen der Programmierung 2 (Comp-A)

12 Weitere mögliche Phasen Einleseroutine; Zeichenbehandlung abhängig vom Prozessor bzw. Betriebssystem I.a. Standard-Routinen (Einlesen, Zeichenkodierung) Präprozessor Vorverarbeitung des Quellprogramm (i.a. Makro-Expansion) Assembler übersetzt das Assemblerprogramm in Objektcode. Binder/Lader Umsetzung in ausführbaren Maschinenkode plus Hinzunahme von anderem Objektcode z.b. aus Bibliothek Grundlagen der Programmierung 2 (Comp-A)

13 Front-End und Back-End Aufteilung des Compilers: Front-End: maschinenunabhängiger Teil (z.b. Syntaxanalyse, lexikalische Analyse, Typüberprüfung, Zwischencode-Erzeugung, Zwischencode-Optimierung). Back-End: maschinenspezifischer Teil (z. B. I/O, Codegenerierung) Grundlagen der Programmierung 2 (Comp-A)

14 Worte, Zeichenketten, formale Sprachen Gegeben: ein Alphabet Σ Eine Zeichenkette (String) ist endliche Folge Σ-Symbolen ε leerer String Σ : die Menge aller Worte über Σ formale Sprache über Σ: Teilmenge von Σ Beispiele Σ = {a, b, c}, ac, aaaabcc sind Strings über Σ. Grundlagen der Programmierung 2 (Comp-A)

15 Beispiele Σ = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}: Die Ziffernrepräsentationen aller natürlichen Zahlen ist eine Sprache über Σ. 111, 7, ,... Σ = {A,..., Z, a,..., z, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, ), (,...}. Alle möglichen Haskell-Programme (als Strings) sind eine formale Sprache über Σ. Grundlagen der Programmierung 2 (Comp-A)

16 Lexikalische Analyse, Tokenizer, Scanner Frühe Phase des Übersetzers Aufgabenteilung: Scanner (lokale) Zeichen (Symbol-)Analyse Parser Syntax-Analyse Aufgabe des Scanners: Erkennung von: Zahlen, Bezeichner, Namen, Schlüsselworte, Strings d.h. reguläre Ausdrücke Aufbau der Symboltabelle Zeichenstrom Tokenstrom und Weitergabe an den Parser Es gibt Scanner-Generatoren (Z.B. lex). Allerdings ist es oft einfacher, einen Scanner selbst zu schreiben. Z.B. unter Benutzung endlicher Automaten. Grundlagen der Programmierung 2 (Comp-A)

17 Scanner: Etwas genauer Einlesen des Programmtexts als lineare Zeichenkette Beseitigung von Kommentaren, Leer- und Tabulatorzeichen. Zusammenfassen von Teilstrings (Schlüsselworte, Bezeichner, Zahlenwerte, u ä) Ergebnis: Strom von Token Ein Token kann bestehen aus: Markierung: Attribute: Art des Tokens wie String, Zahlwert, Position im Eingabefile. Üblich: Eigenes Endeztoken für Eingabestrom; Tokenstrom, Stack Grundlagen der Programmierung 2 (Comp-A)

18 Beispiel für Tokens Eingabe Tokenmarkierung Attribut Position in der Eingabe if Keyword if Num x1 Id x Mult Code( ) 2000 <= Relop Code(<=) 5000 Grundlagen der Programmierung 2 (Comp-A)

19 Grammatik-Zerlegung: Parser Tokenizer E ::= E + T T T ::= T F F F ::= (E) Zahl Bezeichner Zahl ::= Ziffer ZifferZahl Ziffer ::= Bezeichner ::= Char Char Alphanum Alphanum ::= Ziffer Char Parseralphabet = {Tokenmarkierungen} Parser behandelt alle Bezeichner als ein Terminal Z.B. tatsächliches Parseralphabet im Beispiel: {+,*,Z, B,),( } Grundlagen der Programmierung 2 (Comp-A)

20 Phasen: Struktur und Typen Typen, in Haskell-Notation: Scanner: det. Teil-Parser: Teil-Parser mit Backtracking Gesamt-Parser: String -> [Token] [Token] -> ([Token], Syntaxbaum) [Token] -> [([Token], Syntaxbaum)] [Token] -> Syntaxbaum Grundlagen der Programmierung 2 (Comp-A)

21 Fehlererkennung des Scanners falsche Zahlen Z.B. 123.a falsche Escape-Folgen in Strings ein fehlendes Stringendezeichen, oder evtl. Längenüberschreitungen. Bezeichner, die nicht der Konvention entsprechen Ungültige Symbole in bestimmten Kontexten Nicht erkennbar für den Scanner: Klammerfehler, Klammerfehler bzgl. (tief) geschachtelter Kommentare falsche Schlüsselworte. Grundlagen der Programmierung 2 (Comp-A)

22 Scannen von Kommentaren und Strings String im Eingabestrom: = Unterstring mit linkem und rechtem Begrenzungssymbol. Bekannte Problematik: String im String? Beachte: trennt, erzeugt aber keine Klammerstruktur sinnvolle Lösungsalternativen: Escape-symbol \ als Kommando: \ im String \\ im String \ Verdopplung: im String Nachteil: Exponentiell große Strings könnten in der Eingabe erforderlich sein abhängig von der Tiefe bzw. der Anzahl Scanner-Durchgänge. Scanner darf keine Leerzeichen in Strings entfernen Grundlagen der Programmierung 2 (Comp-A)

23 Scannen von Kommentaren: Zeilenkommentare geklammerte Kommentare Anfangssymbol z.b. * oder ; oder % oder oder //. Kommentar-Begrenzer: Z.B. Anfang: /, Ende: /. Aktuelle Programmiersprachen: nur eine Klammerebene; Schachtelung wird vom Editor per Zeilenkommentar unterstützt; Echte Kommentar-Schachtelung muss vom Parser erkannt werden. Beachte Zeilenkommentar im String sind Stringzeichen. Grundlagen der Programmierung 2 (Comp-A)

24 Reguläre formale Sprachen: Formalismen Äquivalente Beschreibungsmöglichkeiten für reguläre formale Sprachen: reguläre Ausdrücke (rechts- bzw. links-)reguläre Grammatik DEA (deterministischer endlicher Automat): akzeptierte Sprache NEA (nicht-deterministischer endlicher Automat): akzeptierte Sprache Grundlagen der Programmierung 2 (Comp-A)

25 Reguläre Ausdrücke Σ sei das Alphabet. R ::= a für a Σ (R) ε Leeres Wort RR Konkatinierte Ausdrücke R + R Auswahl bzw. Vereinigung R beliebige Anzahl Konkatinierungen Grundlagen der Programmierung 2 (Comp-A)

26 Reguläre Ausdrücke: Beispiele 0( ) positive ganze Zahlen (A Z)(A Z + a z) Worte, die mit Großbuchstaben beginnen (A Z)(A Z + a z)(a Z + a z) Worte mit drei Buchstaben, die mit Großbuchstaben beginnen Grundlagen der Programmierung 2 (Comp-A)