Programmierung 2. Übersetzer: Das Frontend. Sebastian Hack. Klaas Boesche. Sommersemester

Transkript

1 1 Programmierung 2 Übersetzer: Das Frontend Sebastian Hack hack@cs.uni-saarland.de Klaas Boesche boesche@cs.uni-saarland.de Sommersemester 2012

2 Vom Programm zur Maschine Was passiert eigentlich mit unseren Java-Programmen? Wie werden Sie ausgeführt? Was macht ein Übersetzer? Was macht das Laufzeitsystem? Wie werden Konzepte wie Variable Methoden Klassen Vererbung in das überführt, was ein Prozessor versteht? Nächstes Projekt ist ein kleiner Compiler 2

3 3 Big Picture Hierarchie Programm Bibliotheken Laufzeitsystem Betriebssystem Prozessor / Hardware

4 3 Big Picture In Java Programm Bibliotheken Laufzeitsystem / VM Betriebssystem Prozessor / Hardware

5 3 Big Picture In C/C++ Programm Bibliotheken Laufzeitsystem Betriebssystem Prozessor / Hardware

6 4 Laufzeitsystem Abstrahiert von Betriebssystem und Prozessor Speicherverwaltung Threads Laden/Nachladen von Bibliotheken

7 5 Übersetzer (engl.: Compiler) Ein Übersetzer überprüft ein Programm auf Korrektheit bzgl. Syntax und statischer Semantik transformiert das Programm in eine Form, in der es vom Prozessor ausgeführt werden kann Verbindet das Programm mit dem Laufzeitsystem

8 6 Übersetzer (engl.: Compiler) Die Grenzen zwischen Compiler und Laufzeitsystem sind heutzutage fließend: In C/C++ befindet sich das Laufzeitsystem in einer Bibliothek, die zum Programm gebunden wird (Linker) Teilweise werden Teile der Laufzeitbibliothek vom Compiler in das Programm eingefügt In Java ist ein Teil des Übersetzers im Laufzeitsystem integriert Java Programme werden nicht direkt in Maschinensprache übersetzt sondern in Bytecode für eine virtuelle Maschine Diese beherbergt einen weiteren Übersetzer, der die letzte Stufe der Übersetzung vornimmt

9 7 Compiler Architektur Compiler bestehen aus drei Teilen Frontend Transformation Backend 1 Frontend Zerteilen des Quelltextes Aufbau des abstrakte Syntaxbaums (AST) Semantische Analyse (Namensanalyse, Typanalyse, etc.) 2 Transformation Optimierung Kopplung an das Laufzeitsystem 3 Backend Abbildung von Hochsprachenkonstrukten auf Maschinenniveau Erzeugung von Maschinencode

10 Compiler Frontend Das Frontend besteht wiederum aus mehreren Teilen: Frontend Lexer Zerteiler Analyse 1 Lexer Zerteilt den Eingabetext in sog. Tokens Entfernt Whitespace und Kommentare 2 Zerteiler (engl.: Parser) Analysiert die Sprache auf syntaktische Korrektheit Erstellt den abstrakten Syntaxbaum (AST) 3 Analyse (auf dem AST) Kopplung der Verwendung von Bezeichnern an deren Vereinbarungen Typüberprüfung 8

11 9 Compiler Lexer Programme sind Text Strom von Zeichen Zerteilt den Zeichenstrom in ein Strom von Tokens Für die Syntaxanalyse ist nicht der genaue Text, sondern die Art des Textes wichtig Token besteht aus Text im Programm, wenn wichtig Koordinaten (Dateiname, Zeilen- und Spaltennummer) Für evtl. Fehlermeldungen Art des Tokens (+, while, Bezeichner, Literal, etc.) Bezeichnernamen sind später noch wichtig, daher merken Lexer erkennt auch Zeichensequenzen, die keine gültigen Tokens sind. Bei Java zum Beispiel: 123 abc, 0 xabxz, 1e*

12 10 Lexer Beispiel PUBLIC (1,1) TYPE INT (1,8) IDENT (1,12,"m") LPAREN (1,13) TYPE INT (1,14) public int m( int x) { return x + 1; wird zu folgendem Tokenstrom IDENT (1,18,"x") RPAREN (1,19) LBRACE (1,21) RETURN (2,3) IDENT (2,10,"x") PLUS (2,12) INT LITERAL (2,14,1) SEMI (2,15) RBRACE (3,1)

13 11 Zerteiler (engl.: Parser) Lexer nicht ausreichend zur Feststellung der korrekten Syntax * 234 kann problemlos in Tokens zerlegt werden Ist aber strukturell falsch Struktur gegeben durch kontextfreie Grammatik (häufig BNF) Zerteiler überprüft diese Struktur Bestimmt somit gültige Sequenzen von Tokens Grammatik bestimmt die Struktur des AST Erzeugung des AST beim Zerteilen

14 Zerteiler (engl.: Parser) Lexer nicht ausreichend zur Feststellung der korrekten Syntax * 234 kann problemlos in Tokens zerlegt werden Ist aber strukturell falsch Struktur gegeben durch kontextfreie Grammatik (häufig BNF) Zerteiler überprüft diese Struktur Bestimmt somit gültige Sequenzen von Tokens Grammatik bestimmt die Struktur des AST Erzeugung des AST beim Zerteilen Bemerkung Es existieren Verfahren, wie man aus einer Grammatik automatisch ein Programm erzeugen kann, dass Texte dieser Grammatik zerteilt 11

15 12 Zerteiler Auszug aus der Grammatik für unser Beispiel MethodDecl = Modifier Type IDENT LPAREN Params RPAREN Body Params = Params COMMA ParamDecl ParamDecl ParamDecl = Type IDENT Body = LBRACE Stmts RBRACE Stmts = Stmt Stmts Stmt = ReturnStmt... ReturnStmt = RETURN Expr SEMI Expr = Expr PLUS Expr Literal IdentUse... Literal = INT_LITERAL... IdentUse = IDENT Type = TYPE_INT... Modifier = PUBLIC... public int m( int x) { return x + 1;

16 13 Zerteiler Beispiel MethodDecl 3 public int m( int x) { return x + 1; Type 2 Params Body 1 : PUBLIC (1,1), 2 : TYPE INT (1,8), 3 : IDENT (1,12,"m"), 4 : LPAREN (1,13), 5 : TYPE INT (1,14), 6 : IDENT (1,18,"x"), 7 : RPAREN (1,19), 8 : LBRACE (1,21), 9 : RETURN (2,3), 10 : IDENT (2,10,"x"), 11 : PLUS (2,12), 12 : INT LITERAL (2,14,1), 13 : SEMI (2,15), 14 : RPAREN (3,1) ParamDecl Type 5 Ident 6 ReturnStmt 9 Expr 11 IdentUse 10 Literal 12

17 14 Zerteiler Beispiel MethodDecl = Modifier Type IDENT LPAREN Params RPAREN Body Params = ParamDecl COMMA Params ParamDecl ParamDecl = Type IDENT Body = LBRACE Stmts RBRACE Stmts = Stmt Stmts Stmt = ReturnStmt... ReturnStmt = RETURN Expr SEMI Expr = Expr PLUS Expr Literal IdentUse... Literal = INT_LITERAL... IdentUse = IDENT Type = TYPE_INT... Modifier = PUBLIC...

18 14 Zerteiler Beispiel MethodDecl = Modifier Type IDENT LPAREN Params RPAREN Body Params = ParamDecl COMMA Params ParamDecl MethodDecl 3 ParamDecl = Type IDENT Body = LBRACE Stmts RBRACE Stmts = Stmt Stmts Type 2 Params Body Stmt = ReturnStmt... ReturnStmt = RETURN Expr SEMI Expr = Expr PLUS Expr Literal IdentUse... ParamDecl ReturnStmt 9 Literal = INT_LITERAL... IdentUse = IDENT Type 5 Ident 6 Expr 11 Type = TYPE_INT... Modifier = PUBLIC... IdentUse 10 Literal 12

19 15 Abstrakter Syntaxbaum (engl.: Abstract Syntax Tree, AST) Grammatik der Sprache gibt Struktur des AST vor Nichtterminale bilden die Knoten des AST Tokens (Terminale) sind Attribute der Knoten Baumdarstellung macht Weglassen vieler Tokens möglich Trennzeichen, wie ;, {, (, etc. Klammerung kann verworfen werden

20 16 Analyse Zerteiler kann nur syntaktische Korrektheit des Programms feststellen Verletzung der statischen Semantik können nicht geprüft werden, z.b.: Bezeichner zweimal vereinbart implements mit Klasse statt Interface Typisierung int x = true ; usw. Zwei Kernaufgaben: Namensanalyse Typanalyse

21 Literal 3 IdentUse i 17 Namensanalyse Bezeichner werden verwendet, um Bezüge auf definierte Entitäten herzustellen Verwendung einer Variable in einem Ausdruck Verwendung einer Klasse zum vereinbaren einer Referenz Der Übersetzer muss diese Bezüge wieder herstellen Im AST existiert der Bezug indirekt über Namen Body int x, i;... x = 3 + i; VarDecl i Type INT TYPE... Assign Expr +

22 Namensanalyse Angenommen wir überprüfen Typen in x = 3 + i Dazu benötigen wir den Typen von i Dieser ist an der Vereinbarung vermerkt Suchen im Baum? Body int x, i;... x = 3 + i; VarDecl i Type INT TYPE... Assign Expr + Literal 3 IdentUse i 18

23 Definitionstabelle Wir erstellen eine Definitionstabelle Bildet Bezeichner auf AST-Knoten seiner Vereinbarung ab Existiert zusätzlich zum AST... Body i VarDecl x... VarDecl i... Assign x Type INT TYPE Expr + Literal 3 IdentUse i Beim Berechnen des Typs von x = 3 + i Nachschlagen der Vereinbarung in der Definitionstabelle 19

24 Definitionstabelle Was ist bei mehreren Vereinbarungen eines Bezeichners? class A { int m( int x) { int a = x + 1; return a; int n( int y) { int a = y + 1; return a; a zweimal vereinbart (in m und in n) Offensichtlich haben Bezeichner Gültigkeitsbereiche Verwendung von a in m bezieht sich auf die Vereinbarung in m Vereinbarung nicht im ganzen Programm gültig Hierarchische Definitionstabellen 20

25 21 Definitionstabelle class A { int m( int x) { int a = x + 1; return a; int n( int y) { int a = y + 1; return a; parent a... ClassDecl A n m a... MethodDecl m VarDecl a MethodDecl n VarDecl a

26 Hierarchische Definitionstabelle Einige Knotentypen erzeugen neue Umgebungen Pakete, Klassen, Methoden, Blöcke ({... ) Jeder Knoten kann mit einer Referenz auf die Definitionstabelle ausgestattet werden, in dem er sich befindet Nachschlagen der Vereinbarung durch Nachschauen in der Definitionstabelle wenn nicht gefunden, dann konsultiere Tabelle des nächstäußeren Bereichs Beispiel: class A { int x; int n( int p) { return x + p; x wird nicht im Block von n gefunden, aber in dem von A mit x in x + p ist also das Feld x von A gemeint 22

27 23 Namensanalyse Namensräume class A { class name { int name ; int name () { return 0; name ist offensichtlich dreimal(!) vereinbart in A Kein Problem! In Java halten sich Klassen, Variable und Methoden in unterschiedlichen Namensräumen auf Es werden für Klassen, Variable und Methoden getrennte Definitionstabellen angelegt

28 24 Namensanalyse Zusammenfassung Hinweis Assoziierung von Auftreten eines Bezeichners mit Vereinbarungen Vereinbarungen haben Gültigkeitsbereich Vereinbarung desselben Bezeichners in unterschiedlichen Blöcken möglich Analyse implementiert durch hierarchische Definitionstabelle Mehrere getrennte Namensräume möglich Diese Prinzipien findet man in so gut wie fast allen modernen Hochsprachen

29 25 Namensanalyse Java Quiz public class Main { public static void main ( String [] args ) { String s = new String (" Hello World "); System. out. println (s); class String { private final java. lang. String s; public String ( java. lang. String s) { this. s = s; public java. lang. String tostring () { return s; Was gibt das Programm aus?

30 25 Namensanalyse Java Quiz public class Main { public static void main ( String [] args ) { String s = new String (" Hello World "); System. out. println (s); class String { private final java. lang. String s; public String ( java. lang. String s) { this. s = s; public java. lang. String tostring () { return s; Was gibt das Programm aus? Exception in thread "main" java.lang.nosuchmethoderror: main