Übersetzer und sprachverarbeitende Werkzeuge

Transkript

1 Übersetzer und sprachverarbeitende Werkzeuge Arnd Poetzsch-Heffter AG Softwaretechnik TU Kaiserslautern Sommersemester 07 1

2 1.Kapitel: Einführung Implementierung von Compilern und sprachspezifischen Werkzeugen Anwendungsbereiche & angrenzende Gebiete Implementierungsaufgaben & -techniken Konstruktion sprachspezifischer Werkzeuge: Begriffe, Architektur, Techniken Inhalt der Vorlesung Lernziele der Vorlesung Aufbau von Kapitel 1: Überblick und Umfeld Implementierungsaspekte sprachspezifischer Werkzeuge Inhalt und Lernziele Literatur: R. Wilhelm, D. Maurer: Übersetzerbau. Springer-Verlag A. Appel: Modern Compiler Implementation in Java. Cambridge University Press

3 1.1 Überblick und Umfeld Begriffsklärung: Implementierung sprachspezifischer Werkzeuge: - Verarbeiten Quelltexte bestimmter Sprachen - Analysieren die Quelltexte - ggf. Übersetzung in andere Sprachen Typische Quellsprachen: - Programmiersprachen: C, C++, C#, Java, ML, Cobol, Smalltalk, Prolog,... Skriptsprachen (JavaScript), Kommandosprachen - Sprachen für Konfigurationsmanagement (make,..) - Anwendungs- & werkzeugspezifische Sprachen (Excel, Lex, Max,...) - Spezifikationssprachen (Z, Isabelle/HOL, CASL) - Formatierungs- und Datenbeschreibungssprachen (LaTeX, HTML, XML,...) - Entwurfs- & Architekturbeschreibungssprachen (UML, SDL, VHDL, Darwin,...) 3

4 Typische Zielsprachen: - Assembler- und Maschinensprachen - Programmiersprachen (z.b. C) - Daten- und Layoutbeschreibungssprachen - Sprachen zur Drucksteuerung Implementierung: - Rechner- bzw. Werkzeugunterstützung für die Verarbeitung - Integration ins Systemumfeld - Verbindung zu anderen Sprachen 4

5 Anwendungsbereiche der Techniken: (exemplarisch) Realisierung von Programmierumgebungen: - kontextsensitive Editoren, Klassenbrowser,... - graphische Programmierwerkzeuge - Präprozessoren - Übersetzer - Interpreter - Debugger - Laufzeitumgebung (Laden, Linken, Ausführen, Speicherverwalten) Generierung von Programmen aus Entwurfsdokumenten (UML,... ) Programmverstehen, Reengineering Entwurf und Implementierung anwendungsspezifischer Sprachen: - Robotersteuerung - Simulationswerkzeuge - Tabellenkalkulatoren, aktive Dokumente Web-Technologie: - Analyse von Web-Sites - aktive Webseiten (mit integrierter Funktionalität) - abstrakte Plattformen: JVM,.Net - Optimieren von Caching 5

6 Angrenzende Gebiete: Formale Sprachen, Sprachspezifikation, -entwurf Programmier- und Spezifikationsprachen Programmierung, Softwareentwicklung, SW-Generierung, SW-Architektur Systemsoftware, Rechnerarchitektur gegenseite Wechselwirkung Implementierungsaufgaben: Analyse: Übersetzung: Interpretation: Quellcode Quellcode Quellcode Eingabedaten Analysator Übersetzer Interpreter Analyse- Zielcode Ausgabedaten information häufig Kombination der Aufgaben 6

7 1. Übersetzung: Übersetzer/Compiler realisiert Analyse & Übersetzung BS & reale Maschine realisieren Interpretation Vorteile: effizienteste Lösung ein Interpreter für alle Programmiersprachen auch für andere Lösungen Voraussetzung 2. Direkte Interpretation: Interpreter realisiert alle Aufgaben Beispiele: JavaScript, Kommandosprachen Vorteile: keine Übersetzung nötig (dafür Analyse zur Laufzeit) 3. Abstrakte/virtuelle Maschinen: Übersetzer/Compiler realisiert Analyse & Übersetzung in abstrakten Maschinencode Abstrakte Maschine als Interpreter Beispiele: Prolog/WAM, Java/JVM, C#/CLR Vorteile: Plattformunabhängigkeit (Portabilität, mobilen Code) selbst modifizierende Programme möglich 4. Weitere Kombinationen 7

8 Beispiel: (Analyse) package b1_1 ; class Weltklasse extends Superklasse implement BesteBohnen {Qualifikation studieren ( Arbeit schweiss) { return new Qualifikation ();}} Superklasse.class BesteBohnen.class Qualifikation.class Arbeit.class... javac-analysator b1_1/weltklasse.java:4: '{' expected. extends Superklasse ^ 1 error 8

9 Beispiel 1: (Übersetzung) package b1_1; class Weltklasse extends Superklasse implements BesteBohnen { Qualifikation studieren ( Arbeit schweiss ) { return new Qualifikation(); }} Superklasse.class BesteBohnen.class Qualifikation.class Arbeit.class... javac Compiled from Weltklasse.java class b1_1/weltklasse extends... implements... { b1_1/weltklasse(); b1_1.qualifikation studieren(...); } Method b1_1/weltklasse()... Method b1_1.qualifikation studieren(...)... 9

10 10 Compiled from Weltklasse.java class b1_1/weltklasse extends b1_1.superklasse implements b1_1.bestebohnen { b1_1/weltklasse(); b1_1.qualifikation studieren(b1_1.arbeit); } Method b1_1/weltklasse() 0 aload_0 1 invokespecial #6 <Method b1_1.superklasse()> 4 return Method b1_1.qualifikation studieren(b1_1.arbeit) 0 new #2 <Class b1_1.qualifikation> 3 dup 4 invokespecial #5 <Method b1_1.qualifikation()> 7 areturn Beispiel 1: (Fortsetzung)

11 Beispiel 2: (Übersetzung) int main() { printf("willkommen zur Vorlesung!"); return 0; } gcc.file "hello_world.c".version "01.01" gcc2_compiled.:.section.rodata.lc0:.string "Willkommen zur Vorlesung!".text.align 16.globl main.type main,@function main: pushl %ebp movl %esp,%ebp subl $8,%esp... 11

12 Beispiel 2: (Fortsetzung).file "hello_world.c".version "01.01" gcc2_compiled.:.section.rodata.lc0:.string "Willkommen zur Vorlesung!".text.align 16.globl main.type main: pushl %ebp movl %esp,%ebp subl $8,%esp addl $-12,%esp pushl $.LC0 call printf addl $16,%esp xorl %eax,%eax jmp.l2.p2align 4,,7.L2: movl %ebp,%esp popl %ebp ret.lfe1:.size main,.lfe1-main.ident "GCC: (GNU) (release)" 12

13 Beispiel 3: (Übersetzung) groovy.tex (104 bytes) \documentclass{article} \begin{document} \vspace*{7cm} \centerline{\huge\bf It s groovy} \end{document} latex groovy.dvi (207 bytes, binary)... dvips groovy.ps (7136 bytes) %!PS-Adobe-2.0 %%Creator: dvips(k) %%Title: groovy.dvi... 13

14 Beispiel: (Interpretation).class-Datei iload_1 15 iload_2 16 idiv 17 istore_3... Eingabedaten iload_1 15 iload_2 16 idiv 17 istore_3... Java Virtual Machine (JVM) Ausgabedaten 14

15 Beispiel: (Kombinierte Technik) Kombinierte Implementierungstechnik: Java-Implementierung mit JIT-Übersetzer Java-Übersetzungseinheit (JIT=Just in time) javac Analysator Übersetzer.class-Datei Eingabedaten Java Byte Code JIT-Übersetzer JVM Maschinencode reale Maschine/Hardware Ausgabedaten 15

16 1.2 Aspekte von Sprachimplementierungen Architektur/Phasen von Sprachimplementierungen Aspekte des Übersetzerbaus Architektur und Phasen von Sprachimplementierungen Analyse der Eingabe, d.h. z.b. - des Programms - der Spezifikation - des Diagramms In Abhängigkeit von den weiteren Zielen der Sprachimplementierung z.b.: - Transformation (z.b. XSLT, Refactoring) - Formatierung - semantische Analyse (z.b. Programmverstehen) - Optimierung - Übersetzung im engeren Sinne 16

17 1.2.2 Aspekte des Übersetzerbaus Begriffsklärungen: Übersetzungsaufgabe: Quellcode Übersetzer (im weiteren Sinn) Fehlermeldung Zielcode Übersetzer im weiteren Sinn realisiert: Analyse & Optimierung & Übersetzung Quellcode: Eingabe(-Zeichenreihe) für Übersetzer; sollte der Syntax der Quellsprache (QS) genügen Zielcode: Ausgabe(-Zeichenreihe) des Übersetzer; muss der Syntax der Zielsprache (ZS) genügen 17

18 Zur Übersetzungszeit: während der Übersetzer läuft. Alle Informationen und Aspekte, die schon zur Übersetzungszeit bekannt sind, nennt man statisch. Z.B. Typprüfung der Programms, Konstante Ausdrücke auswerten, Relativadressen festlegen,... Zur Laufzeit: während das übersetze Programm ausgeführt wird. Alle Informationen und Aspekte, die statisch noch unbekannt sind, nennt man dynamisch. Z.B. Allokation von Feldern variabler Größe, Bereichsprüfung von Feldern, dynamische Bindung von Methoden, Speicherverwaltung für rekursive Prozeduren. Da der Übersetzer dynamische Aspekte nicht zur Übersetzungszeit behandeln kann, erzeugt er dafür Code. Der Code erledigt die Aspekte dann zur Laufzeit. 18

19 Anforderungen an Übersetzer: Gute Fehlerbehandlung (statisch & dynamisch) Effizienter Zielcode Wahlmöglichkeit: schnelle Übersetzung & weniger effizienter Code versus langsamere Übersetzung & hoch effizienter Code semantisch korrekte Übersetzung: Übersetztes Programm verhält sich gemäß der Sprachdefinition der Quellsprache D.h. mit semqs: QS-Programme x QS-Daten semzs: ZS-Programme x ZS-Daten compile: QS-Programme code: QS-Daten ZS-Daten decode: ZS-Daten QS-Daten ZS-Programme QS-Daten ZS-Daten sollte für alle QS-Programme P, QS-Daten D gelten: semqs(p,d) = decode(semzs(compile(p),code(d))) 19

20 Architektur: Quellcode als Zeichenreihe Scanner Symbolfolge Analyse Parser Syntaxbaum Namensbinden Typisieren Attributieren & Optimieren Attributierter Baum ( QS-nahe Repr.) Übersetzer im engeren Sinn Synthese Attributieren & Optimieren Zwischensprache ( ZS-nahe Repr.) Codegenerator Peephole- Optimierer Zielcode als Zeichenreihe 20

21 Aspekte von Übersetzerarchitekturen: Phasen zunächst einmal konzeptionell gemeint Ausführung der Phasen kann verschränkt sein Unterschied: Phase versus Pass (Pass: ein Durchgang durch das Programm) genaue Festlegung der Phasen ist von Quell-, Zielsprache und Entwurfsentscheidungen abhängig Kombination mit anderen Architekturentscheidungen: QS_1 QS_2... QS_m gemeinsame Zwischensprache ZS_1 ZS_2... ZS_n getrennte Übersetzung: Programmteile können unabhängig von einander übersetzt werden; Schnittstelleninformation benutzter Elemente anderer Programmteile muss verfügbar sein. 21

22 Konstruktionstechniken: A. Schrittweise Konstruktion: Programmierung basiert üblicherweise auf Existenz eines Übersetzers für die Implementierungssprache. Bei Übersetzerkonstruktion kann davon im Allg. nicht ausgegangen werden; stehe QS ZS PS für einen Übersetzer der in Sprache PS geschrieben ist und QS in ZS übersetzt. 1. Konstruktion mit Übersetzer für andere Sprache: Gesucht: QS-Compiler, Ziel, läuft auf Annahme: C-Compiler existiert auf Plattform mit Maschinensprache QS QS zu entwickeln C C durch Übersetzung existiert 22

23 2. Konstruktion mit Übersetzer für anderen Rechner: Gesucht: C-Compiler auf 1 für 1 Annahme: C-Compiler auf 2 für 2 existiert Methode: realisiere zunächst Cross-Compiler 1.Schritt: C 1 C 1 C C Schritt: Cross-Compiler C 1 C 1 C C

24 3. Bootstrapping: Gesucht: QS-Compiler auf für Annahme: kein Compiler verfügbar Methode: 1. Entwerfe Teilsprachen QS i von QS mit QS QS 0 U QS 1 U QS 2 U 2. Implementiere QS -Compiler für in 3. Implementiere QS -Compiler für in QS 4. Erzeuge QS -Compiler für in i+1 0 i+1 i durch Erweiterung QS QS QS 2 QS 2 QS 2 QS 1 QS 1 QS 1 QS 0 QS 0 durch Übersetzung von Hand 24

25 B. Mit Generierungswerkzeugen: Scanner-Generator / reguläre Ausdrücke Parser-Generator / kontextfreie Grammatik Attributauswertungsgenerator / Attributgrammatik Codegenerator-Generator / Maschinenbeschreibung weitere phasenspezifische Werkzeuge Interpretergeneratoren / Sprachsemantik C. Spezielle Programmiermethodiken: allgmeine Technik: syntaxgesteuert speziell: rekursiver Abstieg 25

26 Dimensionen des Übersetzerbaus: Programmiersprachen (-sprachklassen): - sequentielle prozedurale, oo. Sprachen - funktionale, logische Sprachen - parallele Sprachen/Sprachkonzepte Zielsprachen/Maschine: - Code für abstrakte Maschine - Assembler - Maschinensprache (CISC, RISC,Superskalar,...) - Multiprozessorarchitekturen - Speicherhierarchie Übersetzungsaufgaben: Analyse, Optimierung, Synthese Konstruktionsmethoden und Werkzeuge Bootstrapping, Generatoren,... Portabilität, Spezifikation, Korrektheit 26

27 1.3 Inhalt und Lernziele 1. Einführung: Überblick, Motivation, Aufgabenstellung 2. Syntax- und Typanalyse 2.1 Lexikalische Syntaxanalyse 2.2 Kontextfreie Syntaxanalyse 2.3 Kontextabhängige Syntaxanalyse (oft semantische Analyse genannt) 3. Übersetzung in die Zielsprache 3.1 Übersetzung imperativer Sprachkonstrukte 3.2 Übersetzung objektorientierter Sprachkonstrukte 3.3 Übersetzung am Beispiel Java 4. Ausgewählte Aspekte der Übersetzung 4.1 Zwischensprachen 4.2 Optimierung 4.3 Befehlsauswahl 4.4 Registerzuweisung 4.5 Codegenerierung 5. Garbage Collection 6. Zusammenfassung und Ausblick 27

28 Lernziele: Grundlagen der Implementierung von Programmiersprachen, insbesondere des Übersetzerbaus Vertiefung in Programmiersprachen Genauere Kenntnis über die Ausführung von Programmen Erlernen ausgereifter, vielseitig einsetzbarer Methoden und Werkzeuge Kennenlernen des Zusammenwirkens von Theorie, Algorithmen, Ingenieurmethoden am Beispiel eines gereiften Gebiets der Informatik Übertragung in andere Gebiete Lesen Sie zu Kapitel 1: Wilhelm, Maurer: Kap. 1, Einleitung (S. 1-5) Kap. 6, Struktur von Übersetzern (S ) Appel: Chap. 1, Introduction (S. 3 14) 28