30. Parser-Generatoren

Transkript

1 30. Parser-Generatoren Prof. Dr. rer. nat. Uwe Aßmann Institut für Software- und Multimediatechnik Lehrstuhl Softwaretechnologie Fakultät für Informatik TU Dresden Version , ) Grundlagen 2) Beispiel Taschenrechner SEW, Prof. Uwe Aßmann 1

2 Literatur Obligatorisch: Zusätzlich: Cocktail die Compiler-Toolbox für die schnellsten Compiler der Welt (kommerziell, Demoversionen erhältlich) Prof. U. Aßmann, SEW 2

3 Phasen eines Compilers typische Werkzeuge Scanner lex, fl ex Front- Parser antlr yacc, bison End AG-Werkzeug ELI, MAX, MUG, JastAdd, Silver Back-End (Codegenerator) Optimierergener. (Ziel- PAG, Optimix, sprachen- abhängig) Codegeneratorgenert. grgen BEG, cggg Quelldiagramm lexikalische Analyse syntaktische Analyse semantische Analyse Zwischencode Codeoptimierung Codegenerierung der kleinsten syntakt. Einheiten des Quelldiagramms (reguläre Ausdrücke) der Modellsyntax (kontextfreie Grammatiken) Prüfg. auf semantische Fehler (attributierte Grammatiken) interne Darstellg. im aktuellen Zustand (Bäume, Listen, Tabellen) Codeverbesserung (Effi zienz, Laufzeit, Speicher) Endgültige Zuordnung des Codes der Zielsprache Zielprogramm Prof. U. Aßmann, SEW 3

4 Problem Wie Wie arbeite arbeite ich ich flexibel flexibel mit mit mehreren mehreren Programmiersprachen Programmiersprachen oder oder DSL? DSL? Prof. U. Aßmann, SEW 4

5 Antwort Technikraum Grammarware In In dem dem ich ich aus aus Grammatiken Grammatiken Parser Parser (Zerteiler) (Zerteiler) generiere generiere und und zusätzlich zusätzlich Prettyprinter Prettyprinter Prof. U. Aßmann, SEW 5

6 Beispiel EMFText Nutzt Parser-Generator ANTLR zur Generierung von Parsern Parser und Metamodell werden aufeinander abgebildet (mapping), um konkrete auf abstrakte Syntax abzubilden Nutzt schablonengesteuerte Codegenerierung zur Erzeugung von Text und Programmen (siehe später). Prof. U. Aßmann, SEW 6

7 Beispiel EMFText Nutzt Parser-Generator ANTLR zur Generierung von Parsern Parser und Metamodell werden aufeinander abgebildet (mapping), um konkrete auf abstrakte Syntax abzubilden Nutzt schablonengesteuerte Codegenerierung zur Erzeugung von Text und Programmen (siehe später). Prof. U. Aßmann, SEW 7

8 ANTLR In den 90ger Jahren gab es für C viele Parsergeneratoren Cocktail's lalr, ell, lark fnc2 flex und bison (gnu) Für Java ist ANTLR populär geworden LL(k) Generierter Parser mit Algorithmus rekursiver Abstieg Etwas gefärbte Seite mit Geschichte Prof. U. Aßmann, SEW 8

9 Prof. U. Aßmann, SEW 9

10 Prof. U. Aßmann, SEW 10

11 Prof. U. Aßmann, SEW 11

12 Prof. U. Aßmann, SEW 12

13 Prof. U. Aßmann, SEW 13

14 30.2 Ein Taschenrechner SEW, Prof. Uwe Aßmann 14

15 grammar { package test; import java.util.hashmap; {package { /** Map variable name to Integer object holding value */ HashMap memory = new HashMap(); } prog: stat+ ; stat: expr NEWLINE {System.out.println($expr.value);} ID '=' expr NEWLINE {memory.put($id.text, new Integer($expr.value));} NEWLINE ; expr returns [int value] : e=multexpr {$value = $e.value;} ( '+' e=multexpr {$value += $e.value;} '-' e=multexpr {$value -= $e.value;} )* ; multexpr returns [int value] : e=atom {$value = $e.value;} ('*' e=atom {$value *= $e.value;})* ; atom returns [int value] : INT {$value = Integer.parseInt($INT.text);} ID { Integer v = (Integer)memory.get($ID.text); if ( v!=null ) $value = v.intvalue(); else System.err.println("undefined variable "+$ID.text); } '(' e=expr ')' {$value = $e.value;} ; ID : ('a'..'z' 'A'..'Z')+ ; INT : '0'..'9'+ ; NEWLINE:'\r'? '\n' ; WS : (' ' '\t')+ {skip();} ; Prof. U. Aßmann, SEW 15

16 Ansteuerung import org.antlr.runtime.*; public class Test { public static void main(string[] args) throws Exception { ANTLRInputStream input = new ANTLRInputStream(System.in); ExprLexer lexer = new ExprLexer(input); CommonTokenStream tokens = new CommonTokenStream(lexer); ExprParser parser = new ExprParser(tokens); parser.prog(); } } Prof. U. Aßmann, SEW 16

17 Prof. U. Aßmann, SEW 17

18 Prof. U. Aßmann, SEW 18

19 Prof. U. Aßmann, SEW 19

20 Was haben wir gelernt? Parsergeneratoren gehören heute zum Werkzeugsatz jeden Softwareingenieurs Neben Cocktail gibt es freie Initiativen, z.b. ANTLR Prof. U. Aßmann, SEW 20

21 The End Prof. U. Aßmann, SEW 21