Inhalte der Vorlesung. 4. Der Scanner-Generator lex. 4. Der Scanner-Generator lex. 4.1 lex: Grundlagen

Transkript

1 Inhalte der Vorlesung 4. Der Scanner-Generator lex 1.Einführung 2.Lexikalische Analyse 3.Der Textstrom-Editor sed 4.Der Scanner-Generator lex (2 Termine) 5.Syntaxanalyse und der Parser-Generator yacc (3 T.) 6.Syntaxgesteuerte Übersetzung 7.Kontextanalyse 8.Transformation und Code-Erzeugung (?) 9.Übersetzungssteuerung mit make Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 2 4. Der Scanner-Generator lex 4.1 Grundlagen 4.2 Fortgeschrittenes 4.1 lex: Grundlagen Einführung Aufbau einer lex-datei Einfacher Aufruf von flex Basiskonstrukte Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Der Match-Algorithmus Kommunikation mit einem Parser Übung: Konversion römischer Zahlen Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 3 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 4

2 4.2 lex: Fortgeschrittenes Wiederholung und Festigung Scanner-Zustände, Grundlagen Umlenken der Ein- und Ausgabe Reguläre Ausdrücke, Fortgeschrittenes Scanner-Zustände, Fortgeschrittenes Mehrere Lexer in einem Programm Aufruf und Datei-Optionen von flex flex und andere Lexer Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 5 Lexikalische Analyse position := initial + rate * 60 position := initial + rate * 60 Bezeichner := (Zuweisungssymbol) Bezeichner + Bezeichner * (Addit.- Symbol) (Mult.- Symbol) Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 6 Zahl position initial rate 60 Gruppierung der Eingabezeichen in Lexeme Leerzeichen werden entfernt Zuordnung Lexem Symbol Symbole (Token): Bezeichner, :=, +, *, Zahl,... Symbol hat z.t. Wert als Attribut Varianten von lex lex von AT&T (das Original) diverse kommerzielle Versionen POSIX-Standard für lex flex des Gnu-Projekts fast vollständig POSIX-kompatibel Obermenge von lex/at&t für viele Plattformen 4.1 lex: Grundlagen Einführung Aufbau einer lex-datei Einfacher Aufruf von flex Basiskonstrukte Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Der Match-Algorithmus Kommunikation mit einem Parser Übung: Konversion römischer Zahlen Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 7 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 8

3 Aufbau einer lex-datei Definitionen Regeln Unterprogramme optional Einsetzen des Benutzernamens Eingabe soll zur Ausgabe kopiert werden aber: <username> aktueller Benutzername Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 9 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 10 Einsetzen des Benutzernamens: Lösung username.l: %{ #include <stdio.h> #include <stdlib.h> % %option main "<username>" printf("%s", getenv("user")); Einfacher Aufruf von flex flex username.l Default-Ausgabedatei: lex.yy.c Option -t : Ausgabe nach StdOut Tipp: make <progname> ohne Makefile erzeugt Executable Regel: vorne Muster, hinten Aktion Default-Regel: druckt aktuelles Zeichen Definitionen: C-Definitionen in %{,% lex-option hinter %option Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 11 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 12

4 wie in C: Kommentare im Regelteil /* bla bla bla bla */ aber: muß eingerückt sein! lex-regeln: niemals eingerückt Aktion muß auf gleicher Zeile beginnen im Definitions- und Unterprogrammteil nicht nötig 4.1 lex: Grundlagen Einführung Aufbau einer lex-datei Einfacher Aufruf von flex Basiskonstrukte Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Der Match-Algorithmus Kommunikation mit einem Parser Übung: Konversion römischer Zahlen Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 13 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 14 Reguläre Ausdrücke von lex wichtigste Unterschiede zu sed/grep: while : Literale können/sollten in stehen \n Newline: (fast) normales Zeichen [^abc] paßt auch auf Newline ggf. Abhilfe: [^abc\n]. (Punkt) paßt nicht auf Newline kein Backslash vor +,?, {,, (, ) kein \<, \> kein \1, \2,... Aufbau einer Aktion Stück C-Code 1. einzelne C-Anweisung (mit Semikolon) 2. C-Block (in geschweiften Klammern) dann auch über mehrere Zeilen Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 15 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 16

5 Die main()-funktion generiert Beispiel oben %option main im Definitionsteil eigene im Unterprogrammteil wcount.l Wort-Zählprogramm %{ #include <stdio.h> int num_lines = 0, num_chars = 0; % %option noyywrap "\n" { num_lines++; num_chars++;. { num_chars++; int main() { yylex(); printf("%d Zeilen, %d Buchstaben\n", num_lines, num_chars); Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 17 make wcount./wcount < wcount.l zum Vergleich: wc < wcount.l Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen lex: Grundlagen Scanner für eine Pascal-artige Sprache Einführung Aufbau einer lex-datei Einfacher Aufruf von flex Basiskonstrukte Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Der Match-Algorithmus Kommunikation mit einem Parser Übung: Konversion römischer Zahlen liest Pascal-artiges Programm druckt, was es an Token findet bearbeitet: Strings Zahlen meldet lexikalische Fehler Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 19 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 20

6 Scanner für eine Pascal-artige Sprache: Eingabedatei pcount.txt: procedure foo function bar begin bar = end begin tmp = bar end { Beginn des Hauptprogramms: begin foo; zahl = end Scanner für eine Pascal-artige Sprache: Lösung pcount.l: %{ #include <math.h> #include <stdio.h> % %option main %option noyywrap DIGIT [0-9] ID [a-za-z][a-za-z0-9_]* {DIGIT+ { printf("eine Ganz-Zahl: '%s' (%d)\n", yytext, atoi(yytext)); {DIGIT+"."{DIGIT* { printf("eine Fliesskomma-Zahl: '%s' (%g)\n", yytext, atof(yytext)); "if" "then" "begin" "end" "procedure" "function" "=" ";" { printf("ein Schluesselwort: '%s'\n", yytext); {ID { printf("ein Bezeichner: '%s'\n", yytext); "+" "-" "*" "/" { printf("ein Operator: '%s'\n", yytext); "{"[^\n]*"" /* ueberspringe einzeilige Kommentare */ [ \t\n]+ /* ueberspringe White-Space */. { printf("unbekanntes Zeichen: '%s'\n", yytext); Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 21 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 22 Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Abkürzungen für reguläre Ausdrücke im Definitionsteil definieren Benutzung: in geschweiften Klammern mehrere Ausdrücke für eine Aktion anstelle einer Aktion Variable yytext aktuelles Token Makro ECHO druckt yytext Eingaben: Fließkommazahl nnnn.nnnn oder nnnn +, -, *, /, C ein Akkumulator Eingabe in Infix, ohne Prioritäten Operator: merken Zahl: Akku Op Zahl Akku Operator C bei Ausführung: Zahl Akku Ausgabe: neuer Akku Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 23 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 24

7 4.1 lex: Grundlagen Einführung Aufbau einer lex-datei Einfacher Aufruf von flex Basiskonstrukte Weitere nützliche Konstrukte Übung: Einfacher Taschenrechner Der Match-Algorithmus Kommunikation mit einem Parser Übung: Konversion römischer Zahlen Der Match-Algorithmus 1. Suche Muster, das auf Präfix der Eingabe paßt mehrere passen: 1) längstes Muster (longest match) 2) erstes Muster (first match) 2. setze yytext auf Text, yyleng auf Länge 3. führe Aktion aus 4. gehe zu 1. Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 25 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 26 Der Match-Algorithmus (2) kein Muster paßt: Default-Regel ein Zeichen paßt das Zeichen wird gedruckt einfachstes flex-programm: %option main Einfachstes flex-programm make trivial./trivial < pcount.txt Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 27 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 28

8 Kommunikation mit einem Parser Unterbrechung der Scan-Schleife: return n; Nummer des Symbols in n weitere Informationen in globalen Variablen (yytext,...) Fortsetzung der Scan-Schleife: yylex(); Symbolnummern in gemeinsamer Header-Datei Kommunikation mit einem Parser: Lösung Pascal -Scanner Pascal -Übersetzergerüst Scanner und Parser(-Gerüst) Parser akzeptiert jede Folge von Token pcomp-scan.l pcomp-parse.c pcomp.tab.h make -f pcomp.mk Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 29 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 30 Kommunikation mit einem Parser: Lösung (2) pcomp-scan.l: %{ #include <math.h> #include <stdio.h> #include "pcomp.tab.h" int yylval_i; double yylval_d; char *yylval_s; % %option noyywrap DIGIT [0-9] ID [a-za-z][a-za-z0-9_]* {DIGIT+ { yylval_i = atoi(yytext); return TOK_INT; {DIGIT+"."{DIGIT* { yylval_d = atof(yytext); return TOK_DOUBLE; "if" return TOK_IF; "then" return TOK_THEN; "begin" return TOK_BEGIN; "end" return TOK_END; "procedure" return TOK_PROCEDURE; "function" return TOK_FUNCTION; "=" return TOK_EQUAL; ";" return TOK_SEMICOLON; {ID { yylval_s = yytext; return TOK_ID; "+" return TOK_PLUS; "-" return TOK_MINUS; "*" return TOK_TIMES; "/" return TOK_DIV; "{"[^\n]*"" /* ueberspringe einzeilige Kommentare */ [ \t\n]+ /* ueberspringe White-Space */. { printf("unbekanntes Zeichen: '%s'\n", yytext); Kommunikation mit einem Parser: Lösung (3) pcomp-parse.c: #include <stdio.h> #include "pcomp.tab.h" extern int yylval_i; extern double yylval_d; extern char *yylval_s; int main() { int tok; /* Dieser (ziemlich sinnlose) Parser akzeptiert *jede* Folge von Token. */ while (tok=yylex()) { switch (tok) { case TOK_INT: printf("eine Ganz-Zahl: %d\n", yylval_i); break; case TOK_DOUBLE: printf("eine Fliesskomma-Zahl: %g\n", yylval_d); break; case TOK_IF: case TOK_THEN: case TOK_BEGIN: case TOK_END: case TOK_PROCEDURE: case TOK_FUNCTION: case TOK_EQUAL: case TOK_SEMICOLON: printf("ein Schluesselwort.\n"); break; case TOK_ID: printf("ein Bezeichner: '%s'\n", yylval_s); break; case TOK_PLUS: case TOK_MINUS: case TOK_TIMES: case TOK_DIV: printf("ein Operator.\n"); break; default: printf("interner Fehler: Unbekanntes Token %d!\n", tok); exit(1); return 0; Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 31 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 32

9 Kommunikation mit einem Parser: Lösung (4) pcomp.tab.h: #define TOK_INT 1 #define TOK_DOUBLE 2 #define TOK_IF 3 #define TOK_THEN 4 #define TOK_BEGIN 5 #define TOK_END 6 #define TOK_PROCEDURE 7 #define TOK_FUNCTION 8 #define TOK_EQUAL 9 #define TOK_SEMICOLON 10 #define TOK_ID 11 #define TOK_PLUS 12 #define TOK_MINUS 13 #define TOK_TIMES 14 #define TOK_DIV 15 Übung: Konversion römischer Zahlen römische Zahlen arabische Zahlen andere Zeichen unverändert römische Zahlen: I, II, III 1, 2, 3 IV 4, V 5 IX 9, X 10, XX 20, XXX 30 XL 40, L 50 XC 90, C 100, CC 200, CCC 300 CD 400, D 500 CM 900, M 1000, MM 2000,... Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 33 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 34 Übung: Konversion römischer Zahlen (2) Übung: Konversion römischer Zahlen (3) Annahmen: nur Großbuchstaben sind römische Zahlen anderer Text nur in Kleinbuchstaben alle römischen Ziffern sind korrekt angeordnet Vorgehen: addiere römische Ziffern zu Akku anderes Zeichen: drucke (ggf.) Akku, 0 Akku CCC soll als ein Lexem erkannt werden, Wert ist yyleng * 100 analog III, XXX und MMMMM Zusatzaufgabe: alle illegalen Folgen von römischen Ziffern sollen zu einer Fehlermeldung führen Ziffern in absteigender Reihenfolge sortiert nie mehr als 3 gleiche Ziffern hintereinander, außer M Hinweise: Fehlerbehandlungsregeln nach normalen Regeln: first match macht das Leben einfacher nach X, XX, XXX oder XL darf keine Ziffer folgen, die den Wert von X oder höher hat nach L darf keine Ziffer folgen, die den Wert von L oder höher hat, und auch nicht XL oder XC Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 35 Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 36

10 4. Der Scanner-Generator lex 4.1 Grundlagen 4.2 Fortgeschrittenes Übersetzergenerierung der Scanner-Generator lex Jan Bredereke, Universität Bremen 37