Fachseminar WS 2008/09

Transkript

1 Fachseminar WS 2008/09 Fachgebiet: Compilerbau Thema: Lexikalische Analyse (Scanner) Referent: Ali Sediq Betreuer: Prof. Dr. Helmut Weber 1

2 Inhaltsverzeichnis Lexikalische Analyse 1.0 Grundprobleme der lexikalischen Analyse 1.1 Lexikalische Analyse und Syntaxanalyse im Vergleich 1.2 Aufgabe des Scanners 1.3 Begriffe: Token, Lexem, Muster 1.4 Attribute für Token 1.5 Symboltabelle 1.6 Vorausschauende Analyse von Eingabezeichen (Look-Ahead) 1.7 Fehlerbehandlung der lexikalischen Analyse 1.8 Generierung von Scannern (Übergangsdiagramm, Automaten) 1.9 Implementierungsbeispiel anhand eine Übergangsdiagramm 2.0 Lexikalische Analyse von PL/0 als Beispiel 2

3 Grundproblem der lex. Analyse Grundproblem: Wie fassen wir einzelne Zeichen zu Eingabesymbolen zusammen? - Lexikalische Analyse ist ein klassischer Anwendungsbereich für die Automatentheorie. - Man könnte einen Automaten (Übergangsdiagramm) für ein bestimmtes Erkennungsproblem entwerfen. - Solch einen Automaten kann man leicht in ein entsprechendes Programm überführen? 3

4 Lexikalische Analyse und Syntaxanalyse im Vergleich Gründe warum die Analyse in die Phasen der lexikalischen u. syntaktischen Analyse unterteilt wird. - Vereinfachung des Entwurfs Die Trennung führt zu einem klareren Sprachentwurf. - Verbesserung der Effizienz des Compilers Ist der Scanner getrennt von den anderen Teilen der Kompilierung, kann er spezifischer und effizienter implementiert werden. Spezielle Puffertechniken zum lesen und verarbeiten von Symbolen können die Laufzeit eines Compilers beträchtlich beschleunigen. - Die Portabilität von Compilern wird verbessert. Besonderheiten des Eingabealphabets und andere spezifische eigenarten können auf den Scanner beschränkt werden 4

5 Aufgabe des Scanners - Die lexikalische Analyse bildet die erste Phase des Compilers. - Die Komponente die für die lexikalische Analyse zuständig ist, wird als Scanner bezeichnet. Hauptaufgabe besteht darin, Eingabezeichen zu lesen und als Ausgabe eine Folge von Symbolen (Token) zu erzeugen, die der Parser dann syntaktisch analysiert. 5

6 Aufgabe des Scanners - Eingabezeichen lesen und als Ausgabe eine Folge von Symbolen (Token) erzeugen, die der Parser syntaktisch analysiert. - entfernt syntaktisch überflüssige Zeichen wie mehrfache Zwischenräume (Leerzeichen), Tabulatorsprünge, Zeilenumbrüche, etc. - weist unzulässige Zeichen im Quellprogramm als Fehler zurück. -Symboltabelle während der lexikalischen Analyse aufbauen. 6

7 Token, Lexem, Muster Drei zusammengehörige aber unterschiedliche Begriffe. - Token: Ein Token ist ein paar aus einem Namen und einem optionalen Attributwert. Ein Token kann ein IDENTIFIER (pi,x5,zahl,..), KEYWORD (if, do,..), OPERATOR (+,-,=,...), NUMBER (101) etc. sein. Die Namen der Token sind die Eingabesymbole die der Parser bearbeitet. - Lexem: Ein Lexem ist eine Zeichenfolge im Quellprogramm. z.b. printf und score sind Lexeme für das Token IDENTIFIER. - Muster: Ist eine Regel zur Erzeugung von Lexemen, die ein bestimmtes Token der Quellsprache repräsentieren können. z.b. das Lexem (101) hätte den Token NUMBER und das dazugehörige Muster [0-9]+. 7

8 Token, Muster, Lexem In Zahlreichen Programmiersprachen deckt die folgende Tabelle die meisten Token ab. Muster Lexem ident assign ident op ident op num punct 8

9 Attribute für Token Problemdarstellung: Können mehrer Lexeme mit einem Muster übereinstimmen, muss der Scanner nachfolgenden Compilierphasen zusätzliche Informationen über das Lexem liefern. Bsp.: Das Muster [0-9]+ für das Token NUMBER passt sowohl auf 0 als auch auf 1. In dem Fall ist für den Codegenerator sehr wichtig, ob das Lexem 0 oder 1 gemeint ist. Deshalb wird an den Parser nicht nur der Tokenname sondern auch sein Attributwert übergeben. Bemerkung: Der Name des Tokens beeinflusst Entscheidungen während der Syntaxanalyse (Parser). Der Attributwert dagegen die Übersetzung von Tokens nach. 9

10 Attribute für Token Das wichtigste Beispiel ist das Token id (IDENTIFIER) mit dem einige Informationen (Attribute) verbunden sind. Der Token IDENTIFIER hat als Attribut: sein Lexem, sein Typ und die Stelle an der er zum ersten mal vorkommt. Attribute werden in der Symboltabelle festgehalten. Daher ist der Attributwert für einen IDENTIFIER ein Zeiger auf den betreffenden Symboltabelleneintrag. Bemerkung: OPERATOREN, SATZZEICHEN, SCHLÜSSELWÖRTER benötigen keine Attributwerte. 10

11 Symboltabelle Die Symboltabelle wird während der lexikalischen Analyse aufgebaut. Die Einträge in die Symboltabelle werden vom Scanner vorgenommen, aber die konkreten Attributwerte können erst während der semantischen Analyse bestimmt werden. Sprache-Pascal 11

12 Vorausschauende Analyse von Eingabezeichen (Look- Ahead) - Problem: Wann endet die Zeichenkette eines Lexem? Der Scanner kann nicht aufgrund einzelner Zeichen entscheiden, ob gerade ein Token eines Schlüsselwortes, Bezeichner, Konstante, etc. betrachtet wird. Er muss max. bis zum nächsten Trennzeichen (Zeilenumbruch, Leerzeichen) alle Zeichen sammeln und testen, ob dies mit meinem vorgegebenen Muster genügen. 12

13 Vorausschauende Analyse von Eingabezeichen (Look-Ahead) - Für die Analyse des Eingabestroms sind zwei Zeiger notwendig. - Der eine Zeige (aktuelle Zeiger) zeigt auf das zu analysierende Zeichen und der zweite Zeiger (Vorwärtszeiger) ist zu Beginn auch an der selben Stelle. - Er wandert aber zeichenweise den Eingabestrom entlang bis für das Lexem, das zwischen beide Zeiger steht, eine Übereinstimmung mit einem Muster festgestellt werden kann (bzw.wandert bis zum nächsten Leerzeichen.) - Das Token wird dann an den Parser weitergegeben - Nachdem dieser es verarbeitet hat, wird der akt. Zeiger auf den Vorwärtszeiger gesetzt. aktueller Zeiger vorwärts Zeiger 13

14 Fehlerbehandlung der lex. Analyse Da ein Scanner nur eine sehr beschränkte Sicht in einem Quellprogramm hat kann er nur wenige Fehler erkennen. Bsp.: fi (a == f (x)) Für denn Scanner ist nicht klar ob das Schlüsselwort if, oder fi ein Nichtdeklarierter Funktionsbezeichner gemeint ist. Resultat: Da fi ein gültiges Lexem für das Token id (Bezeichner) ist, wird das Token id an den Parser zurückgegeben. Fehler werden dann anderen Phasen des Compilers überlassen. 14

15 Generierung von Scannern (Allg.) 1. von Hand - Entwurf eines Diagramms, das die Struktur der Symbole der Quellsprache beschreibt. - Übersetzung des Diagramms von Hand in ein Programm, das Symbole erkennt. So kann man effiziente Scanner erstellen. 2. durch Software Werkzeuge - Bsp.: LEX, FLEX (verfügbar unter UNIX, DOS, NT, OS/2, VMS für Sprachen wie C, C++,ALEX (in Modula-2 geschrieben, auch für MS-DOS erhältlich), COCO u.a.m. 15

16 Generierung von Scanner von Hand - Nehmen wir an, wir wollen die Menge aller gültigen Bezeichner (IDENTIFIER) der Sprache Pascal beschreiben. letter: A... Z a... z Buchstabe digit : Ziffer IDENTIFIER:= letter (letter digit)* regulärer Ausdruck (Muster) - Anhand eines regulären Ausdrucks einen Übergangsdiagramm ableiten. * Besagt das die Eingabe um eine Stelle zurückgesetzt werden muss Wichtig: Bei reservierten Wörter (Schlüsselwörter) zu Beginn in die Symboltabelle installieren o. für jedes Schlüsselwort ein Übergangsdiagramm erstellen. 16

17 Generierung von Scanner von Hand Bsp.: regulärer Ausdruck Übergangsdiagramm für Vergleichsoperatoren relop der Sprache-Pascal. * Besagt das die Eingabe um eine Stelle zurückgesetzt werden muss 17

18 Implementierung eines Übergangsdiagramm für relop IN C++ //Funktionaufruf getrelop(). //anlegen eines neuen Objektes rettoken. und Initialisiert die erste Komponente mit Relop. //switch. um denn nächsten Zustand zu ermitteln. //variable state nimmt die Nummer des aktuellen Zustandes für ein Übergangsdiagramm auf. //mit nextchar() nehme das nächste Zeichen aus der Eingabe und weist es der lokalen Variable c zu. //Prüfung auf die drei Zeichen. //Aufruf von Fail() wenn keines der 3 Zeichen erkannt wurde. //retract() setzt die Eingabe um ein Zeichen zurück. //rettoken.attribute setzt die 2 Komponente (attribut) auf GT. 18

19 Lexikalische Analyse von PL/0 als Beispiel Definition: <Letter> ::= a b... z A B... Z <Digit> ::= Deterministischer Endlicher Automat Muster: <RELATION> ::= < <= = >= > := <Ident> ::= <Letter> { (<Letter> <Digit>) }* <Number> ::= <Digit> {<Digit>}+ = 19

20 Lexikalische Analyse von PL/0 als Beispiel Ein kleines PL\0 Programm wurde Als Ausgabe eine Symbolliste gescannt gespeichert als Tok.datei 20

21 Danke für Ihre Aufmerksamkeit Noch Fragen?? 21