Inhalte der Vorlesung. 2. Lexikalische Analyse. 2. Lexikalische Analyse. Lexikalische Analyse

Transkript

1 Inhalte de Volesung. Lexikalische Analyse 1.Einfühung.Lexikalische Analyse 3.De Textstom-Edito sed 4.De Scanne-Geneato lex 5.Syntaxanalyse und de Pase-Geneato yacc 6.Syntaxgesteuete Übesetzung 7.Übesetzungssteueung mit make Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen. Lexikalische Analyse.1 Einleitung. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Lexikalische Analyse position := initial + ate * 60 position := initial + ate * 60 Bezeichne := (Zuweisungssymbol) Bezeichne + Bezeichne * Zahl (Addit.- Symbol) (Mult.- Symbol) position initial ate 60 Guppieung de Eingabezeichen in Lexeme Leezeichen weden entfent Zuodnung Lexem Symbol Symbole (Token): Bezeichne, :=, +, *, Zahl,... Symbol hat z.t. Wet als Attibut Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 3 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 4

2 Stuktu de lexikalischen Analyse Die Begiffe Symbol, Lexem, Muste 1.Ekennung Guppieung in Lexeme.Tansfomation effiziente Codieung als Zahlen insbesondee de Bezeichne Begiff Symbol Lexem Muste Beispiele Bezeichne position, initial, ate ein Buchstabe, gefolgt von Buchstaben und Ziffen ist Gundstuktu viele Phasen Analyse Synthese Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 5 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 6 Lexikalische vs. syntaktische Analyse lexikalische und syntaktische Stuktu könnten zusammen beschieben weden Tennung abe sinnvoll die Phasen weden einfache Beispiel: Leeaumbehandlung nu im Lexe Spachdefinition wid übesichtliche effiziente Einkapselung mögliche Ändeungen.1 Einleitung. Lexikalische Analyse. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Eingabealphabet Beispiel: ASCII vs. Unicode Beispiel: Spache Z mit LaTeX- und -Makup Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 7 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 8

3 Definition eguläe Ausdücke übe einem Alphabet Σ 1. ist eguläe Ausduck.sei a Σ, dann: a ist eguläe Ausduck 3.seien, s eguläe Ausdücke, dann: a) () (s) ist eguläe Ausduck b) ()(s) ist eguläe Ausduck c) ()* ist eguläe Ausduck d) () ist eguläe Ausduck Vemeidung von Klammen Konventionen: *: höchste Pioität, links-assoziativ Konkatenation: zweithöchste Pioität, links-assoziativ : niedigste Pioität, links-assoziativ Beispiele: (a) ((b)*(c)) ist äquivalent zu a b*c ((a)(b))(c) ist äquivalent zu abc ((a)*)* ist äquivalent zu a** Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 9 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 10 Bezeichnete eguläe Spachen Beispiele fü eguläe Ausdücke und die bezeichneten Spachen seien, a,, s obige eguläe Ausdücke, dann: 1. bezeichnet {}.a bezeichnet {a} 3.bezeichnen, s die Spachen L(), L(s), dann: a) () (s) bezeichnet L() L(s) b) ()(s) bezeichnet L()L(s) c) ()* bezeichnet (L())* d) () bezeichnet L() leees Wot Einzelzeichen Altenative Konkatenation optionale Wiedeholung zusätzliche Klammeung L(a b) = {a, b} L((a b)(a b)) = {aa, ab, ba, bb} L(a*) = {, a, aa, aaa,...} Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 11 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 1

4 Reguläe Definitionen Namen fü häufig benötigte Ausdücke d 1 1 d... Beispiele: buchstabe A B... Z a b... z ziffe echte Seite: eguläe Ausduck ode vohe definiete Name Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 13 Abküzungen () +: ein- ode mehmaliges Aufteten gleiche Pioität und Assoziativität wie ()* Definiet duch: * = + und + = * ()?: null- ode einmaliges Aufteten gleiche Pioität und Assoziativität wie ()* Definiet duch:? = [abc]: Zeichenklassen a, b, c,...: beliebig viele Symbole des Alphabets Definiet duch: [abc] = a b c weitee Abküzung: [a-z] = a b... z Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 14 Beispiele fü Abküzungen. Lexikalische Analyse L((hallo) +) = {hallo, hallohallo, hallohallohallo,...} L(hunde?) = {hund, hunde} die Menge alle Bezeichne in C: [A-Za-z_][A-Za-z0-9_]*.1 Einleitung. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 15 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 16

5 Definition: Endliche Automat A = (S, Σ, move, s0, F) mit endliche Zustandsmenge S (endliches) Eingabealphabet Σ Tansitionselation move (S x Σ x S) ein Statzustand s 0 S Menge von akzeptieenden Zuständen F S Äquivalenz eguläe Ausdücke und endliche Automaten die Spache jedes eguläen Ausducks kann von einem endlichen Automaten ekannt weden auch Umkehung gilt: die Spache eines endlichen Automaten kann mit einem eguläen Ausduck beschieben weden Automat: im allgemeinen nicht deteministisch jede nichtdeteministische endliche Automat kann in einen deteministischen übesetzt weden Folgeung: fü jeden eguläen Ausduck kann automatisch ein effiziente ekennende Automat ezeugt weden Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 17 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 18 Ekennen eine Spache mit einem endlichen Automaten Wot ist in Spache genau dann, wenn: es gibt einen Pfad im Automaten vom Anfangszustand zu einem Endzustand, an dessen Kanten die Zeichen des Wotes stehen Beispiel: Ekennen eine Spache mit einem endlichen Automaten endliche Automat: 1 a b 3 a 3 c 4 d 5 akzeptiete Spache: {ab, acd} Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 19 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 0

6 Umwandlung eguläe Ausdücke in endliche Automaten 1.scheibe gesamten eguläen Ausduck an die einzige Kante des folgenden Automaten: 1.falls eine Kante mit meh als einem einzelnen Zeichen beschiftet ist, fühe dot eine Gaphesetzung (s.u.) mit dem äußesten eguläen Opeato aus 3.falls keine solche Kante da, teminiee, sonst gehe zu. Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 1 Gaphesetzungen s 1 s 1 * 1 ( ) 1? 1 1 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen s s 4 4 Beispiel eine Umwandlung (ab)* c 1 Poblem: Implementieung eines nichtdet. endl. Automaten 1 (ab)* c von jedem Zustand ggf. viele Wege möglich Lösungsidee: Menge von möglichen Zuständen statt nu ein Zustand 1 3 ab c 4 aufpassen bei -Kanten! Details im Dachenbuch 1 3 a 5 b 4 c Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 3 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 4

7 Umwandlung nichtdeteministische in deteministische Automaten nichtdet. Automaten: Zeitbedaf: O( e x ) Platzbedaf: O( ) det. Automaten: Zeitbedaf: O( e ) (plus Zeit zum Umwandeln, nu 1x) Platzbedaf: O( ) Idee: Potenzmengenkonstuktion NEA DEA gleiches Alphabet Menge von mögl. NEA-Zuständen 1 DEA-Zustand geeignete DEA-Tansitionen : Länge d. eguläen Ausducks e : Länge de Eingabe -Hülle(s) Opeationen fü die Potenzmengenkonstuktion Menge de NEA-Zustände, die von s aus allein übe -Kanten eeichba sind -Hülle(T) Menge de NEA-Zustände, die von einem s T aus allein übe -Kanten eeichba sind move(t,a) s: NEA-Zustand T: Menge von NEA-Zuständen a: Eingabezeichen Menge de NEA-Zustände, die von einem s T aus übe eine a-kante eeichba sind Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 5 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 6 Konstuktion eines DEA aus einem NEA 1.ezeuge den Statzustand des DEA und benenne ihn mit T 0, T 0 = -Hülle(s 0 ).nimm einen unmakieten Zustand T des DEA 3.makiee T 4.Fü alle Eingabezeichen a: 4.1 U := -Hülle(move(T,a)) 4. falls nötig, ezeuge den DEA-Zustand U 4.3 ezeuge eine Tansition von T mit a nach U 5.Wenn es unmakiete Zustände gibt, gehe zu., sonst teminiee Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 7 Akzeptieende Zustände des DEA ein Zustand T des DEA ist akzeptieend, falls mindestens eine de NEA-Zustände s T akzeptieend ist Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 8

8 NEA: Beispiel eine DEA-Konstuktion 1 3 a 5 b 4 c Implementieung eines deteministischen endl. Automaten Pogammcode, Standad-Muste tabellengesteuet esultieende DEA (in 5 Schitten konstuieen): {1,,3} a c 5 a b {,3,4} Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 9 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 30 Implementieung duch Pogammcode state=s0; tem=0; while ((state!=fail)&&!tem) { switch (state) { case S0: switch (nextcha()) { case 'a': state=s7; beak; /*... */ default: state=fail; beak; } case S1: switch (nextcha()) { case 'a': state=s9; beak; /*... */ case EOF: tem=1; beak; default: state=fail; beak; } /*... */ } } if (tem)... akzeptiet else... akzeptiet nicht Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 31 Implementieung, tabellengesteuet state=s0; while ((state!=fail)) { if ((c=nextcha())==eof) beak; state=tanstab[state][c]; } if ((state!=fail)&&(accepttab[state]))... akzeptiet else... akzeptiet nicht Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 3

9 Anpassung fü Lexemekennung Mehdeutigkeiten Temination nicht am Eingabeende, sonden sobald ein Lexem ekannt neue Aufuf fü nächstes Lexem Pobleme: : und = ode :=? / und * ode /*? Lösung: längstes Päfix (longest match) Temination est, wenn nächstes Zeichen nigends meh paßt Bedingung: in de Syntax düfen z.b. : und = nicht aufeinande folgen Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 33 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 34 Mehdeutigkeiten () Ekennung de Schlüsselwote Poblem: und Zahl: [0-9] + (.[0-9] + (E(+ -)?[0-9] + )?)? wegen longest match wid 1 in nicht ekannt am akzeptieenden Zustand vobeigelaufen Lösung: Voschau (lookahead) bei Temination ücksetzen auf letzten akzeptieenden Zustand ab da gelesene Zeichen müssen zuückgelegt weden 1.fü jedes Schlüsselwot ein eguläe Ausduck.Schlüsselwote als Bezeichne ekannt, späte aussotiet seh sinnvoll: eseviete Schlüsselwote Bezeichne Schlüsselwote Negativbeispiel PL/I: IF THEN THEN THEN = ELSE; ELSE ELSE = THEN; oben: max. 1 Zeichen Fotan: viele Zeichen Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 35 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 36

10 . Lexikalische Analyse.1 Einleitung. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Fehlebehandlung nu wenige Fehle lexikalisch ekennba Beispiel: echte Begenze fehlt Sting, Kommenta,... mögliche Recovey-Stategien: jeweils ein Zeichen wid übelesen Beispiel: panische Fotsetzung bis wiede gültiges Zeichen einfachste Stategie eingefügt fehlendes Zeichen ausgetauscht Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 37 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 38. Lexikalische Analyse.1 Einleitung. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Tansfomation von Lexemen (Sieben, Sceening) Tansfomationsegeln Layout, Kommenta: untedücken Pagmat: untedücken + Zustand des Übesetzes änden Beispiel: #include file.h Tennsymbol, Opeato: als Symbol kodieen Beispiele: ; und + Liteal: als Symbol kodieen + in intenen Wet umechnen Bezeichne: als Symbol kodieen + eindeutig veschlüsseln Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 39 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 40

11 .1 Einleitung. Lexikalische Analyse. Bescheiben von Lexemen: eguläe Ausdücke.3 Ekennen von Lexemen: endliche Automaten.4 Fehlebehandlung.5 Tansfomation von Lexemen.6 Symboltabellenvewaltung Symboltabellenvewaltung sammelt und speichet die Attibute de Bezeichne Typ Gültigkeitsbeeich N. Name Typ... 1 position eal... initial eal... 3 ate eal bei Pozedunamen: Anzahl & Typen de Agumente,... Details zum Speichebeeich (bei Codeezeugung)... Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 41 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 4 Anfodeungen an die Symboltabellenvewaltung effizientes Einfügen von Bezeichnen in Tabelle effizientes Suchen von Bezeichnen in Tabelle effizientes Vegleichen von Bezeichnen effizientes Setzen von Attibuten fü Bezeichne effizientes Lesen von Attibuten fü Bezeichne Einfügen und Suchen von Bezeichnen Bezeichne weden als Zahl veschlüsselt effiziente Gleichheitstest Abbildungen als Felde implementieba effizient Vefahen: Steuspeiche (Hashing) Tabelleneintäge willkülich, abe deteministisch und möglichst gleichmäßig in Eime veteilen Standadvefahen siehe Standad-C-Libay: hceate(), hseach() siehe Volesung Paktische Infomatik siehe Dachenbuch, Kap 7.6 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 43 Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 44

12 1.Einfühung.Lexikalische Analyse Inhalte de Volesung 3.De Textstom-Edito sed 4.De Scanne-Geneato lex 5.Syntaxanalyse und de Pase-Geneato yacc 6.Syntaxgesteuete Übesetzung 7.Übesetzungssteueung mit make Übesetzegeneieung Lexikalische Analyse Jan Bedeeke, Univesität Bemen 45