Erzeugung von Übersetzern formaler Sprachen anhand der Grammatik. Jede Grammatik hat zwei Typen von Zeichen

Transkript

1 Grammatiken Erzeugung von Übersetzern formaler Sprachen anhand der Grammatik Terminals / Nonterminals Jede Grammatik hat zwei Typen von Zeichen Terminals (Symbole, Token) die Grundsymbole der Sprache z.b. "Haus", "der", "groß", "." etc. Nonterminals (Metasymbole, Kategorien) die Namen für Symbolgruppen der Sprache z.b. Substantiv, Artikel, Adjektiv, Satzzeichen etc. 2

2 Parsen Die Syntax (Aufbau) eines Ausdrucks in einer formalen Sprache ist durch deren Grammatik festgelegt. Die Semantik (Bedeutung) eines korrekt gebildeten Ausdrucks kann nur daran abgelesen werden, wie der Ausdruck aus den Regeln der Grammatik aufgebaut wurde. Parsen ist die Rekonstruktion des Aufbaus eines Ausdrucks aus der Grammatik. Wenn es dabei mehrere Alternativen gibt, muß der Parser entweder alle Alternativen aufzeigen, oder festgelegte Präferenzen für bestimmte Alternativen haben. 3 4 Sprach-Typen α,β,γ Folgen von Terminals und Nonterminals reguläre Sprachen LinkeSeite ::= Terminal RechteSeite kontextfreie Sprachen LinkeSeite ::= α kontextsensitive Sprachen β LinkeSeite γ ::= βαγ allgemeine Regelsprachen γ ::= α 4

3 reguläre Grammatik Beispiel einer regulären Grammatik für Zahlen Number ::= DNumber 0 b BNumber 0 B BNumber 0 x HNumber 0 X HNumber DNnumber ::= DNumber... 9 DNumber BNumber ::= BNumber 1 BNumber HNumber ::= A... F 0 HNumber... F HNumber Automat x,x 0,..,F 0,..,F Number 0 0,..,9 b,b 0,..,9 0,1 0,1 0,..,9 5 reguläre Ausdrücke Wir schreiben reguläre Grammatiken in Form von regulären Ausdrücken, z.b. <Number : ([ "0"-"9"])+ ("0b" "0B")(["0","1"])+ ("0x" "0X")(["0"-"9","A"-"F"])+> wegen des Gebrauchs von [ ] als Mengenklammern wird für die Option besser (... )? verwendet. ~[... ] steht für das mengentheoretische Komplement, also alle Zeichen, die nicht durch [... ] beschrieben werden. Insbesondere ~[] steht für jedes Zeichen 6

4 Backus-Naur-Formalismus BNF für kontextfreie Grammatiken Metasymbole "wird ersetzt durch": ::= Alternative "oder": Terminals Token (Grundsymbole) der Zielsprache typographisch hervorgehoben duch Fettdruck, GROSSCHRIFT oder «Klammerung» Nonterminals Kategorien (Teilmengen) der Zielsprache typographisch hervorgehoben duch Kursivdruck, Kleinschrift oder fehlende Klammerung Normierung Für jede Kategorie werden alle Regeln zu einer Alternative zusammengefaßt. 7 erweiterter BNF für kontextfreie Grammatiken weitere Metasymbole Zusammenfassung von Alternativen: (... ) Option [... ] oder (... )? Sequenz (Wiederholung) {... } oder (... )*, (... )+ EBNF Jedes Klammersymbol kann durch ein neues Nonterminal eliminiert werden: ( α ) wird ersetzt durch Neu ::= α [ α ] wird ersetzt durch Neu ::= ε α { α } wird ersetzt durch Neu ::= ε α Neu bzw. α α Neu 8

5 Syntaxdiagramme Syntaxdiagramme sind gerichtete Graphen 2 Typen von Knoten für Nonterminals (einer als Anfangsknoten) Pfeile für (Mengen von) Terminals vom Anfangsknoten für: "ersetzen durch" ohne Endknoten für: "Ende des Nonterminals" sonst für: "hintereinandersetzen" Verzweigung für die Alternative "oder" 9 kontextfreie Grammatik Beispiel einer kontextfreien Grammatik für Terme Grammatik Term ::= Number ( Term ) -( Term ) Term + Term Term * Term Term - Term Term / Term Syntaxdiagramm Term Anfangsknoten - Option Number ( Term ) + * - / Rekursion Alternative Folge Wiederholung 10

6 Typ-Bedingungen In einigen Sprachkonstrukten gibt es Nebenabsprachen, die die Typgleichheit von bestimmten Teilausdrücken zum Inhalt haben Zuweisung Variable := Term Typ (Variable ) = Typ(Term) Operation Term1 := Term2 Typ (Term1) = Typ(Term2) Arrays id[term1,.., Term2] Typ (Term1) = Typ(Term2) Programmiersprachen haben meist kontextfreie Grammatik kontextsensitive Nebenabsprachen 11 Parsing Parsing: Ermittlung der Entstehung eines Ausdrucks nach den Regeln einer Grammatik Probleme Übersicht über den ganzen Text nötig? (meist bei natürlichen Sprachen) Mehrere Lösungen möglich? (bei fast allen Grammatiken) Ansätze top-down bottom - up backtracking recursive descent lookahead 12

7 Top Down Top-Down / Bottom-Up versucht den Text stückweise Rückwärts in Kategorien zurück zu verwandeln, bis er bei Erfolg bei der Startkategorie ankommt. In jedem Schritt ist ein Textabschnitt zu wählen, der die rechte Seite einer Regel ist und dieser dann durch die linke Seite der Regel zu ersetzen Bottom Up versucht Ableitungen in der Grammatik stückweise so aufzubauen, daß sie immer größere Teile des Quelltextes korrekt interpretieren. In jedem Schritt wird ein Nonterminal im momentanen Konstrukt und eine zugehörige Regel ausgewählt, die Ersetzung vorgenommen und geprüft, ob die so entstandene Folge von Terminals (und Nonterminals) noch im Quelltext zu finden ist 13 Backtracking Gibt es in einem Verfahren an gewissen Stellen Wahlmöglichkeiten, so muß man sich für eine entscheiden und ggf. später nochmals zurückkehren und eine andere Wahl versuchen. (!! kombinatorische Explosion!!) Backtrackingalgorithmus: Bei jedem Schritt mache Notizen - z.b. auf einem Stack - die es erlauben, den letzten Schritt rückgängig zu machen. Bei jedem Schritt mit Wahlmöglichkeiten notiere auch, welche der Wahlmöglichkeiten noch nicht betrachtet wurden. Gibt es keinen legalen Zug mehr, so mache die letzten Schritte so lange rückgängig, bis es noch offene Wahlmöglichkeiten gibt. Damit kann entweder eine Lösung oder auch alle Lösungen ermittelt werden. 14

8 1 S ::= A 4 A ::= xa 2 S ::= B 5 B ::= b 3 A ::= a 6 B ::= xb Beispiel: xxb S--1-->A--3-->a Falsch --4-->xA--3-->xa Falsch --4-->xxA --3-->xxa --4-->xxxA --2-->B--5-->b Falsch --6-->xB--5-->xb --6-->xxB --5-->xxb --6-->xxxB Falsch Falsch Falsch Richtig Falsch ENDE Es gibt eine einzige Darstellung von xxb aus dieser Grammatik 15 Recursive Descent Parser Ein RDP (rec. descent parser) verwaltet 2 Datenfelder: Das Eingabefeld, in dem er das aktuelle Terminal (Token) stehen hat (Lookahead) bei Übereistimmung mit der Ableitung kann das Terminal konsumiert werden und das nächste Terminal angefordert werden. Das Arbeitsfeld, in dem die Ableitung der Eingabe aus der Grammatik entwickelt wird hier wird auf dem Anfangsfeld gearbeitet und entweder das dort stehende Terminal konsumiert oder das Nonterminal ersetzt Der RDP kennt zwei elementare Operationen: consume, wenn im Arbeitsfeld am Anfang ein Terminal steht. replace, wenn im Arbeitsfeld am Anfang ein Nonterminal steht 16

9 consume, replace Steht am Anfang des Arbeitsfelds ein Terminal, so wird dies konsumiert : das Terminal wird mit dem aktuellen Terminal verglichen und bei Gleichheit gelöscht und ein neues aktuelles Terminal angefordert. Ungleichheit wäre ein Fehler, der aber bei korrekter Ausführung nicht auftreten kann Steht am Anfang des Arbeitsfeldes ein Nonterminal, so wird dies mit einer geeigneten Regel ersetzt : Es wird die Regel für das Nonterminal gesucht, deren First(..) der rechten Seite das aktuelle Terminal enthält, mit dieser rechten Seite wird das Nonterminal ersetzt. (ggf. wird die Regelnummer auf einem Stack notiert) gibt es keine solche Regel, ist der Parser fehlgeschlagen, d,h, der Input ist nicht korrekt nach der Grammatik gebildet worden. gibt es mehrere solche Regeln, so kann die Grammatik nicht mit nur einem Lookahead geparst werden. 17 Regeln: 1.: Term ::= Zahl RestTerm 2-3: RestTerm ::= ε + Zahl RestTerm 4-6: Zahl ::= a b c Beispiel RDP a+b+c a+b+c a+b+c a+b+c a+b+c a+b+c_ Input Arbeitsfeld T Z RT a RT RT + Z RT Z RT b RT RT + Z RT Z RT c RT RT ε Regeln 18

10 Token In javacc werden die Token einer Grammatik mit Hilfe von regulären Ausdrücken spezifiziert. Es gibt 4 Tokenklassen: SKIP dies sind Zeichen (z.b., \n, \t, \r ) und Zeichenfolgen (z.b. Kommentare), die vom Scanner nicht an den Parser weitergegeben werden sollen. TOKEN dies sind die normalen Token SPECIAL_TOKEN dies sind Mitteilungen an den Parser, die nicht als Token sondern nur als Informationen an den Parser weitergegeben werden MORE dies sind Anfangsteile von Token, von denen eins oder mehrere vor einem normalen Token stehen können und mit ihm zusammen dann ein Token bilden. 19 reguläre Ausdrücke Die regulären Ausdrücke zur Token-Definition sind wie folgt aufgebaut: elementare Ausdrücke: java-string-literale (z.b. dies ist ein String ) char-mengen (z.b. ["a"-"z","a"-"z","_","0"-"9"] oder ~[ ] ) <EOF> steht für das Fileende <name> steht für ein Nonterminal, das unter name eine Definition durch einen regulären Ausdruck besitzt ( ) geklammerte zusammengesetzte Ausdrücke zusammengesetzte Ausdrücke Folgen durch Leerzeichen getrennte elementare Ausdrücke Choice durch getrennte elementare Ausdrücke Option Repeat in [..] oder (..)? eingeschlossene Ausdrücke in (..)+ bzw. (..)* eingeschlossener Ausdruck für 1 oder mehr bzw. 0 oder mehr Wiederholungen des Ausdrucks Beachte: Wegen der Überenstimmung der Mengenklammer [..] mit der Option, ist es sicherer für die Option nur (..)? zu verwenden. 20

11 Token-Beispiel SKIP : { " " "\t" "\n" "\r" "/*" ~[] "*/" } TOKEN: { <Id: ["a"-"z","a"-"z"] ( ["a"-"z","a"-"z","0"-"9"] )* > <Num: (["0"-"9"])+ > <Spe: ["=", "+", "-", "*", "/", "%", "<=", ">=", "!=", "==", "<", ">" ] } 21 Assoziation Regel: Term ::= Term Term Zahl (Term) Problem: Linksrekursiv und verschiedene Assoziatonsmöglichkeit 1. Lösungsversuch Term ::= Zahl Term Zahl (Term) Problem: Zwei Regeln haben dasselbe First; bei der Interpretation ist Rechtsklammerung einzige Interpretationsmöglichkeit : Term -> Zahl Term -> 9 Term -> 9 Zahl Term -> 9 6 Zahl -> > 9 4 -> 5 2. Lösungsversuch: Term ::= Zahl RestTerm (Term) RestTerm ::= ε - Zahl RestTerm Hier erweist sich, daß noch beide Assoziationen als Interpretation möglich sind. Die Interpretation richtet sich danach, wo die "Berechnung" als "semantische Aktion" in die Grammatik eingefügt wird. 22

12 Semantische Aktion Je nachdem, wo die semantische Aktion {SUB} eingefügt wird, ist Rechts- oder Links-klammerung die Interpretation: Term ::= Zahl RestTerm RestTerm ::= ε - Zahl {SUB} RestTerm Mit dieser Regel wird wie folgt interpretiert: T -> Z RT -> 9 RT -> 9 - Z {SUB} RT -> 9 6 {SUB} RT -> 3 RT -> -> 3 Z {SUB} RT -> 3 2 {SUB} RT -> 1 RT -> 1 Term ::= Zahl RestTerm RestTerm ::= ε - Zahl RestTerm {SUB} Mit dieser Regel wird wie folgt interpretiert: T -> Z RT -> 9 RT -> 9 - Z RT {SUB} -> 9 6 RT {SUB} -> Z RT {SUB} {SUB} -> RT {SUB} {SUB} -> {SUB} {SUB} -> 9-4 {SUB} -> 5 23 Präferenz Will man nicht nur eine Klammerung favorisieren, sondern auch eine Priorität (z.b. Punktrechnung geht vor Strichrechnung ), so muß man die Nonterminals aufspalten: Expr ::= Zahl (Expr) - Expr Expr Op Expr Op ::= + - * / Prioritätsstufen: Expr ERest Term TRest Factor ::= Term ERest ::= ε + Term ERest - Term ERest ::= Factor TRest ::= ε * Factor TRest / Factor TRest ::= Zahl ( Expr ) - Factor Beachte, daß die zwei unterschiedlichen Verwendungen des Zeichens kein Problem darstellen. 24

13 Dangling Else Problem Regel: Stmt ::= if Expr then Stmt if Expr then Stmt else Stmt Problem: beide Regeln starten mit demselben Ausdruck Lösungsansatz: Stmt ::= if Expr then Stmt Else Else ::= ε else Stmt in if e1 then if e2 then a1 else a2 bezieht sich nun das else auf das zweite then : Stmt -> if Expr then Stmt Else -> if e1 then if Expr then Stmt Else Else-> if e1 then if e2 then a1 else Stmt Else -> if e1 then if e2 then a1 else a2 25 Ablaufverwaltung Diese Überlegungen bringen uns unmittelbar zu der Frage der Ablaufverwaltung der übersetzten Befehle. Gäbe es nur Programme ohne Sprünge, wäre das kein Problem, weil der Compiler auf die Ausgabe einfach die Übersetzung der einzelnen Befehle nacheinander ablegen würde. Will man aber Sprünge Realisieren, so müssen die Befehle in der Zielsprache entweder abgezählt werden, oder mit Labels versehen werden, zu denen gesprungen werden kann. Implizit muß als stets eine Abzählung der Befehle in der Zielsprache erzeugt werden 26

14 Der Program Counter PC Der Compiler richtet zu Beginn der Übersetzung einen Zähler PC ein, der mit 0 initialisiert wird. Bei jedem Befehl, der auf die Zielsprachenausgabe geschrieben wird, wird der Zähler incrementiert (um 1, wenn alle Befehle gleiche Länge haben, sonst um die Länge (in einer vorgegebenen Einheit) des geschriebenen Befehls. Damit hat jeder Befehl den PC zu seiner Schreibzeit als spätere Adresse oder als implizites Label. Nun können die Sprungbefehle nach diesen Labels organisiert werden. 27 Rückwärtsreferenzen Am einfachsten sind (Rückwärtsreferenzen) Rücksprünge zu realisieren, weil man sich bei einem Befehl, zu dem später gesprungen werden muß, nur die Adresse (PC) merken muß (in einer Label-Tabelle oder auf dem Stack) und dann bei den später auftretenden Sprungbefehlen den Sprungbefehl mit dieser Adresse eintragen muß. Wir gehen davon aus, daß Sprünge immer vom Compiler (statisch) aufgelöst werden, d.h. der Compiler berechnet die Zieladressen. Bei dynamischen Sprüngen, bei denen die Zieladresse sich erst datenabhängig im Programmablauf ergibt, sind umfangreichere Überlegungen notwendig. 28

15 Vorwärtsreferenzen Schwieriger ist die Verwaltung von Vorwärtsreferenzen, weil die Zieladresse erst im Laufe des weiteren Übersetzungsvorgangs ermittelt wird und daher erst später in den Befehl eingefügt werden kann. Lösung kann hier eine Label-Tabelle liefern, in die bei jedem Sprungbefehl ein Label (ein spezieller Bezeichner) eingetragen wird. und in der Tabelle die zugehörige Adresse nachgetragen wird, sobald sie ermittelt ist. Bei der Programmausführung im Zielrechner wird nun das Label aus der Tabelle gegen die tatsächliche Adsresse ersetzt, oder der Compiler tut dies in einem zweiten Durchgang. 29 zweiter Durchgang Gibt es nicht andere Gründe für einen zweiten Durchgang des Compilers durch den vorübersetzten Text, so kann dieser Vermieden werden, solange der gesamte Zieltext platz im Hauptspeicher hat. In der Tabelle merkt man sich alle Positionen, an denen zu einem bestimmten Label vorwärts gesprungen wird und ersetzt an diesen Stellen das Label durch die Adresse, sobald diese schließlich errechnet ist. Dieses Konzept setzt voraus, daß das gesamte Zielprogramm in den verfügbaren Speicher passt, was im Zeitalter virtueller Speicherverwaltung kein wirkliches Thema ist. 30

16 while-statement Die Grammatik für while- oder until- Statements enthält implizit Sprunganweisungen. Stmt ::= while ( Expr ) Stmt nach ) ein bedingter Sprung bis zum Ende von Stmt, falls Expr zu false auswertet. nach Stmt ein unbedingter Sprung vor die ( Stmt ::= do Stmt until ( Expr ) nach ) ein bedingter Sprung bis hinter do, falls Expr zu false auswertet. 31 Präcompiler Beispielsweise for-schleifen können als spezielle while oder until-schleifen umgeschrieben werden. Der Compiler kann dafür die eigene Grammatikregel mit Semantischen Aktionen versehen wie oben (Übung) Der Compiler kann aber auch den anderen Weg gehen, daß in einem Präcompiler zunächst for-konstrukte in dazu äquivalente while-konstrukte textuell umgewandelt werden und erst dann der Compiliervorgang ohne for erfolgt. Präcompiler können zur Einstellung von Optionen, zur Auswertung von Macros und zu solchen Sprachvereinfachungen eingesetzt werden und vermindern damit den Aufwand im Parser. 32