Anwendung von Kontextfreien Grammatiken

Transkript

1 Anwendung von Kontextfreien Grammatiken Kontextfreie Grammatiken Eine kontextfreie Grammatik (kfg) ist formal definiert als ein 4-Tupel. G = (N, T, P, S) Wobei: N: Nichtterminalsymbol / Variable T: Terminalsymbol Alle Terminale sind Bestandteil des Alphabets der Sprache die von der Grammatik beschrieben wird. P: Produktionen der Form. Links vom Pfeil steht der Kopf, rechts ist der Rumpf. Bei einer Produktion wird der Kopf durch den Rumpf ersetzt. S: Startsymbol N. Das erste Nichtterminal wird als Startsymbol definiert. Eine Kette von Terminalen und Nichtterminalen wird als Satzform bezeichnet. Jede kontextfreie Grammatik beschreibt eine kontextfreie Sprache. Die Erzeugung von Sätzen dieser Sprache aus der Grammatik erfolgt durch schrittweises Ausführen von Produktionen. Dieser Vorgang wird als Ableitung bezeichnet. Die Ableitung beginnt beim Startsymbol und endet, wenn alle Nichtterminale durch Terminale ersetzt wurden. Die Ableitung kann prinzipiell nach Belieben durchgeführt werden. Wichtige Ableitungsformen sind die Linksableitung und die Rechtsableitung. Dabei wird entweder immer die Produktion für das äußerste linke oder rechte Nichtterminal durchgeführt. Kann ein Satz der Sprache nur auf einem Weg durch eine Grammatik abgeleitet werden, so ist die Grammatik eindeutig. Kann die Ableitung auf mehreren Wegen erfolgen, ist die Grammatik mehrdeutig. Die Sprache, die von einer Grammatik erzeugt wird, ist eindeutig sobald es eine eindeutige Grammatik für diese Sprache gibt. Existieren nur mehrdeutige Grammatiken zur Erzeugung der Sprache, wird diese als inhärent mehrdeutig bezeichnet. Bei Grammatiken, die linksabgeleitet werden, gibt es im Hinblick auf die Verarbeitung durch einen Parser folgendes zu beachten. Es dürfen keine Linksrekursionen auftreten. Das heißt, keine Produktionen der Form A A, da diese zu einer Endlosschleife führen können, wenn immer wieder nach A produziert wird. Die Linksrekursionen sind nach folgendem Schema zu beseitigen., 1

2 Weiterhin ist darauf zu achten, dass die Grammatik in einer Form vorliegt die keine Epsilon-Produktionen vorweist und keine Verkettungen hat, da sonst eine indirekte Rekursion auftreten kann. Parser Kontextfreie Grammatiken dienen als Basis für Parser. Sie können, anders als reguläre Sprachen, Strukturen wie Klammern und Anweisungsblöcke erkennen und richtig interpretieren. Dies ist möglich da kfg zählen können. Der Parser ist die syntaktische Analyseeinheit des Compilers. Er verarbeitet die Ausgaben des Lexer. Ziel des Parsers ist es eine vom Lexer gegebene Zeichenfolge mit der Grammatik der verwendeten Sprache zu vergleichen und einen Parse-Baum dafür zu erstellen. Ein Parse-Baum ist die grafische Darstellung der Ableitung der Grammatik zu einer Zeichenfolge. Es werden zwei Parse-Methoden betrachtet: Top-Down-Syntaxanalyse Der Parse-Baum wird von der Wurzel aus analysiert und eine Linksableitung erzeugt. Dabei wird ausgehend vom Startsymbol solange, die richtige Produktion gewählt, bis schließlich die Ableitung der Zeichenkette erfolgreich ist. Die dazugehörige Grammatik wird als LL(1)-Grammatik bezeichnet. Das erste L steht dafür, dass die Eingabe von links nach rechts gelesen wird. Das Zweite L steht für die erzeugte Linksableitung. Die 1 in Klammern gibt die Vorausschautiefe (oder eng. Lookahead) auf die folgenden Zeichen in der Satzform an. In diesem Fall wird das nächste Zeichen mit berücksichtigt. Dies ist auch der Normalfall. Das Parsen im Top-Down Modus erfolgt durch einen tabellengesteuerten prädiktiven Parser. Dieser verfügt über einen Eingabepuffer für den zu analysierenden String, einen Stack, in dem die Symbole der Produktionen stehen, und eine Parsertabelle. Gesteuert wird das Ganze von einem prädikativen Parserprogramm. Zu Beginn der Analyse steht auf dem Stack das Startsymbol der Grammatik und der Eingabestring befindet sich im Eingabepuffer. Das Programm liest das erste Symbol auf dem Stack und das erste Zeichen der Eingabe. Die Kombination aus beidem ergibt eine Position in der Parsertabelle, an der die Produktion für das Symbol auf dem Stack steht. Das Symbol auf dem Stack wird durch die gefundene Produktion ersetzt. Ist das Symbol auf dem Stack ein Terminal, wird es vom Stack gelöscht und das entsprechende Terminal in der Eingabe entfernt. Der Vorgang geht solange bis der Stack und die Eingabe leer sind. Damit ist die Zeichenkette erkannt worden. Beispiel Zeichenfolge id+id*id Grammatik + () 2

3 Modell eines tabellengesteuerten prädiktiven Parsers Parsertabelle Top-Down-Parsing fürid+id*id 3

4 Verschiebung durch prädiktiven Parser bei Eingabe id+id*id Bottom-Up-Syntaxanalyse Die Analyse erfolgt in diesem Fall von den Blättern hin zur Wurzel. Es wird dabei versucht den Eingabestring durch Reduktion auf das Startsymbol der Grammatik zurückzuführen. Der Eingabestring wird dabei von links nach rechts gelesen und von links nach rechts reduziert. Dadurch entsteht eine umgekehrte Rechtsableitung. Zentrales Problem bei dieser Vorgehensweise ist zu erkennen, wann ein Symbol oder eine Kette von Symbolen zu reduzieren ist. Ein Teilstring der Eingabe (z.b. ein Symbol oder eine Zeichenkette), die einen Rumpf einer Produktion darstellt, wird als Handle bezeichnet. Ziel ist es also einzelne Handles von links nach rechts in der Zeichenkette zu reduzieren. Die Reduktion ist abgeschlossen, wenn das Startsymbol der Grammatik erreicht ist. Die Zeichenkette ist damit erkannt. Ein sehr einfaches Verfahren ist das Handle-Stutzen. Dabei wird von links nach rechts ein Handle nach dem anderen reduziert. Ein weiteres Verfahren ist die Shift-Reduce-Syntaxanalyse. Dabei wird die Eingabe Zeichenweise auf einen Stack geschrieben. Der Parser überprüft wann die Zeichenfolge auf dem Stack einem Handel entspricht und reduziert diese dann schließlich. Bei dieser Methode können zwei Probleme auftreten. Zum einen ein Shift/Reduce-Konflikt, bei dem der Parser nicht entscheiden kann oder er die Zeichenfolge auf dem Stack reduzieren soll oder er noch ein Zeichen auf den Stack schieben soll. Zum anderen einen Reduce/reduce-Konflikt, bei dem es nicht eindeutig ist, welche Zeichenfolge auf dem Stack reduziert werden soll. Beispiel Zeichenfolge id*id Grammatik + ( ) 4

5 Bottom-Up-Analyse für id*id Handles während einer Syntaxanalysevon id 1 *id 2 Konfiguration eines Shift-Reduce- Parsers bei der Eingabeid 1 *id 2 LR-Syntaxanalyse Beide Probleme treten nicht bei Verwendung eines LR(k)Parsers auf. Das L steht dabei wieder dafür, dass die Eingabe von links gelesen wird. Das R steht für eine erzeugte Rechtsableitung und das k beschreibt wie weit der Parser vorausschauen kann. Gewöhnlich ist k=1. Der LR-Parser kann sich über eine Sammlung von Zuständen merken, wo er sich beim Einlesen der Zeichenkette befindet. Die Zustände enthalten mögliche Produktionen, die in den jeweiligen Fällen möglich wären. Angeordnet werden die Zustände in einem LR(0) Automaten. Dadurch lassen sich die Übergänge von einem zum nächsten Zustand beschreiben und es ist möglich Abhängigkeiten der Reduktionen zu erfassen. Somit ist das oben beschriebene Problem nicht mehr gegeben. Der LR-Parser ist ähnlich zum LL(1)-Parser aufgebaut. Allerdings speichert er auf dem Stack keine Symbole sondern Zustände, in denen er sich befindet. Die zugehörige Parsertabelle sieht auch anders aus. Sie ist zweigeteilt. In einen Teil, der für die verschiedenen Aktionen des Parsers zuständig ist (Action) und in einen Teil, der für den Wechsel des Zustandes verantwortlich ist (Goto). Beim Verschieben wird ein weiteres Zeichen auf den Stack geschoben. Beim Reduzieren wird die Zeichenkette auf dem Stack reduziert. Beim Akzeptieren ist die Eingabe auf dem Stack auf das Startsymbol zu reduzieren. Die Zeichenkette ist erkannt worden. Bei einer Fehlermeldung ist etwas Unerwartetes passiert. Prinzipiell sind LR-Parser sehr mächtig und können Fehler korrigieren. Darauf wird an dieser Stelle aber nicht weiter eingegangen. 5

6 Modell eines LR-Parsers Grammatik + ( ) LR(0) Automat Syntaxanalyse von id*id 6

7 YACC YACC stehtfüryet another compiler compiler.wie am Namen zu erkennen ist, handelt es sich hierbei um einen Compiler, der einen Compiler erzeugt. In UNIX-Systemen ist YACC standardgemäß vorhanden. Interessant ist YACC, da es nach Eingabe einer kfg einen Parser erzeugt der diese Grammatik und somit die dazugehörige Sprache erkennen kann. Implementiert werden kann die kfg z.b. über ein C-Programm. Dieses ist dreiteilig aufgebaut. Deklarationen %% Übersetzungsregeln %% Unterstützende C-Routinen Für die Implementierung der kfg ist der Bereich der Übersetzungsregeln wichtig. Hier wird die kfg beschrieben. Ein Beispiel für eine Produktion Exp : ID {...} Exp {...} Exp '+' Exp {...} Exp '*' Exp {...} '(' Exp ')' {...} ; Id :'a' {...} 'b' {...} Id 'a' {...} Id 'b' {...} Id '0' {...} Id '1' {...} ; Der Doppelpunkt wird als Produktionssymbol verwendet. Alle Produktionen mit demselben Kopf werden zusammengefasst. Ihre Rümpfe durch vertikale Striche getrennt. Ein Semikolon beendet die Liste der zu einem Kopf gehörigen Rümpfe. Terminale Zeichenreihen stehen in halben Anführungsstrichen. Zeichen oder Zeichenreihen ohne Anführungszeichen sind Nichtterminale. Markup-Sprachen Im Deutschen werden diese Sprachen auch als Auszeichnungs- oder Kennzeichnungssprachebezeichnet. Die Sprachen bestehen aus Text, der mit Markierungen, sogenannten Tags, versehen ist. Die Tags geben an, wie das Erscheinungsbild des Textes sein soll oder welche Bedeutung der Text hat. 7

8 HTML HyperText Markup Language Hierbei handelt es sich um eine Sprache, bei der die Tags zum formatieren des Textes eingesetzt werden. Tags werden in html mittels spitzer Klammern<> gekennzeichnet. Eine Formatierung beginnt mit einen Tag der Form <OL> und endet mit </OL>. DerSlash markiert also das Ende. Laut Konvention gehört zu jedem öffnenden Tag ein schließendes Tag. Aber bei einigen ist dies nicht unbedingt nötigt, wie z.b. bei <P>. Beispiel: <P>Dinge, die ich <EM>mag</EM>: <OL> <LI>Sonnenschein <LI>Schnee </OL> Dinge, die ich mag: 1. Sonnenschein 2. Schnee XML extensible Markup Language Hier steht die Semantik im Vordergrund. Ziel ist es durch die Tags die Bedeutung des Textes sicherzustellen. Z.B. indem eine Adresszeile durch entsprechende Tags gekennzeichnet wird. Wichtigstes Element von XML ist die DTD (Document-Type-Definition). Darin werden Dokumententypen und Hierarchien durch die Nutzer festgelegt. Die Beschreibung erfolgt dabei in einer Notation, die im Grunde eine kfg ist. Nur die verwendeten Zeichen sind andere. Ein DTD-Dokument beginnt mit: <!DOCTYPE Name-der-DTD [ Liste der Elementdefinitionen ]> Einzelne Elemente werden wie folgt definiert. <!ELEMENT Elementname (Beschreibung des Elements)> Folgende Zeichen werden verwendet: #Text steht für normalen Text ohne XML-Tag Operatoren Vereinigung, Verkettung * Null oder mehr Vorkommen + Ein oder mehr Vorkommen? Null oder ein Vorkommen 8

9 Beispiel: <!DOCTYPECoursespecs [ <!ELEMENT COURSES (COURSE+)> <!ELEMENT COURSE (CNAME, PROF, STUDENT*, Klausur?)> <!ELEMENT CNAME (#PCDATA)> <!ELEMENT PROF (#PCDATA)> <!ELEMENT STUDENT (STNAME IMMANR)> <!ELEMENT STNAME (#PCDATA)> <!ELEMENT IMMANR (#PCDATA)> <!ELEMENT TA (#PCDATA)> ]> Die kfg-struktur hinter den Sonderzeichen (+ *?) Beispiel: Anlegen einer Kursliste!" + #$% #$%? ' <COURSES> <COURSE> <CNAME>Physik I</CNAME> <PROF>Müller</PROF> <STUDENT> <STNAME>Max Schulze</STNAME> </STUDENT> <STUDENT> <IMMANR> </IMMANR> </STUDENT> <Klausur>JA</Klausur> </COURSE> <COURSE>... </COURSE> </COURSES> Literatur Compiler-Prinzipien,Techniken und Werkzeuge, 2.aktualisierte Auflage, Alfred V. Aho, Monica S. Lam, Ravi Sethi, Jefferey D. Ullman, Addison-Wesley Pearson Studium, 2008 Einführung in Automatentheorie, formale Sprachen und Berechenbarkeit, 3. aktualisierte Auflage, John E. Hopcroft, RajeevMotwani, Jefferey D. Ullman, Addison- Wesley Pearson Studium,