Notation um Grammatik G hervorzuheben: Eine kontextfreie Grammatik erzeugt eine kontextfreie Sprache. Informatik I -1- WS 2005/2006

Transkript

1 Die Sprache einer Grammatik Definition: Sei G = (V, T, P, S) eine kontextfreie Grammatik. Dann umfasst die Sprache L(G) alle Zeichenketten aus Terminalsymbolen, die sich vom Startsymbol ableiten lassen. { G } L( G) = w in T S w Notation um Grammatik G hervorzuheben: G ine kontextfreie Grammatik erzeugt eine kontextfreie Sprache. nformatik -1- WS 2005/2006 Kontextfreie Grammatiken Satz L(Gpal) ist die Menge der Palindrome über {0,1} Beweis Zu zeigen: ine Zeichenkette w aus {0,1} ist genau dann in L(Gpal) enthalten, wenn w ein Palindrom ist. Wenn-Teil: Angenommen, w ist ein Palindrom. Ansatz: w L(Gpal) durch nduktion über w, die Länge von w nduktionsanfang: (Längen 0 und 1 als Basis.) Wenn w = 0 oder w = 1, dann ist w gleich ε, 0 oder 1. Mit S ε, S 0, S 1 gilt S w. nduktionsschritt: Sei w ein Palindrom, w 2. Dann ist w = 0v0 oder w = 1v1, wobei v ein Palindrom ist. Für w = 0v0 gibt es die Ableitung S 0S0 0v0 = w. Analoges für w = 1v1. nformatik -2- WS 2005/2006 1

2 Kontextfreie Grammatiken Genau-Dann-Teil: Sei w L(Gpal). Zu zeigen: w ist ein Palindrom. Ansatz: nduktion über die Anzahl der Schritte bei der Ableitung von w von S. nduktionsanfang: Wenn die Ableitung aus nur einem Schritt besteht, dann muss die Regel S ε, S 0 oder S 1 sein (keine Variable im Rumpf). Da ε, 0 und 1 Palindrome sind, ist die Basisannahme bewiesen. nduktionsschritt: Die Ableitung habe n + 1 Schritte, n 1, n und die Aussage gelte für alle Ableitungen mit n Schritten, d.h. mit S v ist v ein Palindrom. ine Ableitung von w in n + 1 Schritten muss die Form S 0S0 0v0 = w oder S 1S1 1v1 = w haben, da nur S 0S0 und S 1S1 mehr als einen Ableitungsschritt zulassen. Gemäß Annahme ist v ein Palindrom ist und damit auch 0v0 und 1v1. nformatik -3- WS 2005/2006 Satzformen Definition Sei G = (V, T, P, S) eine kontextfreie Grammatik. Dann heißt eine Zeichenkette a über V T Satzform, wenn S a Bei links-/rechtseitigen Ableitungen spricht man von links-/rechtseitigen Satzformen. Die Sprache L(G) umfasst Satzformen, die nur aus Terminalsymbolen bestehen. nformatik -4- WS 2005/2006 2

3 Satzformen Beispiel Betrachte vorhergehende Grammatik. ( + ) eine Satzform, da es folgende Ableitung gibt ( ) ( + ) ( + ) Diese Ableitung ist weder links- noch rechtsseitig, da im letzten Schritt die Variable aus der Mitte ersetzt wird. ine linksseitige Satzform ist a : a lm lm lm ine rechtseitige Satzform ist ( + ): ( ) ( + ) rm rm rm nformatik -5- WS 2005/2006 Backus-Naur-Form John Backus 1958: Vorschlag für formale Beschreibung der von ALGOL äquivalent zu einer kontextfreien Grammatik. Verbesserungen von Peter Naur. Daher: Backus-Naur-Form (BNF) Notation: Produktionssymbol = Definitionszeichen ::= Alternativzeichen A a 1, A a 2,..., A a n in BNF: A a 1 a 2... a n Syntaktischen Variable: <string> string = Folge von Buchstaben, Ziffern und Leerzeichen nformatik -6- WS 2005/2006 3

4 Backus-Naur-Form Definition Vollständige BNF-Definition: Jede syntaktische Variable <A>, die in einem Regelrumpf vorkommt, kommt auch in einem Regelkopf vor. Annahmen ab jetzt: BNF-Definition ist vollständig Die syntaktische Variable im Kopf der ersten Regel ist das Startsymbol. nformatik -7- WS 2005/2006 Backus-Naur-Form Beispiel Software-Büro generiert Beschreibungen für Programme mit BNF-Definition B: <Doku>::=Das Programm arbeitet nach dem <P> der <A> <S1><S2>. <P>::=Prinzip Verfahren Algorithmus System <A>::=integrierten rezidivierten substantivierten (Adjektiv) <S1>::=Rekursions terations Varianz Diversifikations (Substantivanfang) <S2>::=analyse eliminiation substitution integration (Substantivende) Zu der Sprache von B gehört Das Programm arbeitet nach dem Prinzip der rezidivierten Diversifikationsintegration. nformatik -8- WS 2005/2006 4

5 Backus-Naur-Form für Ausdrücke Produktionen: P = { Ausdruck Term Ausdruck Ausdruck + Term Term Faktor Term Term Faktor Faktor Bezeichner Faktor (Ausdruck) Bezeichner a b c } Backus-Naur-Form: <Ausdruck> ::= <Term> <Ausdruck>+<Term> <Term> ::= <Faktor> <Term><Faktor> <Faktor> ::= <Bezeichner> (<Ausdruck>) <Bezeichner> ::= a b c nformatik -9- WS 2005/2006 rweiterte Backus Naur Form xtented BNF, BNF (nach N. Wirth, Schöpfer von PASCAL) Definition ::= Alternative Anführung Wiederholung {} Option [] Gruppe () Punkt. variable string Terminalzeichen: zwichen Anführungszeichen Anführungszeichen in der Objektsprache: doppelte Anführungszeichen Terme der BNF: reguläre Ausdrücke Auch und + als Metazeichen nformatik -10- WS 2005/2006 5

6 rweiterte Backus Naur Form lemente einer BNF-Definition (Jensen, Wirth 75): 1. Alphabet T 2. ndliche Menge von BNF-Regeln: string ::= a. (a ist BNF-Term) 3. Syntaktische Variable als Startsymbol Anmerkungen: Punkt am nde ist Bestandteil der Regel (kein Terminalzeichen). Heute: Punkt oft kein Metazeichen mehr. Keine spitzen Klammern um syntaktische Variablen keine Leerstellen darin. Abhilfe: Syntaktische Variable aus mehreren Wörtern: Großschreibung des Anfangs aller Wörter, etwa SecondUnit. nformatik -11- WS 2005/2006 Grammatik für Dezimalzahlen in der erweiterten Backus-Naur-Form nformatik -12- WS 2005/2006 6

7 Weitere terationen... nformatik -13- WS 2005/2006 Arithmetische Ausdrücke in BNF nformatik -14- WS 2005/2006 7

8 diagramm Produktionen: auch grafisch in diagrammen Diagram: indeutiger Name des Diagrams: repräsentiertes Nichtterminal Ovale: Terminale Rechtecke: Nichtterminale Gerichtete ggf. verzweigte Kanten verbinden Ovale/Rechtecke Jedes Oval/Rechteck ist Ausgang und nde einer Kante Diagram hat genau einen ingang und Ausgang Auswahl eines Zweiges an einer Verzweigung beliebig Jeder Weg vom ingang zum Ausgang ergibt eine gültige Ableitung nformatik -15- WS 2005/2006 diagramm Beispiel noun-phrase article article a noun the Oder in einer Regel noun-phrase a the noun nformatik -16- WS 2005/2006 8

9 diagramm Beispiele BFN ::= {+} oder auch exp ::= exp{+exp} als diagramm: exp exp + Optionaler Teil der f-anweisung in C if-statement ::= if (expression) statement [else statement] nformatik -17- WS 2005/2006 ()BNF Regeln für ganze Zahlen in JAVA integer_literal ::= ( ( "1..9" { "0..9" } ) { "0..7" } ( "0" "x" "0..9a..f" { "0..9a..f" } ) ) [ "l" ] Gosling, Joy and Steele. The Java language specification. S Addison-Wesley, Hier:.. anstatt des - regulären Ausdrücken nformatik -18- WS 2005/2006 9

10 Backus-Naur-Form Wert einer formalen beschreibung: Übersichtliche Prüfung auf eines Ausdrucks auf syntaktische Korrektheit Ableitung rkennungsprozess: Regeln können rückwärts gelesen werden Maschinelle ntscheidung, ob/wie eine Zeichenkette mit einer BNF- Definition erzeugt werden kann. nformatik -19- WS 2005/2006 Parsing Literatur: Louden, Chap. 4 Sebesta, Chap. 3 Hopcroft, Motwani & Ullman, Kap. 5 Aho, Sethi, Ullmann, Compilerbau Teil 1 nformatik -20- WS 2005/

11 Übersetzungsphasen Phasen in der Arbeit eines Compilers: 1. Lexikalische Analyse: Zerlegung des Quellprogramms in eine Folge von Terminalsymbolen (Token) 2. Syntaktische Analyse: (parsing) Prüfung der regeln der Quellsprache Strukturierung der Terminalsymbole in gültige Sätze 3. Semantische Analyse: Prüfung, ob Sätze sinnvoll sind, z.b. Deklaration verwendeter Namen 4. Code Generierung nformatik -21- WS 2005/2006 analyse analyse nach lexikalischer Analyse Ziel: Token des Quellprogramms zu grammatikalischen Sätzen zusammenzufassen Darstellung der Sätze: Parsing-Baum Trennung zwischen lexikalischer und syntaktischer Analyse: Parser kann prinzipiell auch lexikalische Analyse durchführen Kriterium für Trennung: Vereinfachung der gesamten Analyse Lexikalische Analyse zumeist ohne Rekursion Beispiel: rkennung von Bezeichnern 1. Lesen, bis ingabe kein Buchstabe oder Ziffer 2. Zusammenfassung der gelesenen Zeichen zu einem Symbol Syntaktische Konstrukte auch rekursiv aufgebaut Blöcke, Schleifen, Klammern usw. nformatik -22- WS 2005/

12 Balanciete Klammerausdrücke: Reguläre Sprachen reichen nicht aus Beispiel Korrekt verschachtelte Klammern Grammatik Gbal = ({B}, {(, )}, P, B) mit B BB (B) ε generiert genau alle korrekt verschachtelte Klammerausdrücke. Satz L(Gbal) ist keine reguläre Sprache. Beweis nfo, V nformatik -23- WS 2005/2006 (Un)balancierte Klammerausdrücke Beispiel Behandlung von if und else in C. Sonderfall: eine zusätzliche linke Klammer im Klammerpaar if-anweisung kann mit oder ohne else-klausel vorkommen. Grammatik für zulässige Sequenzen von if und else: S ε SS ifs ifselse Mögliche Ableitungen: if-else-if-else, if-if-else und if-else-if Nicht ableitbar: else-if, if-else-else-if-if Test auf Korrektheit einer Zeichenkette w: Laufe über alle else in w von links nach rechts und suche erstes if links vom else. Gibt es kein if, dann ist w nicht in L(S); sonst lösche if und else aus w. Gibt es kein weiteres else, dann ist w in L(S). nformatik -24- WS 2005/

13 Parse-Bäume Nutzen von Ableitungsbäumen (parsing trees) Veranschaulichung der Gruppierung von Terminalsymbolen in Teilzeichenketten. Bevorzugte Datenstruktur der Compiler zur Repräsentation von Quelltextprogrammen ( kanonische rekursive Funktionen darauf generieren Code) ngen Beziehung zu Ableitungen und rekursiven nferenzen Wichtig für das Studium der Mehrdeutigkeit von Grammatiken nformatik -25- WS 2005/2006 Aufbau von Parse-Bäumen Sei G = (V, T, P, S). Für ein Ableitungsbaum gilt: Jeder innere Knoten ist mit einer Variable beschriftet. Jedes Blatt ist mit einer Variable, Terminalsymbol oder ε beschriftet. Bei ε ist es der einzige Nachfolger seines Vorgängerknotens. Wenn ein innerer Knoten mit A und seine Nachfolger von links nach rechts mit X 1, X 2,..., X k beschriftet sind, dann ist A X 1 X 2 X k eine Produktion in P. Anmerkung: in X kann nur dann ε sein, wenn es ein einzelner Nachfolger von A und A ε eine Produktion in P ist. nformatik -26- WS 2005/

14 Aufbau von Parse-Bäumen Beispiel Ableitung von + aus (Grammatik einfacher Ausdrücke) Ableitung von 0110 aus P (Grammatik der Palindrome) P + 0 P 0 1 P 1 ε nformatik -27- WS 2005/2006 rgebnis eines Parse-Baums rgebnis des Baumes: Verkettung der Blätter eines Ableitungsbaumes von links nach rechts, d.h. Zeichenkette, die von der Variablen an der Wurzel abgeleitet ist. Besonders wichtige Ableitungsbäume: rgebnis ist terminale Zeichenkette, d.h. Blätter mit einem Terminalsymbol oder ε beschriftet. Wurzel ist mit Startsymbol beschriftet. rgebnis ist eine Zeichenkette aus der Sprache der Grammatik. nformatik -28- WS 2005/

15 rgebnis eines Parse-Baums infache Ausdrücke: Ableitungsbaum mit rgebnis a(a+b00) a ( ) a Regeln für Ausdrücke 1. Ι () 5. a 6. b 7. a 8. b b nformatik -29- WS 2005/2006 Äquivalenz der Konzepte Satz Für G = (V, T, P, S) sind folgende Aussagen äquivalent: Das rekursive nferenzverfahren ergibt, dass die Zeichenkette w in der Sprache der Variablen A enthalten ist. A w lm A w A w rm s gibt einen Ableitungsbaum mit der Wurzel A, der w ergibt. Beweis nfo, V nformatik -30- WS 2005/

16 Mehrdeutige Grammatiken Grammatik für einfache Ausdrücke Satzform + hat zwei Ableitungen: s gibt zwei Ableitungsbäume: + + nformatik -31- WS 2005/2006 Mehrdeutige Grammatiken Parse-Bäume für a + b a: a + b a a 1. Linker Baum: korrektes rgebnis a + (b a) 2. Rechter Baum: falsches rgebnis (a + b) a (Addition vor Multiplikation) + b a nformatik -32- WS 2005/

17 Mehrdeutige Grammatiken Definition G = (V, T, P, S) ist mehrdeutig, wenn es eine Zeichenkette w in T gibt, für die verschiedene Parse-Bäume mit der Wurzel S und dem rgebnis w existieren. Sonst ist G eindeutig. Die Grammatik für einfache Ausdrücke ist mehrdeutig. Arbeit von Compilern: mehrdeutige Grammatiken vermeiden oder Mehrdeutigkeiten mit Zusatz-(Vorrang-)regeln aufzulösen. Zu einem mehrdeutigen G kann oft ein eindeutiges G' mit L(G) = L(G') gefunden werden. Aber: s gibt inhärent mehrdeutige kontextfreie Sprachen, d.h. jede Grammatik dafür ist mehrdeutig. nformatik -33- WS 2005/2006 Auflösung von Mehrdeutigkeiten Gründe für Mehrdeutigkeit. Beispiel: einfache Ausdrücke Auswertungsreihenfolge der Operatoren nicht beachtet Folge von Operatoren kann von links nach rechts oder umgekehrt gruppiert werden Vermeidung von Mehrdeutigkeit: Vorgabe einer Richtung Konventionell: Gruppierung von links nach rechts Achtung: Gruppierung nicht durch linksseitige Ableitung erzwungen! Vorheriges Beispiel: beide Ableitungen linksseitig + + a+ a+ a+ a+b a+b a+bc a+bc nformatik -34- WS 2005/

18 Auflösung von Mehrdeutigkeiten Festlegung der Auswertungsreihenfolge: inführung von Variablen für Ausdrücke mit gleicher Bindungsstärke 1. Faktor: Ausdruck lässt sich mit + und nicht aufspalten. Bezeichner Ausdrücke in Klammern. Klammern verhindern, dass geklammerter Teilausdruck Operand außerhalb der Klammern wird. 2. Term: Ausdruck lässt sich nicht mit + aufspalten. Beispiel + und einzige Operatoren Term ist Produkt mit mehreren Faktoren. 3. Konvention für Ausdruck: auch Ausdrücke, die sich durch Voranstellen oder Anhängen der Operatoren + und aufspalten lassen. Beispiel Ausdruck ist Summe von Termen. nformatik -35- WS 2005/2006 Auflösung von Mehrdeutigkeiten Damit: eindeutige Grammatik für einfache Ausdrücke: a b a b 0 1 F () T F TF T +T Weitere Grammatik für die Sprache einfacher Ausdrücke. Parse-Baum für a+ba T F + T F T F a a b nformatik -36- WS 2005/