Kapitel 2: Formale Sprachen Kontextfreie Sprachen. reguläre Grammatiken/Sprachen. kontextfreie Grammatiken/Sprachen

Transkript

1 reguläre Grammatiken/prachen Beschreibung für Bezeichner in Programmiersprachen Beschreibung für wild cards in kriptsprachen (/* reguläre Ausdrücke */)?; [a-z]; * kontextfreie Grammatiken/prachen Beschreibung der yntax von Programmiersprachen Backus-Naur-Form erweiterte Backus-Naur-Form 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

2 Backus-Naur-Form / erweiterte Backus-Naur-Form (/* Beispiel */) <Bezeichner> ::= _<Name> <Name> <Name> ::= <Buchstabe> <Buchstabe><Name'> <Name'> ::= <Buchstabe> <Buchstabe><Name'> <Ziffer><Name'> <Buchstabe>::= a... z A... Z <Ziffer> ::= /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

3 Backus-Naur-Form / erweiterte Backus-Naur-Form (/* Beispiel */) <Block> ::= <Anweisung> begin <Anweisung> {<Anweisung>} end <Anweisung> ::= <Zuweisung> <Verzweigung> <chleife> <Zuweisung> :: = <Bezeichner> = <Ausdruck> <Verzweigung> ::= if <Bedingung> <Block> [else <Block>] <chleife> := while <Ausdruck> <Block>... zugehörige kontextfreie Grammatik (/* Beispiel */) Σ = { begin,end,if,else,while,=,0,...,9 } V = { <Block>,<Anweisung>,<Zuweisung>,...,H1 } = <Block> 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

4 Backus-Naur-Form / erweiterte Backus-Naur-Form (/* Beispiel */) <Block> ::= <Anweisung> begin <Anweisung> {<Anweisung>} end <Anweisung> ::= <Zuweisung> <Verzweigung> <chleife> <Zuweisung> :: = <Bezeichner> = <Ausdruck> <Verzweigung> ::= if <Bedingung> <Block> [else <Block>] <chleife> := while <Ausdruck> <Block>... zugehörige kontextfreie Grammatik (/* Beispiel */) <Block> <Anweisung> begin H1 end H1 <Anweisung> <Anweisung> H1... <Verzweigung> if <Bedingung> < Block> <Verzweigung> if <Bedingung> < Block> else <Block> 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

5 konzeptioneller Aspekt Menge der zulässigen Ausdrücke charakterisieren algorithmischer Aspekt einer Programmiersprache (/* mit Hilfe einer BNF / EBNF */)... also auch mit kontextfreien Grammatiken einer eitenbeschreibungssprache / eines Datenaustauschformats (/* mit Hilfe einer Document Type Definition */)... also auch mit kontextfreien Grammatiken das Membership-Problem für eine mittels einer kontextfreien Grammatik G beschriebenen prache L = L(G) in den Griff bekommen 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

6 relevante Fragestellungen sind kontextfreie Grammatiken als Beschreibungsmittel ausreichend ausdrucksfähig erlauben eine effiziente Lösung des Membership-Problems... beide Punkte sind im Zusammenhang zu sehen 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

7 Beispiel (/* C++ Funktion */)... int ggt(int a, int b) { int teiler = a%b; while (teiler!= 0) { a = b; b = teiler; teiler = a%b; } return (b); } int main ( ) {.. int help = ggt(zaehler,nenner);... } 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

8 Beispiel (/* C++ Funktion */)... int ggt(int a, int b) { int teiler = a%b; while (teiler!= 0) { a = b; b = teiler; teiler = a%b; } return (b); } int main ( ) {.. int help = ggt(zaehler,nenner);... } solcher Zusammenhänge lassen sich mit kontextfreien Grammatiken nicht beschreiben... da hilft man sich auf andere Art und Weise... für alles andere reichen kontextfreie Grammatiken 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

9 kontexfreie Grammatiken/prachen es sei G = [Σ,V,,R] eine Chomsky-Grammatik G heißt kontextfreie Grammatik, falls für alle Regeln l r von G gilt: l r (/* die Regeln sind nicht verkürzend */) l V Eine prache L heißt kontextfreie prache, falls es eine kontextfreie Grammatik G mit L(G) = L gibt. 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

10 Beispiel prache L, die alle Zeichenketten enthält, die nur aus 0 en und 1 en bestehen und Palindrome sind (/* ergeben von vorn und hinten gelesen dieselbe Zeichenkette */) V = { } ein längeres Beispiel: ein Neger mit Gazelle zagt im Regen nie (/* einnegermitgazellezagtimregennie */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

11 Beispiel L = { 0 i 1 j 0 k i, j, k 1 und ( i = j oder j = k ) } V = {,A,B,C } AB CA A 0 0A B 10 1B0 C 01 0C1 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

12 zentraler Begriff: Ableitungsbaum es sei G = [Σ,V,,R] eine kontextfreie Grammatik es sei w L(G) Ein Ableitungsbaum für w ist ein Baum, für den gilt: seine Wurzel ist mit markiert jeder innere Knoten ist mit einer Variablen A V markiert die öhne eines inneren Knotens mit der Variablen A ergeben von links nach rechts gelesen die rechte eite einer Regel zum Ersetzen von A die Blätter sind mit Buchstaben x Σ markiert (/ *die Blätter von links nach rechts gelesen ergeben gerade die Zeichenkette w */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

13 Ableitungsbäume (/* Beispiele */) AB CA A 0 0A B 10 1B0 C 01 0C1 w = C A A B 0 C 1 0 A 0 A 1 B /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

14 Beobachtung (/* Teil 1 */) es sei G = [Σ,V,,R] eine kontextfreie Grammatik es sei w L(G) und B ein Ableitungsbaum für w... in B finden sich mehrere Ableitungen des Wortes w C A G CA G 0C1A G 0011A G 00110A G G CA G 0C1A G 0C10A G 0C100 G C 1 0 A G CA G C0A G C00 G 0C100 G /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

15 Beobachtung (/* Teil 2 */) es sei G = [Σ,V,,R] eine kontextfreie Grammatik es sei w L(G) es gibt mehrere Ableitungsbäume für w in jedem Ableitungsbaum finden sich mehrere Ableitungen von w in jedem Ableitungsbaum findet sich eine eindeutig festgelegte Linksableitung von w (/* es wird jeweils die am weitesten links stehende Variable ersetzt */) in jedem Ableitungsbaum findet sich eine eindeutig festgelegte Rechtsableitung von w (/* es wird jeweils die am weitesten rechts stehende Variable ersetzt */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

16 Membership-Problem für kontextfreie prachen es sei G = [Σ,V,,R] eine kontextfreie Grammatik es sei w Σ* um herauszukommen, ob w L(G) gilt, versucht man eine Links- bzw. Rechtsableitung für w zu konstruieren oder nachzuweisen, daß es keine Links- bzw. Rechtsableitung für w gibt Linksableitungen Top-Down-Parser Rechtsableitungen Bottom-Up-Parser 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

17 Chomsky-Normalform für kontextfreie Grammatik es sei G = [Σ,V,,R] eine kontextfreie Grammatik G ist in Chomsky-Normalform, falls für alle Regeln (l,r) R gilt: l V r = x mit x Σ oder r = AB mit A,B V Einordnung Es sei L eine kontextfreie prache. Dann gibt es eine Grammatik G = [Σ,V,,R] in Chomsky-Normalform, so daß L(G) = L gilt. 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

18 Vorteile von Grammatiken in Chomsky-Normalform (/* Teil 1 */) es sei G = [Σ,V,,R] eine Grammatik in Chomsky-Normalform es sei w L(G) mit w = n Jede Ableitung des Worts w benötigt genau 2n-1 viele Ableitungsschritte. Hintergrund... jeder Ableitungsbaum für w ist mit Ausnahme der letzten Ebene ein Binärbaum 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

19 Beispiel V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 A C 0 B A B /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

20 Vorteile von Grammatiken in Chomsky-Normalform (/* Teil 2 */) es sei G = [Σ,V,,R] eine Grammatik in Chomsky-Normalform es sei w Σ* mit w = x 1...x n es sei A V Das Wort w ist aus der Variablen ableitbar (/* d.h. A * G w */) gdw. einer der folgenden beiden Fälle eintritt: Fall 1: n = 1 Fall 2: n > 1 dann muß R die Regel A x 1 enthalten dann muß es ein z { 1,...,n-1 }, Variablen B,C V und eine Regel A BC in R geben, so daß gilt: B * G a 1...a z C * G a z+1...a n... kann man benutzen, um unter Verwendung des Paradigmas der dynamischen Programmierung einen effizienten Algorithmus zur Lösung des Membership-Problems für L(G) zu konzipieren 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

21 Cocke-Younger-Kasami Algorithmus es sei G = [Σ,V,,R] eine Grammatik in Chomsky-Normalform es sei w Σ* mit w = x 1... x n verwendete Datenstruktur: Tabelle der Größe n n Zelle t[i][k] enthält Informationen, die das Teilwort x i x i+1... x i+k-1 betreffen (/* d.h. das Teilwort, welches in w an der Position i beginnt und aus k Zeichen besteht */) t[i][k] enthält die Variable A V, falls A * G x i x i+1... x i+k-1 gilt Berechnungsvorschrift: k = 1 A t[i][1], k > 1 A t[i][k], falls es eine Regel A x i gibt falls die Regel A BC zu R gehört und es ein z { 1,...,k-1 } mit B t[i][z] und C t[i+z][k-z] gibt 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

22 Beispiel V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 i k /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

23 Beispiel (cont.) V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 i k 1 A A B B 1 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

24 Beispiel (cont.) V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 i k 1 A A B B 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

25 Beispiel (cont.) V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 i k 1 A A B C B 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

26 Beispiel (cont.) V = {,A,B,C } w = 0011 AC AB C B A 0 B 1 i k 1 A A B C B G AC G 0C G 0B G 0ABB G 00BB G 001B G /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

27 Cocke-Younger-Kasami Algorithmus es sei G = [Σ,V,,R] eine Grammatik in Chomsky-Normalform es sei w Σ* mit w = x 1... x n für i = 1,...,n: bestimme T[i][1] für k = 2,...,n: für i = 1,...,n - k + 1: setze T[i][k] = für z = 1,...,k - 1: füge ein A V zu T[i][z] hinzu, falls es B,C V mit folgenden Eigenschaften gibt: - B T[i][z] - C T[i+ z][k-z] - die Regel A BC gehört zu R falls T[1][n], gib ja aus; sonst gib nein aus 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

28 Cocke-Younger-Kasami Algorithmus löst das Membership-Problem für eine kontextfreie prache L = L(G), falls die Grammatik G in Chomsky-Normalform ist der CYK-Algorithmus benötigt O(n 3 ) viele chritte, um für ein Wort w der Länge n zu entscheiden, ob w L(G) oder w L(G) gilt (/* die Größe von G ist in der O-Notation versteckt */) der CYK- Algorithmus basiert auf dem Paradigma der dynamischen Programmierung 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

29 zurück zu Chomsky-Normalformen Es sei L eine kontextfreie prache. Dann gibt es eine Grammatik G = [Σ,V,,R] in Chomsky-Normalform, so daß L(G) = L gilt. es sei G = [Σ,V,,R] eine kontextfreie Grammatik dann kann man aus G eine Grammatik G = [Σ,V,,R ] in Chomsky- Normalform konstruieren, so daß L(G ) = L(G) gilt... der CYK-Algorithmus löst das Membership-Problem für alle kontextfreien prachen... bevor man den CYK-Algorithmus anwenden kann, ist ein Art pre-processing erforderlich 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

30 Beispiel für die Konstruktion von G (/* einfacher Fall */) V = { } 0 01 Σ = { 0,1 } V = {,H 0,H 1 } 0 H 0 H 1 H 0 0 H 1 1 Σ = { 0,1 } V = {,H 0,H 1,H } 0 H 0 H H H 1 H 0 0 H falls G nur Regeln hat, deren rechte eite nicht nur aus einer Variablen bestehen 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

31 Beispiel für die Konstruktion von G (/* komplizierterer Fall */) V = {,A } 01 1A A A 01 V = {,A } 01 1A 01 A weiter wie zuvor!!!... falls G Regeln hat, deren rechte eite aus einer Variablen bestehen 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

32 Beispiel für die Konstruktion von G (/* komplizierterer Fall */) V = {,A,B } A A B A 0 00 B 1 11 V = {,A,B } 0 00 A B A 0 00 B 1 11 V = {,A,B } 0 00 A 1 11 A 0 00 B so nicht!!!... man sollte systematisch vorgehen 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

33 Beispiel für die Konstruktion von G (/* komplizierterer Fall */) V = {,A,B } Σ = { 0,1 } V = { H 1,H 2,H 3 } H 1 A A B A 0 00 B 1 11 H 1 H 2 H 2 H 3 H H H 1 H 2 H H H Variablen durchnumerieren, so daß in Regeln der Form H i H j immer i < j gilt... ersetze sukzessive, wobei mit dem größten Index i begonnen wird H H H H /4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

34 Beispiel für die Konstruktion von G (/* komplizierterer Fall */) V = {,A,B,C } 01 0A A A B B A C A 0B1 C 01A A A B B A C... Variablen so durchnumerieren, daß in Regeln der Form H i H j immer i < j gilt, funktioniert nicht immer (/* Zyklen!!! */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

35 Beispiel für das pre-processing (/* komplizierterer Fall */) V = {,A,B,C } 01 0A A A B B A C A 0B1 C 01A A A B B A C V = {,C } 01 0 C 01 C 01 Zyklen eliminieren!!! (/* d.h. Variablen zusammenfassen */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

36 Beispiel für das pre-processing (/* komplizierterer Fall */) V = {,A,B,C } 01 0A A A B B A C A 0B1 C 01A V = {,C } 01 0 C 01 C weiter wie zuvor!!! Σ = { 0,1 } V = { H 1,H 2 } H 1 H 1 01 H 1 0H 1 H 1 H 2 H 1 0H 1 1 H 2 01H 1 H 1 01 H 1 0H 1 H 1 01H 1 H 1 0H 1 1 H 2 01H 1 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik

37 Kontexfreie prachen Beispiel für die Konstruktion von G (/* allgemein */) falls G Regeln enthält, deren rechten eite nur aus einer Variablen bestehen, so nimm alle Regeln diesen Typs her und gehe wie folgt vor chritt 1 (/* Zyklen finden + eliminieren */): suche Zyklen; falls Zyklus x 1 x 2 ;... ; x n x 1 gefunden, so ersetze x 2,...,x n durch x 1 chritt 2 (/* Regeln umformen */): numeriere die Variablen so durch, daß in allen Regeln vom Typ H i H K stets i < k gilt; ersetze in allen Regeln vom Typ H i H k die Variable H k durch alle rechten eiten der Regeln vom Typ x k r mit r > 1 (/* beginne dabei mit dem größten i */) anschließend gibt es nur noch Regelen, deren rechte eiten aus einem Buchstaben oder aus mehr als einem Zeichen bestehen (/* der einfache Fall */) 2/4, Folie Prof. teffen Lange - HDa/FbI - Grundlagen der Theoretischen Informatik