Kontextfreie Sprachen. Automaten und Formale Sprachen alias Theoretische Informatik. Sommersemester Kontextfreie Sprachen

Transkript

1 Automaten und Formale Sprachen alias Theoretische Informatik Sommersemester 2012 Dr. Sander Bruggink Übungsleitung: Jan Stückrath Wortproblem: der CYK-Algorithmus Pumping Lemma für kontextfreie Sprachen Automatenmodell: Kellerautomaten Abschlusseigenschaften und Algorithmen Determinismus und Nicht-Determinismus in kontextfreien Sprachen Sander Bruggink Automaten und Formale Sprachen 1 Sander Bruggink Automaten und Formale Sprachen 208 Kleine Wiederholung: kontextfreie Grammatiken Anwendungen von kontextfreien Sprachen Beschreibung der Syntax von Programmiersprachen. Viele der in dieser Veranstaltung besprochenen Techniken sind daher interessant für den Einsatz im Compilerbau. Teilweise auch Beschreibung der natürlichen Sprachen. Eine Grammatik ist ein Viertupel G = (V, Σ, P, S), wobei V eine (endliche) Menge von Nichtterminalsymbolen, Σ das (endliche) Alphabet, P eine endliche Menge von Produktionen, die je aus einer linken und aus einer rechten Seite bestehen, und S V das Startsymbol ist. Eine Grammatik ist kontextfrei wenn alle linken Seiten der Regeln aus genau einem Nicht-Terminalsymbol bestehen, und alle rechte Seiten aus mindestens einem Symbol (Terminal oder Nicht-Terminal). ε-sonderregel: Wenn S das Startsymbol ist, darf die Regel S ε in der Grammatik enthalten sein, falls S nirgendwo in einer rechten Seite einer Regel vorkommt. Sander Bruggink Automaten und Formale Sprachen 209 Sander Bruggink Automaten und Formale Sprachen 210

2 Kleine Wiederholung: kontextfreie Grammatiken Nochmals zur ε-sonderregelung Sei Σ = {a, b}. Beispiel 1: Geben Sie eine kontextfreie Grammatik G 1 an, so dass L(G 1 ) = {a n b n n 0}. Beispiel 2: Geben Sie eine kontextfreie Grammatik G 2 an, so dass L(G 2 ) = {a k b n a m b n n, m, k 1}. Frage: Ist die ε-sonderregelung wirklich nötig? Können wir ε nicht immer als rechte Seite zulassen? Antwort: ja, wir können ε immer als rechte Seite zulassen. ε-freie Grammatiken (Satz) Gegeben sei eine kontextfreie Grammatik G = (V, Σ, P, S) mit Produktionen der Form A w, wobei A V, w (V Σ). Dann gibt es eine Grammatik G = (V, Σ, P, S) mit Produktionen der Form A w, w (V Σ) + und L(G) = L(G ). Nochmals zu ε-sonderregelung Sander Bruggink Automaten und Formale Sprachen 211 Beispiel: ε-produktionen entfernen Sander Bruggink Automaten und Formale Sprachen 212 Verfahren zur Entfernung von ε-produktionen: 1 Bestimme die Variablenmenge V 1 V mit V 1 = {A V A ε}, d.h., die Menge aller Variablen, aus denen sich das leere Wort ableiten läßt. 2 Füge für jede Produktion der Form B xay mit A V 1, x, y (V Σ) eine Produktion B xy zur Produktionenmenge hinzu. (Diese Produktion simuliert das Löschen von A.) 3 Entferne alle Produktionen der Form A ε. Sei G = (V, Σ, P, S), wobei V = {S, X, Y, Z}, Σ = {a, b} und P = S XZ X ayb ε Y bxa bb Z ε asa 4 Falls ε L(G) (das heißt, S V 1 ), füge eine neue Startvariable S und die Produktionen S ε und S S hinzu. Sander Bruggink Automaten und Formale Sprachen 213 Sander Bruggink Automaten und Formale Sprachen 214

3 Nochmals zu ε-sonderregelung Syntaxbäume und Eindeutigkeit Weil wir jede Grammatik, die fast kontextfrei ist, aber das leere Wort als rechte Seite enthält, in eine kontextfreie Grammatik umwandeln können, werden wir im Folgenden bei kontextfreien Sprachen beliebige Wörter als rechte Seiten zulassen, auch das leere Wort. Manchmal ist es in Konstruktionen und Beweisen trotzdem praktisch davon auszugehen, dass ε nicht als rechte Seite vorkommt (außer als S ε, siehe ε-sonderregel). Wir betrachten die folgende Beispiel-Grammatik zur Erzeugung von korrekt geklammerten arithmetischen Ausdrücken: mit folgender Produktionenmenge P: G = ({E, T, F }, {(, ), a, +, }, P, E) E T E + T T F T F F a (E) Syntaxbäume und Eindeutigkeit Sander Bruggink Automaten und Formale Sprachen 215 Syntaxbäume und Eindeutigkeit Sander Bruggink Automaten und Formale Sprachen 216 Für die meisten Wörter der von G erzeugten Sprache gibt es mehrere mögliche Ableitungen: E T T F F F a F a (E) a (E + T ) a (T + T ) a (F + T ) a (a + T ) a (a + F ) a (a + a) E T T F T (E) T (E + T ) T (E + F ) T (E + a) T (T + a) T (F + a) T (a + a) F (a + a) a (a + a) Die erste Ableitung ist eine sogenannte Linksableitung (immer so weit links wie möglich ableiten), die zweite eine Rechtsableitung (so weit rechts wie möglich ableiten). Syntaxbaum aufbauen Wir bilden nun aus beiden Ableitungen den Syntaxbaum, indem wir Die Wurzel des Baums mit der Startvariable der Grammatik beschriften. Bei jeder Regelanwendung der Form A z zu A z Kinder hinzufügen, die mit den Zeichen von z beschriftet sind. Syntaxbäume lassen sich für alle Ableitungen von kontextfreien Grammatiken aufbauen. Sander Bruggink Automaten und Formale Sprachen 217 Sander Bruggink Automaten und Formale Sprachen 218

4 Syntaxbäume und Eindeutigkeit Syntaxbäume und Eindeutigkeit Dabei erhalten wir in beiden Fällen den gleichen Syntaxbaum. Man sagt, eine Grammatik ist eindeutig, wenn es für jedes Wort in der erzeugten Sprache genau einen Syntaxbaum gibt Eine Grammatik ist mehrdeutig, wenn es für ein Wort in der erzeugten Sprache, zwei oder mehr Syntaxbäume gibt. T F a E T T F a F ( E ) E + T F a Beispiel einer mehrdeutigen Grammatik Sei G = (V, Σ, P, S), wobei V = {S}, Σ = {(, )} und P = S (S) SS ε Sander Bruggink Automaten und Formale Sprachen 219 Sander Bruggink Automaten und Formale Sprachen 220 Wir betrachten nun eine nützliche Normalform. Chomsky-Normalform (Definition) Eine kontextfreie Grammatik G = (V, Σ, P, S) mit ε L(G) heißt in Chomsky-Normalform, falls alle Produktionen eine der folgenden zwei Formen haben: A BC A a Dabei sind A, B, C V Variablen und a Σ ein Alphabetsymbol. Umwandlung in Chomsky-Normalform (Satz) Zu jeder kontextfreien Grammatik G mit ε L(G) gibt es eine Grammatik G in Chomsky-Normalform mit L(G) = L(G ). Sander Bruggink Automaten und Formale Sprachen 221 Sander Bruggink Automaten und Formale Sprachen 222

5 Verfahren zur Umwandlung in Chomsky-Normalform: 1 ε-produktionen entfernen (siehe Folie 213) 2 Kettenproduktionen entfernen (V 1 V 2 ) 3 Alphabetsymbolen aus den rechten Seiten entfernen 4 Lange rechte Seiten aufteilen Schritt 2: Kettenproduktionen entfernen Es gibt zwei Fälle: 1. Fall: Eine Kettenproduktion liegt auf einem Zyklus A 1 A 2 A k A 1 von Produktionen. In diesem Fall werden alle Variablen A 1,, A k durch eine einzige Variable A ersetzt und die Kettenproduktionen entfernt. Sander Bruggink Automaten und Formale Sprachen 223 Sander Bruggink Automaten und Formale Sprachen 224 Schritt 2: Kettenproduktionen entfernen 2. Fall: Es existiert kein Zyklus. In diesem Fall kann man die Variablen durchnummerieren: A 1,, A k, so dass A i A j nur gilt, falls i < j. Man geht nun von den höheren zu den niedrigeren Indizes (i = k 1,, 1) und ersetzt A i A j durch A i x 1 x n, falls die Regeln mit A j auf der linken Seite folgende Form haben: A j x 1 x n Schritt 3: Alphabetsymbolen entfernen Falls eine Regel A w mehr als ein Symbol auf der rechten Seite hat (d.h., w > 1), so wird jedes Terminalzeichen a in w durch eine neue Variable U a ersetzt. Außerdem werden Produktionen U a a hinzugefügt. Dadurch befinden sich nur noch Variablen auf der rechten Seite. Diesen Schritt nur anwenden, wenn w > 1. (Einführen von Shortcuts ) Sander Bruggink Automaten und Formale Sprachen 225 Sander Bruggink Automaten und Formale Sprachen 226

6 Schritt 4: Lange rechte Seiten aufteilen Im letzten Schritt werden Produktionen der Form A B 1 B k eliminiert: führe neue Variable C 1,, C k 2 ein, entferne die ursprüngliche Regel und ersetze sie durch: A B 1 C 1 C 1 B 1 C 2. C k 2 B k 1 B k Beispiel: Sie G = ({S, X, Y }, {a, b, c}, P, S) eine Grammatik, wobei P die folgende Produktionen enthält: S axb X S Y aasc ε Y X bbsc Wandeln Sie G in Chomsky-Normalform um. Sander Bruggink Automaten und Formale Sprachen 227 Sander Bruggink Automaten und Formale Sprachen 228 : ein effizienter(er) Algorithmus, der entscheidet, ob ein gegebenes Wort w von einer gegebenen kontextfreien Grammatik erzeugt wird. Der Algorithmus wurde entwickelt von John Cocke, Daniel Younger und Tadao Kasami. Er braucht eine kontextfreie Grammatik G in Chomsky-Normalform und ein Wort w als Eingabe, und gibt aus, ob w in der Sprache von G liegt. Idee: Gegeben sei ein Wort x Σ. Wir wollen feststellen, aus welchen Variablen es abgeleitet worden sein könnte. Möglichkeit 1: x = a Σ, d.h., x besteht aus einem einzigen Alphabetsymbol. Dann kann w nur aus Variablen A abgeleitet worden sein, für die es eine Produktion A a gibt. Möglichkeit 2: x = a 1 a n mit n 2. In diesem Fall gilt: Zunächst muss eine Produktion A BC angewandt werden, dann muss ein Teil a 1 a k des Wortes aus B und der andere Teil a k+1 a n aus C abgeleitet werden. (1 k < n) Sander Bruggink Automaten und Formale Sprachen 229 Sander Bruggink Automaten und Formale Sprachen 230

7 Möglichkeit 2 läßt sich schematisch folgendermaßen darstellen: A B C Es ist jedoch nicht klar, wo das Wort x geteilt werden muss, d.h., wie groß der Index k ist! Daher: Probiere alle möglichen k s durch. Das heißt: Gegeben ein Wort x = a 1 a n. Überprüfe für alle k mit 1 k < n: Bestimme alle Variablen V 1, aus denen sich a 1 a k ableiten läßt. Bestimme alle Variablen V 2, aus denen sich a k+1 a n ableiten läßt. a 1 a k a k+1 a n Stelle fest, ob es Variablen A, B, C gibt mit (A BC) P, B V 1 und C V 2. In diesem Fall gilt, dass sich x aus A ableiten läßt. Sander Bruggink Automaten und Formale Sprachen 231 Um Mehraufwand zu vermeiden: verwende Methoden der dynamischen Programmierung, das heißt: berechne zuerst alle Variablen, aus denen sich Teilwörter der Länge 1 ableiten lassen, berechne dann alle Variablen, aus denen sich Teilwörter der Länge 2 ableiten lassen, zuletzt berechne alle Variablen, aus denen sich x ableiten läßt. Falls sich das Startsymbol S unter diesen Variablen befindet, so liegt x in der von der Grammatik erzeugten Sprache. Sander Bruggink Automaten und Formale Sprachen 232 Notation: Wir bezeichnen mit x i,j das Teilwort von x, das an der Stelle i beginnt und die Länge j hat. x = a 1 a n x i,j = a i a i+j 1. Damit sieht das obige Bild folgendermaßen aus: B A C x 1,k x k+1,n k Sander Bruggink Automaten und Formale Sprachen 233 Sander Bruggink Automaten und Formale Sprachen 234

8 Praktische Ausführung des CYK-Algorithmus: Wir tragen die Variablenmengen T i,j in folgende Tabelle ein: Wir bezeichnen mit T i,j die Menge aller Variablen, aus denen sich x i,j berechnen läßt. T i,j läßt sich aus Mengen T i,j T i,j = {A (A BC) P mit j < j folgendermaßen bestimmen: und es gibt k < j mit B T i,k und C T i+k,j k } j = n 1 j = n a 1 a 2 a n 1 a n T 1,1 T 2,1 T n 1,1 T n,1 T 1,2 T 1,n 1 T 2,n 1 T 1,n T 2,2 T n 1,2 Sander Bruggink Automaten und Formale Sprachen 235 Sander Bruggink Automaten und Formale Sprachen 236 Folgendermaßen läßt sich veranschaulichen, welche Variablenmenge welches Teilwort ableitet: a 1 a 2 a 3 a 4 a 5 a 1 a 2 a 3 a 4 a 5 T 1,1 T 2,1 T 3,1 T 4,1 T 5,1 T 6,1 T 6,1 T 1,2 T 2,2 T 3,2 T 4,2 T 1,3 T 2,3 T 3,3 T 4,3 T 5,2 x = a1a2a3a4a5 a6 (A BC) P, B T 1,5, C T 6,1 A T 1,4 T 2,4 T 3,4 T 1,5 T 1,5 T 2,5 Sander Bruggink Automaten und Formale Sprachen 237 Sander Bruggink Automaten und Formale Sprachen 238

9 a 1 a 2 a 3 a 4 a 5 a 1 a 2 a 3 a 4 a 5 T 1,4 T 5,2 x = a 1 a 2 a 3 a 4 a 5 (A BC) P, B T 1,4, C T 5,2 A T 1,3 T 4,3 (A BC) P, x = a 1 a 2 a 3 a 4 a 5 B T 1,3, C T 4,3 A Sander Bruggink Automaten und Formale Sprachen 238 Sander Bruggink Automaten und Formale Sprachen 238 a 1 a 2 a 3 a 4 a 5 a 1 a 2 a 3 a 4 a 5 T 1,1 T 1,2 x = a 1 a 2 a 3 a 4 a 5 x = a 1 a 2 a 3 a 4 a 5 T 3,4 (A BC) P, B T 1,2, C T 3,4 A (A BC) P, B T 1,1, C T 2,5 A T 2,5 Sander Bruggink Automaten und Formale Sprachen 238 Sander Bruggink Automaten und Formale Sprachen 238

10 input G = (V, Σ, P, S), w Σ n := w for i {1,, n} do T i,1 := {A A x i,1 P} for j {2,, n} do for i {1,, n j + 1} do T i,j := for k {1,, j 1} do T i,j := T i,j {A A BC P for some B T i,k, C T i+k,j k } end end end if S T 1,n then return true else return false Beispiel 1: Betrachte eine Grammatik mit folgenden Produktionen: S AD FG D SE BC E BC F AF a G BG CG b H SC A a B b C c Frage: Sei x = aabcbc. Gilt x L? Sander Bruggink Automaten und Formale Sprachen 239 Sander Bruggink Automaten und Formale Sprachen 240