Grundlagen der Theoretischen Informatik

Transkript

1 1 Grundlagen der Theoretischen Informatik Till Mossakowski Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Wintersemester 2014/15

2 2 Kontextfreie Grammatiken Definition: Eine Grammatik G = (V,Σ,R,S) heißt kontextfrei, falls R V (V Σ). Auf der linken Seite einer Regel steht also stets genau ein Nichtterminal. Definition: Eine Sprache L heißt kontextfrei, falls es eine kontextfreie Grammatik G gibt, so dass L = L(G).

3 3 Definition: Ein Kellerautomat ist ein 6-Tupel (K,Σ,Γ,,s,F), wobei gilt: K ist eine endliche Menge von Zuständen, Σ ist ein Alphabet, das Eingabealphabet, Γ ist ein Alphabet, das Kelleralphabet, s K ist der Startzustand, (K (Σ {ε}) Γ ) (K Γ ) ist die Übergangsrelation, ist endlich und F K ist die Menge der Endzustände. Ein Kellerautomat ist also nach Definition nichtdeterministisch.

4 4 Kellerautomaten und kontextfreie Sprachen Satz: [Kleene] Die Klasse der kontextfreien Sprachen ist genau die Klasse der von Kellerautomaten akzeptierten Sprachen.

5 5 Abschlusseigenschaften Satz: Die Klasse der kontextfreien Sprachen ist abgeschlossen unter (a) Vereinigung, (b) Konkatenation und (c) Kleene Star. Es genügt, die Beweise für kontextfreie Grammatiken zu führen. Wir skizzieren lediglich die Beweisideen.

6 6 (a) Vereinigung Seien G 1 = (V 1,Σ 1,R 1,S 1 ) und G 2 = (V 2,Σ 2,R 2,S 2 ) kontextfreie Grammatiken und o.b.d.a. gelte V 1 V 2 = /0. Ferner sei S V 1 V 2. Sei nun G = (V 1 V 2 {S},Σ 1 Σ 2,R,S) mit R = R 1 R 2 {S S 1, S S 2 } Dann gilt L(G) = L(G 1 ) L(G 2 )

7 7 (b) Konkatenation Seien G 1 = (V 1,Σ 1,R 1,S 1 ) und G 2 = (V 2,Σ 2,R 2,S 2 ) kontextfreie Grammatiken und o.b.d.a. gelte V 1 V 2 = /0. Ferner sei S V 1 V 2. Sei nun G = (V 1 V 2 {S},Σ 1 Σ 2,R,S) mit R = R 1 R 2 {S S 1 S 2 } Dann gilt L(G) = L(G 1 )L(G 2 )

8 8 (c) Kleene Star Sei G 1 = (V 1,Σ 1,R 1,S 1 ) eine kontextfreie Grammatik. Ferner sei S V 1. Sei G = (V 1 {S},Σ 1,R,S) mit R = R 1 {S ε, S SS 1 } Dann gilt L(G) = L(G 1 )

9 9 Satz: Der Schnitt einer kontextfreien Sprache mit einer regulären Sprache ist eine kontextfreie Sprache. Beweisskizze: Sei M 1 = (K 1,Σ,Γ, 1,s 1,F 1 ) ein Kellerautomat und sei M 2 = (K 2,Σ,δ,s 2,F 2 ) ein deterministischer endlicher Automat. Wir simulieren M 1 und M 2 parallel mit dem Kellerautomat M = (K 1 K 2,Σ,Γ,,(s 1,s 2 ),F 1 F 2 ) mit den Übergängen (((q 1,q 2 ),a,β),((p 1,δ(q 2,a)),γ)) für jedes ((q 1,a,β),(p 1,γ)) 1 und jedes q 2 K 2 sowie (((q 1,q 2 ),ε,β),((p 1,q 2 ),γ)) für jedes ((q 1,ε,β),(p 1,γ)) 1 und jedes q 2 K 2. Dann gilt L(M) = L(M 1 ) L(M 2 )

10 10 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a s b/ε/b ε/ε/ε f b/b/ε a/a/ε

11 11 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a s b/ε/b q 0 s q 1 s q 2 s q 3 s ε/ε/ε f b/b/ε q 0 f q 1 f q 2 f q 3 f a/a/ε

12 12 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a s b/ε/b q 0 s q 1 s q 2 s q 3 s ε/ε/ε f b/b/ε q 0 f q 1 f q 2 f q 3 f a/a/ε

13 13 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a a/ε/a s b/ε/b q 0 s q 1 s q 2 s q 3 s ε/ε/ε f b/b/ε q 0 f q 1 f q 2 f q 3 f a/a/ε

14 14 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a s b/ε/b a/ε/a b/ε/b q 0 s q 1 s q 2 s q 3 s ε/ε/ε f b/b/ε q 0 f q 1 f q 2 f q 3 f a/a/ε

15 15 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a s b/ε/b a/ε/a b/ε/b q 0 s q 1 s q 2 s q 3 s ε/ε/ε ε/ε/ε f b/b/ε q 0 f q 1 f q 2 f q 3 f a/a/ε

16 16 Beispiel: a b a a,b q b 0 q a 1 q b 2 q 3 a/ε/a a/ε/a b/ε/b a/ε/a a/ε/a s b/ε/b b/ε/b a/ε/a b/ε/b q 0 s q 1 s q 2 s q 3 s b/ε/b ε/ε/ε ε/ε/ε ε/ε/ε ε/ε/ε ε/ε/ε f b/b/ε b/b/ε a/a/ε b/b/ε q 0 f q 1 f q 2 f q 3 f b/b/ε a/a/ε a/a/ε b/b/ε a/a/ε a/a/ε L(M) = {uu R u {a,b} } {w {a,b} bab ist kein Teilwort von w}

17 17 Kontextfreie und nichtkontextfreie Sprachen Sei G = (V,Σ,R,S) eine kontextfreie Grammatik. Mit φ(g) bezeichnen wir die maximale Anzahl von Symbolen auf der rechten Seite einer Produktionsregel in R. Die Höhe eines Syntaxbaumes ist die Länge des längsten Pfades von einem Blatt zur Wurzel des Baumes. Satz: Sei G eine kontextfreie Grammatik und T ein Syntaxbaum von G. Sei h die Höhe von T. Dann hat die Beschriftung von T Länge höchstens φ(g) h.

18 18 Pumping Lemma für kontextfreie Sprachen uvwxy-theorem: Satz (Pumping Lemma): Sei L eine kontextfreie Sprache. Dann gibt es eine Zahl n, so dass sich alle Wörter z L mit z n in z = uvwxy zerlegen lassen, so dass (1) vx ε (2) vwx n (3) uv i wx i y L für alle i 0

19 19 Beweis: Sei G = (V,Σ,R,S) eine kontextfreie Grammatik mit L = L(G) und sei n = φ(g) V +1. Sei nun z L mit z n und T ein Syntaxbaum für z mit minimal vielen Blättern. In T muss es einen Pfad der Länge mindestens V + 1 geben, auf dem nach dem Schubfachprinzip mindestens ein Nichtterminal mehrfach vorkommt. Sei A ein Nichtterminal, das unter den V + 1 untersten Nichtterminalen auf diesem Pfad mehrfach vorkommt.

20 20 S A T A T u v w x y Sei w die Beschriftung des Teilbaums T, dessen Wurzel mit dem untersten Vorkommen von A beschriftet ist, und sei vwx die Beschriftung des Teilbaums T, dessen Wurzel mit dem zweituntersten Vorkommen von A beschriftet ist. Da wir einen Syntaxbaum für z mit minimal vielen Blättern gewählt haben, muss vx ε gelten.

21 21 S A A A u v x y v A x v A x v w x Wir können T durch T ersetzen oder auch wiederholt T durch T und dadurch uv i wx i y für alle i 0 in G aus S ableiten.

22 22 Da wir A als ein Nichtterminal gewählt haben, das unter den V + 1 untersten Nichtterminalen auf dem langen Pfad mehrfach vorkommt, hat T Höhe höchstens V + 1. Somit hat vwx Länge höchstens φ(g) V +1 = n.

23 23 Pumping Lemma: für alle L CF gilt, es gibt n 1 so dass für alle z L, z n gilt, es gibt u,v,w,x,y, vx ε, vwx n, z = uvwxy so dass für alle i 0 gilt uv i wx i y L

24 24 Pumping Lemma: L CF n 1 z L, z n u,v,w,x,y, vx ε, vwx n, z = uvwxy i 0 uv i wx i y L

25 25 Beispiel: S A+ A o, A SS os oo S A S + o S A A + T A T u v w x y o A S o o }{{} o u }{{} o v }{{} o o w }{{} x + + }{{} y

26 26 S S A + o S A + A A u T A A y o A S v T A w x o A o

27 27 S S A A A T A T u v w x y x y z Auch das Pumping Lemma für reguläre Sprachen lässt sich mit Hilfe von Syntaxbäumen unter Ausnutzung der speziellen Struktur der Syntaxbäume bei rechtslinearen Grammatiken beweisen.

28 28 Beispiele: L 1 = {a k b k c k k 0} ist nicht kontextfrei: Angenommen, L 1 wäre kontextfrei. Dann gäbe es ein n, so dass sich alle Wörter der Länge mindestens n wie im Pumping Lemma angegeben zerlegen ließen. Betrachte z = a n b n c n. Dieses Wort müsste sich also in uvwxy zerlegen lassen mit vx ε. Falls v mindestens zwei verschiedene Symbole enthielte, so enthielte uv 2 wx 2 y Symbole in falscher Reihenfolge. Analog für x. Also wäre v L(σ v ) und x L(σ x ) für σ v,σ x {a,b,c}. Es gäbe also ein σ {a,b,c} {σ v,σ x }. Das Wort uv 2 wx 2 y enthielte dann zuwenig Vorkommen von σ. Widerspruch!

29 29 L 2 = {w {a,b,c} w enthält gleichviele a, b und c} ist nicht kontextfrei: Angenommen, L 2 wäre kontextfrei. Dann wäre auch der Schnitt von L 2 mit der regulären Sprache L(a b c ) kontextfrei. Die Schnittmenge ist aber gerade die nicht kontextfreie Menge L 1 = {a n b n c n n 0}. Widerspruch!

30 30 L 3 = {wcw w {a,b} } ist nicht kontextfrei: Angenommen, L 3 wäre kontextfrei. Dann gäbe es ein n, so dass sich alle Wörter der Länge mindestens n wie im Pumping Lemma angegeben zerlegen ließen. Betrachte a n b n ca n b n. Dieses Wort müsste sich also in uvwxy zerlegen lassen mit vx ε und vwx n. vwx könnte weder vollständig links von c noch vollständig rechts von c enthalten sein, weil sonst der Teil links von c bzw. rechts von c beim Aufpumpen länger würde.

31 31 Also müsste vwx das c enthalten, genauer gesagt, w müsste c enthalten, weil sonst beim Aufpumpen Wörter entstünden, die mehr als ein c enthielten. Da vwx n sein müsste, könnte vwx weder den Block von a Symbolen links von c noch den Block von b Symbolen rechts von c überlappen. vwx würde also links von c nur bs enthalten und rechts von c nur as. Nach Aufpumpen würden also die Wortteile links von c und rechts von c jeweils verschieden viele a und b enthalten. Widerspruch!

32 32 Abschlusseigenschaften Satz: Die Klasse der kontextfreien Sprachen ist unter Schnitt nicht abgeschlossen. Beweis: Die Sprachen L 3 = {a n b n c m n,m 0} L 4 = {a m b n c n n,m 0} sind beide kontextfrei, aber L 3 L 4 = {a n b n c n n 0} ist nicht kontextfrei.

33 33 Satz: Die Klasse der kontextfreien Sprachen ist nicht abgeschlossen unter Komplementbildung. Beweis: Seien L und L kontextfreie Sprachen über den Alphabeten Γ 1 bzw. Γ 2. Dann sind L und L Sprachen über Σ = Γ 1 Γ 2. Wegen L L = L L = Σ ((Σ L) (Σ L )) ist die Klasse der kontextfreien Sprachen auch unter Komplementbildung nicht abgeschlossen.

34 34 Satz: Sei h : Σ Γ ein Homomorphismus. Falls L Σ eine kontextfreie Sprache ist, dann ist auch h(l) = {h(w) w L} eine kontextfreie Sprache. Satz: Sei h : Σ Γ ein Homomorphismus. Falls L Γ eine kontextfreie Sprache ist, dann ist auch h 1 (L) = {w h(w) L} eine kontextfreie Sprache. Satz: Falls L eine kontextfreie Sprache ist, dann ist auch L R = {w w R L} eine kontextfreie Sprache.

35 35 L 4 = {w {a,b,c} w enthält nicht gleichviele a, b und c} ist kontextfrei: L a b = {w {a,b,c} w a w b } ist kontextfrei: a/b/ε a/a/aa a/ /a ε/ε/ ε/a/ε s q f ε/b/ε ε/a/ε ε/b/ε ε/ /ε b/a/ε b/b/bb b/ /b Schließlich gilt L 4 = L a b L a c L b c.

36 36 Satz von Parikh: Jede kontextfreie Sprache über einem einelementigen Alphabet ist regulär. L 5 = {w {a,b} w ist keine Primzahl} ist nicht kontextfrei: Angenommen, L 5 wäre kontextfrei. Dann wäre auch h(l 5 ) kontextfrei für den Homomorphismus h mit h(a) = a und h(b) = a. Nun wäre h(l 5 ) nach dem Satz von Parikh sogar regulär. Da reguläre Sprachen unter Komplement abgeschlossen sind, wäre auch h(l 5 ) regulär. Es gilt jedoch h(l 5 ) = {a p p ist eine Primzahl} Also wäre {a p p ist eine Primzahl} regulär. Widerspruch!

37 37 CYK-Algorithmus Wortproblem für kontextfreie Sprachen: Sei L Σ eine kontextfreie Sprache und sei w = x 1...x n Σ, gilt w L? Der folgende von Cocke, Kasami und Younger unabhängig voneinander entworfene Algorithmus löst das Wortproblem für kontextfreie Sprachen, die durch eine kontextfreie Grammatik in Chomsky Normalform gegeben sind.

38 38 Sei G = (V,Σ,R,S) eine kontextfreie Grammatik in Chomsky Normalform und sei w = x 1...x n Σ. A B C x i x k x k+1 x i+s Für 1 i j n sei N[i,j] die Menge aller Symbole aus V, aus denen das Teilwort x i...x j abgeleitet werden kann.

39 39 CYK(G = (V,Σ,R,S),w = x 1...x n ) 1 for i 1 to n 2 do N[i,i] {A V es gibt A x i in R} 3 for j i + 1 to n 4 do N[i,j] /0 5 for s 1 to n 1 6 do for i 1 to n s 7 do for k i to i + s 1 8 do if ( es gibt A BC in R mit B N[i,k] und C N[k + 1,i + s] ) 9 then füge A zu N[i,i + s] hinzu 10 if ( S N[1,n] ) 11 then return w L(G) 12 else return w L(G)

40 40 Lemma: Nach s Iterationen, 0 s n, von CYK((V,Σ,R,S),x 1...x n ) gilt für alle i = 1,...,n s, N[i,i + s] = {A V A G x i...x i+s } Beweisskizze: Induktion über s. Aus dem Lemma folgt, dass x L(G) genau dann wenn S N[1,n].

41 41 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} {A} {E} {A} {A}... 6 {E}.. 7 {E}. 8 {E}

42 42 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} / {A} {E} {A} {A}... 6 {E}.. 7 {E}. 8 {E}

43 43 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} / {A} {S} {E} {A} {A}... 6 {E}.. 7 {E}. 8 {E}

44 44 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} / {A} {S} {E} / {A} / {A} {S}.. 6 {E} /0. 7 {E} /0 8 {E}

45 45 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 / {A} {S} {E} / {A} / {A} {S}.. 6 {E} /0. 7 {E} /0 8 {E}

46 46 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 / {A} {S} / {E} /0 / {A} /0 /0.. 5 {A} {S} {T}. 6 {E} /0. 7 {E} /0 8 {E}

47 47 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 / {A} {S} / {E} /0 / {A} /0 /0.. 5 {A} {S} {T}. 6 {E} /0 /0 7 {E} /0 8 {E}

48 48 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 / {A} {S} /0 / {E} /0 /0 /0.. 4 {A} /0 /0 {S}. 5 {A} {S} {T}. 6 {E} /0 /0 7 {E} /0 8 {E}

49 49 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 /0 / {A} {S} /0 /0 /0.. 3 {E} /0 /0 /0 /0. 4 {A} /0 /0 {S} {T} 5 {A} {S} {T} /0 6 {E} /0 /0 7 {E} /0 8 {E}

50 50 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 /0 /0 /0.. 2 {A} {S} /0 /0 /0 {S}. 3 {E} /0 /0 /0 /0. 4 {A} /0 /0 {S} {T} 5 {A} {S} {T} /0 6 {E} /0 /0 7 {E} /0 8 {E}

51 51 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 /0 /0 /0 /0. 2 {A} {S} /0 /0 /0 {S} {T} 3 {E} /0 /0 /0 /0 /0 4 {A} /0 /0 {S} {T} 5 {A} {S} {T} /0 6 {E} /0 /0 7 {E} /0 8 {E}

52 52 Beispiel: {S SS AT AE, T SE, A (, E ) } w = (()(())) ( ( ) ( ( ) ) ) 1 {A} /0 /0 /0 /0 /0 /0 {S} 2 {A} {S} /0 /0 /0 {S} {T} 3 {E} /0 /0 /0 /0 /0 4 {A} /0 /0 {S} {T} 5 {A} {S} {T} /0 6 {E} /0 /0 7 {E} /0 8 {E}

53 Kontextsensitive Sprachen 53 Definition: Eine Grammatik G = (V,Σ,R,S) heißt monoton, falls für alle Regeln w 1 w 2 in R gilt w 1 w 2. Definition: Eine Grammatik G = (V,Σ,R,S) heißt kontextsensitiv, falls alle Regeln in R von der Form αaβ αγβ mit A V, α,β (V Σ) und γ (V Σ) + sind.

54 54 Kontextsensitive Grammatiken sind also monotone Grammatiken. Definition: Eine Sprache L heißt kontextsensitiv, falls es eine kontextsensitive Grammatik G gibt, so dass L {ε} = L(G). Satz: Zu jeder monotonen Grammatik gibt es eine äquivalente kontextsensitive Grammatik.

55 55 Beispiel: Die monotone Grammatik G = ({S,B},Σ,R,S) mit erzeugt L(G) = {a n b n c n n 1}. S asbc S abc cb Bc ab ab bb bb

56 56 Beispiel: Die kontextsensitive Grammatik G = ({S,B,C,H},Σ,R,S) mit S asbc S abc CB HB HB HC HC BC ab ab bb bb bc bc cc cc erzeugt ebenfalls L(G) = {a n b n c n n 1}.