Grundbegriffe. Grammatiken

Transkript

1 Grammatiken Grammatiken in der Informatik sind ähnlich wie Grammatiken für natürliche Sprachen ein Mittel, um alle syntaktisch korrekten Sätze (hier: Wörter) einer Sprache zu erzeugen. Beispiel: Eine vereinfachte Grammatik zur Erzeugung deutscher Sätze: in spitzen Klammern: Variable ohne spitze Klammern: Terminale r 1 r 2...r n steht für die Regeln ( r 1 ), ( r 2 ),..., ( r n ) WS 11/12 24

2 Satz SubjektPrädikatObjekt Subjekt ArtikelAttributSubstantiv Artikel ε der die das Attribut ε Adjektiv AdjektivAttribut Adjektiv kleine bissige große Substantiv Hund Katze Prädikat jagt Objekt ArtikelAttributSubstantiv WS 11/12 25

3 Satz Subjekt Prädikat Objekt Subjekt jagt Objekt ArtikelAttr. Substantiv jagt Objekt ArtikelAttr. Hund jagt Objekt der Attr. Hund jagt Objekt der Adj.Attr. Hund jagt Objekt der kleine Adj. Hund jagt Objekt der kleine bissige Hund jagt Objekt der kleine bissige Hund jagt Objekt der kleine bissige Hund jagt Artikel Attr. Subst. der kleine bissige Hund jagt die Attr. Subst. der kleine bissige Hund jagt die Adj. Subst. der kleine bissige Hund jagt die große Subst. der kleine bissige Hund jagt die große Katze WS 11/12 26

4 Diese Folge nennt man eine Ableitung. Sie beweist, daß der Satz der kleine bissige Hund jagt die große Katze zu der Sprache gehört, die von der Grammatik erzeugt wird. Mit Hilfe dieser (endlichen) Grammatik ist es möglich, unendlich viele Sätze zu erzeugen: der Hund jagt die kleine kleine kleine... Katze Das heißt, die zu der Grammatik gehörende Sprache ist unendlich. WS 11/12 27

5 Grammatiken besitzen Regeln der Form linke Seite rechte Seite Sowohl auf der linken, als auch auf der rechten Seite können zwei Typen von Symbolen vorkommen: Nicht-Terminale (oder Variablen), aus denen noch weitere Wortbestandteile abgeleitet werden sollen Terminale (die eigentlichen Symbole) Im vorherigen Beispiel: auf der linken Seite befindet sich immer genau ein Nicht-Terminal; man spricht von einer kontextfreien Grammatik. Wir werden auch allgemeinere Grammatiken behandeln. Es gibt sogar Grammatiken, die auf Bäumen und Graphen statt auf Wörtern arbeiten. Diese werden in der Vorlesung jedoch nicht behandelt. WS 11/12 28

6 Definition Eine Grammatik G ist ein 4-Tupel G =(V, Σ, P, S), das folgende Bedingungen erfüllt: V ist eine endliche Menge von Nicht-Terminalen oder Variablen. Σist ein(endliches)alphabet (Menge der Terminal(symbol)e) mit V Σ=, d.h., kein Zeichen ist gleichzeitig Terminal und Nicht-Terminal. P (V Σ) + (V Σ) ist eine endliche Menge von Regeln oder Produktionen. S V ist die Startvariable oder Axiom. WS 11/12 29

7 Konventionen: Variablen (Elemente aus V ) werden mit Großbuchstaben bezeichnet: A, B, C,...,S, T,... Terminalsymbole (Elemente aus Σ) werden mit Kleinbuchstaben dargestellt: a, b, c,... Beispiel G =(V, Σ, P, S) mit V = {S, B, C} Σ={a, b, c} P = { (S, asbc), (S, abc), (CB, BC), (ab, ab), (bb, bb), (bc, bc), (cc, cc) } WS 11/12 30

8 Wie werden die Produktionen eingesetzt, um Wörter aus der Startvariablen S zu erzeugen? Definition Sei G =(V, Σ, P, S) einegrammatikundseienu, v (V Σ).Wir schreiben u G v falls eine Produktion (, r) P und Wörter x, y (V Σ) existieren mit Sprech- und Schreibweise: u = xy und v = xry. Für u G v sagen wir u geht unter G unmittelbar über in v. Ist die Grammatik G klar, so schreibt man u v für u G v Für Produktion (, r) P schreibt man mitunter r. WS 11/12 31

9 Definition Sei G =(V, Σ, P, S) einegrammatik. Eine Ableitung ist eine Folge von Wörtern w 0, w 1, w 2,...,w n mit w 0 = S und w 0 w 1 w 2 w n. Ein Wort w (V Σ) heißt Satzform, wenn es eine Ableitung gibt, deren letztes Wort w ist. Die Sprache L(G) = {w Σ S G w} aller Satzformen aus Σ heißt von G erzeugte Sprache. Dabei ist G die reflexive und transitive Hülle von G,d.h.u G v genau dann, wenn n 0undWörter u 0, u 1,...u n (V Σ) existieren mit: u 0 = u, u i G u i+1 für alle 0 i n 1undu n = v. In anderen Worten: Die von G erzeugte Sprache L(G) besteht genau aus den Wörtern, die in beliebig vielen Schritten aus S abgeleitet werden können und nur aus Terminalen bestehen. WS 11/12 32

10 Beispiel Die Grammatik G =(V, Σ, P, S) mit V = {S, B, C} Σ={a, b, c} P = { S asbc, S abc, CB BC, ab ab, bb bb, bc bc, cc cc} 1 hat u.a. die Ableitungen: S abc abc abc S asbc aabcbc aabbcc aabbcc aabbcc aabbcc aabbcc 2 damit sind u.a. abc, abc, aabcbc und aabbcc Satzformen 3 abc und aabbcc gehören zur von G erzeugten Sprache L(G) 4 man kann zeigen, daß L(G) ={a n b n c n n 1} gilt (schwierig:, vgl. Übung) WS 11/12 33

11 Bemerkung: Für ein u (V Σ) kann es entweder gar kein, ein oder mehrere v geben mit u G v. Ableiten ist also kein deterministischer, sondern ein nichtdeterministischer Prozeß. In anderen Worten: G ist keine Funktion. Dieser Nichtdeterminismus kann durch zwei verschiedene Effekte verursacht werden... WS 11/12 34

12 Grundbegriffe Eine Regel ist an zwei verschiedenen Stellen anwendbar. Beispiel-Grammatik: aaasbcbcbc aaasbbccbc aaasbcbbcc Zwei verschiedene Regeln sind anwendbar (entweder an der gleichen Stelle wie unten abgebildet oder an verschiedenen Stellen): Beispiel-Grammatik: S asbc abc WS 11/12 35

13 Weitere Bemerkungen: Es kann beliebig lange Ableitungen geben, die nie zu einem Wort aus Terminalsymbolen führen: S asbc aasbcbc aaasbcbcbc... Manchmal können Ableitungen in einer Sackgasse enden, d.h., obwohl noch Variablen in einer Satzform vorkommen, ist keine Regel mehr anwendbar: S asbc aabcbc aabcbc aabcbc WS 11/12 36

14 Noam Chomsky (geb. 1928) Linguist am MIT (und einer der bekanntesten linken Intellektuellen der USA) fragte sich, wie Menschen lernen, korrekte von inkorrekten Sätzen zu unterscheiden, und warum alle menschlichen Sprachen Ähnlichkeiten aufweisen seine Erklärung: angeborene Grundgrammatik, die beim Erlernen der Muttersprache angepaßt wird hierzu erfand er die Grammatiken, die später in der Informatik wesentlich wurden. WS 11/12 37

15 Chomsky-Hierarchie Typ 0 Chomsky-0 Jede Grammatik ist vom Typ 0 (oder ein Semi-Thue-System). Axel Thue ( ) Typ 1 Chomsky-1 1 Eine Regel ( r) ist kontext-sensitiv, wenn es Wörter u, v, w (V Σ), v > 0undeinNicht-TerminalA V gibt mit = uaw und r = uvw. 2 Eine Grammatik G =(V, Σ, P, S) ist vom Typ 1 (oder kontextsensitiv), WS 11/12 falls alle Regeln aus P kontext-sensitiv sind oder (S ε) P die einzige nicht kontext-sensitive Regel in P ist und S auf keiner rechten Seite einer Regel aus P vorkommt. 38

16 Typ 2 Chomsky-2 1 Eine Regel ( r) istkontext-frei, wenn V und r (V Σ) gilt. 2 Eine Grammatik G =(V, Σ, P, S) ist vom Typ 2 (oder kontext-frei), falls sie nur kontext-freie Regeln enthält. Typ 3 Chomsky-3 1 Eine Regel ( r) istrechtslinear, wenn V und r ΣV {ε} gilt. 2 Eine Grammatik G =(V, Σ, P, S) ist vom Typ 3 (oder rechtslinear), falls sie nur rechtslineare Regeln enthält. WS 11/12 39

17 Typ-i-Sprache Eine Sprache L Σ heißt vom Typ i (i {0, 1, 2, 3}), falls es eine Typ-i-Grammatik G gibt mit L(G) =L. Wir bezeichnen mit L i die Klasse der Sprachen vom Typ i. Beispiel Die Grammatik mit der Regelmenge { (S, asbc), (S, abc), (CB, BC), (ab, ab), (bb, bb), (bc, bc), (cc, cc) } ist von Typ 0 und nicht kontext-sensitiv. Sie erzeugt die Sprache Diese Sprache ist also vom Typ 0. {a n b n c n n 1} L 0. WS 11/12 40

18 Beispiel Die Grammatik mit der Regelmenge { (S, asbc), (S, abc), (CB, HB), (HB, HC), (HC, BC), (ab, ab), (bb, bb), (bc, bc), (cc, cc) } ist kontext-sensitiv und nicht kontext-frei. Sie erzeugt die Sprache {a n b n c n n 1} L 1. Diese Sprache ist also sogar vom Typ 1 (oder kontext-sensitiv). Bemerkung: Später werden wir sehen, daß diese Sprache nicht vom Typ 2 ist. WS 11/12 41

19 Beispiel Die Grammatik mit der Regelmenge {(S, asb), (S,ε)} ist kontext-frei und nicht rechts-linear. Sie erzeugt die Sprache {a n b n n 0} L 2. Diese Sprache ist also vom Typ 2 (oder kontext-frei). Bemerkung: Später werden wir sehen, daß diese Sprache nicht vom Typ 3 ist. WS 11/12 42

20 Beispiel Die Grammatik mit der Regelmenge {(S, aa), (A, as), (S,ε)} ist rechtslinear und erzeugt die Sprache (aa) = {a 2n n 0} L 3. Diese Sprache ist also vom Typ 3 (oder rechtslinear). WS 11/12 43

21 Bemerkung Jede Typ-1-Grammatik ist vom Typ 0, also L 1 L 0. Jede Typ-3-Grammatik ist vom Typ 2, also L 3 L 2. Regeln der Form (A ε) können in Grammatiken vom Typ 2, aber nicht in Grammatiken vom Typ 1 vorkommen. Es ist also nicht klar, ob L 2 L 1 gilt. WS 11/12 44

22 Kontext-freie Sprachen sind kontext-sensitiv Lemma Aus einer kontextfreien Grammatik G =(V, Σ, S, P) kanneine kontext-sensitive Grammatik G berechnet werden mit L(G) =L(G ). Beweis: 1. Schritt: neues Startsymbol S und zusätzliche Produktion S S = die erzeugte Sprache ändert sich nicht, aberneues Startsymbol kommt auf keiner rechten Seite vor. 2. Schritt: Eine Variable A V heißt nilpotent, wenna G ε gilt. (, r ) ist Produktion aus neuer Grammatik G, wenn gilt 1 V und r (V Σ) + es gibt Produktion (, r) P, wobei r aus r entsteht, indem einige Vorkommen von nilpotenten Variablen gelöscht werden. 2 oder = S, r = S 3 oder = S, r = ε und ε L(G). WS 11/12 45

23 klar: die neue Grammatik G =(V {S }, Σ, P, S ) ist kontext-sensitiv. Wir zeigen jetzt, daß für jedes Wort w (V Σ) + die folgenden Aussagen äquivalent sind: (1) S G w (2) es gibt ein Wort w (V Σ) mit S G w,sodaßw durch Streichen einiger Vorkommen von nilpotenten Variablen aus w entsteht. Die Implikationen (1) (2) und (2) (1) werden getrennt bewiesen. Beide Beweise erfolgen per Induktion über die Länge der Ableitungen (vgl. extra pdf-datei). WS 11/12 46

24 Es gilt ε L(G) (S ε) P (nach Definition von P ) ε L(G ) (da G kontext-sensitiv ist). Für w Σ + haben wir w L(G) S G w S G w (wegen (1) (2)) S G w (wegen (S S) P ) w L(G ). Also gilt L(G) =L(G ). WS 11/12 47

25 Damit haben wir auch L 2 L 1, es ergibt sich also nebenstehendes Bild Außerdem: die Inklusionen sind echt, d.h., es gibt für jedes i eine Typ-(i 1)-Sprache, die keine Typ-i-Sprache ist (z.b. eine kontextfreie Sprache, die nicht regulär ist). Das werden wir später zeigen. alle Sprachen Typ-0-Sprachen Typ-1-Sprachen kontextsensitive Sprachen Typ-2-Sprachen kontextfreie Sprachen Typ-3-Sprachen rechtslineare Sprachen WS 11/12 48