Übersicht. SD Einführung in die CL,

Transkript

1 Übersicht 1. Endliche Automaten (FSAs) 2. Reguläre Ausdrücke (RAs) Äquivalenz L FSA und L RA 3. Grammatiken, insb. einseitig-lineare Grammatiken (ELG) Äquivalenz L ELG, L FSA und L RA 4. Grenzen der regulären Ausdruckskraft SD Einführung in die CL,

2 1 Grundlegende Definitionen Alphabet: nicht-leere Menge von Zeichen, z.b. Σ = {a} Wort: Folge x 1...x n von Zeichen x i Σ leeres Wort: Wort der Länge 0, ǫ Menge aller Worte über Σ: Σ ( Sigma Stern ) Bsp: wenn Σ = {a}, dann Σ = {ǫ,a,aa,aaa,... } Bsp: wenn Σ = {a,b}, dann Σ = {ǫ,a,b,aa,ab,ba,bb,aaa,... } formale Sprache : Teilmenge von Σ, definiert durch einen FSA, Grammatik o.ä. SD Einführung in die CL,

3 1 Definition: Deterministischer Endlicher Automat (DFSA) Ein DFSA A D = < Q, Σ,δ,q 0,F > besteht aus 1. einer endlichen Menge von Zuständen Q 2. einem endlichen Eingabealphabet Σ 3. einer Übergangsfunktion δ: Q Σ Q z.b. δ(q 1,a) = q 3 4. einem Anfangszustand q 0 Q und 5. einer Menge von Endzuständen F Q SD Einführung in die CL,

4 1 Beispiel: DFSA A D A D = < Q, Σ,δ,q 0,F > mit 1. Q = {q 0,q 1 } 2. Σ = {a,b} 3. δ(q 0,a) = q 1, δ(q 1,b) = q 0 q 0 a q 1 4. Anfangszustand q 0 und 5. Endzustandsmenge F = {q 1 } b SD Einführung in die CL,

5 1 Beispiel: DFSA A D A D =< Q, Σ,δ,q 0,F > mit 1. Q = {q 0,q 1 } 2. Σ = {a,b} 3. δ(q 0,a) = q 1, δ(q 1,b) = q 0 4. Anfangszustand q 0 und 5. Endzustandsmenge F = {q 1 } FSA in Zustandstafel definiert (alternative Darstellung): a b q 0 q 1 q 1 : q 0 a q 0 q 1 b SD Einführung in die CL,

6 1 Beispiel: NFSA Ein FSA ist deterministisch, wenn in jedem Zustand eindeutig zu entscheiden ist, in welchen Zustand abhängig von der Eingabe überzugehen ist. Ein FSA ist nicht-deterministisch, wenn es in mindestens einem Zustand abhängig von der Eingabe mehrere Möglichkeiten gibt, in welchen Nachfolgezustand überzugehen ist. SD Einführung in die CL,

7 1 Beispiel: NFSA NFSA A N a b q 0 q1 q 2 b a Frage: Sind NFSAs mächtiger als DFSAs? D.h., gibt es eine Sprache, die durch einen NFSA beschrieben werden kann, aber nicht durch einen DFSA? SD Einführung in die CL,

8 1 Äquivalenz NFSA und DFSA Satz [NFSA=DFSA]: Für jeden NFSA A N = < Q, Σ,δ nd,q 0,F > gibt es einen DFSA A D = < Q, Σ,δ d,q 0,F >, so dass gilt: DFSA: L(A N ) = L(A D ) in jedem Zustand (abhängig von Eingabe) nur eine Möglichkeit weiterzugehen es gibt nur einen Pfad durch Automaten es ist kein Algorithmus zum Probieren aller Wege nötig auch kein Stapelspeicher effizienter SD Einführung in die CL,

9 2 Charakterisierung durch reguläre Ausdrücke Reguläre Ausdrücke (RAs) beschreiben reguläre Sprachen (RS) (auch: reguläre Mengen). 1. ist ein RA und beschreibt die RS (= die leere Sprache) 2. ǫ ist ein RA und beschreibt die RS {ǫ} 3. Für jedes a Σ ist a ein RA; RS: {a} 4. Sind r und s RAs, so ist auch (r s) ein RA; RS: L(r) L(s) [Vereinigung] so ist auch (r s) ein RA; RS: L(r) L(s) [Konkatenation] so ist auch (r ) ein RA; RS: L(r) [Sternbildung] SD Einführung in die CL,

10 2 Abgeschlossenheit regulärer Sprachen Reguläre Sprachen sind abgeschlossen unter folgenden Operationen: Schnitt: L 1,L 2 regulär L 1 L 2 regulär Differenz: L 1,L 2 regulär L 1 L 2 regulär Komplementierung: L 1 regulär Σ L 1 regulär (auch: Σ \L 1 ) Umkehrung: L 1 regulär L R 1 regulär SD Einführung in die CL,

11 3 Charakterisierung durch Grammatiken Eine Grammatik ist ein 4-Tupel G = < N, Σ,P,S > mit 1. einer Menge von Nicht-Terminalen N 2. einer Menge von Terminalen Σ 3. einer Regelmenge P mit Regeln ( Produktionsregeln ) der Form α β mit α,β (N Σ) und α ǫ und α / Σ (d.h. α muss mindestens ein Nicht-Terminal enthalten) und 4. einem Startsymbol S N SD Einführung in die CL,

12 3 Beispiel: FSA rechtslineare Grammatik A D = < Q, Σ,δ,q 0,F > mit ELG = < N, Σ,P,S > mit Q = {q 0,q 1 } N = {q 0,q 1 } Σ = {a,b} Σ = {a,b} δ(q 0,a) = q 1, P = {q 0 aq 1, δ(q 1,b) = q 0 q 1 bq 0 q 1 ǫ} Anfangszustand q 0 und Startsymbol q 0 Endzustandsmenge F = {q 1 } a q 0 q 1 b SD Einführung in die CL,

13 3 Einseitig-lineare Grammatiken Aus jedem FSA ist eine Grammatik ableitbar, welche dieselbe Sprache erzeugt, die der FSA erkennt und zwar eine rechtslineare Grammatik Allgemein hat eine ELG Regeln der folgenden Form: A αb, mit α Σ, A,B N [rechtslinear] A Bα, mit α Σ, A,B N [linkslinear] A α, mit α Σ, A N oder: SD Einführung in die CL,

14 3 Beispiel: rechtslineare Grammatik G =< {S,A1,A2}, {Anti,Raucher,Trinker,Gesetz},R,S > mit R = { S Anti S S Raucher A1 S Trinker A1 A1 Gesetz A2 A2 ǫ } SD Einführung in die CL,

15 3 L ELG = L FSA = L RA L ELG = L FSA = L RA d.h. folgende Klassen sind gleich: die Klasse der durch ELG erzeugbaren Sprachen die Klasse der durch FSA erkennbaren Sprachen die Klasse der durch RA beschreibbaren Sprachen SD Einführung in die CL,

16 3 Chomsky-Hierarchie Typ 0 Turing-Maschine allgemeine Regelgrammatik Typ 1 linear beschränkter Automat (LBA) kontextsensitive Grammatik Typ 2 Kellerautomat (PDA) kontextfreie Grammatik Typ 3 endlicher Automat (FSA) einseitig lineare Grammatik regulärer Ausdruck SD Einführung in die CL,

17 3 Anwendung: flache Syntaxanalyse Erkennen von Nominal- und Präpositionalphrasen keine Einbettung (flach) nur Teilanalyse, dafür robust NPs und PPs nützlich in Korpusaufbereitung, Text Mining schnell endlicher Automat SD Einführung in die CL,

18 3 Anwendung: flache Syntaxanalyse Die Minister der Esa-Staaten treffen sich im Spätherbst zu einer Tagung in den Niederlanden. DLR-Chef Wörner berichtete an diesem Dienstag von vorsichtigen positiven Signalen aus der Bundesregierung. Auch die Raumfahrtagenturen in Italien und Frankreich hätten großes Interesse an ATV Evolution. SD Einführung in die CL,

19 3 Anwendung: flache Syntaxanalyse [Die Minister] [der Esa-Staaten] treffen sich im [Spätherbst] zu [einer Tagung] in [den Niederlanden]. [DLR-Chef Wörner] berichtete an [diesem Dienstag] von [vorsichtigen positiven Signalen] aus [der Bundesregierung]. Auch [die Raumfahrtagenturen] in [Italien] und [Frankreich] hätten [großes Interesse] an [ATV Evolution]. SD Einführung in die CL,

20 3 Anwendung: flache Syntaxanalyse [Die Minister] [der Esa-Staaten] treffen sich im [Spätherbst] zu ART N ART N VFIN RPRO PRÄP N Präp SD Einführung in die CL,

21 3 Anwendung: flache Syntaxanalyse Die Minister, der Esa-Staaten, einer Tagung, diesem Dienstag ART N Spätherbst N den Niederlanden ART EN großes Interesse ADJ N vorsichtigen positiven Signalen ADJ ADJ N DLR-Chef Wörner N EN Italien, Frankreich EN ATV Evolution EN EN SD Einführung in die CL,

22 3 Anwendung: flache Syntaxanalyse L = {N, ART N, ADJ N, ADJ ADJ N, EN, ART EN, N EN, EN EN} S N ART ε ART ε ADJ N A EN B E EN SD Einführung in die CL,

23 3 Anwendung: flache Syntaxanalyse Fazit: robust und schnell (lineare Zeit) baut auf POS-Tagging auf keine Verschachtelung (z.b. PP, Genitivattribut) keine Berücksichtigung von Kongruenz Automaten können kaskadiert werden SD Einführung in die CL,

24 4 Grenzen der regulären Ausdruckskraft Wo liegen die Grenzen der regulären Ausdruckskraft? Welche (formalen) Sprachen sind nicht regulär? Gibt es Phänomene der natürlichen Sprache, die nicht mit regulären Mitteln zu erfassen sind? Ist die natürliche Sprache regulär? SD Einführung in die CL,

25 4 Grenzen der regulären Ausdruckskraft Wie beweise ich, dass eine Sprache (oder ein Teil von ihr, z.b. Morphologie) regulär ist? durch Konstruktion eines entsprechenden FSA, RA, ELG (unter Ausnutzung von Abschlusseigenschaften wie Schnitt etc.) Wie beweise ich, dass eine Sprache nicht regulär ist? durch Abschlusseigenschaften (Schnitt, Homomorphismus) durch das Pumping-Lemma SD Einführung in die CL,

26 4 Pumping-Lemma für reguläre Sprachen Idee: v u w q q = 0 j q k q n Automat hat endliche Anzahl von Zuständen, z.b. n Zustände FSAs können lange Wörter z erkennen: um z mit z = n zu erkennen, braucht es eigentlich n + 1 Zustände (von q 0 bis q n ), wir haben aber nur n Zustände für z n muss Automat eine Schleife aufweisen, z.b. an der Stelle q j /q k (Beweis z.b. Hopcroft & Ullman: Kapitel 3.1) SD Einführung in die CL,

27 4 Pumping-Lemma für reguläre Sprachen Pumping-Lemma: Sei L eine reguläre Sprache. Dann gibt es eine Zahl n, so dass sich jedes Wort z L mit z n als z = uvw schreiben lässt und uv i w L für alle i 0. SD Einführung in die CL,

28 4 Beispiel nicht-reguläre (formale) Sprache Satz: Die Sprache L 1 = {a k b k k 1} ist nicht regulär. Beweis: (Widerspruchsbeweis) Angenommen, L 1 ist regulär. Dann muss die im Pumping-Lemma erwähnte Zahl n geben, so dass sich jedes beliebige Wort a k b k L 1 mit a k b k n zerlegen lässt in a k b k = uvw und uv i w L 1. a n b n ist ein solches beliebiges Wort. Nun ist zu zeigen: Egal, wie wir u,v,w wählen: v kann nicht gepumpt werden. SD Einführung in die CL,

29 4 Beispiel nicht-reguläre (formale) Sprache v besteht dann entweder nur aus as bzw. nur bs. Dann würde aber Aufpumpen zu einem Wort a n+r b n bzw. a n b n+r führen (was nicht mehr Teil unserer Sprache ist). oder aus as und bs. Das Aufpumpen würde dann zu einem Wort führen, in dem auf bs noch as folgen. SD Einführung in die CL,

30 4 Natürlichsprachliche Phänomene Betrachten wir Zentraleinbettungen der Art: (s. Partee et al. 1990: Kap ) the cat liked John the cat the dog chased liked John the cat the dog the rat bit chased liked John the cat the dog the rat... bit chased liked John Allgemeine Form: (the + N) n (transitives V ) n John Wir fassen NPs und Verben in verschiedenen Gruppen zusammen: A = { the cat the dog the rat...}, B = { liked chased bit...}

31 Wir formen die reguläre Sprache L 0 = A B John Wir schneiden L 0 mit der englischen Sprache L Englisch : L 0 L Englisch = L Rel wobei: L Rel = a n b n John,a A und b B L Rel ist nicht regulär (s.o.) Da reguläre Sprachen unter Schnittbildung abgeschlossen sind, ist L Englisch nicht regulär. SD Einführung in die CL,

32 4 Natürlichsprachliche Phänomene: zweites Beispiel L = {xx R,x {a,b} } (mit x R = x rückwärts ) ist nicht regulär. Beweis: Schneide L mit der regulären Sprache aa bbaa dies liefert die Sprache a n b 2 a n = nichtregulär. Reguläre Sprachen sind aber abgeschlossen unter Schnittbildung. Gesucht: englische Konstruktion vom Typ xx R (s. Partee et al. 1990: Kap ) if S1, then S2 und either S3 or S4 Einbettung: if [ S1 either S3 or S4], then S2 if [ S1 either [ S3 if S5 then S6] or S4], then S2

33 Da reguläre Sprachen abgeschlossen unter Ersetzung sind, können wir umbennen: if a either b Rest ǫ then a or b abba Wenn if, then, either, or unbegrenzt eingebettet werden können, ist Englisch isomorph zu xx R,x {a,b} SD Einführung in die CL,

34 Zusammenfassung Formale Konzepte zur Beschreibung sprachlicher Phänomene: FSA, RA, ELG Äquivalenz von FSA-Sprachen, RA-Sprachen, ELG-Sprachen Chomsky Hierarchie: Hierarchie von formalen Modellen mit unterschiedlicher Mächtigkeit/Komplexität Beweis von Regularität und Nicht-Regularität einer Sprache (Pumping Lemma) Natürliche Sprache: (mindestens) kontextfrei SD Einführung in die CL,