Komplexität und natürliche Sprache
|
|
|
- Kai Theodor Beltz
- vor 5 Jahren
- Abrufe
Transkript
1 Komplexität und natürliche Sprache Einordnung natürlicher Sprache in die Chomsky-Hierarchie Timm Lichte & Christian Wurm HHU Düsseldorf SS 2017, SFB 991
2 Kursübersicht Vier Formen der Komplexität: Extensionale Komplexität Algorithmische Komplexität / Verarbeitungskomplexität Beschreibungskomplexität Informatische Komplexität Lichte & Wurm (HHU) Komplexität und natürliche Sprache 2
3 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
4 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
5 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
6 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} w = abba Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
7 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} w = abba L = {abba, abab, bbb,...} Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
8 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} w = abba L = {abba, abab, bbb,...} G = N, Σ, S, P (z.b. eine CFG) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
9 Ontologie Wir betrachten Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} w = abba L = {abba, abab, bbb,...} G = N, Σ, S, P (z.b. eine CFG) L G = {w S P G w } Lichte & Wurm (HHU) Komplexität und natürliche Sprache 3
10 Relative extensionale Komplexität Intuition Je komplexer desto umfangreicher. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 4
11 Relative extensionale Komplexität Intuition Je komplexer desto umfangreicher. Gegeben zwei Grammatikklassen Ĝ und Ĝ : K(Ĝ) > K(Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und P G = P G Lichte & Wurm (HHU) Komplexität und natürliche Sprache 4
12 Relative extensionale Komplexität Intuition Je komplexer desto umfangreicher. Gegeben zwei Grammatikklassen Ĝ und Ĝ : K(Ĝ) > K(Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und P G = P G K(Ĝ) > K(Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und L G = L G Lichte & Wurm (HHU) Komplexität und natürliche Sprache 4
13 Relative extensionale Komplexität Intuition Je komplexer desto umfangreicher. Gegeben zwei Grammatikklassen Ĝ und Ĝ : K(Ĝ) > K(Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und P G = P G K(Ĝ) > K(Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und L G = L G berühmtestes Beispiel: Chomsky(-Schützenberger)-Hierarchie [6] Lichte & Wurm (HHU) Komplexität und natürliche Sprache 4
14 Relative extensionale Komplexität von Grammatikklassen Chomsky(-Schützenberger)-Hierarchie [6] type 0: recursively enumerable ϕ µ type 1: context-sensitive ϕ µ ϕ µ a f (n) a 2n, a n b n c n..., w k type 2: context-free A µ A N, µ (N Σ) type 3: regular A ab oder A a A, B N, a Σ an b m c m d n, ww R a n b m c k d l Lichte & Wurm (HHU) Komplexität und natürliche Sprache 5
15 Relative extensionale Komplexität von Grammatikklassen Chomsky(-Schützenberger)-Hierarchie [6] type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k type 2: context-free CFG, PDA a n b m c m d n, ww R type 3: regular FSA a n b m c k d l Wo liegt die Klasse der natürlichen Sprachen? (Einzelne natürliche Sprachen können in unterschiedlichen Klassen sein.) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 5
16 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
17 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
18 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
19 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Bei jedem Übergang wird ein Symbol von der Eingabe gelesen. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
20 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Bei jedem Übergang wird ein Symbol von der Eingabe gelesen. kein Speicher (außer den Zuständen)! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
21 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Bei jedem Übergang wird ein Symbol von der Eingabe gelesen. kein Speicher (außer den Zuständen)! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
22 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Bei jedem Übergang wird ein Symbol von der Eingabe gelesen. kein Speicher (außer den Zuständen)! happy the a one boy girl dog q a q b q eats c q candies d q e Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
23 NL Type 3 / regular? Hypothese Für jede natürliche Sprache L gibt es einen endlichen Automaten, der genau die Wörter aus L akzeptiert. Q: endliche Menge von Zuständen (inklusive einem Startzustand und mindestens einem Endzustand) δ: endliche Menge von Übergängen zwischen Zuständen Bei jedem Übergang wird ein Symbol von der Eingabe gelesen. kein Speicher (außer den Zuständen)! happy the a one boy girl dog q a q b q eats c q candies d q e Wie beweist man die Inadäquatheit von endlichen Automaten auf der Ebene der Stringsprache? Lichte & Wurm (HHU) Komplexität und natürliche Sprache 6
24 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
25 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
26 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
27 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
28 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
29 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
30 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
31 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
32 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Lichte & Wurm (HHU) Komplexität und natürliche Sprache 7
33 NL Type 3 / regular? Formaler Beweis durch Widerspruch (mittels Abschlusseigenschaften): Jede reguläre Sprache L erfüllt das Pump-Lemma für reguläre Sprachen, d.h. für jedes Wort ab einer bestimmten Wortlänge gilt: Es gibt eine Dekomposition xay, so dass xa n y L. Einbettende Abhängigkeiten (Chomsky 1957) (1) a. a woman hired another woman b. a woman whom another woman hired hired another woman c. a woman whom another woman whom another woman hired hired hired another woman d.... Homomorphismus f : f (a woman) = x, f (whom another woman) = a, f (hired) = b, f (hired another woman) = y xa b y ist eine reguläre Sprache; und f(englisch) xa b y = xa n b n y sollte auch regulär sein. xa n b n y widerspricht dem Pump-Lemma für reguläre Sprachen. Lichte & Wurm (HHU) Englisch ist nicht regulär! Komplexität und natürliche Sprache 7
34 NL Type 3 / regular! Chomsky(-Schützenberger)-Hierarchie [6] type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k type 2: context-free CFG, PDA a n b m c m d n, ww R type 3: regular FSA a n b m c k d l NL ist nicht regulär! [3,4] einbettende Abhängigkeiten bei Relativsätzen n1 n2 n3 v3 v2 v1 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 8
35 NL Type 2 / context-free? eine langwierige Diskussion Lichte & Wurm (HHU) Komplexität und natürliche Sprache 9
36 NL Type 2 / context-free? eine langwierige Diskussion Chomsky (1957):34 Of course there are languages (in our general sense) that cannot be described in terms of phrase structure, but I do not know whether or not English is itself literally outside the range of such analysis. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 9
37 NL Type 2 / context-free? eine langwierige Diskussion Chomsky (1957):34 Of course there are languages (in our general sense) that cannot be described in terms of phrase structure, but I do not know whether or not English is itself literally outside the range of such analysis. mehrere fehlerhafte Versuche (siehe Pullum & Gazdar [17]), e.g.: Lichte & Wurm (HHU) Komplexität und natürliche Sprache 9
38 NL Type 2 / context-free? eine langwierige Diskussion Chomsky (1957):34 Of course there are languages (in our general sense) that cannot be described in terms of phrase structure, but I do not know whether or not English is itself literally outside the range of such analysis. mehrere fehlerhafte Versuche (siehe Pullum & Gazdar [17]), e.g.: Bresnan (1978):37 38 in many cases the number of a verb agrees with that of a noun phrase at some distance from it... this type of syntactic dependency can extend as memory or patience permits... the distant type of agreement... cannot be adequately described even by context-sensitive phrase-structure rules, for the possible context is not correctly describable as a finite string of phrases." Lichte & Wurm (HHU) Komplexität und natürliche Sprache 9
39 NL Type 2 / context-free? eine langwierige Diskussion Chomsky (1957):34 Of course there are languages (in our general sense) that cannot be described in terms of phrase structure, but I do not know whether or not English is itself literally outside the range of such analysis. mehrere fehlerhafte Versuche (siehe Pullum & Gazdar [17]), e.g.: Bresnan (1978):37 38 in many cases the number of a verb agrees with that of a noun phrase at some distance from it... this type of syntactic dependency can extend as memory or patience permits... the distant type of agreement... cannot be adequately described even by context-sensitive phrase-structure rules, for the possible context is not correctly describable as a finite string of phrases." richtige Beweistechniken: Pump-Lemma und Abschlusseigenschaften Was ist ein nicht-kontextfreies Phänomen in natürlicher Sprache? Lichte & Wurm (HHU) Komplexität und natürliche Sprache 9
40 NL Type 2 / context-free? Nahe dran: Niederländisch (Bresnan et al. 1982) (2) dat Jan Piet de kinderen zag helpen zwemmen. that Jan Piet the children saw help swim that Jan saw Piet helping the children to swim. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 10
41 NL Type 2 / context-free? Nahe dran: Niederländisch (Bresnan et al. 1982) (2) dat Jan Piet de kinderen zag helpen zwemmen. that Jan Piet the children saw help swim that Jan saw Piet helping the children to swim. Linguistische Abhängigkeiten sind kreuzend: n1 n2 n3 v1 v2 v3 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 10
42 NL Type 2 / context-free? Nahe dran: Niederländisch (Bresnan et al. 1982) (2) dat Jan Piet de kinderen zag helpen zwemmen. that Jan Piet the children saw help swim that Jan saw Piet helping the children to swim. Linguistische Abhängigkeiten sind kreuzend: n1 n2 n3 v1 v2 v3 Aber: Kein Reflex an der Oberfläche, d.h. in der Stringsprache! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 10
43 NL Type 2 / context-free? Nahe dran: Niederländisch (Bresnan et al. 1982) (2) dat Jan Piet de kinderen zag helpen zwemmen. that Jan Piet the children saw help swim that Jan saw Piet helping the children to swim. Linguistische Abhängigkeiten sind kreuzend: n1 n2 n3 v1 v2 v3 Aber: Kein Reflex an der Oberfläche, d.h. in der Stringsprache! Der String kann durch eine CFG erzeugt werden, auch wenn die Abhängigkeiten verloren gehen. n1 n2 n3 v1 v2 v3 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 10
44 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
45 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
46 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
47 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
48 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog e. wulu-lela-o-wulu-lela Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
49 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog e. wulu-lela-o-wulu-lela whatever dog watcher Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
50 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog e. wulu-lela-o-wulu-lela whatever dog watcher f. wulu-lela-nyinila-o-wulu-lela-nyinila whatever dog watcher hunter Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
51 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog e. wulu-lela-o-wulu-lela whatever dog watcher f. wulu-lela-nyinila-o-wulu-lela-nyinila whatever dog watcher hunter Muster: a n b m a n b m oder ww (copy language) nicht kontextfrei! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
52 NL Type 2 / context-free? Ein weiterer Versuch von Culy (1985): Duplikation in der Morphologie des Bambara (3) a. wulu dog b. wulu-lela dog watcher c. wulu-lela-nyinila dog watcher hunter d. wulu-o-wulu whatever dog e. wulu-lela-o-wulu-lela whatever dog watcher f. wulu-lela-nyinila-o-wulu-lela-nyinila whatever dog watcher hunter Muster: a n b m a n b m oder ww (copy language) nicht kontextfrei! Aber: Beweis für die Morphologie, nicht für die Syntax (Stringsprache)! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 11
53 NL Type 2 / context-free? Deutsch: einbettende Abhängigkeiten (VE-Sätze) (4) (dass) er die Kinder dem Hans das Haus streichen helfen ließ (that) he the children the Hans the house paint help let (that) he let the children help Hans paint the house n1 n2 n3 v3 v2 v1 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 12
54 NL Type 2 / context-free? Deutsch: einbettende Abhängigkeiten (VE-Sätze) (4) (dass) er die Kinder dem Hans das Haus streichen helfen ließ (that) he the children the Hans the house paint help let (that) he let the children help Hans paint the house n1 n2 n3 v3 v2 v1 Schwyzerdütsch: kreuzende Abhängigkeiten (5)...mer d chind em Hans es huus lönd hälfe aastriiche...we children.acc the Hans.dat the house.acc let help paint...we let the children help Hans paint the house n1 n2 n3 v1 v2 v3 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 12
55 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
56 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
57 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z f (Schwyzerdütsch) xa b yc d z = xa m b n yc m d n z Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
58 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z f (Schwyzerdütsch) xa b yc d z = xa m b n yc m d n z Kontextfreie Sprachen sind abgeschlossen unter Schnitt mit regulären Sprachen. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
59 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z f (Schwyzerdütsch) xa b yc d z = xa m b n yc m d n z Kontextfreie Sprachen sind abgeschlossen unter Schnitt mit regulären Sprachen. xa b yc d z ist regulär, also sollte xa m b n yc m d n z kontextfrei sein. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
60 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z f (Schwyzerdütsch) xa b yc d z = xa m b n yc m d n z Kontextfreie Sprachen sind abgeschlossen unter Schnitt mit regulären Sprachen. xa b yc d z ist regulär, also sollte xa m b n yc m d n z kontextfrei sein. Aber mittels Pump-Lemma für kontextfreie Sprachen: xa m b n xy m d n z ist nicht kontextfrei. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
61 NL Type 2 / context-free? Beweis von Shieber (1985): (6) Jan säit das mer d chind em Hans es huus lönd hälfe aastriiche. Homomorphismus f : f (Jan säit das mer) = x f (d chind) = a f (em Hans) = b f (es huus) = y f (lönd) = c f (hälfe) = d f (aastriiche) = z f (Schwyzerdütsch) xa b yc d z = xa m b n yc m d n z Kontextfreie Sprachen sind abgeschlossen unter Schnitt mit regulären Sprachen. xa b yc d z ist regulär, also sollte xa m b n yc m d n z kontextfrei sein. Aber mittels Pump-Lemma für kontextfreie Sprachen: xa m b n xy m d n z ist nicht kontextfrei. Schwyzerdütsch ist nicht kontextfrei! Lichte & Wurm (HHU) Komplexität und natürliche Sprache 13
62 NL Type 2 / context-free! Chomsky(-Schützenberger)-Hierarchie [6] type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k type 2: context-free CFG, PDA a n b m c m d n, ww R type 3: regular FSA a n b m c k d l NL ist nicht kontextfrei! [21] kreuzende Abhängigkeiten im Niederländischen und Schwyzerdütsch n1 n2 n3 v1 v2 v3 Lichte & Wurm (HHU) Komplexität und natürliche Sprache 14
63 NL Type 1 2 / mildly context-sensitive? type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k type 2: context-free CFG, PDA a n b m c m d n, ww R type 3: regular FSA a n b m c k d l Lichte & Wurm (HHU) Komplexität und natürliche Sprache 15
64 NL Type 1 2 / mildly context-sensitive? type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k mildly context-sensitive TAG, EPDA a n b m c n d m, ww type 2: context-free CFG, PDA a n b m c m d n, ww R NL ist schwach kontextsensitiv? (Joshi [13]) CFL kreuzende Abh. semi-linear in PTIME type 3: regular FSA a n b m c k d l Lichte & Wurm (HHU) Komplexität und natürliche Sprache 15
65 NL Type 1 2 / mildly context-sensitive? Argumente gegen Semilinearität: Kasusstapel ( Suffixaufnahme ) im Alt-Georgischen (Michaelis & Kracht 1997) N 1 -nom N 2 -gen-nom N 3 -gen 2 -nom... N k -gen k 1 -nom The number of all genitive suffixes of all nouns within a complex NP consisting of k stacked NPs, where k N +, is bounded by k 2 /2 k/2. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 16
66 NL Type 1 2 / mildly context-sensitive? Argumente gegen Semilinearität: Kasusstapel ( Suffixaufnahme ) im Alt-Georgischen (Michaelis & Kracht 1997) N 1 -nom N 2 -gen-nom N 3 -gen 2 -nom... N k -gen k 1 -nom The number of all genitive suffixes of all nouns within a complex NP consisting of k stacked NPs, where k N +, is bounded by k 2 /2 k/2. Chinesische Zahlterme (Radzinski 1991) Koordination im Niederländischen (Groenink 1997) Relativsätze im Yoruba (Kobele 2006) Im Allgemeinen in der Literatur nicht berücksichtigt. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 16
67 NL Type 1 / context-sensitive? type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., w k mildly context-sensitive TAG, EPDA a n b m c n d m, ww NL unentscheidbar? Hintikka (1974) Chomsky (1980) Pollard (1996) type 2: context-free CFG, PDA a n b m c m d n, ww R type 3: regular FSA a n b m c k d l Lichte & Wurm (HHU) Komplexität und natürliche Sprache 17
68 Subreguläre Typen: Type 4, 5,... Wie Reguläre Sprachen weiter beschränken? Regelschema: Anzahl der Nichtterminale Automaten: Anzahl der Zustände, Struktur der Übergänge Lichte & Wurm (HHU) Komplexität und natürliche Sprache 18
69 Subreguläre Typen: Type 4, 5,... Wie Reguläre Sprachen weiter beschränken? Regelschema: Anzahl der Nichtterminale Automaten: Anzahl der Zustände, Struktur der Übergänge Endliche Sprachen: Naheliegend aber formal eher uninteressant S Σ + S ab S a Lichte & Wurm (HHU) Komplexität und natürliche Sprache 18
70 Subreguläre Typen: Type 4, 5,... Wie Reguläre Sprachen weiter beschränken? Regelschema: Anzahl der Nichtterminale Automaten: Anzahl der Zustände, Struktur der Übergänge Endliche Sprachen: Naheliegend aber formal eher uninteressant S Σ + S ab S a Interessantere subreguläre Sprachen: Strictly Local Languages (SL k ) [12,19] Lichte & Wurm (HHU) Komplexität und natürliche Sprache 18
71 Subreguläre Typen: Type 4, 5,... Wie Reguläre Sprachen weiter beschränken? Regelschema: Anzahl der Nichtterminale Automaten: Anzahl der Zustände, Struktur der Übergänge Endliche Sprachen: Naheliegend aber formal eher uninteressant S Σ + S ab S a Interessantere subreguläre Sprachen: Strictly Local Languages (SL k ) [12,19] Aber was hat das mit natürlicher Sprache zu tun? Syntax/Typologie [11], Phonologie Lichte & Wurm (HHU) Komplexität und natürliche Sprache 18
72 Strictly Local Languages (SL k ) Die Sprache wird nur anhand zusammenhängender Blöcke der Größe k beschränkt. Automatenmodell: scanner mit look-up list (siehe z.b. Rogers & Pullum [19]) (aus Jäger & Rogers [12]) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 19
73 Strictly Local Languages (SL k ) Die Sprache wird nur anhand zusammenhängender Blöcke der Größe k beschränkt. Automatenmodell: scanner mit look-up list Die Grammatik G besteht aus einer Menge zulässiger Blöcke, z.b. G = { A, AB, BA, B } mit k = 2. F k (w) ist { die Menge der k-faktoren in w. {y w = x y z, x, y, z Σ F k (w) =, y = k} if w > k, {w} otherwise. L(G) = {w F k ( w ) G, w finite} (siehe z.b. Rogers & Pullum [19]) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 19
74 Strictly Local Languages (SL k ) Die Sprache wird nur anhand zusammenhängender Blöcke der Größe k beschränkt. Automatenmodell: scanner mit look-up list Die Grammatik G besteht aus einer Menge zulässiger Blöcke, z.b. G = { A, AB, BA, B } mit k = 2. F k (w) ist { die Menge der k-faktoren in w. {y w = x y z, x, y, z Σ F k (w) =, y = k} if w > k, {w} otherwise. L(G) = {w F k ( w ) G, w finite} (ab) n SL 2 aber: a ba SL k (siehe z.b. Rogers & Pullum [19]) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 19
75 Orthogonale Hierachien type 0: recursively enumerable HPSG, TG, TM type 1: context-sensitive LFG, LBA TAG, EPDA w k mildly context-sensitive type 2: context-free CFG, PDA type 3: regular FSA ww wwr a f (n) a 2n, w(#w) k a n b n c n... a n b m c n d m, w#w a n b m c m d n, w#w R a n b m c k d l orthogonal classes: [9,22] deterministic real-time definable (Rosenberg 1967) (siehe auch die Sitzung über Lernbarkeit) Lichte & Wurm (HHU) Komplexität und natürliche Sprache 20
76 Zusammenfassung extensionale Komplexität von (formalen) Sprachklassen Wo liegt natürliche Sprache in der Chomsky-Hierarchie? Die Klasse der natürlichen Sprachen is zumindest schwach kontextsensitiv. formale Beweise mittels Abschlusseigenschaften und Pump- Lemma Lichte & Wurm (HHU) Komplexität und natürliche Sprache 21
77 Appendix: Abschlusseigenschaften L 1 L 2 L 1 L 2 L L 1 L 2 L Type Type Type Type Type 2/ Lichte & Wurm (HHU) Komplexität und natürliche Sprache 22
78 Appendix: Pump-Lemma für kontextfreie Sprachen Ist eine Sprache L kontextfrei, dann existiert eine Mindestwortlänge k für L, ab der ein Wort w L in Teilworte xaybz dekomponiert werden kann, so dass auch xa n yb n z L für n 0, wobei gelten muss: 1 xyz k, 2 ab 1. Lichte & Wurm (HHU) Komplexität und natürliche Sprache 23
79 [1] Bresnan, Joan A realistic transformational grammar. In Morris Halle, Joan Bresnan & George A. Miller (eds.), Linguistic theory and psychological reality, Cambridge, MA: The MIT Press. [2] Bresnan, Joan, Ronald M. Kaplan, Stanley Peters & Annie Zaenen Cross-serial dependencies in dutch. Linguistic Inquiry 13(4) [3] Chomsky, Noam Three models for the description of language. IRE Transactions on Information Theory [4] Chomsky, Noam Syntactic structures. Den Haag: Mouton. [5] Chomsky, Noam Rules and representations. Oxford, UK: Basil Blackwell. [6] Chomsky, Noam & Marcel-Paul Schützenberger The algebraic theory of context-free languages. In P. Braffort & D. Hirschberg (eds.), Computer programming and formal systems (Studies in Logic and the Foundations of Mathematics 35), Elsevier. [7] Culy, Christopher The complexity of the vocabulary of Bambara. Linguistics and Philosophy 8(3) [8] Groenink, Annius V Mild context-sensitivity and tuple-based generalizations of context-grammar. Linguistics and Philosophy 20(6) [9] Hausser, Roland Complexity in Left-Associative Grammar. Theoretical Computer Science 106(2) [10] Hintikka, Jaakko Quantifiers vs. quantification theory. Linguistic Inquiry 5(2)
80 [11] Jackendoff, Ray & Eva Wittenberg What you can say without syntax: A hierarchy of grammatical complexity. In Frederick J. Newmeyer & Laurel B. Preston (eds.), Measuring grammatical complexity, Oxford: Oxford University Press. [12] Jäger, Gerhard & James Rogers Formal language theory: Refining the Chomsky hierarchy. Philosophical Transactions of the Royal Society B: Biological Sciences 367(1598) [13] Joshi, Aravind K Tree adjoining grammars: how much context-sensitivity is required to provide reasonable structural descriptions. In David Dowty, Lauri Karttunen & Arnold Zwicky (eds.), Natural language parsing, Cambridge University Press. [14] Kobele, Gregory M Generating copies: an investigation into structural identity in language and grammar. Los Angeles: University of California dissertation. [15] Michaelis, Jens & Marcus Kracht Semilinearity as a syntactic invariant. In Christian Retoré (ed.), Logical aspects of computational linguistics (Lecture Notes in Computer Science 1328), Berlin: Springer. [16] Pollard, Carl The nature of constraint grammar. Paper presented at the 11th Pacific Conference of Language, Information and Computation (PACLIC). [17] Pullum, Geoffrey K. & Gerald Gazdar Natural languages and context-free languages. Linguistics and Philosophy 4(4) [18] Radzinski, Daniel Chinese number-names, tree adjoining languages, and mild context-sensitivity. Computational Linguistics
81 [19] Rogers, James & Geoffrey K. Pullum Aural pattern recognition experiments and the subregular hierarchy. Journal of Language, Logic and Information [20] Rosenberg, Arnold L Real-time definable languages. Journal of the Association for Computing Machinery 14(4) [21] Shieber, Stuart Evidence against the context-freeness of natural language. Linguistics and Philosophy [22] Wurm, Christian Regular Growth Automata: properties of a class of finitely induced infinite machines. In Makoto Kanazawa, Markus Kracht, Hiroyuki Seki & Andras Kornai (eds.), Proceedings of the 12th conference on the mathematics of language (MOL 2012) (LNCS 6878), Nara, Japan: Springer.
Complexity in grammar
Complexity in grammar Formale Komplexitätsbegriffe Timm Lichte HHU Düsseldorf WS 2015/2016, 28.10.2015 SFB 991 Komplexität? Vielschichtigkeit, Schwierigkeit Effizienz, Ökonomie, Sparsamkeit Komplexitäten!
Komplexität und natürliche Sprache
Komplexität und natürliche Sprache Algorithmische Komplexität: Einordnung natürlicher Sprache Timm Lichte & Christian Wurm Heinrich-Heine-Universität Düsseldorf Sommersemester 2017, 14.06.2017 SFB 991
Complexity in grammar
Complexity in grammar Übersicht Timm Lichte HHU Düsseldorf WS 2015/2016, 16.12.2015 SFB 991 Was bisher geschah Komplexitätsmaße Informatische Komplexität / Beschreibungskomplexität bezogen auf: Grammatik
Complexity in grammar
Complexity in grammar Kritik des algorithmischen Komplexitätsbegriffs Timm Lichte HHU Düsseldorf WS 2015/2016, 04.11.2015 SFB 991 Letzte Sitzung: formale Komplexitätsbegriffe Was verursacht Komplexität?
Komplexität menschlicher Sprachen. Karin Haenelt
Komplexität menschlicher Sprachen Karin Haenelt 19.6.2010 1 Komplexität menschlicher Sprachen und Bestimmung der Komplexität Menschliche Sprachen haben vermutlich die Komplexität schwach-kontextsensitiver
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Pumping-Lemma für kontextfreie Sprachen, Abschlußeigenschaften kontextfreier Sprachen und die Komplexität natürlicher Sprachen Dozentin: Wiebke Petersen WS 2004/2005
Formale Sprachen und Automaten
Formale Sprachen: der Gegenstand Formale Sprachen und Automaten Motivation und Hintergrund Kann man die Begriffe der Sprache und der Grammatik auf eine mathematische Grundlagen stellen? Die Theorie formaler
Einführung in die Computerlinguistik Chomskyhierarchie
Einführung in die Computerlinguistik Chomskyhierarchie Dozentin: Wiebke Petersen 14. Foliensatz Wiebke Petersen Einführung CL 1 Wiederholung: Formale Grammatik Denition Eine formale Grammatik ist ein 4-Tupel
Einführung in die Computerlinguistik Chomskyhierarchie
Einführung in die Computerlinguistik Chomskyhierarchie Dozentin: Wiebke Petersen 14. Foliensatz Wiebke Petersen Einführung CL 1 Wiederholung: Formale Grammatik Denition Eine formale Grammatik ist ein 4-Tupel
Automatentheorie und formale Sprachen reguläre Ausdrücke
Automatentheorie und formale Sprachen reguläre Ausdrücke Dozentin: Wiebke Petersen 6.5.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Formal language Denition A formal language L
Einführung in die Computerlinguistik. Chomskyhierarchie. Dozentin: Wiebke Petersen Wiebke Petersen Einführung CL (SoSe 2010) 1
Einführung in die Computerlinguistik Chomskyhierarchie Dozentin: Wiebke Petersen 1.7.2010 Wiebke Petersen Einführung CL (SoSe 2010) 1 Wiederholung: Formale Grammatik Denition Eine formale Grammatik ist
Rekursion in der Sprache
Grammatiken Rekursion in der Sprache Formale Grammatiken und Rekursion Rekursion in hierarchischen Strukturen lässt sich formalisieren durch das Konzept der generativen Grammatik. Eine (generative) Grammatik
Grundkurs Linguistik Zur formalen Komplexität natürlicher Sprachen
Grundkurs Linguistik Zur formalen Komplexität natürlicher Sprachen Wiebke Petersen Wiebke Petersen Grundkurs 1 Formale Komplexität natürlicher Sprachen Wiebke Petersen Grundkurs 2 Formale Komplexität natürlicher
Automatentheorie und formale Sprachen Entscheidbarkeitsprobleme endliche Transduktoren Komplexität natürlicher Sprachen
Automatentheorie und formale Sprachen Entscheidbarkeitsprobleme endliche Transduktoren Komplexität natürlicher Sprachen Dozentin: Wiebke Petersen 15.7.2009 Wiebke Petersen Automatentheorie und formale
Sprachenhierarchie. bersicht. Zweck. Begriffe Hierarchie verschiedener Formalismen (unvollstšndig) Wo liegen die natÿrlichen Sprachen?
Sprachenhierarchie bersicht Begriffe Hierarchie verschiedener Formalismen (unvollstšndig) AufzŠhlung Ñ Endliche Sprachen Endliche Automaten Ñ RegulŠre Sprachen Kontextfreie Grammatiken Ñ Kontextfreie Sprachen
Automatentheorie und formale Sprachen endliche Automaten
Automatentheorie und formale Sprachen endliche Automaten Dozentin: Wiebke Petersen 13.5.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 What we know so far about formal languages
Automatentheorie und formale Sprachen
Automatentheorie und formale Sprachen Wiebke Petersen Wiebke Petersen Automatentheorie und formale Sprachen - WiSe12/13 1 Seminarplan Lektüre: Theoretische Grundlagen der Informatik, Rolf Socher, 2008
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen Foliensatz 3 Wiebke Petersen Einführung CL 1 Describing formal languages by enumerating all words
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen 03.11.2009 Wiebke Petersen Einführung CL (WiSe 09/10) 1 Formal language Denition Eine formale Sprache
Linguistik für Kognitionswissenschaften 1:[1em] Formale Komplexität 21. Oktober natürlicher 2010 Sprachen 1 / 33
![Linguistik für Kognitionswissenschaften 1:[1em] Formale Komplexität 21. Oktober natürlicher 2010 Sprachen 1 / 33](/thumbs/65/54324849.jpg "Linguistik für Kognitionswissenschaften 1:[1em] Formale Komplexität 21. Oktober natürlicher 2010 Sprachen 1 / 33")
Linguistik für Kognitionswissenschaften 1: Formale Komplexität natürlicher Sprachen Gerhard Jäger Universität Tübingen 21. Oktober 2010 Linguistik für Kognitionswissenschaften 1:[1em] Formale Komplexität
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen May 3, 2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Operationen auf Sprachen Seien L Σ und K Σ
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen May 3, 2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Operationen auf Sprachen Seien L Σ und K Σ
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Reguläre Ausdrücke und reguläre Grammatiken Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 20 Regular expressions (1) Let Σ be an alphabet. The
Komplexität und natürliche Sprache
Komplexität und natürliche Sprache Kompetenz versus Performanz Timm Lichte & Christian Wurm Heinrich-Heine-Universität Düsseldorf Sommersemester 2017, 24.05.2017 SFB 991 Timm Lichte & Christian Wurm (HHU
Kapitel: Die Chomsky Hierarchie. Die Chomsky Hierarchie 1 / 14
Kapitel: Die Chomsky Hierarchie Die Chomsky Hierarchie 1 / 14 Allgemeine Grammatiken Definition Eine Grammatik G = (Σ, V, S, P) besteht aus: einem endlichen Alphabet Σ, einer endlichen Menge V von Variablen
Automatentheorie und formale Sprachen rechtslineare Grammatiken
Automatentheorie und formale Sprachen rechtslineare Grammatiken Dozentin: Wiebke Petersen 17.6.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Pumping lemma for regular languages
Computational Models
- University of Applied Sciences - Computational Models - CSCI 331 - Friedhelm Seutter Institut für Angewandte Informatik Part I Automata and Languages 0. Introduction, Alphabets, Strings, and Languages
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Kontextfreie Sprachen und Pushdown-Automaten Dozentin: Wiebke Petersen WS 2004/2005 Wiebke Petersen Formale Komplexität natürlicher Sprachen WS 03/04 Wiederholung c
Einführung. Vorlesung Grammatikformalismen Alexander Koller. 15. April 2016
Einführung Vorlesung Grammatikformalismen Alexander Koller 15. April 2016 Übersicht Was sind Grammatikformalismen, und warum reichen uns kfgs nicht? Was machen wir in dieser Vorlesung? Prüfungsmodalitäten
Automaten und formale Sprachen. Lösungen zu den Übungsblättern
Automaten und formale Sprachen zu den Übungsblättern Übungsblatt Aufgabe. (Sipser, exercise.3) M = ({q, q2, q3, q4, q5}, {u, d}, δ, q3, {q3}) δ: u d q q q 2 q 2 q q 3 q 3 q 2 q 4 q 4 q 3 q 5 q 5 q 4 q
Automatentheorie und formale Sprachen Pumping-Lemma für reguläre Sprachen
Automatentheorie und formale Sprachen Pumping-Lemma für reguläre Sprachen Dozentin: Wiebke Petersen 10.6.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Finite-state automatons accept
Formale Methoden 1. Gerhard Jäger 12. Dezember Uni Bielefeld, WS 2007/2008 1/22
1/22 Formale Methoden 1 Gerhard Jäger Gerhard.Jaeger@uni-bielefeld.de Uni Bielefeld, WS 2007/2008 12. Dezember 2007 2/22 Bäume Baumdiagramme Ein Baumdiagramm eines Satzes stellt drei Arten von Information
Fakultät für Informatik Universität Magdeburg Jürgen Dassow. Motivation Englisch
Motivation Englisch Mary and John are a woman and a man, respectively. Mary, John and William are a woman, a man and a man, respectively. Mary, John, William and Jenny are a woman, a man, a man and a woman,
Sprachen/Grammatiken eine Wiederholung
Sprachen/Grammatiken eine Wiederholung Was sind reguläre Sprachen? Eigenschaften regulärer Sprachen Sprachen Begriffe Symbol: unzerlegbare Grundzeichen Alphabet: endliche Menge von Symbolen Zeichenreihe:
Earley Parser. Flutura Mestani
Earley Parser Flutura Mestani Informatik Seminar Algorithmen zu kontextfreien Grammatiken Wintersemester 2015/2016 Prof. Martin Hofmann, Dr. Hans Leiß Flutura Mestani 25.11.2015 Seminar Algorithmen zu
Einführung in die Theoretische Informatik
Einführung in die Theoretische Informatik Maximilian Haslbeck Fabian Mitterwallner Georg Moser David Obwaller cbr.uibk.ac.at Zusammenfassung der letzten LVA Definition Eine Grammatik G ist ein Quadrupel
Inkrementelle Syntax
Inkrementelle Syntax CFG und inkrementelles Parsing Timm Lichte HHU Düsseldorf, Germany 30.10.2013 SFB 991 1 / 24 Aus der letzten Sitzung inkrementelle Syntax Mechanismen bzw. Komponenten eines Grammatikformalismus,
WS06/07 Referentin: Katharina Blinova. Formale Sprachen. Hauptseminar Intelligente Systeme Dozent: Prof. Dr. J. Rolshoven
WS06/07 Referentin: Katharina Blinova Formale Sprachen Hauptseminar Intelligente Systeme Dozent: Prof. Dr. J. Rolshoven 1. Allgemeines 2. Formale Sprachen 3. Formale Grammatiken 4. Chomsky-Hierarchie 5.
Das Halteproblem für Turingmaschinen
Das Halteproblem für Turingmaschinen Das Halteproblem für Turingmaschinen ist definiert als die Sprache H := { T w : T ist eine TM, die bei Eingabe w {0, 1} hält }. Behauptung: H {0, 1} ist nicht entscheidbar.
Unit 4. The Extension Principle. Fuzzy Logic I 123
Unit 4 The Extension Principle Fuzzy Logic I 123 Images and Preimages of Functions Let f : X Y be a function and A be a subset of X. Then the image of A w.r.t. f is defined as follows: f(a) = {y Y there
Übersicht. 3 3 Kontextfreie Sprachen
Formale Systeme, Automaten, Prozesse Übersicht 3 3.1 Kontextfreie Sprachen und Grammatiken 3.2 Ableitungsbäume 3.3 Die pre -Operation 3.4 Entscheidungsprobleme für CFGs 3.5 Normalformen für CFGs 3.6 Chomsky-Normalform
Mehrworteinheiten. Zusammenfassung & Seminarkritik. Timm Lichte. Letzte Sitzung, HHU Düsseldorf SFB 991
Mehrworteinheiten Zusammenfassung & Seminarkritik Timm Lichte HHU Düsseldorf Letzte Sitzung, 30.01.2018 SFB 991 Timm Lichte (HHU) Mehrworteinheiten 1 Mehrworteinheiten: Definition Definition Pain the neck
Definition 4 (Operationen auf Sprachen) Beispiel 5. Seien A, B Σ zwei (formale) Sprachen. Konkatenation: AB = {uv ; u A, v B} A + = n 1 An
Definition 4 (Operationen auf Sprachen) Seien A, B Σ zwei (formale) Sprachen. Konkatenation: AB = {uv ; u A, v B} A 0 = {ɛ}, A n+1 = AA n A = n 0 An A + = n 1 An Beispiel 5 {ab, b}{a, bb} = {aba, abbb,
3. Vorlesung: Endliche Automaten Markus Kr otzsch Lehrstuhl Wissensbasierte Systeme
Wiederholung Mit Grammatiken können wir Sprachen beschreiben und sie grob in Typen unterteilen: FORMALE SYSTEME 3. Vorlesung: Endliche Automaten Markus Krötzsch Lehrstuhl Wissensbasierte Systeme Formale
Carlos Camino Einführung in die Theoretische Informatik SS 2015
Themenüberblick Dies ist eine Art Checkliste für die Klausurvorbereitung. Zu jedem Thema im Skript sind hier ein paar Leitfragen aufgelistet. Besonders nützlich sind die Tabellen und Abbildungen auf den
Magic Figures. We note that in the example magic square the numbers 1 9 are used. All three rows (columns) have equal sum, called the magic number.
Magic Figures Introduction: This lesson builds on ideas from Magic Squares. Students are introduced to a wider collection of Magic Figures and consider constraints on the Magic Number associated with such
VORANSICHT. M 3: Do you like my decorations? Mit einem Kurzilm das Hörverstehen schulen (Klassen 5 bis 10) Die Materialien
I/A Communicative skills Listening 13 Christmas decorations (Kl. 5 10) 1 von 20 Do you like my decorations? Mit einem Kurzilm das Hörverstehen schulen (Klassen 5 bis 10) Ein Beitrag von Monika Schäfers,
Data Structures and Algorithm Design
- University of Applied Sciences - Data Structures and Algorithm Design - CSCI 340 - Friedhelm Seutter Institut für Angewandte Informatik Contents 1 Analyzing Algorithms and Problems 2 Data Abstraction
Informatik III. Christian Schindelhauer Wintersemester 2006/07 8. Vorlesung
Informatik III Christian Schindelhauer Wintersemester 2006/07 8. Vorlesung 17.11.2006 schindel@informatik.uni-freiburg.de 1 Prinzip des Kellerautomats Push-Down-Automaton (PDA) Ein Kellerautomat vereinigt
FORMALE SYSTEME. 3. Vorlesung: Endliche Automaten. TU Dresden, 17. Oktober Markus Krötzsch
FORMALE SYSTEME 3. Vorlesung: Endliche Automaten Markus Krötzsch TU Dresden, 17. Oktober 2016 Rückblick Markus Krötzsch, 17. Oktober 2016 Formale Systeme Folie 2 von 31 Wiederholung Mit Grammatiken können
Informatik III - WS07/08
Informatik III - WS07/08 Kapitel 5 1 Informatik III - WS07/08 Prof. Dr. Dorothea Wagner dwagner@ira.uka.de Kapitel 5 : Grammatiken und die Chomsky-Hierarchie Informatik III - WS07/08 Kapitel 5 2 Definition
Einführung in die Computerlinguistik Satz von Kleene
Einführung in die Computerlinguistik Satz von Kleene Dozentin: Wiebke Petersen 17.11.2009 Wiebke Petersen Einführung CL (WiSe 09/10) 1 Satz von Kleene (Stephen C. Kleene, 1909-1994) Jede Sprache, die von
Materialien zu unseren Lehrwerken
Word order Word order is important in English. The word order for subjects, verbs and objects is normally fixed. The word order for adverbial and prepositional phrases is more flexible, but their position
Übersicht. SD Einführung in die CL,
Übersicht 1. Endliche Automaten (FSAs) 2. Reguläre Ausdrücke (RAs) Äquivalenz L FSA und L RA 3. Grammatiken, insb. einseitig-lineare Grammatiken (ELG) Äquivalenz L ELG, L FSA und L RA 4. Grenzen der regulären
Formale Grundlagen der Wirtschaftsinformatik
Formale Grundlagen der Wirtschaftsinformatik Nikolaj Popov Research Institute for Symbolic Computation popov@risc.uni-linz.ac.at Sprachen und Grammatiken Teil II Sprache Definition: Ein Alphabet Σ ist
Number of Maximal Partial Clones
Number of Maximal Partial Clones KARSTEN SCHÖLZEL Universität Rostoc, Institut für Mathemati 26th May 2010 c 2010 UNIVERSITÄT ROSTOCK MATHEMATISCH-NATURWISSENSCHAFTLICHE FAKULTÄT, INSTITUT FÜR MATHEMATIK
Theoretische Informatik und Logik, VU 4.0 (Teil1: Berechenbarkeit, Formale Sprachen und Komplexitätstheorie)
185.278 Theoretische Informatik und Logik, VU 4.0 (Teil1: Berechenbarkeit, Formale Sprachen und Komplexitätstheorie) Marion OSWALD (marion@logic.at) unter Mitwirkung von Chris FERMÜLLER, Rudi FREUND, Alexander
Unit 1. Motivation and Basics of Classical Logic. Fuzzy Logic I 6
Unit 1 Motivation and Basics of Classical Logic Fuzzy Logic I 6 Motivation In our everyday life, we use vague, qualitative, imprecise linguistic terms like small, hot, around two o clock Even very complex
DIBELS TM. German Translations of Administration Directions
DIBELS TM German Translations of Administration Directions Note: These translations can be used with students having limited English proficiency and who would be able to understand the DIBELS tasks better
Lösung zur Klausur. Grundlagen der Theoretischen Informatik im WiSe 2003/2004
Lösung zur Klausur Grundlagen der Theoretischen Informatik im WiSe 2003/2004 1. Geben Sie einen deterministischen endlichen Automaten an, der die Sprache aller Wörter über dem Alphabet {0, 1} akzeptiert,
Schwach kontextsensitive Grammatikformalismen
chwach kontextsensitive Grammatikformalismen! Vorlesung Grammatikformalismen Alexander Koller! 2. Juni 2015 Grammatikformalismen Parsingkomplexität O(n) O(n 3 ) polynomiell exponentiell PPACE-vollst. unentscheidbar
Dreifach logarithmischen Platzbedarf gibt es nicht
Dreifach logarithmischen Platzbedarf gibt es nicht Sommerakademie Rot an der Rot AG 1 Wieviel Platz brauchen Algorithmen wirklich? Tobias Zech Physikalisches Institut Uni Freiburg 10. August 2010 Tobias
Reguläre Sprachen und endliche Automaten
Reguläre Sprachen und endliche Automaten 1 Motivation: Syntaxüberprüfung Definition: Fließkommazahlen in Java A floating-point literal has the following parts: a whole-number part, a decimal point (represented
Deterministischer Kellerautomat (DPDA)
Deterministische Kellerautomaten Deterministischer Kellerautomat (DPDA) Definition Ein Septupel M = (Σ,Γ, Z,δ, z 0,#, F) heißt deterministischer Kellerautomat (kurz DPDA), falls gilt: 1 M = (Σ,Γ, Z,δ,
Formale Sprachen und Automaten: Tutorium Nr. 8
Formale Sprachen und Automaten: Tutorium Nr. 8 15. Juni 2013 Übersicht 1 Nachtrag 2 Besprechung von Übungsblatt 7 Aufgabe 1 Aufgabe 2 Aufgabe 3 3 CFG PDA Definitionen Ein Beispiel! Aufgabe 4 Der PDA als
Technische Universität Kaiserslautern Lehrstuhl für Virtuelle Produktentwicklung
functions in SysML 2.0 La Jolla, 22.05.2014 12/10/2015 Technische Universität Kaiserslautern Lehrstuhl für Virtuelle Produktentwicklung Dipl. Wirtsch.-Ing. Christian Muggeo Dipl. Wirtsch.-Ing. Michael
Die einfachste Diät der Welt: Das Plus-Minus- Prinzip (GU Reihe Einzeltitel)
Die einfachste Diät der Welt: Das Plus-Minus- Prinzip (GU Reihe Einzeltitel) Stefan Frà drich Click here if your download doesn"t start automatically Die einfachste Diät der Welt: Das Plus-Minus-Prinzip
Deterministische und nichtdeterministische Turing-Maschinen, Typ1- und Typ0-Sprachen
Dr. Sebastian Bab WiSe 12/13 Theoretische Grundlagen der Informatik für TI Termin: VL 15 + 16 vom 17.12.2012 und 20.12.2012 Deterministische und nichtdeterministische Turing-Maschinen, Typ1- und Typ0-Sprachen
Die Mächtigkeit natürlicher Sprachen
Die Mächtigkeit natürlicher Sprachen Was macht das Schweizerdeutsche so komplex? Wiebke Petersen Institut für Sprache und Information Abteilung Computerlinguistik Heinrich-Heine-Universität Düsseldorf
Einführung in die Theoretische Informatik. Woche 1. Harald Zankl. Institut für UIBK Wintersemester 2014/2015.
Einführung in die Woche 1 Harald Zankl Institut für Informatik @ UIBK Wintersemester 2014/2015 Einleitung Einleitung HZ (IFI) ETI - Woche 1 8/210 Die beschäftigt sich mit der Abstraktion, Modellbildung
Die Rolle der Grammatik, Ersetzungsregelgrammatiken, und Parsing
Vorlesung Einführung in die Computerlinguistik Die Rolle der Grammatik, Ersetzungsregelgrammatiken, und Parsing Hans Uszkoreit WHAT HAPPES I BETWEE? WHAT HAPPES I BETWEE? sound waves activation of concepts
Einführung in die Theoretische Informatik
Einführung in die Theoretische Informatik Woche 1 Harald Zankl Institut für Informatik @ UIBK Wintersemester 2014/2015 Einleitung Einleitung HZ (IFI) ETI - Woche 1 8/210 Theoretische Informatik Theoretische
Flirt English Dialogue Transcript Episode Eight : On The Team
Autoren: Colette Thomson, Len Brown Redaktion: Christiane Lelgemann, Stefanie Fischer AT AUNTY SUZIE S HOUSE Dear Diary. Everything is brilliant. Absolutely brilliant. Can and I are having the best time.
Sherlock is Luke s dog. This is the Elliots house.
Unit 2: Wie kann ich einen Besitz ausdrücken? Wie formuliere ich Regeln? a) Besitz ausdrücken mit dem Genitiv (= Wessen-Fall): Deutsch: Wessen Vater ist David? David ist Sams Vater. Der Genitiv bezieht
Informatik IV Theoretische Informatik: Formale Sprachen und Automaten, Berechenbarkeit und NP-Vollständigkeit. Zugangsnummer: 9201
Informatik IV Theoretische Informatik: Formale Sprachen und Automaten, Berechenbarkeit und NP-Vollständigkeit Wiederholung Kapitel 3 und 4 http://pingo.upb.de Zugangsnummer: 9201 Dozent: Jun.-Prof. Dr.
1 Lokale Sprachen. 2 Verallgemeinerung
1 Lokale Sprachen Es soll um Sprachen gehen die nur aufgrund ihrer Teilworte einer festen Länge entschieden werden können. Anschaulich heisst dies man kann ein Fenster der Länge k über das Eingabewort
KV 1. Klasse: Datum: Name: Zeige, was du schon auf Englisch kannst! Male die für dich zutreffenden Sprechblasen an! Das kann ich sonst noch:
KV 1 Zeige, was du schon auf Englisch kannst! Male die für dich zutreffenden Sprechblasen an! Das kann ich sonst noch: 97 KV 2 Zeige, was du schon auf Englisch kannst! Male die für dich zutreffenden Sprechblasen
Im Fluss der Zeit: Gedanken beim Älterwerden (HERDER spektrum) (German Edition)
Im Fluss der Zeit: Gedanken beim Älterwerden (HERDER spektrum) (German Edition) Ulrich Schaffer Click here if your download doesn"t start automatically Im Fluss der Zeit: Gedanken beim Älterwerden (HERDER
Kompositionalität. Christian Ebert & Fritz Hamm. Kompositionalität. 1. Dezember 2011
1. Dezember 2011 sprinzip The meaning of a complex expression is determined by the meaning of its parts and the mode of composition. Die Bedeutung eines komplexen Ausdrucks ist durch die Bedeutung seiner
Die Bedeutung neurowissenschaftlicher Erkenntnisse für die Werbung (German Edition)
Die Bedeutung neurowissenschaftlicher Erkenntnisse für die Werbung (German Edition) Lisa Johann Click here if your download doesn"t start automatically Download and Read Free Online Die Bedeutung neurowissenschaftlicher
Teil V. Weiterführende Themen, Teil 1: Kontextsensitive Sprachen und die Chomsky-Hierarchie
Teil V Weiterführende Themen, Teil 1: Kontextsensitive Sprachen und die Chomsky-Hierarchie Zwei Sorten von Grammatiken Kontextsensitive Grammatik (CSG) (Σ, V, P, S), Regeln der Form αaβ αγβ α, β (Σ V ),
Harry gefangen in der Zeit Begleitmaterialien
Episode 011 Grammar 1. Plural forms of nouns Most nouns can be either singular or plural. The plural indicates that you're talking about several units of the same thing. Ist das Bett zu hart? Sind die
Grundlagen der Theoretischen Informatik
1 Grundlagen der Theoretischen Informatik Till Mossakowski Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Wintersemester 2014/15 2 Kontextfreie Grammatiken Definition: Eine Grammatik G
Grammatik der Genome
Grammatik der Genome Andreas de Vries Fachhochschule Südwestfalen, Campus Hagen SS 2011 1 / 14 Inhalt 1 Formale Sprachen 2 Genomgrammatik 2 / 14 Formale Sprachen Übersicht 1 Formale Sprachen 2 Genomgrammatik
FORMALE SYSTEME. 26. Vorlesung: Zusammenfassung und Ausblick. TU Dresden, 29. Januar Markus Krötzsch Professur für Wissensbasierte Systeme
FORMALE SYSTEME 26. Vorlesung: Zusammenfassung und Ausblick Markus Krötzsch Professur für Wissensbasierte Systeme TU Dresden, 29. Januar 2018 Zusammenfassung Randall Munroe, http://xkcd.com/399/, CC-BY-NC
Selbstreduzierbarkeit (von Joachim Selke, Mai 2005) Fünfter Vortrag im Rahmes des Seminars Perlen der Komplexitätstheorie
Selbstreduzierbarkeit (von Joachim Selke, Mai 2005) Fünfter Vortrag im Rahmes des Seminars Perlen der Komplexitätstheorie Vorbemerkungen Im folgenden werden nur Mengen über dem Alphabet Σ := {0, 1} betrachtet.
Wer bin ich - und wenn ja wie viele?: Eine philosophische Reise. Click here if your download doesn"t start automatically
Wer bin ich - und wenn ja wie viele?: Eine philosophische Reise Click here if your download doesn"t start automatically Wer bin ich - und wenn ja wie viele?: Eine philosophische Reise Wer bin ich - und
Proseminar TI: Kellerautomaten. 1 Motivation. 2 Einführung. Vortrag: Von Sebastian Oltmanns und Dorian Wachsmann. Dozent: Wolfgang Mulzer.
Proseminar TI: Kellerautomaten Vortrag: 10.11.2015 Von Sebastian Oltmanns und Dorian Wachsmann. Dozent: Wolfgang Mulzer. 1 Motivation Wir kennen bereits die Chomsky-Hierarchie. Sie klassiziert formale
Wortdekodierung. Vorlesungsunterlagen Speech Communication 2, SS Franz Pernkopf/Erhard Rank
Wortdekodierung Vorlesungsunterlagen Speech Communication 2, SS 2004 Franz Pernkopf/Erhard Rank Institute of Signal Processing and Speech Communication University of Technology Graz Inffeldgasse 16c, 8010
Theorie der Informatik. Theorie der Informatik. 6.1 Einführung. 6.2 Alphabete und formale Sprachen. 6.3 Grammatiken. 6.4 Chomsky-Hierarchie
Theorie der Informatik 17. März 2014 6. Formale Sprachen und Grammatiken Theorie der Informatik 6. Formale Sprachen und Grammatiken Malte Helmert Gabriele Röger Universität Basel 17. März 2014 6.1 Einführung
Funktion der Mindestreserve im Bezug auf die Schlüsselzinssätze der EZB (German Edition)
Funktion der Mindestreserve im Bezug auf die Schlüsselzinssätze der EZB (German Edition) Philipp Heckele Click here if your download doesn"t start automatically Download and Read Free Online Funktion
Einführung in die Computerlinguistik Satz von Kleene
Einführung in die Computerlinguistik Satz von Kleene Dozentin: Wiebke Petersen 10.5.2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Satz von Kleene (Stephen C. Kleene, 1909-1994) Jede Sprache, die von
Generalized Phrase Structure Grammar
Generalized Phrase Structure Grammar Fabian Heck & Gereon Müller Institut für Linguistik Universität Leipzig WiSe 2009/2010 www.uni-leipzig.de/ muellerg Heck & Müller (Institut für Linguistik) Syntax:
Teil 2.2: Lernen formaler Sprachen: Hypothesenräume
Theorie des Algorithmischen Lernens Sommersemester 2006 Teil 2.2: Lernen formaler Sprachen: Hypothesenräume Version 1.1 Gliederung der LV Teil 1: Motivation 1. Was ist Lernen 2. Das Szenario der Induktiven
Geometry Of Algebraic Curves: Volume II With A Contribution By Joseph Daniel Harris (Grundlehren Der Mathematischen Wissenschaften) By Maurizio
Geometry Of Algebraic Curves: Volume II With A Contribution By Joseph Daniel Harris (Grundlehren Der Mathematischen Wissenschaften) By Maurizio Cornalba If you are searching for a ebook Geometry of Algebraic
ALP I Turing-Maschine
ALP I Turing-Maschine Teil I WS 2012/2013 Äquivalenz vieler Berechnungsmodelle Alonzo Church λ-kalkül Kombinatorische Logik Alan Turing Turing-Maschine Mathematische Präzisierung Effektiv Berechenbare
Martin Luther. Click here if your download doesn"t start automatically
Die schönsten Kirchenlieder von Luther (Vollständige Ausgabe): Gesammelte Gedichte: Ach Gott, vom Himmel sieh darein + Nun bitten wir den Heiligen Geist... der Unweisen Mund... (German Edition) Martin
Harald Rees Grammatical Tenses - Usefully explained and shown with the help of Tenses-boy. Grammatical Tense. Reihe Fremdsprachen
Harald Rees s - Usefully explained and shown with the help of Tenses-boy Reihe Fremdsprachen Bestellnummer 07-007-154 About the writer Harald Rees, born in 1956, became first a machinist by trade. He studied