Complexity in grammar

Größe: px

Ab Seite anzeigen:

Download "Complexity in grammar"

Hanna Beyer
vor 6 Jahren
Abrufe

1 Complexity in grammar Formale Komplexitätsbegriffe Timm Lichte HHU Düsseldorf WS 2015/2016, SFB 991

2 Komplexität? Vielschichtigkeit, Schwierigkeit Effizienz, Ökonomie, Sparsamkeit Komplexitäten! Komplexität einer formalen Grammatik Komplexität einer formalen Sprache Komplexität der Verarbeitung (Parsen/Generierung) einer Sprache anhand einer Grammatik Komplexität eines natürlich-sprachlichen Phänomens Komplexität einer natürlichen Sprache Wie lässt sich Komplexität formal präzise charakterisieren? Was verursacht Komplexität? Lichte (HHU) 2

3 Ontologie Wir betrachten zunächst Stringsprachen: a w L G {L G G Ĝ} a ist ein Buchstabe und Element eines Alphabets Σ. w ist ein Wort und Element einer Sprache L. L G ist die Sprache der Grammatik G. Ĝ ist eine Menge/Klasse von Grammatiken. Beispiele: Σ = {a, b} w = abba L = {abba, abab, bbb,...} G = N, Σ, S, P (z.b. eine CFG) L G = {w S PG w } Lichte (HHU) 3

4 Informatische Komplexität Intuition Je komplexer desto schwieriger auswendig zu lernen. K (Σ): Komplexität eines Alphabets Σ = Σ K (w): Komplexität eines Wortes w = w, K (Σ w ), Entropie K (L): Komplexität einer Sprache L = L K (G): Komplexität einer Grammatik G = G, K (L G ) K (G, w) = Menge der möglichen Derivationen (Ambiguität) = Summe der Längen der möglichen Derivationen = längste Derivation Lichte (HHU) 4

5 Beschreibungskomplexität Intuition Je komplexer desto aufwändiger zu beschreiben. Derivationskomplexität: Kolmogorov-Komplexität: [2] Beispiel (Wikipedia) K (G, w) = kürzeste Derivation K (w) = kürzeste Programm das w ausgibt Erzeugung einer Folge mit 1000 Nullen: begin for i:= 1 to 1000 print "0" end (Standardisierung durch die Minimal Description Length) Lichte (HHU) 5

6 Relative extensionale Komplexität Intuition Je komplexer desto mächtiger. Gegeben zwei Wörter w und w : K (w) > K (w ) w w Gegeben zwei Grammatiken G und G : K (G) > K (G ) P G P G K (G) > K (G ) K (L G ) > K (L G ) L G L G Gegeben zwei Grammatikklassen Ĝ und Ĝ : K (Ĝ) > K (Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und P G = P G K (Ĝ) > K (Ĝ ) Für jede G Ĝ gibt es eine G Ĝ und L G = L G berühmtestes Beispiel: Chomsky(-Schützenberger)-Hierarchie [1] Lichte (HHU) 6

7 Relative extensionale Komplexität von Grammatikklassen Chomsky(-Schützenberger)-Hierarchie [1] type 0: recursively enumerable ϕ µ type 1: context-sensitive ϕ µ ϕ µ a f (n) a 2n, a n b n c n..., W k N := die Menge der Nichtterminale T := die Menge der Terminale (aka Σ) type 2: context-free A µ A N, µ (N T ) a n b m c m d n, WW R type 3: regular A wb oder A a A, B N, a T, w T an b m c k d l Lichte (HHU) 7

8 Relative extensionale Komplexität von Grammatikklassen Chomsky(-Schützenberger)-Hierarchie [1] type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., W k type 2: context-free CFG, PDA a n b m c m d n, WW R type 3: regular FSA a n b m c k d l Lichte (HHU) 7

9 Relative extensionale Komplexität von Grammatikklassen Chomsky(-Schützenberger)-Hierarchie [1] type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, a n b n c n..., W k mildly context-sensitive TAG, EPDA a n b m c n d m, WW type 2: context-free CFG, PDA a n b m c m d n, WW R NL is mildly contextsensitive? (Joshi [3]) CFL cross-serial dep. semi-linear in PTIME type 3: regular FSA a n b m c k d l Lichte (HHU) 7

10 Algorithmische Komplexität (Komplexitätstheorie) Intuition Je komplexer desto aufwändiger zu berechnen. Modell: Turingmaschine (Turing 1936) Band mit Feldern Lese-/Schreibkopf Programm (aus Wikipedia) Komponenten: unendlich langes Speicherband von linear geordneten Feldern/Zellen Lese-/Schreibkopf, der sich schrittweise auf dem Band bewegt Programm (= endlicher Automat) kontrolliert den Kopf Lichte (HHU) 8

11 Algorithmische Komplexität (Komplexitätstheorie) Intuition Je komplexer desto aufwändiger zu berechnen. Modell: Turingmaschine (Turing 1936) Band mit Feldern Lese-/Schreibkopf Programm (aus Wikipedia) Funktionsweise: Start: Eingabe auf dem Band, Kopf direkt davor Ende: Ausgabe auf dem Band, Programm im Endzustand δ (Zustand, alter Zellinhalt) = (Zustand, neuer Zellinhalt, {R, L, N}) Lichte (HHU) 8

12 Algorithmische Komplexität (Komplexitätstheorie) Intuition Je komplexer desto aufwändiger zu berechnen. Modell: Turingmaschine (Turing 1936) Band mit Feldern Lese-/Schreibkopf Programm (aus Wikipedia) Wortproblem: w L G? Wie viele Schritte werden benötigt? (Zeitkomplexität) Wie viele Zellen werden benötigt? (Raumkomplexität) Hält die Turingmaschine? (Halteproblem) Lichte (HHU) 8

13 Algorithmische Komplexität (Komplexitätstheorie) semi-entscheidbar entscheidbar factorial time O(n!) EXPSPACE O(2 p(n) ) EXPTIME O(2 p(n) ) NPSPACE O(n c ) PSPACE O(n c ) non-efficient NP(TIME) O(n c ) P(TIME) O(n c ) LIN O(n) efficient REALTIME O(n) constant time O(c) Lichte (HHU) 9

14 Algorithmische extensionale Komplexität type 0: recursively enumerable HPSG, TG, TM a f (n) type 1: context-sensitive LFG, LBA a 2n, W n NP a n b n c n..., W k P mildly context-sensitive TAG, EPDA a n b m c n d m, WW O(n 6 ) type 2: context-free CFG, PDA a n b m c m d n, WW R O(n 3 ) type 3: regular FSA a n b m c k d l O(n) Lichte (HHU) 10

15 Zusammenfassung Komplexitätsbegriffe: informatische Komplexität Beschreibungskomplexität extensionale Komplexität algorithmische Komplexität Andere Begriffe: Monoton versus nicht-monoton Fragen des Seminars: Anwendung/Kritik in der theoretischen Linguistik? z.b. Rolle der Grammatikgröße in der algorithmischen Komplexität? Andere Komplexitätsbegriffe? Lichte (HHU) 11

16 Entropie (Shannon & Weaver 1949) Maß für die Informationsdichte eines Wortes w = x 1... x n : I(x i ) = log 2 (p xi ) I ges = I(x 1 ) + I(x 2 ) I(x n ) = n I(x i ) i=1 Beispiel (aus Wikipedia) w = Mississippi mit w = 11 und Σ = {i, M, p, s} und p(i) = 4 11, p(m) = 1 11, p(p) = 2 11, p(s) = 4 11 I ges = 4 I(i) + 1 I(M) + 2 I(p) + 4 I(s) = bit bit bit bit = 20.06bit 21bit Lichte (HHU) 12 zurück

17 [1] Chomsky, Noam & Marcel-Paul Schützenberger The algebraic theory of context-free languages. In P. Braffort & D. Hirschberg (eds.), Computer programming and formal systems (Studies in Logic and the Foundations of Mathematics 35), Elsevier. [2] Cover, Thomas M., Peter Gacs & Robert M. Gray Kolmogorov s contributions to information theory and algorithmic complexity. The Annals of Probability 17(3) [3] Joshi, Aravind K Tree adjoining grammars: how much context-sensitivity is required to provide reasonable structural descriptions. In David Dowty, Lauri Karttunen & Arnold Zwicky (eds.), Natural language parsing, Cambridge University Press. [4] Shannon, Claude E. & Warren Weaver The mathematical theory of communication. Urbana, IL: The University of Illinois Press. [5] Turing, Alan M On computable numbers, with an application to the Entscheidungsproblem. Journal of Mathematics 58( ). 5.

Ähnliche Dokumente

Kapitel: Die Chomsky Hierarchie. Die Chomsky Hierarchie 1 / 14

Kapitel: Die Chomsky Hierarchie Die Chomsky Hierarchie 1 / 14 Allgemeine Grammatiken Definition Eine Grammatik G = (Σ, V, S, P) besteht aus: einem endlichen Alphabet Σ, einer endlichen Menge V von Variablen