Komplexität und natürliche Sprache

Transkript

1 Komplexität und natürliche Sprache Algorithmische Komplexität: Einordnung natürlicher Sprache Timm Lichte & Christian Wurm Heinrich-Heine-Universität Düsseldorf Sommersemester 2017, SFB 991 Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 1

2 Outline 1 Überblick 2 Einordnung natürlicher Sprache 3 Real-Time-Turingmaschinen (RTTM) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 2

4 Überblick Einordnung natürlicher Sprache: Was für eine TM ist das? Real-Time-Turingmaschinen (RTTM) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 4

6 Algorithmische Komplexität Intuition Je komplexer desto aufwändiger ist das Wortproblem zu berechnen. Wortproblem: w L G? Modell: Turingmaschine (Turing (1936)) Band mit Feldern Lese-/Schreibkopf Programm (aus Wikipedia) Wie viele Schritte werden benötigt? (Zeitkomplexität) Wie viele Zellen werden benötigt? (Raumkomplexität) Hält die Turingmaschine? (Halteproblem) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 6

7 Algorithmische Komplexität semi-entscheidbar entscheidbar 2-EXPTIME O(2 2poly(n) ) factorial time O(n!) EXPSPACE EXPTIME O(2 poly(n) ) NPSPACE PSPACE NLINSPACE NP(TIME) O(n c ) P(TIME) O(n c ) LOGSPACE nicht effizient LINTIME O(n) effizient konstante Zeit O(c) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 7

8 Extensionale und algorithmische Komplexität type 0: recursively enumerable HPSG, TG, TM a f (n) semientscheidbar type 1: context-sensitive LFG, LBA a 2n, w n NP a n b n c n..., w k P mildly context-sensitive LMG, RCG = PTIME TAG, EPDA a n b m c n d m, ww O(n 6 ) type 2: context-free CFG, PDA a n b m c m d n, ww R O(n 3 ) type 3: regular FSA a n b m c k d l O(n) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 8

9 Natürliche Sprache ist schwach kontextsensitiv? Joshi (1985), Joshi, Shanker & Weir (1990): PTIME, CFL kreuzende Abhängigkeiten, d.h. ww semi-linear Wir wissen aus eigener Erfahrung: Sprache fällt uns leicht. Sprache wird (strikt) inkrementell verarbeitet. Welche Zeitfunktion hat Sprache wohl? (Problem: Durchschnitt versus Worst Case) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 9

10 Verschiedene Funktionen im Vergleich n!2ⁿ n² N n log₂n n 20 n 10 1 log₂n n aus Wikipedia Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 10

11 Die inkrementelle Verarbeitung der Kopiersprache Ein Experiment: Sei L = {ww w {a, b} und gegeben x {a, b}. Sie müssen das Wortproblem x L? im Kopf lösen, d.h. ohne Papier und Bleistift. Die Buchstaben aus x werden nacheinander genau einmal genannt. Die Antwort (akzeptiert/nicht akzeptiert) muss innerhalb von 1 Sekunde gegeben werden. Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 11

12 Die inkrementelle Verarbeitung der Kopiersprache Ein Experiment: Sei L = {ww w {a, b} und gegeben x {a, b}. Sie müssen das Wortproblem x L? im Kopf lösen, d.h. ohne Papier und Bleistift. Die Buchstaben aus x werden nacheinander genau einmal genannt. Die Antwort (akzeptiert/nicht akzeptiert) muss innerhalb von 1 Sekunde gegeben werden. Ergebnisse: Schon relative kurze Worte sind schwer zu erkennen. Kein Kontrast zwischen Kopier- und Palindromsprache Kopiersprachen sind wesentlich schwieriger zu erkennen als Zählsprachen: ww versus a n b n c n d n ww R versus a n b n Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 11

14 Real-Time-Turingmaschinen (RTTM) entdeckt in den 60ern [2; 5; 6; 8] Turingmaschine mit einem Eingabeband (nur ein Lesekopf) und k Arbeitsbändern (mit je einem Lese-/Schreibkopf). Genau ein Übergang pro Eingabe-Buchstaben! Vergleich der umgebenden Zeitkomplexitätsklassen, wobei n = w und c ist eine Konstante: LINTIME nc REALTIME n CONSTTIME c Wichtige Anpassung hier: nur ein Arbeitsband mit einem Schreib-/Lesekopf und k 1 Leseköpfen. Wir nennen diese Variante RTTM k. Außerdem erlauben wir konstante c weitere Übergänge, um mehr Flexibilität beim Entwurf der Maschinen zu haben. Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 13

15 RTTM k : Definition Definition (Deterministische Turingmaschine mit k Köpfen (TM k )) Eine determinische Turingmaschine mit k Köpfen auf dem Arbeitsband, oder TM k, ist ein Tupel Q, E, q 0, Σ I, Σ W,, δ : Q ist eine endliche Menge von Zuständen, E Q ist eine Menge von Endzuständen, and q 0 Q ist der Startzustand. Σ I ist das Eingabealphabet und Σ W ist das Arbeitsalphabet. ist das Leerzeichen und Σ I und Σ W. δ : (Q Σ I [Σ W ] k ) (Q Σ W {L, R, N} [Σ W ] k 1 ) ist die Übergangsfunktion. Real-time TM k (RTTM k ) Eine Real-Time-TM k, oder RTTM k, ist eine TM k die einen Inputstring der Länge n mit höchstens c + n Übergängen akzeptiert, wobei c eine Konstante ist. Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 14

16 RTTM 1 für a n b n c n M = {q 0, q 1, q 2, q 3, q 4, q e }, {q e }, q o, {a, b, }, {a, b, },, δ δ(q 0, a, ) = (q 1, a, R) δ(q 0,, ) = (q e,, N) δ(q 1, a, ) = (q 1, a, R) δ(q 1, b, ) = (q 2, b, L) δ(q 2, b, b) = (q 2, b, L) δ(q 2, c, a) = (q 3, c, R) δ(q 3, c, b) = (q 3, c, R) δ(q 3,, b) = (q 4,, R) δ(q 4,, ) = (q e,, N) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 15

17 RTTM: wichtige Lemmas Die offene Frage: Ist eine RTTM k mit k Köpfen äquivalent mit einer RTTM mit k Arbeitsbändern? RTTML mit k Bändern RTTML mit k + 1 Bändern [1] RTTML CSL RTTM haben einen linear beschränkten Speicher ( LINSPACE) RTTM können nicht die Sprache ww erkennen. RTTML deterministic CFL, DPDA [6] RTTML CFL (wegen ww R ) RL RTTML Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 16

18 RTTM k und die Chomsky-Hierarchie type 0: recursively enumerable HPSG, TG, TM type 1: context-sensitive LFG, LBA TAG, EPDA w k mildly context-sensitive type 2: context-free CFG, PDA type 3: regular FSA ww wwr a f (n) a 2n, w(#w) k a n b n c n... a n b m c n d m, w#w a n b m c m d n, w#w R a n b m c k d l Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 17

19 RTTM: Abschlusseigenschaften Rosenberg (1967): für RTTM mit mehreren Arbeitsbändern abgeschlossen unter Komplementation, Schnitt, und Vereinigung (Boole sche Algebra) nicht abgeschlossen unter Konkatenation, Kleene schen Operatoren, Umkehrung Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 18

20 RTTM 2 für w#w M = {q 0, q 1, q 2 }, {q e }, q o, {a, b, }, {a, b, },, δ δ(q 0, a,, ) = (q 1, a, R, N) δ(q 0, b,, ) = (q 1, b, R, N) δ(q 0, #,, ) = (q e,, N, N) δ(q 1, a,, _) = (q 1, a, R, N) δ(q 1, b,, _) = (q 1, b, R, N) δ(q 1, #,, _) = (q 2,, N, N) δ(q 2, a,, a) = (q 2,, N, R) δ(q 2, b,, b) = (q 2,, N, R) δ(q 2,,, ) = (q e,, N, N) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 19

21 LTTM k und PTTM k Definition (Linear-Time-TM k (LTTM k )) Eine Linear-Time-TM k, or LTTM k, ist eine TM k die einen Eingabestring der Länge n mit höchstens cn akzeptiert, wobei c eine Konstante ist. Definition (Polynomial-Time-TM k (PTTM k )) Eine Polynomial-Time-TM k, or PTTM k, ist eine TM k die einen Eingabestring der Länge n mit höchstens n c Übergängen akzeptiert, wobei c eine Konstante ist. Idee: Für die Vor- und Nachverarbeitung steht abhängig von der Wortlänge mehr Zeit zur Verfügung. Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 20

22 LTTM 2 für ww R M = {q 0, q 1, q 2, q 3, q e }, {q e }, q o, {a, b, }, {a, b, a, b, },, δ δ(q 0, a,, ) = (q 1, a, R, N) δ(q 0, b,, ) = (q 1, b, R, N) δ(q 0,,, ) = (q e,, N, N) δ(q 1, a,, _) = (q 1, a, R, N) δ(q 1, b,, _) = (q 1, b, R, N) δ(q 1,,, _) = (q 2,, L, N) δ(q 2,, a, a) = (q 3, a, N, R) δ(q 2,, b, b) = (q 3, b, N, R) δ(q 3,, a, a b) = (q 2, a, L, N) δ(q 3,, b, a b) = (q 2, b, L, N) δ(q 3,, a, a) = (q e, a, N, N) δ(q 3,, b, b) = (q e, b, N, N) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 21

23 a n b n leichter als w#w R? Idee: Zählen ist weniger aufwändig als das Merken von Teilstrings Definition (RTTM k mit einem unveränderlichen, semi-unendlichen Arbeitsband über N (N-RTTM k )) Sei M = Q, E, q 0, Σ I, Σ W,, δ eine RTTM k. Eine RTTM k mit einem unveränderlichen, semi-unendlichen Arbeitsband N (N-RTTM k ) kann entsprechend definiert werden als Tupel Q, E, q 0, Σ I, N,, δ, mit δ : (Q Σ I N) (Q [{L, R, N}] k ). Man kann sagen: Bei einer N-RTTM k ist die Speicherlast konstant, nämlich k. Man muss sich nur die Position der Köpfe merken. Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 22

24 N-RTTM 1 für a n b n M = {q 0, q 1, q 2, q e }, {q e }, q o, {a, b, }, N,, δ δ(q 0, a, 0) = (q 1, R) δ(q 0,, 0) = (q e, N) δ(q 1, a, _) = (q 1, R) δ(q 1, b, _) = (q 2, L) δ(q 2, b, _) = (q 2, L) δ(q 2,, 0) = (q e, N) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 23

25 Speicherbezogene RTTM k -Komplexitätsklassen class string language memory load a n b m, {a, b} 0 (regular, TM 0 ) a n b n 1 (N-RTTM 1 ) LMem a n b n c n 2 (N-RTTM 2 ) a 2n 2 (N-RTTM 2 ) {w : a = b = c } (MIX) 3 (N-RTTM 3 ) UMem w#w R w + 1 (RTTM 1 ) real-time w#w w + 2 (RTTM 2 ) linear-time ww R ww + 2 (LTTM 2 ) ww ww + 2 (LTTM 2 ) polyn.-time w ww #w R w ww #w R + 2 (PTTM 2?) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 24

26 RTTM k : Zusammenfassung Zeitkomplexität fixiert Komplexitätsunterschiede über Speicherauslastung (Raumkomplexität) und Anzahl der Köpfe quer zur Chomsky-Hierarchie Eingrenzung auf Sprachen aus CFL und CSL, die zum Teil (z.b. nicht a 2n ) einen direkteren Bezug zu natürlicher Sprache haben. weitere Einschränkungsmöglichkeiten: Gleichzeitigkeit und Richtung der Kopfbewegung (z.b. nur R),... vergleichbare Grammatikklasse? Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 25

27 Literaturverzeichnis [1] Aanderaa, Stål O On k-tape versus (k 1)-tape real time computation. In Siam-ams proceedings. complexity of computation, vol. 7, [2] Hartmanis, Juris & Richard E. Stearns On the computational complexity of algorithms. Transactions of the American Mathematical Society [3] Joshi, Aravind K Tree adjoining grammars: how much context-sensitivity is required to provide reasonable structural descriptions. In David Dowty, Lauri Karttunen & Arnold Zwicky (eds.), Natural language parsing, Cambridge University Press. [4] Joshi, Aravind K., K. Vijay Shanker & David Weir The convergence of mildly context-sensitive grammar formalisms. CIS Technical Report MS-CIS Philadelphia, PA: Department of Computer & Information Science, University of Pennsylvania. [5] Rabin, Michael O Real time computation. Israel Journal of Mathematics [6] Rosenberg, Arnold L Real-time definable languages. Journal of the Association for Computing Machinery 14(4) [7] Turing, Alan M On computable numbers, with an application to the Entscheidungsproblem. Journal of Mathematics 58( ). 5. [8] Yamada, Hisao Real-time computation and recursive functions not real-time computable. IRE Transactions on Electronic Computers 11(6) Timm Lichte & Christian Wurm (HHU Düsseldorf) Komplexität und natürliche Sprache 26