Komplexitätsklassen. (Lauf-)Zeit-Klassen. (Lauf-)Zeit-Klassen. Charakteristische Problemgrößen beim Parsing

Transkript

1 Komplexitätsklassen Charakteristische Problemgrößen beim Parsing O(1) konstant O(log n) logarithmisch O(n) linear O(n k ) polynomial (k [2,4]) O(n k ) polynomial (k > 4) O(k n ) exponentiell n ist die Länge der Eingabe (Wort, Satz) n ist die Kardinalität der Produktionsregel-menge Hinweis: n ist vom (Parsing-)Algorithmus abhängig wobei n die Problemgröße ist

2 46 47 Implikationen für die automatische Sprachanalyse NLs sind keine Typ-3-Sprachen Trotzdem werden endliche Automaten (FSA) für NLP-Analytik eingesetzt Lineare Laufzeit (O(n)) NLs sind überwiegend (Englisch, Deutsch, Französisch, Spanisch, ) Typ-2-Sprachen Kellerautomaten als Basismodell Syntaxanalyse in max. kubischer Laufzeitkomplexität (O(n 3 )) Einige wenige NLs sind sicher (Schweizer Deutsch) bzw. vermutlich (Niederländisch, Bambara [Mali]) milde Typ-1- Sprachen Syntaxanalyse in max. O(n 6 ) Laufzeitkomplexität Grammatikmodell: Tree Adjoining Grammar (TAG) 48 49

3 50 51 Grundbegriffe zu formalen Die folgenden Festlegungen zu Ab- leitungen beruhen auf der Annahme, dass die zugrundeliegende Grammatik kontextfrei ist! Eine Grammatik G heißt Typ-2-Grammatik, (kontextfreie Grammatik), wenn P nur Produktionen enthält der Gestalt Α γ mit Α N und γ (N T)* 52 53

4 Ein nicht-identischer Ableitungsschritt ist definiert als Tripel δ = [l, Α γ,r] mit l,r V * und Α γ P δ beschreibt die Beziehung: l Αr l γ r Als Quelle bzw. Ziel des Ableitungsschrittes δ gelten Q(δ) = l Αr bzw. Z(δ) = l γ r. Eine endliche nichtleere Folge = { δ i } n i=1 von Ableitungsschritten δ i mit Q(δ i+1 ) = Z(δ i ) für 1 i<n heißt Ableitung von Q(δ 1 ) nach Z(δ n ). Quelle von ist Q( ) = Q(δ 1 ), Ziel von ist Z( ) = Z(δ n ) Als Länge einer Ableitung = { δ i } n i=1 ist die Anzahl von nicht-identischen Ableitungsschritten in definiert. Sei eine Ableitung mit Q( ) = s und Z( ) = z der Länge l. Dann gilt: s l z. Umgekehrt folgt aus s l z die Existenz einer Ableitung der Länge l mit Q( ) = s und Z( ) = z. 56 Ableitung für δ 1 = [ ε, S asb, ε ] 57

5 Ableitung für δ 2 = [ a, S asb, b ] Ableitung für δ 3 = [ aa, S asb, bb ] 58 Q(δ 3 ) = aasbb, Z(δ 3 ) = aaasbbb Ableitung für δ 3 = [ aa, S asb, bb ] δ 4 = [aaa, S ab, bbb ] Q(δ 3 ) = aasbb, Z(δ 3 ) = aaasbbb 60 Q(δ 4 ) = aaasbbb, Z(δ 4 ) = aaaabbbb Ableitung für δ 3 = [ aa, S asb, bb ] δ 4 = [aaa, S ab, bbb ] Q( ) = Q(δ 1 ) = S, Z( ) = Z(δ 4 ) = aaaabbbb Q(δ 3 ) = aasbb, Z(δ 3 ) = aaasbbb 61 Q(δ 4 ) = aaasbbb, Z(δ 4 ) = aaaabbbb

6 Ein Ableitungsschritt δ = [l, Α γ,r] heißt Links- bzw. Rechtsableitungs-schritt, wenn l T * bzw. r T *. Man schreibt s L z bzw. s R z, wenn z aus s durch einen Links- bzw. Rechtsableitungsschritt hervor geht. D.h.: z entsteht aus s durch Ersetzen des in s am weitesten links bzw.rechts stehen-den Nichtterminalsymbols gemäß einer Produktion Α γ. 62 Eine Links- bzw. Rechtsableitung ist eine Ableitung, die nur aus einer endlichen nichtleeren Folge = { δ i } n i=1 von nicht-identischen Ableitungsschritten δ i = [l i, Α i γ i,r i ] besteht mit l i T * bzw. r i T * für 1 i n. Man schreibt s * R z bzw. s l R z, um auszudrücken, dass eine Rechtsableitung von s nach z bzw. eine Rechtsableitung der Länge l von s nach z existiert (analog für Linksableitungen). 63 Jede Zeichenfolge s mit S * s heißt Satzform; im Fall S * L s bzw. S * R s auch Links- bzw. Rechtssatzform. 64 Sei Π eine Menge von Marken, mit denen die Produktionen P der zugrundeliegenden Grammatik G eindeutig identifiziert werden können. Eine Folge π = p 1,...,p n mit p i Π, 1 i q, heißt Kontrollwort (Parse) einer Ableitung = { δ i } n i=1, wenn für 1 i q die im i-ten Ableitungsschritt angewandte Produktion durch die Marke p i gekennzeichnet ist. 65

7 Um auszudrücken, dass π Kontrollwort einer Ableitung von s nach z ist, schreibt man auch s π z. Falls ω L(G) und S π ω, heißt π auch Kontrollwort (Parse) für ω. Analog gibt es ein Linkskontrollwort (Links- Parse) bzw. ein Rechtskontrollwort (Rechts- Parse), wenn die dazugehörige Ableitung eine Links- bzw. Rechtsableitung ist, also: s π L 66 z bzw. s π R z. Kontrollwort für δ 3 = [ aa, S asb, bb ] δ 4 = [aaa, S ab, aaa ] π aaaabbbb = S π aaaabbbb 1 2 Q( ) = Q(δ 1 ) = S, Z( ) = Z(δ 4 ) = aaaabbbb Q(δ 3 ) = aasbb, Z(δ 3 ) = aaasbbb 67 Q(δ 4 ) = aaasbbb, Z(δ 4 ) = aaaabbbb Eine Ableitung = { δ i } n i=1 ist im Allgemei-nen durch ihre Quelle und ihr Kontrollwort nicht eindeutig bestimmt. Dagegen ist jede Links- bzw. Rechts-ableitung durch ihre Quelle und ihr Kontrollwort eindeutig bestimmt. Durch einen Links- bzw. Rechts-Parse für ein Wort ω L(G) wird also die zugehörige Links- bzw. Rechtsableitung eindeutig beschrieben. 68 Eine wesentliche Aufgabe der Syntax-analyse besteht darin, für Wörter ω L(G) L eine Ableitung S ω zu bestimmen. Dazu kann die Umkehrung einer Rechtsableitung genutzt werden: Sei = { δ i } n i=1 eine Ableitung (Rechtsableitung). Die aus a = [ δ 1, δ 2,..., δ n-1, δ n ] durch Inversion hervorgehende Folge r = [ δ n, δ n-1,..., δ 2, δ 1 ] heißt Reduktion (bzw. Rechtsreduktion oder kanonische Reduktion) von Z( ) nach Q( ). 69

8 Sei s eine Rechtssatzform (d.h.: S * R s). Ein Paar (i, p) mit i 0 und einer Produktion p P heißt Henkel von s, wenn mit (1) i = l S * R l Αr R l γ r = s (2) p = Α γ 70 Der Henkel einer Rechtssatzform hält den letz-ten Ableitungsschritt einer Rechtsableitung von s. Denn ist (i, Α γ) Henkel von s, gibt es eine Rechtssatzform von s, deren letzter Ableitungs- schritt durch [l, Α γ, r ] gegeben ist, wobei l aus den ersten i Symbolen und r aus den letzten s - i - γ Symbolen von s besteht. Die Kenntnis des Henkels ermöglicht somit die Rechtsreduk-tion s = l γ r auf die Rechtssatzform l Αr. Folglich heißt der Rechtsableitungsschritt [l, Α γ, r ] auch Rechtsreduktionsschritt (oder kanonischer Reduktionsschritt) zu s = l γ r 71 Rechtsreduktionen zur Worterkennung Soll für ein Wort ω L(G) L eine Rechts-reduktion berechnet werden, so erfolgt dies ausgehend von ω durch fortgesetzte Bestimmung eines Henkels und Durchführung der entsprechenden Rechtsreduktion, mit der eine Rechtssatzform aufgebaut wird, bis die Rechtssatzform S aufgebaut ist. 72 Algorithmus für Rechtsreduktion (CFG-Rechtserkennung) Funktion CFG-Rechtsreduktion( wort, G) = accept oder reject rsatzform wort LOOP IF ein Henkel (i, A γ) kann unter Verwendung einer Produktion (A γ P) aus G für die rsatzform l γ r konstruiert werden THEN führe Rechtsreduktion mit dem gefundenen Henkel auf rsatzform aus, so dass rsatzform l A r ELSE return reject IF rsatzform = S THEN return accept LOOPEND 73

9 Reduktion von Sei aaaabbbb Rechtssatzform und Wort von L(G-2) ( 3, S ab ) ist Henkel für letzten Ableitungsschritt δ 4 = [ aaa, S ab, bbb ] l = 3 r = s - i - γ = = 3 Dann ist aaasbbb neue Rechtssatzform. Reduktion von aaasbbb ist Rechtssatzform. ( 2, S asb ) ist Henkel für letzten Ableitungsschritt δ 3 = [ aa, S asb, bb ] l = 2 r = s - i - γ = = 2 Dann ist aasbb neue Rechtssatzform Reduktion von aasbb ist Rechtssatzform. ( 1, S asb ) ist Henkel für letzten Ableitungsschritt l = 1 r = s - i - γ = = 1 Dann ist asb neue Rechtssatzform. Reduktion von asb ist Rechtssatzform. ( 0, S asb ) ist Henkel für letzten Ableitungsschritt Dann ist S neue Rechtssatzform. l = 0 r = s - i - γ = =