Schwach kontextsensitive Grammatikformalismen

Transkript

1 chwach kontextsensitive Grammatikformalismen! Vorlesung Grammatikformalismen Alexander Koller! 2. Juni 2015

2 Grammatikformalismen Parsingkomplexität O(n) O(n 3 ) polynomiell exponentiell PPACE-vollst. unentscheidbar reguläre prachen kontextfreie prachen kontextsensitive prachen Turing- maschinen Expressivität

3 Grammatikformalismen Parsingkomplexität O(n) O(n 3 ) polynomiell exponentiell PPACE-vollst. unentscheidbar reguläre prachen kontextfreie prachen TAG kontextsensitive prachen Turing- maschinen Expressivität

4 Grammatikformalismen Parsingkomplexität O(n) O(n 3 ) polynomiell exponentiell PPACE-vollst. unentscheidbar reguläre prachen kontextfreie prachen CCG TAG kontextsensitive prachen Turing- maschinen Expressivität

5 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 )? PPACE-vollst. unentscheidbar reguläre prachen kontextfreie prachen CCG TAG kontextsensitive prachen Turing- maschinen Expressivität

6 Die prache COUNT(3) COUNT(3) = a n b n c n Wir wissen, dass COUNT(3) keine kontextfreie prache ist. z.b. mit dem Pumping-Lemma beweisen Mit TAG geht es. Mit CCG geht es auch.

7 TAG für COUNT(3) a b c a b c * NA NA NA a b c NA a b c NA a b c NA NA a b c NA a b c NA a b c NA NA NA

8 CCG für COUNT(3) Lexikon: a: A c: C b: /C/B\A b: /C\A b: B/C/B\A b: B/C\A ekundäre Prämisse jeder Kompositionsregel muss von der Form B/C/B\A oder B/C\A sein. ạ. a ạ. a ạ. a s=c=b s=c=c=b s=c=c=c ḅ. s=c=bna < 0 s=c=c=bna < 0 ḅ. b=c=bna s=c=c=cna < 0 s=c=c > 3 ḅ. b=cna s=c > 2 c. c > 0 s c. c > 0 c. c > 0

9 TAG und CCG Beide können COUNT(3) und COUNT(4). Keiner der beiden kann COUNT(5). Wortproblem in beiden Fällen O(n 6 ). Kann das alles Zufall sein?

10 Übersicht Äquivalenz von TAG und CCG chwach kontextsensitive Grammatikformalismen Reguläre Baumsprachen

11 Äquivalenz von Grammatiken Äquivalenzbegriffe für kfgen: Grammatiken G 1 und G 2 sind schwach äquivalent, wenn L(G 1 ) = L(G 2 ), d.h. gleiche prache. G 1 und G 2 sind stark äquivalent, wenn sie jedem tring die gleichen Parsebäume zuweisen. Wie vergleicht man Äquivalenz über Formalismusgrenzen hinweg?

12 Äquivalenz von Grammatiken eien: F 1 ein Grammatikformalismus; T 1 alle in F 1 erlaubten syntaktischen Ableitungen (Parsebäume, o.ä.) F 2 ein Grammatikformalismus mit Ableitungen T 2 G 1 eine Grammatik von F 1, die Menge T(G 1 ) als grammatisch korrekt auszeichnet; G 2 Grammatik von F 2 mit grammatisch korrekten Ableitungen T(G 2 ) V eine Menge von Vergleichsstrukturen mit Abbildungen i 1 : T 1 V, i 2 : T 2 V G 1 und G 2 heißen äquivalent bezüglich i 1 und i 2, wenn i 1 (T(G 1 )) = i 2 (T(G 2 )). (Miller 99)

13 Äquivalenz von Grammatiken F 1 F 2 V

14 Äquivalenz von Grammatiken F 1 F 2 G 1 V

15 Äquivalenz von Grammatiken F 1 F 2 G 1 G 2 V

16 Äquivalenz von Grammatiken F 1 F 2 G 1 G 2 V

17 Äquivalenz von Grammatiken F 1 F 2 G 1 G 2 i 1 V

18 Äquivalenz von Grammatiken F 1 F 2 G 1 G 2 i 1 i 2 V

19 Beispiele chwache Äquivalenz: V = trings, i 1 und i 2 bilden Ableitung auf geparsten tring ab. auch wenn G 1 und G 2 zu verschiedenen Grammatikformalismen gehören tarke Äquivalenz im kfg-inn: V = kontextfreie Parsebäume, i 1 und i 2 identische Abbildungen. Dazwischen viele Alternativen denkbar.

20 Äquivalenz von TAG und CCG Die folgenden Formalismen sind schwach äquivalent: TAG (mit Adjunktionsconstraints) CCG (mit Regeleinschränkungen) Head Grammars (Pollard) Linear Indexed Grammars (Gazdar) Beweis ist konstruktiv, aber etwas indirekt. Bei Umformung von Grammatiken in Normalformen wird truktur des Ableitungsbaums zerstört. (Vijay-hanker & Weir 1994)

21 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 ) PPACE-v. unentscheidbar regulär kontextfrei kontextsensitiv Turing Expressivität

22 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 ) PPACE-v. unentscheidbar regulär kontextfrei kontextsensitiv Turing Expressivität

23 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 ) PPACE-v. unentscheidbar regulär kontextfrei TAG kontextsensitiv Turing Expressivität

24 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 ) PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

25 Grammatikformalismen Parsingkomplexität polynomiell exponentiell O(n) O(n 3 ) O(n 6 ) PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

26 Grammatikformalismen Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

27 chwach kontextsensitiv Idee von Joshi (1985): Klasse von Gramf., die kfg nur ganz vorsichtig erweitern, aber für natürliche prachen ausreichen. Ein Gramf. heißt schwach kontextsensitiv, wenn er alle kontextfreien prachen beschreiben kann man ihn in polynomieller Zeit parsen kann er eingeschränkte Cross-erial Dependencies zulässt er die Constant-Growth-Eigenschaft hat

28 Cross-erial Dependencies das mer em Hans es huus hälfed aastriiche Formale Variante: Grammatikformalismus kann die Copy-prache beschreiben. Mit kfgen geht das nicht: nur w R w, nicht ww. TAG und CCG können zumindest manche CDs.

29 Constant Growth Intuition: Wenn man alle Wörter einer prache der Länge nach ordnet, gibt es keine beliebig großen Lücken. Eine prache L hat die constant-growth-eigenschaft, wenn es eine Zahl c 0 und eine endliche Menge C von positiven Zahlen gibt, so dass es für jedes Wort w L mit w c 0 ein c C sowie ein Wort w L gibt mit w = w + c. Wörter in L, der Länge nach sortiert w 1 w 2 w 3 w 4 w 5 w 6 Lücke wird nicht unbegrenzt groß Wortlänge

30 Constant Growth Es haben die Constant-Growth-Eigenschaft: alle kontextfreien prachen wohl alle natürlichen prachen, weil man jeden atz ein kleines bisschen länger machen kann (Längen von Konstituenten nicht beliebig verteilt) Beispiel einer prache, die die Eigenschaft nicht hat, ist {a 2n n 1}.

31 TAG ist schwach k-sensitiv TAG (mit Adjunktionsconstraints): enthält alle kf. prachen Parsing in O(n 6 ) Cross-erial-Dependencies ja, außer in großen Verbalkomplexen; COPY geht Constant Growth: ja Also ist TAG ein schwach kontextsensitiver Grammatikformalismus.

32 CCG ist schwach k-sensitiv CCG (mit Regeleinschränkungen): enthält alle kf. prachen Parsing in O(n 6 ) Cross-erial-Dependencies ja; COPY geht * Constant Growth: ja Also ist CCG ein schwach kontextsensitiver Grammatikformalismus. *) NB: Geht nur, wenn Regeleinschränkungen erlaubt sind!

33 Größere sks. Formalismen TAG und CCG sind nicht die expressivsten schwach k-sensitiven Formalismen. Beispiel: ein (hypothetischer) Formalismus, der alle TAG- Grammatiken erlaubt plus eine Grammatik für COUNT(5). Größere Formalismen: Linear Context-Free Rewrite ystems (LCFR; Weir) Range Concatenation Grammars (RCG; Boullier) Reguläre Dependenzgrammatiken (RDG; Kuhlmann)

34 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

35 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

36 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

37 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

38 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) schwach kontextsensitiv O(n 6 ) polynomiell exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

39 Eine allgemeinere Perspektive Parsingkomplexität O(n) O(n 3 ) polynomiell schwach kontextsensitiv O(n 6 ) RDG/LCFR exponentiell PPACE-v. unentscheidbar regulär kontextfrei CCG TAG kontextsensitiv Turing Expressivität

40 Reguläre Baumsprachen Ich zeige Ihnen nächste Woche RDGs. Dafür brauchen wir reguläre Baumsprachen (RTLs): prachen von Bäumen kleine prachklasse; analog zu regulären tringsprachen Auch andere Formalismen (v.a. LCFR) basieren auf RTLs.

41 Bäume tatt Alphabeten haben wir jetzt ignaturen: endliche Menge von Zeichen, die man als Knotenlabels in Bäumen verwenden kann jedes Zeichen f hat eine Arität/telligkeit n Baum über einer ignatur Σ: jeder Knoten hat ein Label f Σ wenn Label von Knoten u Arität n hat, dann hat u genau n Kinder im Baum T Σ = alle Bäume über Σ

42 Reguläre Baumgrammatiken Reguläre Baumgrammatik (RTG) ist ein Tupel G = (Σ, N,, P), wobei Σ eine ignatur (= Terminalsymbole) N eine endliche Menge von Nichtterminalsymbolen N das tartsymbol P eine Menge von Produktionsregeln von der Form A f(a 1,..., A n ), wobei f Σ und A, A 1,..., A n N. Eine RTG G definiert eine Baumsprache L(G) T Σ.

43 Ableitungen von RTGs Ableitungsprozess: mit tartsymbol anfangen in jedem chritt ein Nichtterminalsymbol durch Baum auf der rechten eite einer Regel ersetzen wenn der Baum nur noch Terminalsymbole enthält, kommt er in die prache. f(a,) c A a A b RTG G

44 Ableitungen von RTGs Ableitungsprozess: mit tartsymbol anfangen in jedem chritt ein Nichtterminalsymbol durch Baum auf der rechten eite einer Regel ersetzen wenn der Baum nur noch Terminalsymbole enthält, kommt er in die prache. f(a,) c A a A b c RTG G

45 Ableitungen von RTGs Ableitungsprozess: mit tartsymbol anfangen in jedem chritt ein Nichtterminalsymbol durch Baum auf der rechten eite einer Regel ersetzen wenn der Baum nur noch Terminalsymbole enthält, kommt er in die prache. f(a,) c A a A b c RTG G

46 Ableitungen von RTGs Ableitungsprozess: mit tartsymbol anfangen in jedem chritt ein Nichtterminalsymbol durch Baum auf der rechten eite einer Regel ersetzen wenn der Baum nur noch Terminalsymbole enthält, kommt er in die prache. f(a,) c A a A b A f c a f a f c RTG G

47 Ableitungen von RTGs Ableitungsprozess: mit tartsymbol anfangen in jedem chritt ein Nichtterminalsymbol durch Baum auf der rechten eite einer Regel ersetzen wenn der Baum nur noch Terminalsymbole enthält, kommt er in die prache. f(a,) c A a A b A f c a f a f c RTG G A f b f b A f f * b a f f c

48 Reguläre Baumsprachen Eine prache L von Bäumen heißt regulär, wenn es eine RTG G gibt mit L = L(G). Man kann reguläre Baumsprachen (RTLs) auch über Baumautomaten definieren. RTLs sind abgeschlossen unter Vereinigung, chnitt, Komplement, usw. prache der Parsebäume einer kfg ist immer regulär. prache der Erträge einer RTL ist immer kontextfrei.

49 Zusammenfassung Äquivalenz von TAG und CCG. chwach kontextsensitive Grammatikformalismen. Reguläre Baumsprachen.