Featuregrammatiken. Vorlesung Computerlinguistische Techniken Alexander Koller. 21. November 2014

Transkript

1 Featuregrammatiken Vorlesung Computerlinguistische Techniken Alexander Koller 21. November 2014

2 Musterlösung Ü2 A4 Erste 100 Wörter des Brown-Korpus aueben: import nltk words = nltk.corpus.brown.words() for i in range(100): print(words[i]) Wie viele Tokens im Brown-Korpus? len(words) Wie viele Types im Brown-Korpus? len(set(words)) 505

3 Musterlösung Ü2 A4 100 häufigste Wörter, absteigend nach Häufigkeit: def add(dictionary, word): if word in dictionary: dictionary[word] = dictionary[word] + 1 else: dictionary[word] = 1 dictionary = {} for word in words: add(dictionary,word.lower()) print sorted(dictionary.items(), key=itemgetter(1), reverse=true)[:100]

4 Übersicht Features Featurestrukturen und Unifikation Featuregrammatiken Parsing Expressivität

5 Agreement Wir haben in unseren Mini-kfGs bisher Kongruenz völlig ignoriert: The boy sleeps. The boys sleep. * The boy sleep. * The boys sleeps. Wie modelliert man Kongruenz am effektivsten in einer Grammatik?

6 ubkategorisierung Verschiedene Verben haben verschiedene ubkategorisierungsrahmen, die angeben, welche Komplemente das Verb braucht. The boy sleeps. The boy eats a sandwich. The boy gives the girl a book. * The boy sleeps a sandwich. Wie modelliert man das effektiv?

7 1. Versuch: mit kfgs NP VP VP IV VP TV NP VP DV NP NP IV sleeps TV eats DV gives

8 1. Versuch: mit kfgs NP VP VP IV VP TV NP VP DV NP NP IV sleeps TV eats DV gives NPpl VPpl VPpl IVpl VPpl TVpl NP VPpl DVpl NP NP IVpl sleep TVpl eat DVpl give

9 Das Problem KfGs: Kongruenzartige Information muss in Nichtterminalen codiert werden. Kongruenz und ubkategorisierung nur zwei von vielen Constraints, die interagieren können.

10 Das Problem Für große Grammatiken bedeutet das: Brauchen extrem viele NTs und Regeln, die (für uns) alle fast das gleiche aussagen. Aufwendig in Entwicklung und Wartung. Grundsatz: In Programmen und Grammatiken Redundanz vermeiden!

11 Features Alternative: An Nichtterminale Merkmale (engl. Features) anhängen, deren Werte separat verarbeitet werden können. In Grammatik enthalten Features Variablen, die durch Unifikation ihre Werte bekommen. Wir werden dann Featuregrammatiken daraus bauen.

12 2. Versuch: mit Features NP[:] VP[:] VP[:] IV[:] VP[:] TV[:] NP VP[:] DV[:] NP NP IV[:] sleeps TV[:] eats DV[:] gives NP[:pl] VP[:pl] VP[:pl] IV[:pl] VP[:pl] TV[:pl] NP VP[:pl] DV[:pl] NP NP IV[:pl] sleep TV[:pl] eat DV[:pl] give

13 2. Versuch: mit Features NP[:X] VP[:X] VP[:X] IV[:X] VP[:X] TV[:X] NP VP[:X] DV[:X] NP NP IV[:] sleeps TV[:] eats DV[:] gives NP[:X] VP[:X] VP[:X] IV[:X] VP[:X] TV[:X] NP VP[:X] DV[:X] NP NP IV[:pl] sleep TV[:pl] eat DV[:pl] give

14 2. Versuch: mit Features NP[:X] VP[:X] VP[:X] IV[:X] VP[:X] TV[:X] NP VP[:X] DV[:X] NP NP IV[:] sleeps TV[:] eats DV[:] gives IV[:pl] sleep TV[:pl] eat DV[:pl] give

15 Feature-trukturen Eine Featurestruktur (F) gruppiert mehrere Zuweisungen von Werten an Features. Verschiedene Featurestrukturen können verschiedene Features enthalten. Werte von Features können sein: atomare Werte Featurestrukturen

16 Feature-trukturen sind DAGs 2 4 " # son 2 " 4 son 3 #3 5 5 Attribut-Wert-Matrix (AVM) Feature-truktur (= gerichteter azyklischer Graph, DAG) Beschreibung Modell Oft nimmt man AVM und Feature-truktur als alternative chreibweisen; ist aber nicht ganz präzise.

17 Reentrancy 2 " 1 son 4 h i 1 3 # 5 Attribut-Wert-Matrix (AVM) Feature-truktur (= gerichteter azyklischer Graph) Beschreibung Modell Verschiedene Pfade im Graphen können zum gleichen Knoten führen. Identität wird in der AVM durch Koindizierung erzwungen.

18 Knotengleichheit vs Wertgleichheit 2 4 " son # 2 4 " son # " son # h 1 i 3 5

19 Unterspezifizierte AVMs pl 2 4 " son # apple h son i 3 5 Beschreibung Modelle

20 Unifikation In Unifikationrammatik trägt jede Grammatikregel nur ein bisschen Information über die F bei. Unifikation: Informationen aus zwei Fen zusammenführen. kann fehlschlagen! Zentrale Oation im Parsingalgorithmus.

21 Unifikation pl 2 4 " son # apple h son i 3 5 pl f

22 Unifikation pl 2 4 " son # apple h son i 3 5 pl f g h 1 i 3 5

23 Unifikation pl 2 4 " son # apple h son i 3 5 pl f g f t g = " son # apple 1 h son i h 1 i 3 5

24 Unifikation Unifikation kann fehlschlagen: [ pl] [ ] fail Unifikation sensibel für Reentrancy: [s ] [ [s ]] [ ] [ [ pl]] = s s pl 1 [s ] [ 1 [s ]] [ ] [ [ pl]] fail

25 Featuregrammatiken Eine Featuregrammatik (FCFG) ist eine kfg, in der jedes Auftreten eines Nichtterminals in einer Produktionsregel mit einer Featurestruktur versehen sein kann. NP[ ] VP[ ] 1 1 VP[ ] IV[ ] 1 1 IV[: ] sleeps

26 Ableitungen in FCFGs Regel A[F0] B[F1] C[F2] kann man als größere Featurestruktur sehen: F = A B C F0 F1 F2 Denke Ableitungen bottom-up: um B[G1] und C[G2] zu kombinieren, berechne G = F [B G1] [C G2] (darf nicht fehlschlagen) und leite daraus A[G.A] ab. prache, Wort-, Parsingproblem wie für kfgs.

27 Ein Beispiel NP[ 1 ] VP[ 1 ] VP[ 1 ] IV[ 1 ] IV[: ] sleeps NP[: ] John NP[: ] VP[: ] NP[: ] IV[: ] John IV[: ] John sleeps NP VP 1 1 [NP [ ]] [VP [ ]] = NP VP 1 1 VP IV 1 1 [IV [ ]] = VP IV 1 1

28 Ein Beispiel NP[ 1 ] VP[ 1 ] VP[ 1 ] IV[ 1 ] IV[: ] sleeps NP[: ] John / NP[: ] VP[: pl] (also * John sleep) / NP VP 1 1 [NP [ ]] [VP [ pl]] fail

29 Listen als Featurestrukturen Man kann in Fen ganze Listen von Werten codieren: atomarer Wert Nil = leere Liste F für Liste a R: " first rest a R # Ich kürze Listen mit chreibweise der Form (a, b, c) ab.

30 ubkategorisierung In Featuregrammatiken können wir jetzt ubkategorisierung von Verben aufräumen: V[sub: ] V[sub: NP 1 1 NP V[sub: (NP)] V[sub: (NP)] sleeps V[sub: (NP, NP)] eats etc. ]] NP

31 ub mit Kongruenz V[sub:, : ] V[sub: NP, : ] NP NP[: 1 ] V[sub: (NP), : 1 ] V[sub: (NP), : [: ]] sleeps V[sub: (NP, NP), : [: pl]] eat etc. NP[:] V[sub: (NP), :] * John sleeps NP[:] V[sub: (NP), :] NP[:] V[sub: (NP, NP), :] NP * John likes donuts

32 CKY-Parser für FCFGs Items um F erweitern [B, G1, i, j] [C, G2, j, k] A[F0] B[F1] C[F2] ist Regel A F0 G = B F1 [B G1] [C G2] G0 = F in G unter A C F2 [A, G0, i, k] teuerste Oation: Unifikation berechnen

33 Expressivität Im allgemeinen sind FCFGs expressiver als kfgs: A[X] B[X] C[X] A[s: X] a A[X] A[s: end] a B[s: X] b B[X] B[s: end] b C[s: X] c C[X] C[s: end] c Akzeptiert nicht-kf prache a n b n c n. Im allgemeinen gibt es keinen Parsingalgorithmus für FCFGs, der garantiert terminiert.

34 Eingeschränkte FCFGs Problem sind Regeln, die mittels Reentrancy immer tiefere trukturen bauen: A[s: X] a A[X] Lösungsidee: Wertebereiche von Features auf endliche Mengen einschränken (also nicht Listen!). Dann kann man Kombinationen von Nichtterminal + F in endlich viele Nichtterminale übersetzen. Folge: Expressivität & Komplexität kontextfrei.

35 Zusammenfassung Featuregrammatiken: Erlaubt kompakte Repräsentation von grammatischen Informationen. Unifikation: Fasst Information aus verschiedenen Featurestrukturen zusammen. KfG-Parsingalgorithmen können zu Parsingalgorithmen für FCFGs erweitert werden.