Lehrstuhl für Computerlinguistik

Transkript

1 Ruprecht-Karls -Universität Heidelberg Lehrstuhl für Computerlinguistik Hauptseminar: Parsing Leitung: PD Dr. Karin Haenelt Referent: A. S. M. Abdullah Eusufzai Referat zum Thema: Probabilistisches Parsing Eusufzai, Abdullah 1

2 Ziel und Inhalt des Referates Das Referat behandelt die folgenden Phänomene des Probabilistischen Parsing: 1. Probabilistische kontextfreie Grammatiken: -Theoretische Grundlagen - Bestimmung der Wahrscheinlichkeit eines Satzes in einer PCFG -Baumbegriffe und Zerlegungsmöglichkeiten des Beispielsatze für die Berechnung der Wahrscheinlichkeiten in PCFG - Bestimmung der Wahrscheinlichkeit einer Zerlegung 2. Satzwahrscheinlichkeit: 2.1. Inside-Wahrscheinlichkeit Berechnung der Satzwahrscheinlichkeit mit Hilfe des Inside- Algorithmus Induktionsschritt der Inside-Wahrscheinlichkeit Beispiel für die Inside-Wahrscheilichkeit Eusufzai, Abdullah 2

3 3. Treebanks 4. Lexikalisation 2.2 Outside-Wahrscheinlichkeit Berechnung der Satzwahrscheinlichkeit mit Hilfe des Outside- Algorithmus Basisfall und Induktionsschritt der Outside-Wahrscheinlichkeit Eusufzai, Abdullah 3 In diesem Referat werden die beiden Punkte Lexikalisation und Treebanks nur kurz gezeigt. Die nächste Referentin Anna Björk Nikulasdottir konkretisiert die Punkte ausführlich. Folien 17 bis 22 hängen mit der Gesamtdarstellung des nächsten Referatsteils zusammen.

4 1. Probabilistische kontextfreie Grammatiken Als Grundlage der PCFG wird die kontextfreie Grammatik (Context -free grammar, im weiteren: CFG) herangezogen. Analog zur CFG wird die PCFG bestimmt als ein Quadrupel <W, N, N 1, R>, wobei W eine Menge von Terminalsymbolen {w 1,..., w? } w k, k= 1,...,? N eine Menge von Nicht-Terminalsymbolen {N 1,..., N? } N i, i=1,...,? N 1 das Startsymbol R eine Menge von Regeln Jede Regel R besitzt die Form N i? j, wobei? j eine Kette von Terminalen und Nichtterminalen darstellt. Im Unterschied zu einer CFG wird jeder Regel R eine Wahrscheinlichkeit zugewiesen: P(N i? j ), die sich für jedes Nichtterminal immer zu 1 summiert Eusufzai, Abdullah 4 1. Probabilistische kontextfreie Grammatiken W eine Menge von Terminalsymbolen {w 1,..., w? }; wie z.b. a, b, c (Terminal-Symbole, also primitive Symbole, die für die Blätter des Satzstruktur-Baumes verwendet werden. Gewöhnlich werden hierfür die morpho-syntaktischen Kategorien wie z.b. nomn, verb, adje verwendet. Man findet aber auch Anwendungen, in denen lexikalische Zeichen direkt als Terminalsymbole verwendet werden.) N eine Menge von Nicht-Terminalsymbolen {N 1,..., N? } wie z. B. A, B, C (Non-Terminal- Symbole, also syntaktische Kategorien wie z.b. S, NP, VP ) R eine Menge von Regeln z. B. S -> NP VP; VP -> V NP etc. N1 das Startsymbol, aus der Menge der Nichtsterminale. Im Unterschied zu einer CFG wird jeder Regel R eine Wahrscheinlichkeit zugewiesen: P(N i?? j ), die sich für jedes Nichtterminal immer zu 1 summiert. Wie zum Beispiel auf dem Folien Nr. 6 S -> NP VP (1,0) VP -> V NP (0,7) VP -> VP PP (0,3) NP -> D N (0,8) NP -> NP PP (0,2) PP -> mit dem Fernglas (1,0) V -> sieht (1,0) N -> Dame (0,4) N -> Mann (0,6) D -> die (0,9) D -> der (1,0)

5 Bestimmung der Wahrscheinlichkeit eines Satzes in einer PCFG Für die folgenden Schritte ist es nötig, die Wahrscheinlichkeit zu ermitteln, die ein Satz in einer PCFG besitzt. Gegeben sei ein Satz W 1,n sowie sämtliche Zerlegungen t 1,n für eben diesen Satz. Die Wahrscheinlichkeit dieses Satzes W 1,n ist nun die Summe der Wahrscheinlichkeiten aller möglichen Zerlegungen: P(w 1,n ) =S t1,n P(w 1,n, t 1,n ) =S t1,n P(t 1,n ) P(w1,n t 1,n ) Bayes-Regel: P(x,y) = P(x) P(y x) =S t1,n p(t 1,n ) Der Terminus P(w 1,n t 1,n ) in Zeile 2 ergibt bei einer gegebenen Zerlegung immer 1 und kann somit entfallen. In einem nächsten Schritt muss nun die Wahrscheinlichkeit einer Zerlegung bestimmt werden Eusufzai, Abdullah 5 Quelle: Charniak, Eugene (1993) Statistical Language Learning.MIT Press. Seite 75.

6 Zerlegungsmöglichkeit I Der Mann sieht die Dame mit dem Fernglas S NP VP D N V NP NP PP D Der Mann sieht die Dame mit dem Fernglas N Eusufzai, Abdullah 6 Wir machen nun schrittweise die probabilistische kontextfreie Grammatik an Hand des Beispielsatzes Der Mann sieht die Dame mit dem Fernglas deutlicher: Wir nehmen für den Satz Der Mann sieht die Dame mit dem Fernglas folgende Zerlegungsmöglichkeiten an: Zerlegungsmöglichkeit I (Foliennummer 4) S? NP VP NP? D N VP? V NP NP? NP PP NP? D N In diesem Fall sieht man, dass VP zuerst durch V und NP zerlegt worden ist. Dann expandiert NP wieder in NP und PP. Zerlegungsmöglichkeit I interpretiert die Präpositionalphrase als von der Nominalphrase abhängig.

7 Zerlegungsmöglichkeit II Der Mann sieht die Dame mit dem Fernglas S NP VP D N VP PP V NP D N Der Mann sieht die Dame mit dem Fernglas Eusufzai, Abdullah 7 Zerlegungsmöglichkeit II Angenommen, dass der Satz Der Mann sieht die Dame mit dem Fernglas auch folgendermaßen expandiert werden kann: S? NP VP NP? D N VP? VP PP VP? V NP NP? D N In diesem Fall sieht man, dass VP zuerst durch VP und PP zerlegt worden ist. Dann wurde VP wieder durch V und NP geteilt. Zerlegungsmöglichkeit II interpretiert die Präpositionalphrase als von der Verbalphrase abhängig.

8 Grammatische Regeln und angenommene Werte der Terminal- und Nicht-Terminal- Symbolen S NP VP (1,0) VP V NP (0,7) VP VP PP (0,3) NP D N (0,8) NP NP PP (0,2) PP mit dem Fernglas (1,0) V sieht (1,0) N Dame (0,4) N Mann (0,6) D die (0,9) D der (1,0) Eusufzai, Abdullah 8 Es ist eine grafische Wiederholung von dem Kommentar der Foliennummer 2 für die Berechnung der Wahrscheinlichkeit

9 Bestimmung der Wahrscheinlichkeit einer Zerlegung S (1,0) S (1,0) (0,8) NP VP (0,7) (0,8) NP VP (0,3) D N V NP (0,2) Der Mann sieht (0,8) NP PP Mit dem F... D N VP PP (0,7) Der Mann Mit dem Fernglas V NP (0,8) sieht die D Welche davon ist wahrscheinlicher? P(t 1 ) = (1,0 x 0,8 x 0,7 x 0,2 x 0,8) = P(t 2 )= (1,0 x 0,8 x 0,3 x 0,7 x 0,8) = N Dame die D N Dame Eusufzai, Abdullah 9 Die Wahrscheinlichkeit jeder Zerlegung ist das Produkt der Wahrscheinlichkeiten aller Regeln des gegebenen Zerlegungsbaumes. So ergeben sich für die beiden Zerlegungen des Beispielsatzes Der Mann sieht die Dame mit dem Fernglas die folgenden Berechnungen: Die Wahrscheinlichkeit der ersten Lesart (Zerlegungsmöglichkeit I) berechnet sich entsprechend den in (Foliennummer 6) den Regeln zugeordneten Wahrscheinlichkeiten wie folgt. P(t 1 ) = (1 x 0.8 x 0.7 x 0.2 x 0,8) = 0.09 Für die zweite Lesart (Zerlegungsmöglichkeit II) ergibt sich eine Wahrscheinlichkeit von P(t 2 ) = (1 x 0,8 x 0,3 x 0,7 x 0,8) = 0.13 Die Zerlegungsmöglichkeit II ist davon Wahrscheinlicher. Wahrscheinlichkeit eines Satzes in einer PCFG: Die Wahrscheinlichkeit eines Satzes ist die Summe der Wahrscheinlichkeiten aller möglichen Zerlegungen. P(S) = P(t1) + P(t2) = 0,224

10 2. Satzwahrscheinlichkeit Inside- und Outside-Wahrscheinlichkeit in PCFG N 1 a N j W1 ß --- W p-1 W q W --- q+1 W p Wm Grafik: (nach) Mannning, Schütze: S Satzwahrscheinlichkeit: [Alle Kommentare ab Foliennummer 10 bis 16 wurden von dem Handouts von Manuel Giuliani fast ohne Änderung für das Referat verwendet ] Mit einer PCFG lässt sich jedem Satz? 1,m gegeben die Grammatik G eine Wahrscheinlichkeit P(? 1,m ) zuordnen. Es gibt zwei rekursive Algorithmen mit denen man diese Wahrscheinlichkeit berechnen kann. Der eine baut auf dem Begriff der Inside-Wahrscheinlichkeit, der andere auf dem der Outside-Wahrscheinlichkeit auf. 2.1 Inside-Wahrscheinlichkeit: Die Inside-Wahrscheinlichkeit eines dominierenden Knotens N j pq kann als die Wahrscheinlichkeit für eine bestimmte Wortfolge? p...? q. verstanden werden. Daher ergibt sich folgende Formel für die Inside-Wahrscheinlichkeit: ß j (p,q) = P (? pq N j pq,g) Berechnung der Satzwahrscheinlichkeit mit Hilfe des Inside-Algorithmus Berechnet man die Inside-Wahrscheinlichkeit eines ganzen Satzes, also des Startsymbol S, erhält man einfach die Wahrscheinlichkeit des Satzes. Also: ß(1, m) = P(? 1q N 1 1q, G) = P (? 1m G) Da wir davon ausgehen, dass die Wortfolge? 1,m zur Sprache L(G) gehört, ist die Wahrscheinlichkeit dafür, dass sich das Startsymbol N 1 über den Bereich 1...m erstreckt, gleich 1. Damit ist die Bedingung N 1 1,n in der obigen Gleichung hinfällig. Basisfall Im Basisfall wollen wir die Wahrscheinlichkeit von einem Knoten berechnen, der eine Wortkette der Länge 1 dominiert. Wir berechnen also ß j (k, k). Dass ein Nichtterminal N j auf eine tetminale Kette? k mit nur einem Element abgeleitet wird, ist einer Grammatik der Chomsky Normal Form (CNF) nur dann möglich, wenn eine Regel N j?? k existiert. Intuitiv sieht man, dass die Inside Wahrscheinlichkeit von N j kk gerade durch die Wahrscheinlichkeit gegeben ist, die N j?? k zugeordnet ist.

11 Induktionsschritt der Inside - Wahrscheinlichkeit N j N r N s W p W d W d+1 W q Grafik: (nach) Mannning, Schütze: S Eusufzai, Abdullah Induktionsschritt der Inside - Wahrscheinlichkeit Wir versuchen nun die Inside Wahrscheinlichkeit für eine beliebige Wortkette zu berechnen, also ß j (p, q). Dazu bedarf es der folgenden Überlegung: Dominiert ein Nichtterminal N j einen Bereich p... q so benötigt man in einer CNF- Grammatik mindestens eine Regel N j? N r N s, wobei N r auf dem Anfangsteil und N s auf Endteil der Wortfolge? p...? q ableitbar sein muss. Mann könnte also den Bereich p... q in zwei Abschnitte?... d und d q aufteilen, wobei d den Trennungspunkt in der Terminalen Kette? pq bezeichnet, der diese in eine von N r und eine andere von N s dominierte Sequenz teilt. Gegeben das Nichtterminal N j lässt sich auf einen Bereich p... q ableiten, so liegt es nach diesen Überlegungen auf der Hand, ß j (p, q) durch die Wahrscheinlichkeit zu definieren, dass N r den ersten, N s den zweiten Teil des zu betrachtenden Bereich überspannt und das sich im Bereich p... q die terminale Kette? p...? q bzw. die Teilkette? p... w d und die Teilkette? d+1...? q befindet. Da es für jedes Nichtterminal N j mehrere verschiedene Bäume geben könnte, und uns der Trennpunkt d nicht bekannt ist üssen wir zur Ermittlung der Inside- Wahrscheinlichkeit von N j pq sämtliche möglichen Bäume und Trennpunkte aufsummieren. Aus diesen Überlegungen kommen wie auf der Folie Nr. 11 Umrechnung: (Weiter auf der Foliennummer 11)

12 Berechnung: (nach) Mannning, Schütze: S Eusufzai, Abdullah 12 weiter auf der Nächsten Folie Nr Berechnung der Inside-Wahrscheinlichkeit durch einen Beispielsatz Beispiel anhand des Satzes astronomers saw stars with ears : (Der Beispielsatz kommt aus dem Buch von Mannning, Christopher; Schütze, Hinrich: S. 394, 1999) Wir wenden nun für den weiteren Schritt die folgende Regeln und die angenommenen Notationen an: S -> NP VP 1.0 NP -> NP PP 0.4 PP -> P NP 1.0 NP -> astronomers 0.1 VP -> V NP 0.7 NP -> ears 0.18 VP -> VP PP NP -> saw P -> with 1.0 NP -> stars 0.18 V -> saw 1.0 NP -> telescopes 0.1

13 Grafik und Berechnung: (nach) Mannning, Schütze: S. 394 und Eusufzai, Abdullah 13 Berechnung der Inside-Wahrscheinlichkeit In der Tabelle gilt βj(reihe, Spalte) Zuerst werden die trivialen Inside-Wahrscheinlichkeiten βj(k, k) berechnet. Anschließend wird für jedes Wort geprüft, ob es eine Regel gibt, die die vorausgehenden Wörter mit dem aktuellen Wort in Verbindung setzt. Dies ist beim dritten Wort der Fall: (2, 3): die Regel VP V NP erzeugt saw stars, wir wenden die Regel (7) an: β VP (2, 3) = P(N VP N V N NP ) * β V (2, 2) * β NP (3, 3) = 0,7 * 1,0 * 0,18 = 0,126 (1, 3): die Regel S NP VP erzeugt astronomers saw stars, wir wenden die Regel (7) an und setzen die bereits berechnete Inside-Wahrscheinlichkeit βvp(2, 3) ein: β S (1, 3) = P(N S N NP N VP ) * β NP (1, 1) * β VP (2, 3) = 1,0 * 0,1 * 0,126 = 0,0126 Auf diese Weise verfahren wir weiter mit den restlichen Wörtern. Interessant ist noch wegen den unterschiedlichen Parse-Möglichkeiten die Berechnung der Inside-Wahrscheinlichkeiten beim Wort ears : (4, 5): die Regel PP P NP erzeugt with ears, wir wenden die Regel (7) an: β PP (4, 5) = P(N PP N P N NP ) * β P (4, 4) * β NP (5, 5) = 1,0 * 1,0 * 0,18 = 0,18 (3, 5): die Regel NP NP PP erzeugt stars with ears, wir wenden die Regel (7) an, und setzen das bereits Bekannte ein: β NP (3, 5) = P(N NP N NP N PP ) * β NP (3, 3) * β PP (4, 5) = 0,4 * 0,18 * 0,18 = 0,01296 (2, 5): die Regel VP V NP zeigt saw stars with ears, wir wenden die Regel (7) an, und setzen das bereits Bekannte ein: β VP (2, 5) = P(N VP N V N NP ) * β V (2, 2) * β NP (3, 5) = 0,7 * 1,0 * 0,01296 = 0, die Regel VP VP PP expandiert ebenfalls saw stars with ears, wir wenden die Regel (7) an, und setzen das bereits Bekannte ein: β VP (2, 5) = P(N VP N VP N PP ) * β VP (2,3) * β PP (4, 5) = 0,3 * 0,126 * 0,18 = 0, Jetzt wenden wir die Regel (1) (Additionssatz) an: β VP (2, 5) = β VP (2, 5) + β VP (2, 5) = 0,015876

14 Outside -Wahrscheinlichkeit Umgebung von N j k, n als linke Tochter: Grafik: (nach) Mannning, Schütze: S Eusufzai, Abdullah Outside-Wahrscheinlichkeit Unter der Outside-Wahrscheinlichkeit versteht man die Wahrscheinlichkeit für eine bestimmte Wortfolge außerhalb des zu betrachtenden Bereichs? p...? q Zuzüglich der Wahrscheinlichkeit dafür, dass sich das Nichtterminal N j von? p bis? q erstreckt. Daher die Formel für die Outside-Wahrscheinlichkeit: a j (p,q) = P(? 1 (p-1), N j pq,? (q+1)m G ) Da es sehr ineffizient wäre die Wahrscheinlichkeit eines Satzes zu errechnen, indem man die Wahrscheinlichkeiten aller möglichen Parsbäume des Satzes addiert, sucht man nach effizienteren Algorithmen Berechnung der Satzwahrscheinlichkeit mit Hilfe des Outside-Algorithmus Wir versuchen jetzt die Satzwahrscheinlichkeit mit der Outside Wahrscheinlichkeit zu berechnen. Dazu greifen wir uns einem Satz beliebigen Knoten heraus, also einen Bereich p... q und spalten die Wortfolge? p...? q wie gewohnt in verschiedene Sequenzen auf. Danach summieren wir wieder die Wahrscheinlichkeiten aller m öglichen Verzweigungen auf. Basisfall Der Basisfall für die Outside-Wahrscheinlichkeit ergibt sich bei Betrachtung des Startknotens. Die Wortfolgen außerhalb des Knotens sind leer, daher ist die Outside-Wahrscheinlichkeit des Startknotens gerade die Wahrscheinlichkeit, dass der Satz durch diesen Knoten erzeugt wird. Davon gehen wir folgendes aus: a (1, m) = 1 (weiter Kommentar Folie Nr. 14 )

15 Umgebung von N j k, n als rechte Tochter: Grafik: (nach) Mannning, Schütze: S Eusufzai, Abdullah 15 Induktionsschritt: Anders als bei der Herleitung der Formel zur Inside-Wahrscheinlichkeit, bei der wir die verschiedenen Zerlegungen des betrachteten Knotens berücksichtigt haben, müssen wir uns nun im Ableitungsbaum nach oben orientieren und diejenigen Zerlegungen betrachten, bei denen der betreffende Konten die Rolle einer Tochter spielt. Man betrachtet also nicht die inneren Strukturen eines Knotens, sondern dessen äußere Umgebung. (Weiter auf der Folie Nr. 15)

16 Durch Umformen ergibt sich die endgültige Formel Berechnung: (nach) Mannning, Schütze: S Eusufzai, Abdullah 16

17 Treebanks Treebanks stellen Repräsentationen syntaktischer Strukturen (Konstituentenstruktur) von den Sätzen bereit. Sie umfassen I. den Aspekt der Grammatikalität oder Wohlgeformtheit von Sätzen a. der Hund sieht die Katze b.? die Katze sieht der Hund c. *der Katze sieht die Hund d. *die Hund sieht die Katze II. die Frage nach der internen syntaktischen Struktur. - Konstituenz: Organisation von Wörtern in Phrasen DET + ADJ + N bildet eine NP (Nominalphrase) DET + N N bildet eine NP (Nominalphrase) bildet eine NP (Nominalphrase) Eusufzai, Abdullah 17 Treebanks stellen Repräsentationen von Konstituentenstrukturen zu den Sätzen einer Datensammlung bereit, die für weitere Verfahren als Trainingsmaterial verwendet werden. Dies umfasst I. den Aspekt der Grammatikalität oder Wohlgeformtheit von Sätzen Auf der Folie sieht man vier Beispielsätze. Nur Satz a. (und bedingt auch Satz b.)zeigt nur grammatische Wohlgeformtheit. II. Die Frage nach ihrer internen syntaktischen Struktur. Hier werden die internen syntaktischen Strukturen des Satzes schrittweise untersucht. Konstituenz: Organisation von Wörtern in Phrasen z.b. eine Nominalphrase kann mit DET + ADJ + N oder DET + N oder nur mit einem Nomen gebildet werden.

18 NP NP NP NP DET N ADJ DET ADJ N DET N N -Wortordnung: schöne < Katze ADJ < N - Ordnung von Phrasen: der Hund < sieht die Katze - Wahrscheinlichkeit NP < VP Eine deklarative, formale Beschreibung von (II) erlaubt die syntaktische Überprüfung der Grammatikalität (I), sowie eine Repräsentation der syntaktischen Struktur (II) von Sätzen Eusufzai, Abdullah 18 Bei dem nächsten Schritt werden die Wörter nach den grammatischen Regeln geordnet. Z. B. schöne > Katze In diesem Fall muss das Adjektiv vor dem Substantiv stehen. Der nächste Schritt zeigt die Ordnung von Phrasen, wie wir sie für den Satz Der Mann sieht die Dame mit dem Fernglas auf der Folie 6 sehen. Natürlich wird auch durch die verschiedenen Zerlegungsmöglichkeiten untersucht, welche davon wahrscheinlicher ist.

19 Beispiel für Treebanks: Strukturbaum Der Hund sieht die Katze S NP VP D N V NP D N Beispiel für Treebanks: Klammernotation Der Hund sieht die Katze [S [NP [DET der] [N Hund]] [VP [V sieht] [NP [D die] [N Katze]]]] Eusufzai, Abdullah 19 Strukturbaum des Satzes Der Hund sieht die Katze und Klammernotation

20 * Die interne Struktur kann in Klammernotation oder Baumnotation Graphisch dargestellt werden. [S [NP [DET der] [N Hund]] [VP [V sieht] [NP [D die] [N Katze]]]] Eusufzai, Abdullah 20 Vollständigkeit der Treebanks.

21 Lexikalisation Frequency of common subcatagoization frames (local trees expanding VP) for selechted verbs. The data show that the rule used to expand VP is highly dependent on the lexical identity of the verb. ( Mannning, Schütze: S. 393) Verb Local tree come take think want VP V 9.5% 2.6% 4.6% 5.7% VP V NP 1.1% 32.1% 0.2% 13.9% VP V PP 34.5% 3.1% 7.1% 0.3% VP V SBAR 6.6% 0.3% 4.8% 70.8% VP V S 2.2% 1.3% 4.8% 70.8% VP V NP S 0.1% 5.7% 0.0% 0.3% VP V PRT NP 0.3% 5.8% 0.0% 0.0% VP V PRT PP 6.1% 1.5% 0.2% 0.0% Eusufzai, Abdullah 21 Lexikalisation Lexikalisation spielt auch eine sehr wichtige Rolle beim probabilistischen Parsing. Es geht dabei besonders um die Verbalphrase VP und ihre Expandierungen. Die Verbergänzungen sind lexikalisch rektionsgebunden. Die Rektion der Verben ist ihre Fähigkeit, ein von ihnen abhängiges Substantiv (oder Pronomen) in einem bestimmten Kasus zu fordern. Manche Verben können auch zwei verschiedene Kasus nebeneinander regieren, andere regieren alternativ zwei oder mehr verschiedene Kasus; oftmals ist damit ein Bedeutungsunterschied verbunden. Die Rektion der Verben gibt keine Auskunft darüber, ob Subjekte, Adverbialbestimmungen, Infinitive, Nebensätze usw. stehen können oder müssen, ob die Objekte obligatorisch oder fakultativ auftreten. Diese Eigenschaften werden von der Valenz festgelegt. Die Valenzunterschiede ändern auch Probabilities der Verbalphrasen Z. B. das Verb schreiben zeigt bei den folgenden Beispielen Valenzunterschiede: Ich schreibe einen Brief. einen Brief. Anna schreibt ihrer Mutter oder Frau Haenelt schreibt. Jeder Satz hat auch unterschiedliche Wahrscheinlichkeiten. Auf der Folie sieht man vier englische Verben come, take, think. Und want und ihre VP Expandierungen. Bei jeder Expandierung zeigen sie unterschiedliche Wertigkeit.

22 Linear Word-level n-gram model Die Katze wartete auf die Mäuse S S wartete NP VP NP Katze VP wartete DET NN V PRÄ PP Die Katze wartete P NP auf DET NN DET die NN Katze VPRÄ wartete PP auf Die Katze wartete P auf NP Mäuse auf DET die NN Mäuse die Mäuse Die Mäuse Eusufzai, Abdullah 22 Linear Word-level n-gram model Linear Word-level n-gram model ist eine Erweiterung der Dependenzgrammatik und Dependenzstrukturbaum. Linear Word-level n- gram model erforscht nicht nur für die Valenzmöglichkeiten der Verben sondern aller Wortarten. Auf dem zweiten Baum sieht man die Expandierungsfähigkeiten und die Valenzmöglichkeiten aller Wortarten.

23 Literatur Charniak, Eugene (1997) Statistical Techniques for Natural Language Parsing. In: AI Magazine (cf. Charniak, Eugene (1993) Statistical Language Learning.MIT Press. Mannning, Christopher; Schütze, Hinrich (1999) Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press, Kap. 11: Probabilistic Context Free Grammars und Kap. 12: Probabilistic Parsing. vgl.: Algorithmen für Probabilistisch Kontextfreie Grammatiken Cornelia Endriss & Christian Ebert Eusufzai, Abdullah 23

24 Probabilistische Kontextfreie Grammatiken. Manuel Giuliani schuetz.doc Eusufzai, Abdullah 24