PROBABILISTIC PARSING FOR GERMAN USING SISTER-HEAD DEPENDENCIES

Transkript

1 Ausgangsfrage PROBABILISTIC PARSING FOR GERMAN USING SISTER-HEAD DEPENDENCIES Irina Gossmann Carine Dombou 9. Juli 2007

2 INHALT Ausgangsfrage 1 AUSGANGSFRAGE 2 SYNTAX DES DEUTSCHEN + NEGRA 3 PROBABILISTISCHE PARSER 4 EXPERIMENT 1 5 EXPERIMENT 2 6 SCHLUSSFOLGERUNG 7 LITERATUR

4 Ausgangsfrage AUSGANGSFRAGE Lexikalisierte Parser sind um etwa 10% besser, als unlexikalisierte Parser Aber: die meisten lexikalisierten Parser wurden für Englisch/Penn Treebank entwickelt Frage: was wären die Ergebnisse bei anderen Sprachen/Annotationsstilen?

5 Ausgangsfrage LEXIKALISIERTES PARSING BEI ANDEREN SPRACHEN

8 Ausgangsfrage PROBABILISTISCHE PARSER 1. Unlexikalisierte PCFG (Charniak 1993) Die lexikalisierten Parser werden gegen einen einfachen PCFG-Parser geprüft (Baseline). p(lhs RHS) = p(rhs LHS) = alle Vorkommen von rule Regeln mit gleicher linken Seite Die Summe der W keiten aller Regeln mit derselben LHS ist 1. p(baum T) = Produkt der W keiten aller in T angewandten Regeln.

9 Ausgangsfrage PROBABILISTISCHE PARSER 2. Carrol und Rooth s lexikalisiertes Modell (1998) Entspricht Charniaks Modell (1997). p(rule) = p(rhs LHS) = p rule (C 1...C n P, l(p)) n p choice (l(c i ) C i, P, l(p)) i=1 für eine Regel der Form P > C 1...Cn. l(p) ist Kopf der Eltern-Kategorie, l(c i ) ist Kopf einer der Tochter-Kategorien

10 Ausgangsfrage PROBABILISTISCHE PARSER Regel: 3. Collins lexikalisiertes Modell Regelw keit:

13 Ausgangsfrage w ist der Kopf der Konstituente, t ist Tag des Kopfs der Konstituente, d misst die Entfernung vom Kopf

14 Ausgangsfrage HEAD-HEAD VS. SISTER-HEAD W keit einer Konstituente

16 Ausgangsfrage VERGLEICH DER 3 PARSER Hypothese: Lexikalisierung verbessert die Ergebnisse. weitere Verbesserungen der Ergebnisse durch Berürcksichtigung der zusätzlichen Informationen in Negra (grammatical function labels, coordinate categories, flache PPs).

17 Ausgangsfrage VORBEREITUNG DES KORPUS Es wurde der Treebank-Format von Negra genommen. Das Korpus wurde aufgeteilt: Training (18602 Bäume), Development (1000 Bäume), Testing (1000 Bäume). In Development- und Test-Abschnitte wurden nur Sätze unter 40 Wörtern aufgenommen.

18 Ausgangsfrage GRAMMAR INDUCTION Baseline: Grammatik + Lexikon: wurden aus dem Korpus ausgelesen, nachdem alle grammatical function labels und Spuren entfernt wurden (nicht lexikalisiert). Parser: probabilistischer left-corner-parser Lopar (unlexicalized mode).

19 Ausgangsfrage GRAMMAR INDUCTION Carrol und Rooth: Grammatik + Lexikon: wurden aus dem Korpus ausgelesen; die Köpfe der Kategorien S, VP, AP und AVP sind in Negra bereits markiert, für alle anderen Kategorien mussten die Köpfe manuell annotiert werden. Parser: Lopar (lexicalized mode).

20 Ausgangsfrage GRAMMAR INDUCTION Collins: Grammatik + Lexikon: wie bei CARROL UND ROOTH. Abweichungen vom Original-Modell von Collins: alle leeren Kategoien (Spuren) wurden entfernt (das Modell der Autoren kann damit nicht umgehen), für nicht-rekursive NPs wurden head-head-w keiten genommen. Parser: implementiert von einem der Autoren.

21 Ausgangsfrage TRAINING + TESTING (1) Bei den lexikalisierten Modellen hat man mit Smoothing nachgeholfen. Variationen: Baseline und Carrol und Rooth: ± grammatical function labels Carrol und Rooth: ± PARAMETER POOLING (Berücksichtigung von coordinate categories und flachen PPs in Negra)

22 Ausgangsfrage TRAINING + TESTING (1) - PARAMETER POOLING Pooling: Zusammenlegen von Kategorien (dabei wächst die W keit der einzelnen Regeln).

23 Ausgangsfrage TRAINING + TESTING (1) - PARAMETER POOLING Pooling: Zusammenlegen von Kategorien (dabei wächst die W keit der einzelnen Regeln).

24 Ausgangsfrage TRAINING + TESTING (2) Verschiedene Part-of-Speech Tags: Der test-set wurde für alle Parser mit dem POS-Tagger TnT getaggt, der zuvor an dem training-set trainiert wurde. Die Genauigkeit, gemessen am development-set, war 97,12%. Perfect tagging mode: Es wurden auch Tests mit korrekten POS-Tags (gold standard) durchgeführt, um die obere Performance-Grenze der Parser zu bestimmen.

25 Ausgangsfrage AUSWERTUNG MIT PARSEVAL SCORES LR: LP: korrekte Klamern im Parse alle Klammern im Baum korrekte Klammern im Parse alle Klammern im Parse CBs: Durchschnitt der sich kreuzenden Klammern pro Baum. 0CB: Prozentsatz der Bäume ohne sich kreuzende Klammern. 2CB : Prozentsatz der Bäume mit zwei oder weniger sich kreuzenden Klammern. Cov.: Prozentsatz der Sätze, die geparst werden konnten.

26 ERGEBNISSE Ausgangsfrage

34 Ausgangsfrage ERGEBNISSE 1. Berücksichtigung von grammatical functions hat die Ergebnisse sogar verschlechtert. 2. Parameter pooling verbesserte die Ergebnisse etwas. 3. Lexikalisierung hat die Ergebnisse verschlechtert (wie die Lernkurven zeigen, ist der kleine Korpusumfang nicht die Ursache dafür).

35 LERNKURVEN Ausgangsfrage

36 Ausgangsfrage Also: Die Hypothese ist falsch!

39 Ausgangsfrage SCHLUSSFOLGERUNG Flache Regeln in Negra entsprechen der syntaktischen Struktur des Deutschen, insbesondere der semi-freien Wortstellung. Für flache Strukturen ist das sister-head-modell besser geeignet als die head-head-modelle. Weiterführend: wird dieses Modell für andere Sprachen ebenfalls gute Ergebnisse liefern?

41 Ausgangsfrage LITERATUR Amit Dubey and Frank Keller, Using Sister-Head Dependencies, ACL 2003 Amit Dubey, Statistical Parsing for German, 2004

42 !"#$%&'()*+%",

43 -.,$*/$0%&'",(102",%&'*3$", 4567"880"+#,2 90$ :083" ;<=(0%$ %&'>0" ,280%&'", 4-$"88#,2 7"+ C69)8"9",$" D-#EF"/$"G( HEF"/$"G(I7F#,/$"J(09!"#$%&'", 0%$ 3+"0 4K"+E)6%0$06, L>*+ 30BG(*E"+ -*$L$.)N

44

45 O"2+* I,,6$*$06,%%&'"9* D-/#$ "$(*8AGPQQRJ S S O1=TI(U*#9E*,/ 4 VWWAXQY(Z6/",%(D[XAYX[('*,7*,,6$0"+$" -M$L"J 4!"#$%&'"(\"0$#,2%*+$0/"8 38*&'" %.,$*/$0%&'" T")+M%",$*$06,", S /66+70,0"+",7" C*$"26+0", D;-G(;O]J S U"%&'+03$#,2", 3^+ 2+*99*$0%&'" <#,/$06,", LAUN(5HD567030"+JG:!D'"*7JG-UD%#EF"&$JG H;D&8*#%*8(6EF"&$J

46

47 1B)"+09",$([

48 <"'8"+*,*8.%"( S ;'#,/0,2(<"'8"+(*#%( ;6880,%(567"88 *J_]](,"E",(7",( 50$$"8,_O](7"%((( Z'"*$"+%`` EJ_]](,"E",(7",( 50$$"8,`_O](7"%( Z'"*$"+%`

49 <"'8"+*,*8.%"DE0%PJ S <*8%&'"(=+",L",(E"0(]]%G-%G(#,7(K]% S =+^,7"(@6,(70"%",(<"'8"+,N 4:"*74:"*7(IE'M,202/"0$(09(;6880,%( 567"88 4<8*&''"0$(@6,(T"2"8,(0,(O"2+*

50 <"'8"+*,*8.%"DE0%[J S O"2+*(0%$(38*&'"+(*8%(]",, S a,$"+%&'0"780&'"(i,l*'8(*,(zb&'$"+,

51 O"#"+(I,%*$L S :.)6$'"%"N 4-&'8"&'$"(]"+36+9*,L(E"0( 8"B0/*80%0"+$"9(567"88(>"2",(<8*&''"0$(7"%( ;6+)#%

52 ?0"(/*,,(9*,(70"%"(<8*&''"0$( 86%>"+7",c S d7""n( PJ ]]%(E"*+E"0$",N(I826+0$'9#%

53

54 S *,2">",7"$

55 [J(d7""([N ;6880,%(567"88(3^+(,6,4 *88"(*,7"+"(C*$"26+0",(90$(-0%$"+4:"*74 IE'M,202/"0$",($"%$",!d9)80/*$06,(E0,M+"+(\>"02"(0,(7"+( =+*99*$0/)+67#/$06,

56 -0%$"+4'"*7(!")",7",70"%

57 5"$'67", PJH+020,*8(;6880,%(567"88(90$(967030L0"+$"9( Z+*0,0,2(Z"%$(D]]%(-)*8$#,2J$+*0,0"+", C*$"2+6+0",($"%$", 4%0%$"+4'"*7(3^+(O]% 4%0%$"+4'"*7(3^+(]]% 4%0%$"+4'"*7(3^+(*88"(C*$"26+0",

58 5"$'67", VJ567"88(90$(%0%$"+4'"*74IE'M,202/"0$",(3^+( *88"(C*$"26+0",((*#e"+("0,"+A!U"%$099#,2(7"+(-0%$"+4:"*74 IE'M,202/"0$(3^+(70"(E"%$"(]"+36+9*,LA

59 1+2"E,0%%"

60 1+2"E,0%%"(7"+(5"$'67"P S f-)80$(]]g(0,($+*0,0,2(*,7($"%$0,2($"%$%!-$"02"+#,2(0,(htdy4rij(#,7(h]djkij S U.(f;688*)%"7(]]gN("0,"(8"0&'$"(-",/#,2( 0,(hT(*,7(h](09(K"+28"0&'(L#( #,967030L0"+$"9(;6880,%l 567"88

61 1+2"E,0%%"(7"+(5"$'67"[ S <^+(Z,Z($*2%N S!O]%(3M88$(L#(YRAkmihT(#,7(YkAmW(h] S!#,967030L0"+$"%(;6880,%(567"88(E"%%"+ S!]]%("+'b'$(#9(RXA[RhT(#,7(YkAmWh] S U"%$"(]"+36+9*,L(E"0(-0%$"+4:"*7( IE'M,202/"0$(3^+(*88"(C*$"26+0",DRPAV[hT( #,7(RXAQViJ S <^+()"+3"&$($*2%N(K"+E"%%"+#,2(@6,(*88",( C*$"26+0",(90$(-0%$"+4:"*74IE'M202/"0$",

62 1+2"E,0%%"(7"+(5"$'67"V

63 4<^+(-(#,7(&66+70,0"+",7"(C*$"26+0"!10,"(-",/#,2(#9(Pi 4 <*%$(/"0,(133"/$(E"0(I]GIK]G#,7(O](3^+( )"+3"/$(Z*220,2

64 !0%&#%%06, S ]+6E8"9(7"+(<8*&''"0$(2"8b%$c! C"0,"(K"+E"%%"+#,2(90$(]]%(-)80$$0,2(*#3( f&688*)%"7(&*$"26+0"%ga S IE"+n(=+#,7(L#+(U"%$",(]"+36+9*,L(E"0(-0%$"+4 :"*74IE'M,202/"0$",(<8*&''"0$(@6,(O"2+*(09( ="2",%*$L(L#+(<"'8"+*,*8.%" S -0%$"+4:"*7(567"88 ^E"+$+033$ %6>6' ,*8( ;6880,%(567"88 *8% *#&' #,8"B0/*80%0"+$" U*%"80,"( 90$ Pih](#,7(mihT

65 K"+28"0&'(90$(3+^'"+",(I+E"0$", S C"0,"+()+6E*E080%$0%&'"+(Z+""E*,/4 $+*0,0"+$"+()*+%"+(3^+(!"#$%&' S :"*748"B0/*80%0"+$"%(567"88(@6,(;*++688 #,7(T66$'(*,2">*,7$(3^+(!"#$%&'(@6,(( U"08("$(*8ADPQQQG[XX[J 4:*,7*,,6$0"+$"(=+*99*$0/ 4a,*,,6$0"+$"+(;6+)#% 4O#+(*#3(O"E",%M$L"((#,7(+"8*$0@"((( -M$L"

66 S #,7(U0/"8D[XXXJ(3^+(Z&'"%&'",(#,7( ;'0,"%0%&'(