Part-of-Speech-Tagging mit Transduktoren

Transkript

1 Part-of-Speech-Tagging mit Transduktoren HS Endliche Automaten für die Sprachverarbeitung (Dr. Karin Haenelt) Sommersemester 2006 Referent: Boris Kramer Universität Heidelberg Seminar für Computerlinguistik POS-Tagging mit Transduktoren 1

2 Übersicht 1. Part-of-Speech-Tagging 2. Brill s Tagger 3. Transduktoren 4. Tagger nach Roche/ Schabes POS-Tagging mit Transduktoren 2

3 1. Part-of-Speech-Tagging Zusätzliche linguistische Information Textauszeichnung der Wortart (Part-of- Speech (POS) -Tag) von Token Tags sind in Tagsets definiert Taggerlexikon enthält Lexeme (und Wörter) POS-Tagging mit Transduktoren 3

4 Part-of-Speech-Tagging Typen von Taggern: Regelbasierte Tagger Stochastische Tagger POS-Tagging mit Transduktoren 4

5 Regelbasierte Tagger Anhand eines Regelapparats werden den Lexemen die Wortarten zugewiesen Langsam Interaktion zwischen Regeln z.t. kombiniert mit stochastischen Verfahren POS-Tagging mit Transduktoren 5

6 Stochastische Tagger Anhand der Übergangswahrscheinlichkeit zwischen den Lexemen wird die Wortart bestimmt Sehr robust (gerade im Umgang mit unbekannten Lexemen) POS-Tagging mit Transduktoren 6

7 Übersicht 1. Part-of-Speech-Tagging 2. Brill s Tagger 2.1. Lexikalischer Tagger 2.2. Kontextueller Tagger 2.3. Komplexität des Brill-Tagger 3. Transduktoren 4. Tagger nach Roche/ Schabes POS-Tagging mit Transduktoren 7

8 2. Der Brill-Tagger 1992 entwickelt Neu: automatische Regelerstellung auf einem annotierten Korpus (Transformationbased error-driven learning) Platzsparend gegenüber stoch. Taggern, aber langsamer: RCn Verarbeitungsschritte POS-Tagging mit Transduktoren 8

9 Brill-Tagger Bestandteile: a) Lexikalischer Tagger b) Unknown word -Tagger c) Kontextueller Tagger + Trainingskorpus (!) POS-Tagging mit Transduktoren 9

10 Lexikalischer Tagger Versieht Tokens mit wahrscheinlichstem Tag Basiert auf großem Korpus (Brown-Korpus) (1) Chapman/np killed/vbn John/np Lennon/np (2) John/np Lennon/np was/bedz shot/vbd by/by Chapman/np (3) He/pps witnessed/vbd Lennon/np killed/vbn by/by Chapman/np Darstellung: Roche/ Schabes (1995) POS-Tagging mit Transduktoren 10

11 Lexikalischer Tagger Versieht Tokens mit wahrscheinlichstem Tag Basiert auf großem Korpus (Brown-Korpus) (1) Chapman/np killed/vbn John/np Lennon/np (2) John/np Lennon/np was/bedz shot/vbd by/by Chapman/np (3) He/pps witnessed/vbd Lennon/np killed/vbn by/by Chapman/np POS-Tagging mit Transduktoren 11

12 Kontextueller Tagger Regeln werden in bestimmter Reihenfolge angewendet vbn vbd PREVTAG np vbd vbn NEXTTAG by Reihenfolge der Sequenz durch Abgleich des lexikalischen Taggings mit Trainingskorpus POS-Tagging mit Transduktoren 12

13 Kontextueller Tagger vbn vbd PREVTAG np vbd vbn NEXTTAG by (1) Chapman/np killed/vbd John/np Lennon/np (2) John/np Lennon/np was/bedz shot/vbd by/by Chapman/np (3) He/pps witnessed/vbd Lennon/np killed/vbd by/by Chapman/np POS-Tagging mit Transduktoren 13

14 Kontextueller Tagger vbn vbd PREVTAG np vbd vbn NEXTTAG by (1) Chapman/np killed/vbd John/np Lennon/np (2) John/np Lennon/np was/bedz shot/vbn by/by Chapman/np (3) He/pps witnessed/vbd Lennon/np killed/vbn by/by Chapman/np POS-Tagging mit Transduktoren 14

15 Kontextueller Tagger look ahead für NEXTTAG etwa Regeln können unnötigen Aufwand bedeuten nicht deterministisch! 280 kontextuelle Regeln durch Training auf Korpus POS-Tagging mit Transduktoren 15

16 Brill: Regel-Templates A B PREVTAG C A B PREV1OR2OR3TAG C A B PREV1OR2TAG C A B NEXT1OR2TAG C A B NEXTTAG C A B SURROUNDTAG C D A B NEXTBIGRAM C D A B PREVBIGRAM C D POS-Tagging mit Transduktoren 16

17 Brill: Komplexität Alle Regeln (R) werden auf alle Wörter (n) angewendet mehrfacher Regel-Abgleich mit Token (C) Regeln heben sich zum Teil gegenseitig auf RCn Verarbeitungsschritte POS-Tagging mit Transduktoren 17

18 Roche/ Schabes Kontextuelle Regeln in nicht-deterministische Finite-State-Transducer (Funktionen) überführen Komposition der Sequenzen von Funktionen in einen Finite-State-Transducer (FST) Determinisierung des FST Ziel: lineare Laufzeit n POS-Tagging mit Transduktoren 18

19 Übersicht 1. Part-of-Speech-Tagging 2. Brill s Tagger 3. Transduktoren 4. Tagger nach Roche/ Schabes POS-Tagging mit Transduktoren 19

20 3. Transduktoren Finite-State-Transducer: T = (Σ, Q, i, F, E) s. Anhang/ Handout T 1 = ({a,b,c,d,e}, {0,1,2,3}, 0, {3}, {(0,a,b,1),(0,a,c,2),(1,d,d,3),(2,e,e,3)}) 0 a/b a/c 1 2 d/d e/e 3 POS-Tagging mit Transduktoren 20

21 Transduktoren als Funktionen auf Wörtern Ê: Transitive Hülle von E Wenn e E, dann e Ê Wenn (q,a,b,q ),(q,a,b,q ) Ê, dann (q,aa,bb,q ) Ê Funktion f(w) = w wenn q F (i,w,w,q) Ê als durch T definierte Funktion POS-Tagging mit Transduktoren 21

22 Transduktoren als Funktionen auf Wörtern T 1 : T 1 (ad) = bd T 1 (ae) = ce 0 a/b a/c 1 2 d/d e/e 3 POS-Tagging mit Transduktoren 22

23 Übergangsfunktion und Endausgabefunktion T = (Σ, Q, i, F, E) Übergangsfunktion: d(q,a) = {q Q w Σ* (q,a,w,q ) E} Endausgabefunktion: δ(q,a,q ) = {w Σ* (q,a,w,q ) E} POS-Tagging mit Transduktoren 23

24 Sequentielle und subsequentielle Transduktoren Sequentieller Transduktor: eine Seite ist deterministisch Forderung für Determinismus: a) d(q,a) 1 auch: q a=q b) δ(q,a,q ) 1 auch: q*a=w c) Endausgabefunktion ρ(q)=w Subsequentieller Transduktor T = (Σ, Q, i, F,, *, ρ) POS-Tagging mit Transduktoren 24

25 Übersicht 1. Part-of-Speech-Tagging 2. Brill s Tagger 3. Transduktoren 4. Tagger nach Roche/ Schabes 4.1. Umsetzung des Taggers 4.2. Local Extension 4.3. Empirische Evaluation Roche/ Schabes POS-Tagging mit Transduktoren 25

26 4. POS-Tagging mit Transduktoren Idee: FST ist ein Finite-State-Automat (FSA) mit Symbolpaar Eingabe/ Ausgabe auf den Übergängen Bei Anwendung auf ein Lexem/ Wort wird genau einem Pfad gefolgt Tagger arbeitet linear in Zeit der Wortlänge (n) und regel- und kontextunabhängig POS-Tagging mit Transduktoren 26

27 4.1. Konstruktion des Taggers (Roche/ Schabes 1995) 1. Kontextuelle Regeln in FST umwandeln vbn vbd PREVTAG np 0 np/np vbn/vbd 1 2 T 1 vbd vbn NEXTTAG by vbd/vbn by/by T 2 POS-Tagging mit Transduktoren 27

28 Konstruktion des Taggers (Roche/ Schabes 1995) 2. Transduktoren global anwenden f 2 = LocExt (f 1 ) Local Extension?/??/? np/np np/np vbn/vbd vbn/vbd 1 T 1 LocExt(T 1 ) np/np POS-Tagging mit Transduktoren 28

29 Konstruktion des Taggers (Roche/ Schabes 1995) 3. Komposition der Transduktoren (Elgot/Mezei) T 3 = LocExt(T 1 ) ο LocExt(T 2 ) vbd/vbn?/? 2 by/by?/? 0 np/np vbn/vbn vbd/vbd vbd/vbn?/? vbd/vbd POS-Tagging mit Transduktoren 29 1 vbd/vbn np/np np/np vbn/vbd vbd/vbd 3 by/by 4

30 Konstruktion des Taggers (Roche/ Schabes 1995) 4. Determinisierung des FST Überführung des FST in einen subsequentiellen (deterministischen) Transduktor Alle Regeln des Brill-Tagger können in deterministischen FST umgewandelt werden (Beweis in Roche/ Schabes 1995: 31ff.) POS-Tagging mit Transduktoren 30

31 Konstruktion des Taggers (Roche/ Schabes 1995) 4. Determinisierung: Subsequentieller T 3 verzögerte Ausgabe bei look ahead?/??/? by/vbn,by np/np np/vbd,np?/vbd,? 0 np/np 1 vbd/ε vbn/ε 2 vbd/ε vbd/vbd POS-Tagging mit Transduktoren 31

32 Konstruktion des Taggers (Roche/ Schabes 1995) Lexikon: Brill: jedes Wort nachschlagen abhängig von der Größe des Lexikons Roche/ Schabes: ein gerichteter azyklischer Graph (DAG) als Lexikon Lookup-Prozedur linear zur Wortlänge (n) POS-Tagging mit Transduktoren 32

33 Lexikon - Beispiel ads nns bag nn vb a d s (nns) bagged vbn vbd i (nn,vb) bayed vbn vbd b a g g vbd,vbn bids nns y e d POS-Tagging mit Transduktoren 33

34 Unknown word - Tagger Guesser anhand von Suffix, Präfix, u.ä. Funktioniert ähnlich dem Lexikon-Aufbau POS-Tagging mit Transduktoren 34

35 4.2. Local Extension im Detail T 4 = ({a,b,c,d}, {0,1,2,3,4}, 0, {2}, {(0,a,b,1),(0,b,d,3),(1,b,c,2),(3,c,c,4), (4,a,a2)}) f 4 = T 4 d.h. f 4 (ab)=bc, f 4 (bca)=dca ab und bca sind Faktoren POS-Tagging mit Transduktoren 35

36 4.2. Local Extension im Detail f 4 = T 4 d.h. f 4 (ab)=bc, f 4 (bca)=dca dom(f 4 ): Faktoren w 1 =ab und w 2 =bca sind in Domäne von f 4 Bsp.: Eingabewort w 3 =aabcab Mögliche Faktorisierungen: a) w 3 = a w 1 c w 1 b) w 3 = aa w 2 b POS-Tagging mit Transduktoren 36

37 4.2. Local Extension im Detail Local Extension: Funktion, die alle möglichen Faktorisierungen erkennt und entsprechend f 3 in einem Funktionsschritt umwandelt f 3 (w 1 ) = bc f 3 (w 2 ) = dca POS-Tagging mit Transduktoren 37

38 4.2. Local Extension im Detail Kopie des ursprünglichen Transduktors Transduktions-Zustände herkömmliche Ersetzung auf Übergängen Zusätzlicher Teil falls Transduktion unklar: Identitäts-Zustände keine Ersetzung auf Übergängen Algorithmus im Anhang POS-Tagging mit Transduktoren 38

39 4.2. Local Extension im Detail a/b 1 b/c 0 b/d ε/ ε 2 T 5 b/d IDENT {0} 0 a/a a/b 2 a/b a/a 3 TRANS {1} b/d b/c T 6 =LocExt(T 5 )?/? IDENT TRANS?/? b/b {0,1} {} POS-Tagging mit Transduktoren TRANS {2}

40 4.3. Empirische Evaluation Roche/ Schabes Church (1988) Brill Roche/ Schabes (Trigramm-Tagger) Geschw w/s 500 w/s w/s Platz KB 379 KB 815 KB POS-Tagging mit Transduktoren 40

41 Zusammenfassung Umformung des regelbasierten Brill-Tagger schnell (n Schritte statt RCn) + Geschwindigkeit + Platz - Interaktion der Regeln POS-Tagging mit Transduktoren 41

42 Literatur/ Quellen Haenelt, Karin (2006): Transduktoren für die Sprachverarbeitung, unter: Transduktor.pdf Manning, Christopher D./ Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Massachusetts. Roche, Emmanuel/ Schabes, Yves (1995): Deterministic Part-of-Speech Tagging with Finite State Transductors, unter: The Brown Corpus Tag Set, unter POS-Tagging mit Transduktoren 42

43 Anhang: Local Extension der Algorithmus LocalExtension(T =(Σ,Q,i,F,E ),T=(Σ,Q,i,F,E)) 1 C [0]=({i},identity);q=0;i =0;F =0;E =0;Q =0;C [1]=(0,transduction);n=2; /* state 0 of type identity, refers to initial state of T 5, q is current state, n is current number of states */ 2 do { /* build the transition of each state while...see line 29 3 (S,type) = C [q];q =Q {q}; /* current state in loop is q; refers to set of states S and is marked by type */ 4 if (type==identity) 5 F =F {q}; E =E }s.t. {(q,?,?,i )}; /* adds current identity state to set of final states; transition to initial states for all letters that do not appear on outgoing arcs from state */ 6 for each w Σ {ε} s.t. x S, d(x,w) 0 and y S,d(y,w) F = 0 7 if ( r [0,n-1] such that C [r]==({i} U d(x,w),identity) x S 8 e=r; 9 else 10 C [e=n++] = ({i} U d(x,w),identity); x S POS-Tagging mit Transduktoren 43

44 Anhang: Local Extension der Algorithmus 2 do { 4 if (type==identity) 6 for each w Σ {ε x S,d(x,w) 0 and y S,d(y,w) F = 0 11 E =E {(q,w,w,e)}; /* lines 6 to 11 build transitions from and to init. States */ 12 for each (i,w,w,x) E 13 if ( r [0, n-1] s.t. C [r]==({x},transduction) 14 e=r; 15 else 16 C [e=n++]=({x},transduction) 17 E =E {(q,w,w,e)}; /* lines 12 to 17 for possible start of transduction from any identity state */ 18 for each w Σ {ε} s.t. x S,d(x,w) F 0 then E =E {(q,w,w,1)}; POS-Tagging mit Transduktoren 44

45 Anhang: Local Extension der Algorithmus 2 do { 4 if (type==identity) 19 else if (type==transduction) 20 if x 1 Q s.t. S=={x 1 } 21 if (x 1 F) then E =E {(q, ε, ε,0)}; 22 for each (x 1,w,w,y) E 23 if ( r [0,n-1] s.t. C [r]==({y},transduction) 24 e=r; 25 else 26 C [e=n++]=({y},transduction); 27 E =E {(q,w,w,e)}; /* if state of type transduction, line 19 to 27 copy transitions of original FST */ 28 q++; 29 } while (q<n); For additional details see Roche/ Schabes 1995: POS-Tagging mit Transduktoren 45