Maschinelle Sprachverarbeitung: Modelle zu Wortsequenzen Teil 1

Transkript

1 Maschinelle Sprachverarbeitung: Modelle zu Wortsequenzen Teil 1 Basierend auf Kapitel 4 P.M. Nugues (2006) Gertrud Faaβ Universität StuVgart, InsXtut für maschinelle Sprachverarbeitung Azenbergstr. 12, StuVgart faaszgd@ims.uni stuvgart.de 1

2 Einleitung Wörter und Wortsequenzen zählen N gramme Wahrscheinlichkeitsmodelle von Wortsequenzen Smoothing KollokaXonen (nächstes Mal) 2

3 Wörter und Wortsequenzen zählen Wörter und Wortsequenzen zählen Basisidee: In einem Sprach(en)modell (language model) wird die Wahrscheinlichkeit einer Wortsequenz mit staxsxschen Methoden geschätzt Spracherkennungssysteme Lexikographie (KollokaXonen) Parsing (strukturelle AnnotaXon) SemanXsche InterpretaXon Maschinelle Übersetzung 3

4 N-Gramme N Gramme Extrahieren von Wörtern ((word) types) aus einem Korpus, zusammen mit ihren Häufigkeiten (frequency of occurence) George Orwell s Nineteen Eighty Four War is peace Freedom is slavery Ignorance is strength 4

5 N-Gramme George Orwell s Nineteen Eighty Four 1 1 War1 2 1 is peace Freedom4 2 2 is slavery Ignorance7 2 3 is strength 9 9 tokens, 7 types Bi Gramme und ihre Häufigkeit z.b. wie om kommt starker Tee versus kräciger Tee im Text vor? Siehe KollokaXonen (nächstes Mal!) 5

6 N-Gramme Tri Gramme z.b. wie om kommt erfrischender grüner Tee versus kräciger schwarzer Tee im Text vor? Beispiel (Jelinek 1990): We need to resolve all the important issues 6

7 N-Gramme Word Rank More likely alterna0ves We 9 The This One Two A Three Please In need 7 are will the would also do to 1 resolve 85 have know do all 9 the this these problems of 2 the the 1 important 657 document quesxon first issues 14 thing point to 7

8 N-Gramme Ranking, berechnet aus einer KombinaXon aus Uni,Bi und Tri Grammen Wahrscheinlichkeit vorkommender Wortsequenzen: We ist nur an 9. Rang einen Satz zu eröffnen (Wahrscheinlicher wären The, This, etc.) We, need ist nur im 7. Rang (We are, We will, We would, etc. sind alle wahrscheinlicher) to folgt We need am wahrscheinlichsten... genauso ist the am wahrscheinlichsten nach all of 8

9 N-Gramme Zeichenebene: mit/ohne BerücksichXgung von Satzgrenzen/Groß / Kleinschreibung Uni Gramm Modell Lexikographie: Sprachspezifische DistribuXon von Uni Grammen fürwörterbuchaumeilungen (z.b. Mehr Einträge von Wörtern, die mit A beginnen als von Wörtern, die mit E beginnen). 9

10 N-Gramme Nutzung von DistribuXonsinformaXon zur Spracherkennung Tri Gramm: Deutsch: sch im Verhältnis zu allen vorkommenden Tri Grammen wahrscheinlicher als in Englisch. Reicht es nicht, dass folgende Unigramme vorkommen? Ö, ö, Ä, ä, Ü, ü, β RelaXve Frequenz (Anteil am Gesamten, n:n): Englische DissertaXon zu Goethe mit Beispielen 10

11 Wörter und Wortsequenzen zählen Uni Gramme mit Perl zählen: Tokenisierung (wie oben) Wörter in einer Hash Tabelle zählen Wörter alphabexsch sorxeren eventuell: nach Häufigkeit absteigend ausgeben 11

12 Wörter und Wortsequenzen = split (/\s/, $text); # erstes Wort in $words[0], zweites in $word[1], etc. for ($i = 0; $i <= $#words; $i++) { if (!exists($frequency{$words[$i]})) { $frequency{$words[$i]} = 1; } else { $frequency{$words}[$i] }++; } } 12

13 Wörter und Wortsequenzen zählen # Ausgabe der Liste foreach $word ( sort keys %frequency ) { print $frequency{$word} $word\n ; } 13

14 Wörter und Wortsequenzen zählen Bi Gramme? Tokenisieren Array erzeugen (Nachbarwörter konkatenieren) 14

15 Wörter und Wortsequenzen zählen $text = <>; while ( $line = <>) { $text.= $line; } $text =~ tr /a zäöüβa ZÄÖÜ ()\.,?!:;/\n/sc; $text =~ s/([,.?:;() \ ])/\n$1\n/g; $text =~ = split (/\n/, $text); 15

16 Wörter und Wortsequenzen = split (/\s/, $text); # erstes und zweites Wort in $words[0], zweites und drives in $word[1], etc. for ($i = 0; $i < $#words; $i++) { $bigrams[$i] = $words[$i].. $words[$i+1]; } 16

17 Wörter und Wortsequenzen zählen for ($i = 0, $i < $#words; $i++) { if (!exists ($frequency_bigrams{$bigrams[$i]} )) { $frequency_bigrams($bigrams[$i] = 1; } else { $frequency_bigrams($bigrams[$i]}++; } } 17

18 Wörter und Wortsequenzen zählen foreach $bigram ( sort keys %frequency_bigrams) { print $frequency_bigrams{$bigram} \t $bigram \n ; 18

19 Wahrscheinlichkeitsmodelle Wahrscheinlichkeitsmodelle von Wortsequenzen Maximum Likelihood (es gibt noch andere!) QuanXfizierung der Wahrscheinlichkeit, nach der besxmmte Wortsequenzen vorkommen Wortsequenz S = w 1, w 2,..., w i,..., w n IntuiXve Wahrscheinlichkeitsschätzung dieser Sequenz P(S): in einem gegebenen Trainingskorpus ist dessen relaxve Häufigkeit. Diese ergibt sich aus Zahl der Vorkommen der Sequenz C(w 1,.., w n ) dividiert durch Alle Sequenzen der Länge n 19

20 Wahrscheinlichkeitsmodelle Problem der IntuiXon: Sparse Data Selbst bei großen Korpora kann es om vorkommen, dass die gesuchte Wortsequenz nicht enthalten ist Versuch einer Vereinfachung P(S) = P(w 1,.., w n ), = P(w 1 ) P(w 2 w 1 ) P(w 3 w 1,w 2 ) P(w n w 1,...,w n 1 ), n = P(w i w 1,..., w n 1 ) i=1 20

21 Wahrscheinlichkeitsmodelle Versuch einer Vereinfachung: Wahrscheinlichkeit, das w 1 das erste Wort des Satzes ist mulxpliziert mit der Wahrscheinlichkeit von w 2 als zweitem Wort unter der Bedingung das w 1 davor steht, mulxpliziert mit der Wahrscheinlichkeit, dass w 3 an driver Stelle im Satz steht, unter der Bedingung, dass w 1 und w 2 davor stehen, etc. bis w n Fenstergröβe festlegen: manchmal Tri Gramm, om eher Bi Gramm 21

22 Wahrscheinlichkeitsmodelle P(S) = P(w 1,.., w n ), = P(w 1 ) P(w 2 w 1 ) P(w 3 w 1,w 2 ) P(w n w 1,...,w n 1 ), n = P(w i w 1,..., w n 1 ) i=1 Bi Gramm Fenster P(w i w 1, w 2,..., w i 1 ) P(w i w i 1 ) Tri Gramm Fenster P(w i w 1, w 2,..., w i 1 ) P(w i w i 2, w i 1 ) 22

23 Sprachmodell Berechne für jedes Uni Gramm in einem gegebenem Trainingskorpus die Uni Gramm Wahrscheinlichkeit n/n. Beispiel: <s> Das ist ein fauler Hund. </s> <s> Dem ist nicht zu trauen. </s> <s> Das habe ich auch schon immer gesagt. </s> Type wtokens. Um Satzende/Satzanfang berücksichxgen zu können, werden die entsprechenden SGML tags als Zeichen miteinberechnet. 23

24 Sprachmodell Uni Gramm: 1 1 <s> Das ist ein fauler Hund </s> <s> 8 8 Dem ist nicht zu trauen </s> <s> Das habe ich auch schon immer gesagt </s> 23 Wahrscheinlichkeit 7 <s> = 3/23 = 0,13 Wahrscheinlichkeit 2 Das = 2/23 = 8,7 2 Wahrscheinlichkeit 3 ist = 2/23 = 8,7 2 Wahrscheinlichkeit 4 ein = 1/23 = 3,3 2 24

25 Sprachmodell Bi Gramm: ( 1 1 <s> 1 ( 2 1 Das 2 ) 1 1 ( 3 1 ist 3 ) 2 1 ( 4 1 ein 4 ) 3 1 ( 5 1 fauler 5 ) 4 1 ( 6 1 Hund 6 ) 5 1. ( 7 1 </s> 7 ) 6 1 ( 1 2 <s> 8 ) 7 1 ( 8 Dem 9 ) 8 1 ( 3 2 ist 10 ) 9 1 ( 9 1 nicht 11 ) 10 1 ( 10 1 zu 12 ) 11 1 ( 11 1 trauen 13 ) ( 7 2 </s> 14 ) 13 1 ( 1 3 <s> 15 ) 7 2 ( 2 2 Das 16 ) 1 2 ( 12 1 habe 17 ) 14 1 ( 13 1 ich 18 ) 14 1 ( 14 1 auch 19 ) 15 1 ( 15 1 schon 20 ) 16 1 ( 16 1 immer 21 ) 17 1 ( 17 1 gesagt 22 ) </ s> 23 ) 19 1 Wahrscheinlichkeit 7 <s> 2 Das = 2/23 = 8,7 2 Wahrscheinlichkeit 2 Das 3 ist = 1/23 = 3,3 2 Wahrscheinlichkeit 3 ist 4 ein= 1/23 =

26 Sprachmodell Wahrscheinlichkeit von <s> Das ist der Hammer! </s> = passt das ins Sprachmodell? Bi Gramm: P(<s> Das ist der Hammer! </s>)= (<s>) 0.13 * (<s> Das) 8,7 2 * (Das ist) 3,3 2 * (ist der) 0 = 0! Wie mit Wahrscheinlichkeit Null umgehen? 26

27 Smoothing Smoothing oder GläVung Kein Korpus ist jemals groβ genug, selbst für Bi Gramme: Sparse Data Problem Lösung: Wahrscheinlichkeit bisher unbekannter n Gramme berechnen Achtung Summe aller Wahrscheinlichkeiten aller bekannten N Gramme ist immer 1, daher GläVung der Werte über Null ( discounts ) 27

28 Smoothing Laplace s Rule 1 zu allen berechneten Wahrscheinlichkeiten addieren ( add one method ). Achtung: Dem Denominator muss die Zahl aller Types (Card(V)) im Korpus addiert werden. Formel für Bi Gramm Fenster: P laplace (w i+1 w i ) = C(w i, w i+1 ) + 1 = C(w i, w i+1 ) +1 (C(w i,w) + 1) C(w i ) + Card(V) w 28

29 Smoothing Problem bei Laplace: Zu hohe Wahrscheinlichkeit für bisher ungesehene Wortsequenzen (und: Gieβkannenprinzip). Besser Good Turing: Berechne den discount nach der Anzahl der vorhandenen N Gramme: N c = Anzahl der Bigramme mit Häufigkeit c, N 0 also die Anzahl der nicht vorkommenden N Gramme N 0 = Card(V) 2 abzgl. der exisxerenden Bi Gramme 29

30 Smoothing Wir gehen Angeln: Im See gibt es unseres Wissens nach 8 Fischarten, sechs davon haben wir gesehen: 10 Karpfen, 3 Fluβbarsche, 2 Weiβfische, 1 Forelle, 1 Lachs und 1 Aal = 18 Fische (es soll noch Katzenfische und Seebarsche geben) Wie groβ ist die Wahrscheinlichkeit, dass der nächste geangelte Fisch ein noch nicht gesehener ist? Die grundsätzliche Wahrscheinlichkeit wäre ist 0 (mit Laplace = 1), mit Good Turing ist P(N 0 ) jedoch 3/18, da N 1 =3 und N =

31 Smoothing Good Turing Methode formal: Häufigkeit von N Grammen die c mal vorkommen c* = (c+1) N c+1 N c Good Turing c* für unbekannte Bi Gramme = N 1 /N 0 für einmal vorkommende = 2N 2 /N 1 31

32 Smoothing <s> Das ist der Hammer! </s> <s> Das, Das ist, ist der, der Hammer, Hammer </s> Berechnung N 0: card(v) 2 = 17 2 (Anzahl Types im Korpus im Quadrat = Mögliche Bi Gramme) = 270 abzgl. Anzahl bekannte Bi Gramme (19) = 251 = N 0 19 Bi gramme: 2 kommen 2mal, 17 1mal vor 32

33 Smoothing c* für unbekannte Bi Gramme = N 1 /N 0 = 17/251 c* für bekannte Bi Gramme, einmal vorkommend: 2N 2 /N 1 = 2*2/17 Allgemein: P GT (w n w 1,..., w n 1 ) = c*(w 1,..., w n ) C(w 1,..., w n 1 ) 33

34 Smoothing Zum Schluss: In der Praxis sind nur hohe Werte von N c verlässlich Diese entsprechen niedrigen Werten von c Ab einer gewissen Höhe ergeben sich fakxsch Nullwerte Daher wird Good Turing nur für besxmmte c Werte einer Konstante (k) angewandt, also c < k, wobei k = 5, 6,..., oder auch 10, abhängig von den vorhandenen Trainingsdaten. Lineare InterpolaXon / Back off : Die Wahrscheinlichkeit für unbekannte N Gramme (N>1) wird abhängig davon berechnet, mit welcher Wahrscheinlichkeit in den Trainingsdaten enthaltene N 1 Gramme vorkommen 34

35 Referenzen Nugues, P.M. (2006). An IntroducXon to Language Processing with Perl and Prolog. CogniXve Technologies. Springer Berlin Heidelberg, New York, Kapitel 4.1 9, referiert u.a. auf Jelinek (1990). Self organized language modelling for speech recognixon. In Waibel, A. and Lee, K. F., editors, Readings in Speech RecogniXon. MIT Press, Cambridge, MassachuseVs. Weiterlesen (Referenzen Dr. Zinsmeister): Jurafsky and MarXn (2008). Speech and Language Processing. 2 nd EdiXon. Upper Saddle River: PrenXce Hall, Kapitel Helmut Schmid. StaXsXsche Methoden in der Maschinellen Sprachverarbeitung. Unveröffentlichtes Manuskript zur Lehrveranstaltung. hvp:// stuvgart.de/ ~schmid/parsingii/current/snlp folien 4.ps 35