Statistische Sprachmodelle

Transkript

1 Uiersität Potsdam Istitut für Iformatik Lehrstuhl Maschielles Lere Statistische Sprachmodelle obias Scheffer Paul Prasse Michael Großhas

2 Statistische Sprachmodelle Welche Sätze sid Elemete eier Sprache. Durch Grammatik eier Sprache beschriebe. Wie ahrscheilich ist ei bestimmter Satz i eiem Kotext: P( ich pflücke Beere ist ielleicht 0.000, P( ich pflücke Bäre ist ielleicht Statistische Sprachmodelle: N-Gramme, Probabilistische kotextfreie Grammatike. 2

3 Statistische Sprachmodelle Wozu? Spracherkeug: Akustisches Modell + Sprachmodell. Phoe Wörter ich Sprachmodell bleibe heute Abed hier du bist krak 3

4 Statistische Sprachmodelle Wozu? Hadschrifterkeug: Schreibmodell + Sprachmodell. Schreibmodell Sprachmodell

5 Statistische Sprachmodelle Wozu? Rechtschreibkorrektur: Fehler- / Vertippmodell + Sprachmodell. Vertippmodell Gauß-Blob ich Sprachmodell bleibe heute Abed hier du bist krak 5

6 Statistische Sprachmodelle Wozu? ext Übersetzug: Übersetzugsmodell + Sprachmodell der Zielsprache. Übersetzugsmodell delete file x ( delete Verb ( file Nou ( x ID VP Verb delete S Nou file NP ID x ich Sprachmodell bleibe heute Abed hier du bist krak Uix rm i x 6

7 Statistische Sprachmodelle Wozu? Smartphoe-astatureigabe : Normalerteilte Figerpositio + Sprachmodell. Normalerteilte Figerpositio Gauß-Blob ich Sprachmodell bleibe heute Abed hier du bist krak 7

8 Statistische Sprachmodelle Die Formel Satz o Bayes ( DIE Formel : X Likelihood Prior ich bleibe hier heute Abe d du bist krak 8

9 N-Gramm-Modelle Wahrscheilichkeit für eie gegebee Satz: P( ich pflücke Beere im Wald = P( ich x P( pflücke ich x P( Beere ich pflücke x P( im ich pflücke Beere x P( Wald ich pflücke Beere im. Problem: Zu iele Wahrscheilichkeite. Marko-Aahme (N-. Ordug (bsp: 2. Ordug: P( Wald ich pflücke Beere im = P( Wald Beere im. 9

10 N-Gramm-Modelle Marko-Aahme (N-. Ordug (bsp: 2. Ordug: P( Wald ich pflücke Beere im = P( Wald Beere im. Modell speichert Wahrscheilichkeite für Wortfolge der Läge maximal N. N=: Uigramm, N=2: Bigramm, N=3: rigramm. 0

11 N-Gramm Modelle Vorhersage Vorhersage des ächste Wortes: Bestimme P( t,..., t-. Die meiste Wortfolge,..., t tauche i eiem Korpus ur eimal auf, ie köe ir dafür Wahrscheilichkeite ermittel? Marko-Aahme (N--ter Ordug: Nur die letzte N- Wörter sid etscheided für das ächste (N-te Wort. P( t+n t+n-,..., = P( t+n t+n-,..., t Igoriere Wörter t bis

12 N-Gramm-Modelle Marko-Aahme Wahrscheilichkeit für Wort t+n ergibt sich aus Wörter t bis t+n-. ich pflücke heute achmittag ieder... [Beere], N = 5 ich jage heute achmittag ieder... [Bäre] N = 4 N = 4 N = 5 N4: Eta gleiche Wahrscheilichkeite für ächstes Wort; N5: Uterschiedliche Wahrscheilichkeite. 2

13 N-Gramm-Modelle Wahl o N Großes N: Weige Beispiele für jedes N-Gramm; Schätze der Wahrscheilichkeite schierig. Vorteil: Weig Kotextiformatio geht erlore. Nachteil: Viele Wahrscheilichkeite müsse geschätzt erde (iele 0. Kleies N: Viele Beispiele, aber Vorhersage ugeau da erschiedee Wortfolge als gleich behadelt erde. Vorteile: Weige Wortfolge, die häufig orkomme. Vorhersage stützt sich auf iele Beispiele. Nachteil: Kotextiformatio geht erlore. 3

14 N-Gramm-Modelle Wahl o N Wie iele Wahrscheilichkeite müsse ir kee? N= (ullte Ordug: ca. 20,000 erschiedee Wortfolge der Läge, N=2 (erste Ordug: ca. 400,000,000, N=3 (zeite Ordug: ca 8 x 0 2. N=4 (dritte Ordug: ca.6 x 0 7. N-Gramme über Wortstämme, statt über Wörter. Etas Iformatio geht erlore, aber deutlich eiger Wahrscheilichkeite müsse geschätzt erde. Beispiel: Kategorie kategor Kategorie kategor 4

15 N-Gramm-Modelle Lere, Multiomialerteilug Verteilug über m erschiedee Beleguge eier Zufallsariable bestimmt durch Parameterektor q=(q,,q m mit der Eigeschaft q i 0, S i q i = Wahrscheilichkeitserteilug: P x,,x N x x,,x q q x Multiomialkoeffiziet m 5

16 Multiomialerteilug Beispiel Bei eiem Roulett-Spiel gibt es 38 Verschiedee Möglichkeite: 8 mal rot, 8 mal scharz, 2 mal grü. Daraus ergebe sich folgede Parameter der Multiomialerteilug: θ = θ 2 = 8 38, θ 3 = Frage: Was ist die Wahrscheilichkeit für 4 mal rot, 2 mal scharz ud 4 mal grü? Atort: P 4,2, ! !2!4! x q P x,,x N x,,x q x m 6

17 N-Gramm-Modelle Lere, Dirichleterteilug Kojugierter Prior zur Multiomialerteilug. Verteilug über m-dimesioale Vektore mit reellertige Eiträge i [0;] mit Summe der Eiträge =. Parametrisiert durch m-dimesioale Vektor a mit positie Eiträge. Dichtefuktio: erallgemeierte Beta-Fuktio Spezialfall bei m=2: Beta-Verteilug 7

18 N-Gramm-Modelle Lere Korpus D ist Folge o Zufallsariable i ; Wertebereich ist das Vokabular bis K. Beobachtuge: x : Azahl der Vorkomme der -Gramme...,..., x K... K bis K K i D. Parameter q i θ ( q q... K... K ( i... i... i... P, θ i Wie iele Parameter gibt es? 8

19 9 N-Gramm-Modelle Wahrscheilichkeit eies Satzes Wahrscheilichkeit des Satzes bei gegebeem N-Gramm-Modell: Beispiel: 3-Gramm-Modell: N i N i N i i i i N i i i i i i P P P P P P P P P ,..., (,..., (,..., (... ( (,..., (... ( (,..., ( q q q P(,..., P( P( 2...P(,..., P( P( 2 P( i i, i2 i 3 q q 2 q i i i2 i 3,..., Marko- Eigeschaft

20 N-Gramm-Modelle Empirische Iferez der Modellparameter Parameter des Modells sid die echte Auftretesahrscheilichkeite θ ( q q. Wahrscheilichkeite sid icht bekat. Echte Wahrscheilichkeite sid i eiem Korpus o raiigsdokumete reflektiert. Empirische Iferez: Berechug des Posteriors P( θ D P( D θ P( θ... K... MAP-Hypothese: Wahrscheilichste Parameter gegebe das Korpus D. K 20

21 N-Gramm-Modelle Iferez: Maximum-Likelihood Posterior: Likelihood: Produkt o Multiomialerteiluge. Maximum-Likelihood- (ML-Schätzer: P( θ D P( D θ P( θ P( D θ q P( t t t t t t t,..., t... i i,...,, θ q... ML θ arg max P( D θ arg max PD... q Auftrittshäufigkeit o... i i K... K x ML i... i q i... i x Laut Defiitio der Multiomialerteilug 2

22 N-Gramm-Modelle Iferez: Maximum A-Posteriori Posterior: Prior: Dirichlet, kojugiert zur Multiomialerteilug. P( θ D P( D θ P( θ K... P(q K P Dirichlet (q...,..., q K... a a K Posterior: Wieder Dirichleterteilt. P(q D P(D K... K K... K q t t t,..., t P Dirichlet (q...,..., q K... a a K P Dirichlet q...,...,q K... a x... a K x K Likelihood Prior 22

23 N-Gramm-Modelle Iferez: Maximum A-Posteriori Posterior: ieder Dirichleterteilt. MAP-Hypothese: P( θ D arg max x x K... i q... i... K... a K ( a j P( θ D i j Dirichlet... K K K... P q,..., q a Soderbehadlug <N: Wahrscheilichkeite ur aus Satzafäge schätze. a x a=2: Laplace Smoothig x 23

24 N-Gramm-Modelle Iferez der Hyperparameter Eistelle der Hyperparameter a. a: Wahrscheilichkeit für ei N-Gramm, das im raiigskorpus icht auftaucht: 0 a i q ;... i K x ( a... j Bei eiem Wert für alle a:. j x... a (a K 24

25 N-Gramm-Modelle Iferez der Hyperparameter Wie iel Wahrscheilichkeitsmasse sollte auf ugesehee Kombiatioe etfalle? eile Korpus i zei eile. Zähle, ie iele Kombiatioe... im zeite eil, aber icht im erste eil auftauche. Stelle da a so ei, dass x im Durchschitt über alle Kotexte (a K dem geüschte Verhältis etspricht. Kleie Schäche des Verfahres: Im erste eil des Korpus komme mehr N-Gramme icht or als im gesamte Korpus. (Wahrscheilichkeit für ugesehee Kombiatioe ird überschätzt a 25

26 N-Gramm-Modelle Eistelle o N (Marko-Grad N ist etscheideder Parameter des N-Gramm- Modells. Großes N : iele Wahrscheilichkeite müsse geschätzt erde. Kleies N : zu iel Kotextiformatio geht erlore. Kompromiss: Iterpolatio. 26

27 N-Gramm-Modelle Iterpolatio Dem N-Gramm-Sprachmodell liegt ei geeraties Prozessmodell zugrude. Wörter erde iterati ausgeürfelt. Jedes Wort i ird ach der Wahrscheilichkeit P,..., ausgeürfelt. ( i i i Geeraties Modell für iterpoliertes N-Gramm: Für jedes Wort i ird zuächst Marko-Grad zische ud N ach p( gezoge. Wort i ird da ach P( i i,..., i gezoge. 27

28 Iterpoliertes N-Gramm-Modell Wahrscheilichkeit eies Satzes Wahrscheilichkeit des Satzes,, mit iterpoliertem N-Gramm-Modell: P(,..., P( P( 2...P(,..., Beispiel: N = 3. P(,..., P( (p(p( 2 p(2p( 2... p(p(,..., N i N p( p i (P( i i,..., p i (P( i i,..., i P( ( p( P( 2 i 2 p(2 P( 2 3 N i N p( P(, i 3 i i i2 28

29 29 Iterpoliertes N-Gramm-Modell Iferez der Parameter Likelihood für iterpoliertes N-Gramm: Posterior: Problem beim Parameterschätze: t ist latete, ubeobachtete Variable. t N t t N t t t t t t t t t t t p P P D P,..., (,,..., ( ( ( q θ θ K K K K K K K K K t t t t t N Dirichlet N Dirichlet t N t x x P p P p p D P ,...,,..., (,..., ( ( ( ( a a q q a a q q q θ

30 Iterpoliertes N-Gramm-Modell Parameterschätzug Beim Schätze der Parameter der N-Gramm- Modelle müsste ir isse, elches Wort mit elchem Abhägigkeitsert N erzeugt urde. Nur die Wörter, die mit Wert N geeriert urde sollte i Schätzug des N-Gramm-Modells eigehe. Defiitio Zufallsariable z i : Wert z i = zeigt a, dass Wort i mit Abhägigkeit N gezoge urde. Problem: Werte der z i sid aber ubekat. 30

31 Iterpoliertes N-Gramm-Modell Parameterschätzug Problem: Schätzproblem (Schätze der Paramater θ ( q q mit latete Variable z i.... K... K Lösug: Expactatio-Maximizatio-Algorithmus. Idee: Begie mit zufällige Parameter. Expactatio-Schritt: Bereche Wahrscheilichkeite p(z i gegebe die Date ud Parameter. Maximizatio-Schritt: Schätze θ ( q... q K... basiered auf de aktuelle Werte der p(z i. Wiederhole bis zur Koergez. K 3

32 Expactatio Maximizatio -Algorithmus Motiatio ud Beispiel Müzurfexperimet mit zei Müze: Müze A mit Parameter θ A Müze B mit Parameter θ B Ziel: Parameter θ = θ A, θ B schätze. Experimet: Wiederhole für t =,, 5: Wähle zufällig eie Müze z t = {A, B} ud irf die Müze 0 mal (x t K, Z 0. Parameterschätzug (ML: θ A = # Würfe mit Kopf für Müze A # Würfe mit Müze A Wahrscheilichkeit für Zahl Aalog fürθ B Problem: Wie Parameter schätze, e die Zufallsariable z t ubekat sid? 32

33 Expactatio Maximizatio Basisalgorithmus Idee: We ir isse, elche Müze a georfe urde, ist Parameteriferez eifach (siehe letzte Folie. θ A = # Würfe mit Kopf für Müze A # Würfe mit Müze A Algorithmus (für Müzurfexperimet:. Starte mit iitiale Parameter θ A ud θ B. 2. Expactatio: Bestimme für alle t =,, 5 Müzurfserie, mit elcher Wahrscheilichkeit z t die Müze die Serie produziert habe. 3. Maximizatio: Nutze z,, z 5, um die optimale Parameter θ A ud θ B zu bestimme. 4. Wiederhole 2. ud 3. bis zur Koergez. 33

34 Expactatio Maximizatio Beispiel ( ( Müze A Müze B ubekat z K Z Z Z K K Z K Z K z 2 K K K K Z K K K K K z 3 K Z K K K K K Z K K z 4 K Z K Z Z Z K K Z Z z 5 Z K K K Z K K K Z K θ A (0 = 0.6 θ B (0 = 0.5 Expactatio 0.45 x A 0.55 x B 0.8 x A 0.2 x B 0.73 x A 0.27 x B 0.35 x A 0.65 x B 0.65 x A 0.35 x B θ A ( = θ B ( = K, 2.2 Z 2.8 K, 2.8 Z 7.2 K, 0.8 Z.8 K, 0.2 Z 5.9 K,.5 Z 2. K, 0.5 Z.4 K, 2. Z 2.6 K, 3.9 Z 4.5 K,.9 Z 2.5 K,. Z 2.3 K, 8.6 Z.7 k, 8.4 Z Maximizatio (0 θ A 0.8 (0 θ B 0.52 Iitialisierug 34

35 Iterpoliertes N-Gramm-Modell Expectatio-Schritt p(z i : Wahrscheilichkeit dafür, dass i o - Gramm-Modell geeriert urde: p( z p( p(,..., p( i i i i i 35

36 Iterpoliertes N-Gramm-Modell Maximizatio-Schritt MAP-Schätzer: Zählariable: arg max P( q D q i... i i x x a... i i i i K... i i i i i i i ( a K x p ( z [[ ]]... t t t t i i i Idikatorfuktio 36

37 N-Gramm-Modelle Azahl der Parameter: Beispiel IBM agora: Korpus mit 365 Mio Wörter, ( Verschiedee 6.8x0 0 2-Gramme, 4 Mio dao tauche auf, 8 Mio ur eimal; 2.2% aller eue 2-Gramme sid ubekat..8x0 6 3-Gramme, 75 Mio tauche auf, 53 Mio eimal, 4.7% aller eue 3-Gramme sid ubekat. 37

38 N-Gramm-Modelle Ealuatio N-Gramm auf raiigskorpus gelert. Wie gut ist es? Beertug auf estkorpus. Nicht auf raiigskorpus. Wie sehr überrascht jedes eue Wort des estkorpus? Gutes Modell Weiger Überraschug. Etropie H: Wie iele Bit brauche ich um ächstes Wort zu kodiere? Perplexität ( mittlerer Verzeigugsfaktor : 2 H. Miimum der Etropie = Miimum der Perplexität e gelertes Modell gleich echtem Modell ist. 38

39 N-Gramm-Modelle Ealuatio N-Gramm-Modell ud ei lager ext W. Kreuzetropie des extes gegebe das Modell: H W m = W log 2 P m W H W m = W log 2 P m = W Perplexität des Modells (durchschittlicher Verzeigugsfaktor: PP W m = 2 H(W m Wahrscheilichkeit für Wortfolge für ei Gegebees Modell m i log 2 P m ( i i,, 39

40 N-Gramm-Klassemodelle Mache Wörter habe deselbe Kotext. Wir sehe us [Motag Diestag...] Nachmittag. Idee: Wortklasse. (=c. Ei N-Gramm-Modell ist ei Klassemodell gd. P(,..., P( c P( c c,..., c Klassemodell hat eiger Parameter (e C < V. N-Gramm-Klassemodell = N-Gramm-Modell, e jedes Wort eie eigee Klasse hat. N-Gramm-Klassemodell mit eiem Wort pro Klasse ird ormal aus raiigskorpus gelert. Da erde Klasse zusamme gelegt. 40

41 N-Gramm-Klassemodelle Beispiel-Dedrogramme 4

42 Beispielaufteilug i 000 Klasse Beispielklasse 42

43 Aedug o N-Gramme Rechtschreibkorrektur Gegebe: Sigal s,, s ; gesucht: Wahrscheilichste beabsichtigte Abfolge,,. Fehlermodell: p(s i i. Z.B.: Dekodierug: arg max arg max arg max p( si i exp dedit ( si, i 2d phoetisch( si, i 3d,...,,...,,..., p(,..., p( s i,..., s p( s ( s, keyboard i i i s,..., s,..., p( i i p(,..., i,..., i Satz o Bayes Uabhägigkeitsaahme + Marko Aahme 43

44 Aedug o N-Gramme Rechtschreibkorrektur Dekodierug: arg max arg max,...,,..., p(,..., i p( s Naie Implemetierug:,..., s p(,..., Suche über alle,, i O(V. Mit dyamischer Programmierug: s Suche über alle,, i O(V. i Idee: abelle mit p(,, - i O(V orbereche. i Da liear durch Sigalabfolge gehe, für jedes - Gramm ur die ahrscheilichste Historie merke i i i 44

45 Aedug o N-Gramme Rechtschreibkorrektur Dekodierug: arg max arg max,...,,..., p(,..., i Weitere Optimierug: Für jedes s i, ur die k beste i i Erägug ziehe. Suche i O(k. p( s,..., s p(,..., Optimierug für Suchmaschie: i s i Für häufig falsch geschriebee Suchafrage (z.b. Gadaffi ahrscheilichste Bedeutug i Cache orhalte. i i i 45

46 Aedug o N-Gramme Auto-Complete Dekodierug: arg max Suche mit dyamischer Programmierug: O(V. k arg max,..., k p(,..., θ,..., p( i i i,..., i 46

47 Zusammefassug Sprachmodelle bestimme Wahrscheilichkeit für Elemete (z.b. Sätze eier Sprache. N-Gramme: Marko Aahme (N-. Ordug. Lere der Parameter: Empirsche Iferez der Modellparameter (Wahrscheilichkeite für N- Gramme. Ereiterug: Iterpoliertes N-Gramm-Modell. Lere der Parameter: EM-Algorithmus. Wahrscheilichkeite für N-Gramme + Wahrscheilichkeite für ei bestimmtes N. 47

48 Frage? 48