Maschinelle Sprachverarbeitung: Mathematische Grundlagen

Transkript

1 HUMOLDT-UNIVERSITÄT ZU ERLIN Istitut für Iformatik Lehrstuhl Wissesmaagemet Maschielle Sprachverarbeitug: Mathematische Grudlage Tobias Scheffer Ulf refeld Literatur Huag, cero, Ho: Spoke Laguage rocessig, Kapitel 3. Maig & Schütze: Foudatios of Statistical Natural Laguage rocessig Sstems. 1

2 Zufallsvariable Ei Eperimet ist ei defiierter rozess, i dem eie eobachtug erzeugt wird. Ereigisraum Ω: lle mögliche usgäge Zufallsvariable : bbildug des Ereigisraumes auf umerische Werte.. Wahrscheilichkeitsfuktio verteilt Wahrscheilichkeitsmasse 1 auf Elemete i Ω. Sicheres Ereigis: Ω 1. Umögliches Ereigis: 0. Mathematische Grudlage durch Kolmogoroff- iome. 3 Reche mit Wahrscheilichkeite We für alle i ud j gilt dass I J, da gilt i Σ i i. Im allgemeie Fall gilt: I J I + J I J. Σ. 4

3 3 5 edigte Wahrscheilichkeite Wie beeiflusst teilweises Wisse über de usgag eies Zufallseperimetes die Wahrscheilichkeite? ,..., i i 6 Uabhägigkeit Uabhägige Ereigisse: ud uabhägig, we: ud bedigt uabhägig gegebe C, we: Uabhägige Zufallsvariable: ud sid uabhägig, we für alle Werte ud gilt: Äquivalet: C C C,

4 4 7 aes Theorem aes Theorem: Äquivalet, mit zwei Zufallsvariable: aes Theorem gegebe Z:,,,, Z Z Z Z Z Z 8 aes Theorem Erklärug, Ursache für eie eobachtug: Ursache: -riori-wahrscheilichkeit, rior. eobachtugursache: Likelihood. Ursacheeobachtug: -osteriori- Wahrscheilichkeit, osterior. eobachtug Ursache Ursache eobachtug eobachtug Ursache u u Ursache u Ursache eobachtug eobachtug

5 aes Theorem Maimum-Likelihood-Hpothese: lausibelste Erklärug ahad der eobachtug. arg mau eobachtug Ursache Maimum--osteriori-Hpothese: Wahrscheilichste Erklärug ahad vo eobachtug ud Vorwisse. arg ma Ursache u eobachtug u Ursache u arg mau eobachtug Ursache u eobachtug arg ma eobachtug Ursache u Ursache u u u 9 aes Theorem: eispiel Die Erbtate ist tot. ruder b ud Schwester s sid verdächtig. DNS-alse der Spure ergibt: DNS-Spure Täterb 0.98 DNS-Spure Täters % aller Morde werde vo Mäer begage: Täterb 0.9, Täters 0.1. estimme Sie: Täterb DNS-Spure, Täters DNS-Spure. lausibelste Maimum-Likelihood- Hpothese argma t DNS-Spure Tätert Wahrscheilichste Maimum--osteriori- Hpothese argma t Tätert DNS-Spure 10 5

6 Wahrscheilichkeitsbegriffe Frequetistischer Wahrscheilichkeitsbegriff: Wahrscheilichkeite ur zur eschreibug itrisisch probabilistischer häomee. Z.. Zerfall vo Elemetarteilche. aesscher, subjektiver Wahrscheilichkeitsbegriff Wahrscheilichkeite beschreibe eie gewisse Grad vo Iformiertheit ud fehlede Iformatioe. Uterschiedliche Wahrscheilichkeite für dasselbe häome bei uterschiedlicher Iformiertheit. Z.. erso ist der Täter; keie echte Wahrscheilichkeit. 11 Zufallsvariable, Schreibweise Zufallsvariable häufig Großbuchstabe, usprägug kokreter Wert Kleibuchstabe, Mögliche Schreibweise für ussage: Wahrscheilichkeit dafür, dass Variable de Wert aimmt beträgt f. : f. ~ f. We eie Zufallsvariable ist z.. mit Werte 1, 3, 10, da sid auch +1 mit Werte, 4, 11 oder * Mit Werte, 6, 0 Zufallsvariable. 1 6

7 Diskrete, kotiuierliche Verteiluge Diskrete Zufallsvariable: 1 eispiel: zahl Köpfe bei 100 Müzwürfe. Kotiuierliche Zufallsvariable besitze Wahrscheilichkeitsdichtefuktio f, so dass: b [ a, b] f d, : f a 0, f 1 Verteilugsfuktio: df F f d, f d eispiel: IQ, Körpergröße 13 Erwartugswert, Stadardabweichug Erwartugswert eier Zufallsvariable: E bzw E p d Variaz: Erwartete quadrierte bweichug vo vo E Var E E E Var E E E p d Stadardabweichug: Erwartete bweichug σ Var Recheregel: ; σ σ ; Z Z + Z + σ σ + σ bei Uabhägigkeit 14 7

8 Schätze vo Wahrscheilichkeite Schätze eier Wahrscheilichkeit p 0. eobachtuge gezoge etspreched. cout 0 Relative Häufigkeit: pˆ Gesetz der große Zahl: pˆ p Kovergezrate vo pˆ gege p zetrales Thema. Häufig möchte wir eie gaze Verteilug schätze, icht ur 0 für eie Wert 0. Verteilugsfrei: Schätze vo für alle oder viele bei kotiuierliche Verteiluge Werte. arametrisch: ahme eier Wahrscheilichkeitsdichtefuktio θ, Schätze vo θ ahad der Date. 15 Erwartugstreue Schätzer Schätzer pˆ eier Wahrscheilichkeit p ka eie beliebige rozedur sei, die eie Zahl erzeugt. Schätzer ist erwartugstreu, we E pˆ p derfalls hat der Schätzer eie bias E pˆ p 16 8

9 iomialverteilug Würfe eier verbogee Müze. Schätze vo p kopf. Zufallsvariable pˆ. cout kopf Welcher Verteilug uterliegt pˆ? Neue Zufallsvariable coutkopf bei Würfe. p 1 p [ p, ] iomialverteilug ~ [ p, ], [ p, ], pˆ [ p, ] Mittelwert der iomialverteilug: p, Stadardabweichug: p1 p p1 p σ p 1 p, σ pˆ, p ˆ p 17 Normalverteilug estimme des IQ vo ersoe. Zufallsvariable IQ. 1 µ / σ IQ ~ N[ µ, σ ], piq N[ µσ, ] e πσ Verteilugsfuktio der Normalverteilug Φ IQ keie geschlossee Form IQ µ IQ ~ N[ µ, σ ] ~ N[0,1] σ N[0,1]: Stadardormalverteilug; Φ i Tabelle. Für IQ gilt: µ100, σ15. Wie hoch ist IQ>10? IQ IQ > 10 > 1 Φ Für welche Wert z gilt: IQ>z 3%? 18 9

10 iomial-, Normalverteilug iomial Normal Stadardormalverteilug Gauß-Kurve 19 Verteilugsfuktio der Normalverteilug 0 10

11 iomial-, Normalverteilug iomialverteilug ~ [ p, ], Wird approimiert durch Normalverteilug ~ N[ p, p1 p] 1 Schätze vo Normalverteiluge piq hier i der Vorlesug? eobachtuge für IQ; 1,..., ~ piq. 1 Geschätzter Mittelwert, µ Echte Variaz ubekat wege piq ubekat. σ IQ E IQ µ µ p d Empirische Variaz: 1 s 1 1 IQ i i µ Geschätzte Verteilug: N [ µ, s] N[ µ, s] N[ µ, σ ] i 1 i 11

12 Schätze vo Verteilugsparameter Wir werfe 4 mal ei Müze. 3 mal kommt Kopf. Wie groß ist p Kopf? Maimum-Likelihood-Hpothese: arg ma eobachtug Ursache u u arg ma cout kopf 3 ˆ ˆ arg ma ˆ ˆ cout kopf cout kopf 3 4 cout kopf 1 ˆ cout kopf 3 Schätze vo Verteilugsparameter ber: die weigste Müze sid so verboge. p3/4 ziemlich klei. p ist selbst eie Zufallsvariable, Verteilug uterschiedlich verbogeer Müze. Maimum--osteriori-Hpothese: arg ma u Ursache u eobachtug arg ma ˆ ˆ cout kopf arg ma ˆ ˆ ˆ cout kopf cout kopf cout kopf arg ma ˆ ˆ 1 ˆ ˆ cout kopf cout kopf + c 3+ c + c 4 + c kz, kz, Laplace Correctio. 4 1

13 Multivariate Verteiluge Zufallsvariable ka mehrdimesioaler Vektor 1,..., sei. EE 1,..., E T -dimesioaler Vektor. Kovariaz: Cov i, J E[ i µ i j µ j ] E[ i j ] E[ i ] E[ j ] Kovariazmatri: V ij ; Vij Cov i, J Spezialfall Variaz: σ σ var ii i i 5 Hpothesetests Wir werfe 4 mal ei Müze. 3 mal kommt Kopf. Ka es sei, dass trotzdem Kopf1/ ist? Wir werfe 400 mal ei Müze. 3 mal kommt Kopf. Ka es sei, dass trotzdem Kopf1/ ist? Idee eies statistische Tests: Nullhpothese: ahme, die wir mit Hilfe der Date widerlege möchte, hier: Kopf1/. estimme vo pdate Nullhpothese. We p groß ist, da ist die Nullhpothese plausibel. We p δ, da ist die Nullhpothese mit Kofideziveau vo 1-δ widerlegt z.. δ5%. Wir sage da, die bweichug sei sigifikat. Statistischer Test mit Kofideziveau 1-δ: Nullhpothese abgeleht Nullhpothese stimmt δ 6 13

14 Hpothesetests Herleitug eies Tests für das Müzwurfbeispiel Nullhpothese: Echte Wahrscheilichkeit ist µ. ˆ coutkopf, coutkopf/ estimme vo pdate Nullhpothese. ˆ ˆ [ µ, ] ˆ [ µ, ] N µ, µ 1 µ µ 1 µ σ ber: ist ubekat! ~ [ µ, ] ~ N ~ N µ, µ, µ 1 µ µ 1 µ µ 1 µ µ ~ N 0, µ ~ N 0,1 µ 1 µ 7 Hpothesetests T-Test. µ ~ N 0,1 µ 1 µ µ ~ Studet _ t[ ] 1 1 pproimatio: z-test für große. µ ~ N 0,1 µ 1 µ µ Z ~ N0,1 1 1 eispiel: dreimal Kopf.75.5 z 1 bei 4 Müzwürfe Dreimal Kopf bei z Müzwürfe

15 Hpothesetests Teststatistik : Zufallsvariable, auf der Test basiert: z.. ˆ µ Z Verteilug vo Z ist bekat z.. 1 / 1 ormal- oder t-verteilt. Eiseitige Tests: Nullhpothese z.. E µ oder E µ p Z z Zweiseitige Tests: Nullhpothese E µ ε E µ ε µ E ε Teststatistik: ˆ µ ε Z p Z z 1 / 1 p>δ: Nullhpothese icht verwerfe. p δ: Nullhpothese verwerfe. 9 Hpothesetests Müzwurf-eispiel: Zweiseitiger Test. 3/4: p * Z 0.5 * /400: p * Z * < z δ für δ5%: *Z z δ δ z δ /4: p>5%; z<z δ ; Nullhpothese icht verworfe. 3/400: p<5%; z>z δ ; Nullhpothese verworfe, Wahrscheilichkeit sigifikat vo ½ verschiede

16 Kofidezitervalle Schätzer liegt mit Wahrscheilichkeit 1-δ ierhalb des δ- Kofidezitervalles ε der gesuchte Wahrscheilichkeit. ˆ ε δ Eiseitiges / zweiseitiges Itervall: ˆ ˆ δ ε δ ε ˆ ε δ Kofidezitervall ε mit Normalverteilugsapproimatio leicht zu bereche: ˆ ˆ Eiseitig: ˆ 1 ˆ ˆ + z Zweiseitig: ˆ 1 ± z δ δ 1 1 z δ : Quatil der Stadardormalverteilug Nachschlage i Normalverteilugstabelle. ˆ 1.65 ˆ 1 ˆ aarweise Hpothesetests Zufallsvariable 1,. Ist 1? Zufallsvariable 1 - mit Mittelwert Stadardabweichug σ + σ 1 1 Test der Zufallsvariable 1 - wie scho gehabt eiseitig / zweiseitig, Nullhpothese, Teststatistik,

17 Etropie Etropie mittlerer Iformatiosgehalt Maß a Usicherheit. Iformatiosgehalt eies Ereigisses : I log Etropie der Zufallsvariable : mittlerer Iformatiosgehalt der Ereigisse. H E[ I ] log I # its zum Übertrage vo i optimalem Code H Mittlere # its zum Übertrage eies Ereigisses i optimalem Code. 33 edigte Etropie bhägige Zufallsvariable ud. Wie groß ist Usicherheit bzgl, we wir Wert vo kee? H log Mittelwert über alle Werte der Variable : H H log, log 34 17

18 Mutual Iformatio bhägige Zufallsvariable ud. Wie viel verrät über? I ; H H 1 1 log, log, log E log, log,, 35 erpleität Mittlerer Verzweigugsfaktor : Wie viele gleich wahrscheiliche lterative gibt es? H eispiel: Spracherkeer für Ziffer, 10 gleich wahrscheiliche lterative. 1 H 10 log erpleität eier Sprache Verzweigugsfaktor für die Suche Schwierigkeit des arsieres