Bayessches Lernen (II)

Transkript

1 Uiversität Potsdam Istitut für Iformatik Lehrstuhl Maschielles Lere Bayessches Lere (II) Christoph Sawade/Niels Ladwehr Jules Rasetahariso Tobias Scheffer

2 Überblick Wahrscheilichkeite, Erwartugswerte, Variaz Grudkozepte des Bayessche Leres (Bayessche) Parameterschätzug für Wahrscheilichkeitsverteiluge Bayessche Lieare Regressio, Naive Bayes

3 Parameter vo Verteiluge schätze Oft köe wir aehme, dass Date eier bestimmte Verteilug folge Z.B. Biomialverteilug für N Müzwürfe Z.B. Gaußverteilug für Körpergröße, IQ, Diese Verteiluge sid parametrisiert Biomialverteilug: Parameter µ ist Wahrscheilichkeit für Kopf Gaußverteilug: Parameter µ, σ für Mittelwert ud Stadardabweichug Echte Wahrscheilichkeite/Parameter kee wir ie. Welche Aussage über echte Wahrscheilichkeite köe wir mache, gegebe Date? 3

4 Parameter vo Verteiluge schätze Problemstellug Parameter vo Verteiluge schätze: Gegebe parametrisierte Familie vo Verteiluge (z.b. Biomial, Gauß) mit Parametervektor θ Gegebe Date L Gesucht: a-posteriori Verteilug P( θ L) bzw. maximum a-posteriori Schätzug * θ Verwede Bayessche Regel: P( θ L) = = arg max P( θ L) θ P( L θ ) P( θ ) P( L) 4

5 Biomialverteilte Date Schätze Beispiel: Müzwurf, schätze Parameter μ =θ N Mal Müze werfe. Date L: N k mal Kopf, N z mal Zahl. Beste Schätzug θ gegebe L? Bayes Gleichug: Likelihood der Date gegebe Parameter, wie gut erklärt Parameter die Beobachtuge? A-posteriori Verteilug über Parameter, charakterisiert wahrscheiliche Parameterwerte ud verbleibede Ugewissheit P( θ L) = P( L θ ) P( θ ) P( L) A-priori Verteilug über Parameter, repräsetiert Vorwisse 5

6 Biomialverteilte Date Schätze Likelihood der Date: (θ = μ Wahrscheilichkeit für Kopf ) Likelihood ist biomialverteilt: PL ( θ) = PN (, N θ) = Bi( N N, θ) k z PLθ ( ) k Nk + Nz Nk = θ ( θ) Nk Wahrscheilichkeit, bei N Müzwürfe N -mal Kopf ud N Z -mal Zahl zu sehe, für Müzparameter θ N z k N = N + N k z 6

7 Biomialverteilte Date Schätze Was ist der Prior P(θ ) im Müzwurfbeispiel? ) Versuch: Kei Vorwisse Beispiel: :0 θ P( θ ) = Dichte 0: sost Date L = {Zahl,Zahl,Zahl} MAP Modell: * PL ( θ) P( θ) θ = arg max θ [0,] P( θ L) = arg maxθ [0,] PL ( ) = arg max θ [0,] PL ( θ) = arg max θ [0,] θ ( θ) = 0 0 Schlussfolgerug: Müze wird iemals Kopf zeige Schlecht, Überapassug a Date ( Overfittig ) 7

8 Biomialverteilte Date Schätze ( θ [0,]) Was ist der Prior P(θ ) im Müzwurfbeispiel? Besser mit Vorwisse: Uwahrscheilich, dass Müze immer Kopf oder immer Zahl zeigt Gutes Modell für Vorwisse über θ : Beta-Verteilug. P( θ) = Beta( θ αk, αz) Γ( αk + αz) θ k = ( θ ) Γ( α )Γ( α ) k z α α Gamma-Fuktio Γ(α) kotiuierliche Fortsetzug der Fakultätsfuktio z t z t e dt Γ ( ) = : Γ ( ) = ( )! 0 z 0.5 Beta( θ 5,5) 8

9 Biomialverteilte Date Schätze α α k ud α z sid Parameter der Beta-Verteilug ( Hyperparameter ) Beta-Verteilug ist Verteilug über Verteiluge K = 5, α = 5 α =, α = α = 4, α = Z Normalisierte Dichte K 0 Z Beta( θ α, α ) dθ = K Z K Z 9

10 Biomialverteilte Date Schätze Warum gerade diese a-priori-verteilug? Strukturelle Ählichkeit mit Likelihood: Prior Likelihood Γ( αk + αz) k P( θ) = Beta( θ αk, αz)= θ ( θ) Γ( α )Γ( α ) α α N + N k PL ( θ) = PN ( k, Nz θ) = θ ( θ) Nk k Z N N Eifach, Beobachtuge zu berücksichtige: Produkt aus Likelihood ud Prior hat wieder dieselbe Form wie Prior P( θ L) PL ( θ) P( θ) k z z z 0

11 Biomialverteilte Date Schätze We wir de Beta-Prior i Bayes Gleichug eisetze, da: PL ( θ) P( θ) P( θ L) = PL ( ) = Bi( NK N, θ ) Beta ( θ αk, αz ) Z Nk + Nz Nk N Γ( α z k + αz) k = θ ( θ) θ ( θ) Z Nk Γ( αk) Γ( αz) αk+ Nk α z+ Nz = θ ( θ) Z ' =? α α z

12 Biomialverteilte Date Schätze We wir de Beta-Prior i Bayes Gleichug eisetze, da: PL ( θ) P( θ) P( θ L) = PL ( ) = Bi( NK N, θ ) Beta ( θ αk, αz ) Z Nk + Nz Nk N Γ( α z k + αz) k = θ ( θ) θ ( θ) Z Nk Γ( αk) Γ( αz) αk+ Nk α z+ Nz = θ ( θ) Z ' Γ( αk + Nk + αz + Nz) αk+ Nk α z+ Nz = θ ( θ) Γ( αk + Nk) Γ ( αz + Nz) = Beta( θ α + N, α + N ) k k z z α α Beta-Verteilug ist kojugierter Prior: Posterior ist wieder Beta-verteilt z

13 Zusammefassug Bayessche Parameterschätzug Biomialverteilug Bayessche Regel P( θ L) = P( L θ ) P( θ ) P( L) Posterior P(θ L): Wie wahrscheilich ist Modell θ, achdem wir Date L gesehe habe? Vorwisse P(θ ) ud Evidez der Traiigsdate L werde zu euem Gesamtwisse P(θ L) itegriert. Beispiel Müzwurf: Vorwisse Beta(θ α k, α z ) ud Beobachtuge N k, N z werde zu Posterior Beta(θ α k +N k, α z +N z ). 3

14 Müzwurf: Wahrscheilichste Wahrscheilichkeit Wahrscheilichster Parameter θ. arg max P( θ L) = arg max Beta( θ α + N, α + N ) Für α = α = ergibt sich ML Schätzug Iterpretatio der Hyperparameter α / α : θ Ableite, Ableitug ull setze ( ) α, α z k αz / N / N z Γ( αk + αz + Nk + Nz) = arg max θ θ ( θ) Γ( α + N ) Γ ( α + N ) = N θ Nk + αk + N + α + α k z k z k k z z k k z z α + N α + N k k z z Normalisierer, uabhägig vo θ αk Pseudocouts, die auf beobachtete Couts aufgeschlage werde k z k wie oft im Lebe Müzwurf mit Kopf / Zahl gesehe? z k 4

15 Müzwurf: Wahrscheilichste Wahrscheilichkeit Beispiel MAP Schätzug Parameter Prior P( θ) = Beta( θ 5, 5) Posterior ach 50x Kopf, 5x Zahl: P( θ N = 50, N = 5) = Beta( θ 55, 30) K Z * 54 MAP Schätzug: θ = arg max θ P( θ NK = 50, NZ = 5) =

16 Bayessche Schätzug als Sequetielles Update der Verteilug Geburt Kopf, Zahl Kopf NK NZ Nk Nz Beta( θ α k N α + + k, z + N z) = ( ) Beta( k z) Z N θ θ θ α, α Posterior K Prior Likelihood 6 Kopf, 37 Zahl 6

17 Verallgemeierug: Würfelwurf statt Müzwurf Müzwurf: Ausgäge. Prior Beta-verteilt, Biomiale Likelihood, Posterior wieder Beta-verteilt. Modell für Prozesse mit biärem Ergebis. Verallgemeierug Würfelwurf: k Ausgäge. Prior Dirichlet-verteilt, Likelihood Multiomial, Posterior wieder Dirichlet-verteilt. Modell für diskrete Prozesse mit mehrere mögliche Ergebisse 7

18 Eischub: Begriff Schätzer Wir habe us mit der Schätzug vo Parameter vo Verteiluge aus Date beschäftigt Formalisierug: ei Schätzer ist ei Verfahre, das Beobachtuge L auf eie Schätzwert abbildet. z.b. Müzwurf: Beobachtug N k, N z, schätze Müzparameter Schätzer für (ubekate) Wert θ wird mit ˆ θ bezeichet Schätzer ist Zufallsvariable, Verteilug bestimmt durch die Verteilug plθ ( ) der Date gegebe de echte Parameter Schätzer heißt erwartugstreu, we ˆ [ ] E θ = θ 8

19 9 Schätzer Beispiel: Müzwurf, Beobachtug N k, N z. MAP-Schätzer Müzwurf: ML-Schätzer Müzwurf: ) ( arg max ) ( arg max ˆ = +, + = = z z k k k k z z k k MAP N N N N N Beta L P α α α α α θ θ θ θ θ z k k N N ML N N N L P z k + = = = ) ( arg max ) ( arg max ˆ θ θ θ θ θ θ

20 Schätzer Maximum Likelihood Schätzer erwartugstreu: Ageomme echter Müzparameter ist θ Da Erwartugswert über mögliche beobachtete Müzwürfe N K N N ˆ θ ML = N = = = N N N Kopf Idikator für = θ N i= eizele Müzwurf = θ [ N ] X [ X ] MAP Schätzer icht erwartugstreu: ˆ Nµ + αk θ MAP = N + α + α K Z Erwartugswert additiv K i i i= i= N 0

21 Schätze Kotiuierlicher Date: Normalverteilug Normalverteilug häufige Wahl zur Modellierug kotiuierlicher ZV Hier: eidimesioale Date, uivariate Normalverteilug Mittelwert-Parameter µ Variaz-Parameter Dichtefuktio: σ ( x µ ) ( x µ, σ ) = exp / (πσ ) σ

22 Normalverteilte Date Schätze: ML Schätze eier Normalverteilug aus Date Aahme: Date folge Normalverteilug µ σ Aber Mittelwert ud Stadardabweichug ubekat Gegebe: Date L bestehed aus uabhägige Datepukte x x ~ ( x µσ,..., x i, ) uabhägig gezoge µ Gesucht: Schätzuge, für die ubekate Parameter, µ σ σ

23 Normalverteilte Date Schätze: ML Eifachster Asatz: Maximum Likelihood, fide ( µσ, ) = arg max pl ( µσ, ) µσ, Bereche der Likelihood pl ( µσ, ) = p( x,..., x µσ, ) = = = i= i= i= px ( µσ, ) i x µσ ( i, ) ( x µ ) exp σ i / ( πσ ) Datepukte uabhägig Verteilugsaahme eisetze 3

24 Normalverteilte Date Schätze: ML Logarithmiere: arg max pl ( µσ, ) = arg max log pl ( µσ, ) Log-Likelihood: µσ, µσ, log p( L µσ, ) = log i= ( xi µ ) exp / ( πσ ) σ / i = log ( πσ ) exp i= σ x i σ i= ( x µ ) log ) lo ( = ( π gσ µ ) 4

25 Normalverteilte Date Schätze: ML Log-Likelihood log pl ( µσ, ) = log(π) log σ ( µ ) x i σ i = Maximierug über : betrachte partielle Ableitug log pl ( µσ, ) µ Null setze: i = ( ) xi µ σ i= = x i µ σ i= Null setze µ = x Ituitiv: geschätzter Mittelwert = Durchschitt i= µ 5

26 Normalverteilte Date Schätze: ML Log-Likelihood log pl ( µσ, ) = log(π) log σ ( µ ) Maximierug über : betrachte partielle Ableitug log px ( ˆ,..., x, ) ( ˆ µσ = + x ) 4 i µ σ σ σ Null setze: i σ = ( x µ ) i= σ = σ x i σ i = i= ( xi ˆ) µ σ i= Null setze Ituitiv: geschätzte Variaz = durchschittliche Abweichug vom Mittelwert 6

27 Normalverteilte Date Schätze: ML Mittelwert-Schätzer für Normalverteilug erwartugstreu? µ = x i i= = [ xi ] = = µ i= i= µ Schätzer µ erwartugstreu 7

28 Normalverteilte Date Schätze: ML Variaz-Schätzer für Normalverteilug erwartugstreu? σ = xi x j i= j= =... = σ Schätzer σ icht erwartugstreu Variaz wird systematisch uterschätzt Schätzer ist aber kosistet der systematische Fehler verschwidet für 8

29 Normalverteilte Date Schätze: Beispiel ML Schätzug Wir wolle IQ eier Populatio schätze IQ typischerweise ormalverteilt mit µ = 00, σ = 5 Wir wolle IQ-Verteilug schätze für Subpopulatio Wohl auch ormalverteilt, aber evtl adere Parameter Itelligeztest mit Probade: ergibt uabhägige Datepukte x,..., x Aahme: Normalverteilug mit ubekatem Mittelwert ud ubekater Variaz x x µσ ~ (, ) Maximum-Likelihood Schätzug i µσ, 0 0 9

30 Normalverteilte Date Schätze: Beispiel ML Schätzug Simulatio: =3 Pukte ziehe aus echter Verteilug mit µ = 0, σ = 5, ML Parameter schätze Dichte p(x) Datepukte ML-Schätzug Verteilug: ( x µ, σ ) µ = 3. 4, σ = 8. Echte Verteilug: xi ~ (, ) x µσ µ = 0, σ = 5 x (gemesseer IQ) 30

31 Normalverteilte Date Schätze: Beispiel ML Schätzug Simulatio: =30 Pukte ziehe aus echter Verteilug mit µ = 0, σ = 5, ML Parameter schätze Dichte p(x) Datepukte ML-Schätzug Verteilug: ( x µσ, ) µ = 6. 4, σ = 3.7 Echte Verteilug: xi ~ (, ) x µσ µ = 0, σ = 5 x (gemesseer IQ) 3

32 Normalverteilte Date Schätze: Beispiel ML Schätzug Simulatio: =500 Pukte ziehe aus echter Verteilug mit µ = 0, σ = 5, ML Parameter schätze Dichte p(x) Datepukte ML-Schätzug Verteilug: ( x µσ, ) µ = 0. 3, σ = 5. Echte Verteilug: xi ~ (, ) x µσ µ = 0, σ = 5 x (gemesseer IQ) 3

33 Normalverteilte Date Schätze: Bayessche Schätzuge Bisher ur ML-Schätzug Bayessche Schätzuge für Parameter µσ,? Brauche geeigete a-priori Verteilug Im Allgemeie gemeisame a-priori Verteilug Zuächst eifacher Fall: σ Variaz bekat µ Schätzug des Mittelwertes mit Prior p ( µ ) p ( µσ, ) 33

34 Normalverteilte Date Schätze: Bayessche Schätzuge Kojugierter Prior zur Normalverteilug mit bekater Variaz ist Normalverteilug Prior: p ( µ ) = ( µ µ, σ ) Vermuteter Mittelwert pl ( µ ) p( µ ) Posterior: p( µ L ( µ µ, σ p( L) ) = = ) σ σ0 σσ0 mit µ = µ 0 + µ, ML σ = σ σ + σ σ + σ , x = xi ) i= Likelihood: p ( x,... µ ) ( µσ, Wie stark ist Vorwisse? ML-Schätzug Posterior wieder ormalverteilt! 0 34

35 Normalverteilte Date Schätze: Bayessche Schätzuge Weder Mittelwert och Variaz ist bekat: geeigeter kojugierter Prior ist Normal-Gamma Defiiere λ = "Precisio" σ Kojugierter Prior ist Produkt aus Normalverteilug ud Gamma-Verteilug: p ( µ, λ ) = ( µ µ 0,( βλ) )Gam( λ ab, ) λ ab = bλ bλ Γ( a) a a mit Gam(, ) exp( ) Posterior p ( µλ, x,..., ) x ist wieder Normal-Gamma 35

36 Normalverteilte Date Schätze: Beispiel Bayessche Schätzug Zurück zum Beispiel: schätze der IQ-Verteilug ahad vo uabhägige Datepukte Normal-Gamma Prior: erwarte µ 00, σ 5 Farbkodierug Dichte p ( µσ, ) Erwartug: µ 00, σ 5 36

37 Normalverteilte Date Schätze: Beispiel Bayessche Schätzug Prior: Simulatio: =3 Pukte ziehe aus echter Verteilug mit µ = 0, σ = 5, statt ML-Schätzug bereche wir Posterior Likelihood: ( µ µ 0,( βλ) )Gam( λ ab, ) x i µσ i= (, ) Posterior: * * * * ( µ µ 0,( βλ) )Gam( λ a, b ) Prior bewirkt Korrektur der ML-Schätzug i Richtug des Vorwisses 37

38 Normalverteilte Date Schätze: Beispiel MAP Parameter Simulatio für =3: Vergleich ML ud MAP Lösug ML MAP 38

39 Normalverteilte Date Schätze: Beispiel Bayessche Schätzug Prior: Simulatio: =30 Pukte ziehe aus echter Verteilug, statt ML-Schätzug bereche wir a posteriori Verteilug Likelihood: ( µ µ 0,( βλ) )Gam( λ ab, ) x i µσ i= (, ) Posterior: * * * * ( µ µ 0,( βλ) )Gam( λ a, b ) Prior bewirkt Korrektur der ML-Schätzug i Richtug des Vorwisses 39

40 Normalverteilte Date Schätze: Beispiel MAP Parameter Simulatio für =30: Vergleich ML ud MAP Lösug ML MAP 40

41 Normalverteilte Date Schätze: Beispiel Bayessche Schätzug Prior: Simulatio: =500 Pukte ziehe aus echter Verteilug, statt ML-Schätzug bereche wir a posteriori Verteilug Likelihood: ( µ µ 0,( βλ) )Gam( λ ab, ) x i µσ i= (, ) Posterior: Für grosse ähert sich MAP Schätzug der ML Schätzug a * * * * ( µ µ 0,( βλ) )Gam( λ a, b ) 4

42 Normalverteilte Date Schätze: Beispiel MAP Parameter Simulatio für =500: Vergleich ML ud MAP Lösug ML MAP 4

43 Normalverteilte Date Schätze: Beispiel MAP Parameter ML MAP Mehrmalige Wiederholug der Simulatio: =3 Pukte ziehe aus echter Verteilug, Vergleich ML/MAP Schätzug: 43

44 Beobachtuge ML vs. MAP Schätzug MAP Schätzuge Kompromiss zwische Vorwisse ud Evidez der Date MAP Schätzuge sid stabiler als ML Schätzuge: Schwakuge i de Date beeiflusse Ergebis weiger Je mehr Date, desto kleier die Variaz der Posterior- Verteilug: immer sicherer, was bestes Modell ist Für uedlich viele Date ( ) kovergiert die MAP Lösug gege die ML Lösug 44

45 Normalverteilug: Kumulative Verteilugsfuktio Gegebe Normalverteilug: was ist p( beobachteter Wert x)? Beispiel: IQ eier zufällig gezogee Perso Zufallsvariable mit X ~ ( x µσ, ) µ = 00, σ = 5 Was ist px ( 0)? Normalisierug zur Stadardormalverteilug X µ X ~ ( x µσ, ) Z = ~ ( x 0, ) σ Wahrscheilichkeit, IQ vo 0 oder größer zu sehe? X px ( 0) = P = pz ( ) = pz ( ) Kumulative Verteilugsfuktio 45

46 Normalverteilug: Kumulative Verteilugsfuktio Kumulative Verteilugsfuktio Φ ( z) = pz ( z) = z z ( x 0,) dx = exp / π ( x ) Keie geschlossee Lösug, achschlage i Tabelle dx 46

47 Verteilugsfuktio der Normalverteilug 4 Φ px ( 0)

48 Normalverteilug: Kumulative Verteilugsfuktio Normalverteilug kozetriert die meiste Wahrscheilichkeitsmasse ahe dem Mittelwert p( µ σ X µ σ) 0.68 p( µ σ X µ σ) 0.95 p( µ 3σ X µ 3 σ)

49 Multivariate Normalverteilug x Zufallsvariable x mit d Dimesioe. d ormalverteilt, we Verteilug beschriebe wird durch Dichte ( xμ, ) = exp x( μ ) π Σ T Σ Σ d / / Mittelwertvektor μ Kovariazmatrix Σ ( xμ Determiate Beispiel d= d Koariazmatrix etscheidet, wie Pukte streue ) μ 49

50 Überblick Wahrscheilichkeite, Erwartugswerte, Variaz Grudkozepte des Bayessche Leres (Bayessche) Parameterschätzug für Wahrscheilichkeitsverteiluge Bayessche Lieare Regressio, Naive Bayes 50