Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayessches Lernen

Transkript

1 Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Bayessches Lernen Chrstoph Sawade/Nels Landwehr Jules Rasetaharson Tobas Scheffer

2 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen Bayessche Lneare Regresson, Nave Bayes 2

3 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen Bayessche Lneare Regresson, Nave Bayes 3

4 Statstk & Maschnelles Lernen Maschnelles Lernen: eng verwandt mt (nduktver) Statstk Zwe Gebete n der Statstk: Deskrptve Statstk: Beschrebung, Untersuchung von Egenschaften von Daten. Mttelwerte Induktve Statstk: Welche Schlussfolgerungen über de Realtät lassen sch aus Daten zehen? Erklärungen für Beobachtungen Varanzen Modellbldung Unterschede zwschen Populatonen Zusammenhänge, Muster n Daten 4

5 Thomas Bayes An essay towards solvng a problem n the doctrne of chances, 1764 veröffentlcht. Arbeten von Bayes grundlegend für nduktve Statstk. Bayessche Wahrschenlchketen wchtge Schtwese auf Unscherhet & Wahrschenlchket 5

6 Frequentstsche / Bayessche Wahrschenlchket Frequentstsche Wahrschenlchketen Beschreben de Möglchket des Entretens ntrnssch stochastscher Eregnsse (z.b. Münzwurf). Defnton über relatve Häufgketen möglcher Ergebnsse enes wederholbaren Versuches Wenn man ene fare Münze 1000 Mal wrft, wrd etwa 500 Mal Kopf fallen In 1 Gramm Potassum-40 zerfallen pro Sekunde ca Atomkerne 6

7 Frequentstsche / Bayessche Wahrschenlchket Bayessche, subjektve Wahrschenlchketen Grund der Unscherhet en Mangel an Informatonen We wahrschenlch st es, dass der Verdächtge X das Opfer umgebracht hat? Neue Informatonen (z.b. Fngerabdrücke) können dese subjektven Wahrschenlchketen verändern. Bayessche Schtwese m maschnellen Lernen wchtger Frequentstsche Schtwese auch manchmal verwendet, mathematsch äquvalent 7

8 Bayessche Wahrschenlchketen m Maschnellen Lernen Modellbldung: Erklärungen für Beobachtungen fnden Was st das wahrschenlchste Modell? Abwägen zwschen Vorwssen (Pror über Modelle) Evdenz (Daten, Beobachtungen) Bayessche Schtwese: Evdenz (Daten) verändert subjektve Wahrschenlchketen für Modelle (Erklärungen) A-posteror Modellwahrschenlchket, MAP Hypothese 8

9 Wahrschenlchketstheore, Zufallsvarablen Zufallsexperment: defnerter Prozess, n dem en Elementareregns ω erzeugt wrd. Eregnsraum Ω: Menge aller Elementareregnsse. Eregns A: Telmenge des Eregnsraums. Wahrschenlchketsfunkton P: Funkton, de Eregnssen A Ω Wahrschenlchketen zuwest. Zufallsvarable X: Abbldung von Elementareregnssen auf numersche Werte. X : Ω X : ω x 9

10 Wahrschenlchketstheore, Zufallsvarablen Experment west Zufallsvarable (Großbuchstabe) enen Wert (Klenbuchstabe) zu Wahrschenlchket dafür, dass Eregns X=x entrtt (Zufallsvarable X wrd mt Wert x belegt). Zusammenfassen n Wahrschenlchketsvertelung, der Varable X unterlegt. PX ( = x) = { ω Ω X( ω) = x}) X ) X ~ X ) Vertelung gbt an, we Wahrschenlchketen über Werte x vertelt snd X st vertelt nach X) 10

11 Dskrete Zufallsvarablen Dskrete Zufallsvarablen: x D Bespel: N Münzwürfe PX ( = x) = 1 D dskreter Werteberech Unabhängge Zufallsvarablen X1,..., XN {0,1} Münzparameter μ gbt Wahrschenlchket für Kopf an PX ( = 1 µ ) = µ X ~ Bern( X µ ) = µ (1 µ ) X PX ( = 0 µ ) = 1 µ Wahrschenlchket für Kopf Wahrschenlchket für Zahl X 1 Bernoull-Vertelung 11

12 Dskrete Zufallsvarablen Bespel: Anzahl Köpfe be N Münzwürfen ZV Anzahl Köpfe : Bnomal-Vertelung X ~ Bn( X N, µ ) Bn( X N, µ ) =? N X = X, X {0,..., N} = 1 12

13 Dskrete Zufallsvarablen Bespel: Anzahl Köpfe be N Münzwürfen ZV Anzahl Köpfe : Bnomal-Vertelung X ~ Bn( X N, µ ) N Bn( X N, µ ) = µ (1 µ ) X X N X N X = X, X {0,..., N} = 1 13

14 Kontnuerlche Zufallsvarablen Kontnuerlche Zufallsvarablen Unendlch (mest überabzählbar) vele Werte möglch Typscherwese Wahrschenlchket PX ( = x) = 0 Statt Wahrschenlchketen für enzelne Werte: Dchtefunkton f X : Dchte der ZV X x : f X ( x) 0, ( x) = 1 f X Wahrschenlchket, dass ZV X Wert zwschen a und b annmmt b X [ a, b]) = f X ( x) dx, a f ( x ) > 1 möglch X 14

15 Kontnuerlche Zufallsvarablen Bespel: Körpergröße X X annähernd Gaußvertelt ( Normalvertelt ) 2 X ~ N( x µσ, ) Dchte der Normalvertelung z.b. µ = 170, σ = 10 15

16 Kontnuerlche Zufallsvarablen Bespel: Körpergröße We groß st de Wahrschenlchket, dass en Mensch genau 180cm groß st? PX= ( 180) = 0 We groß st de Wahrschenlchket, dass en Mensch zwschen 180cm und 181cm groß st? ( [180,181]) = ( 170,10 ) 180 P X N x dx 16

17 Kontnuerlche Zufallsvarablen Vertelungsfunkton F( x) = X x) = PX ( [ ab, ]) = Fb ( ) Fa ( ) ( x) dx, Dchte st Abletung der Vertelungsfunkton df( x) f X ( x) = dx Veranschaulchung Dchte: f ( x) = lmε X 0 x f X PX ( [ x ε, x+ ε]) 2ε 17

18 Konjunkton von Eregnssen Wahrschenlchket für Entreten mehrerer Eregnsse: X= xy, = y) gemensame Wahrschenlchket f, ( xy, ) gemensame Dchte XY Gemensame Vertelung (dskret/kontnuerlch) PXY (, ) 18

19 Bedngte Wahrschenlchketen We beenflusst zusätzlche Informaton de Wahrschenlchketsvertelung? Bedngte Wahrschenlchket enes Eregnsses: Bedngte Dchte: Bedngte Vertelung (dskret/kontnuerlch): X X zusätzlche Informaton) = x Y P ( X Y ) = = y) = f XY X, Y ) Y ) X = x, Y = Y = y) ( x y) = f XY, f Y y) ( xy, ) ( y) dskret kontnuerlch 19

20 Bedngte Wahrschenlchketen Produktregel PXY (, ) = PX ( YPY ) ( ) dskret/kontnuerlch Summenregel PX ( = x) = PX ( = xy, = y) f X( x) = f XY, ( x, y) dy y dskret kontnuerlch 20

21 Unabhänggket Zwe Zufallsvarablen snd unabhängg, wenn: Äquvalent dazu P ( X, Y ) = X ) Y ) P ( X Y ) = X ) und Y X ) = Y ) Bespel: wr würfeln zwemal mt farem Würfel, bekommen Augenzahlen x, x 1 2 ZV X snd unabhängg 1, X2 ZV X = X + und snd abhängg + 1 X X = X 2 1 X2 21

22 Erwartungswert Erwartungswert ener Zufallsvarable: E( X ) = x X = x) E( X ) = xp( x) dx x Veranschaulchung: gewchtetes Mttel, Schwerpunkt enes Stabes mt Dchte p(x) Rechenregeln Erwartungswert E( ax + b) = ae( X ) + b EX ( + Y) = EX ( ) + EY ( ) X dskrete ZV X kontnuerlche ZV mt Dchte p(x) 22

23 Erwartungswert Erwartungswert addtv Summenregel E( X+ Y) = ( x+ yp ) ( X= xy, = y) xy, = x X = x, Y = y) + y X = x, Y = y) xy, xy, = x X= xy, = y) + y X= xy, = y) x y y x = x X = x) + y Y = y) x = E( X) + EY ( ) y 23

24 Varanz, Standardabwechung Varanz: Erwartete quadrerte Abwechung von X von E(X) Mass für de Stärke der Streuung Var( X ) = Var( X ) E(( X E( X )) Standardabwechung σ = X Var(X ) Verschebungssatz 2 2 ) = ( x E( X )) X = x) 2 2 = E(( X E( X )) ) = ( x E( X )) p( x) dx VarX ( ) = EX ( ) EX ( ) 2 2 x x 24

25 Varanz, Standardabwechung Verschebungssatz Var X E X E X 2 ( ) = (( ( )) ) = EX EXX+ EX 2 2 ( 2 ( ) ( ) ) = EX ( ) 2 EXEX ( ) ( ) + EX ( ) 2 2 = EX ( ) EX ( )

26 Rechenregeln Varanz Rechenregeln Varanz/Standardabwechung Var ax b a Var X 2 ( + ) = ( ), Var( X + Y ) = Var( X ) + Var( Y ) + 2 Cov( X, Y ) Covaranz msst gemensame Schwankung der Varablen Falls Varablen unabhängg: Cov( X, Y ) = 0, σ aσ ax + b = X CovXY (, ) = E(( X EX ( ))( Y EY ( ))) = EXY ( ) EXEY ( ) ( ) Var( X + Y ) = Var( X ) + Var( Y ) 26

27 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X µ ) µ (1 µ ) EX ( ) =? = 27

28 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung = X 1 X X ~ Bern( X µ ) µ (1 µ ) E( X ) = x X = x) x {0,1} = 1µ + 0(1 µ ) = µ 28

29 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X µ ) µ (1 µ ) Erwartungswert Bnomalvertelung X ~ Bn( X N, µ ) N E( X ) = x X = x) x= 0 = E( X ) = x X = x) x {0,1} = 1µ + 0(1 µ ) = µ N N = x µ (1 µ ) x= 0 x =? X x N x N = X = 1 29

30 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X µ ) µ (1 µ ) Erwartungswert Bnomalvertelung X ~ Bn( X N, µ ) N E( X ) = x X = x) x= 0 = E( X ) = x X = x) x {0,1} = 1µ + 0(1 µ ) = µ N N = x µ (1 µ ) x= 0 x = Nµ X x N x N = X = 1 Summe der Erwartungswerte der Bernoull-Varablen 30

31 Erwartungswert, Varanz Bnomalvertelung Varanz Bernoullvertelung? X ~ Bern( X µ ) Var( X ) =? 31

32 Erwartungswert, Varanz Bnomalvertelung Varanz Bernoullvertelung? X ~ Bern( X µ ) Var( X ) =? Verschebungssatz: VarX ( ) = EX ( ) E( X ) 2 2 = = (1 2 µ µ µ µ ) ( ) Var X µ 32

33 Erwartungswert, Varanz Bnomalvertelung Varanz Bnomalvertelung X X ~ Bn( X N, µ ) Var( X ) =? n = X = 1 = X 1 X X ~ Bern( X µ ) µ (1 µ ) Var( X ) = µ (1 µ ) Var( X ) = Nµ (1 µ ) X unabhängg 33

34 Erwartungswert, Varanz Normalvertelung z = x µ Erwartungswert Normalvertelung 2 X ~ N( x µσ, ) 2 E( X ) xn ( x µσ, ) dx = x exp ( x µ ) dx 2 1/2 2 (2 πσ ) 2σ = = ( z + µ ) exp z dz 2 1/2 2 (2 πσ ) 2σ = µ exp exp 2 1/2 z dz z z dz µ /2 2 (2 πσ ) 2 σ = (2 πσ ) 2σ = 1 = 0 34

35 Erwartungswert, Varanz Normalvertelung Varanz Normalvertelung Man kann zegen dass 2 2 X ~ N( x µσ, ) Var( X ) = σ 35

36 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen 36

37 Lernen und Vorhersage Bsher: Lernproblemstellung getrennt von Vorhersage Lernen: f arg max f L) MAP = f w w Vorhersage: x f MAP ( x) x neue Testnstanz Wahrschenlchstes Modell gegeben de Daten Vorhersage des MAP Modells Wenn wr uns auf en Modell festlegen müssen, st MAP Modell snnvoll Aber egentlches Zel st Vorhersage ener Klasse! Besser, sch ncht auf en Modell festlegen - drekt nach der optmalen Vorhersage zu suchen 37

38 Lernen und Vorhersage: Bespel Modellraum mt 4 Modellen: Tranngdaten L Wr haben a-posteror-wahrschenlchketen berechnet f1 L ) = 0.3 f L ) = MAP Modell st H = { f1, f2, f3, f4} f1 = arg max f pfl ( ) f3 L ) = 0.25 f4 L ) =

39 Lernen und Vorhersage: Bespel Modelle probablstsche Klassfkatoren: bnäre Klassfkaton: Py ( = 1 x, f ) [0,1] Z.B lneares Modell: T wx f Entschedungsfunktonswert T Py ( = 1 xw, ) = σ ( wx) p(y=1) w Parametervektor 1 σ ( z) = 1 + exp( z ) logstsche Regresson Entschedungsfunktonswert wx 39

40 Lernen und Vorhersage: Bespel Wr wollen neues Testbespel klassfzeren Py ( = 1 x, f) = 0.6 Py ( = 1, ) = x f2 4 Klassfkaton mt MAP Modell : Anderersets (Rechenregeln der Wsk!): 4 Py ( = 1 x, L) = py ( = 1, f x, L) = 1 4 = 1 4 = 1 x Py ( = 1 x, f) = 0.2 Py ( = 1 x, f) = 0.3 f 1 = py ( = 1 x, f) Pf ( L) y =1 = py ( = 1 f, x, LP ) ( f x, L) 3 Summenregel Produktregel = 0.6* * * *0.2 =

41 Lernen und Vorhersage: Bespel Wenn Zel Vorhersage st, sollten wr verwenden Py ( = 1 x, L) Ncht auf en Modell festlegen, solange noch Unscherhet über Modelle besteht Grunddee des Bayesschen Lernens/Vorhersage! 41

42 Bayessches Lernen und Vorhersage Problemstellung Vorhersage Gegeben: Tranngsdaten L, neue Testnstanz x. Gesucht: Vertelung über Werte y für gegebenes x. Bayessche Vorhersage: wahrschenlchstes y. y x, L) y* = arg max y y x, L) Mnmert Rsko ener falschen Vorhersage. Heßt auch Bayes-optmale Entschedung oder Bayes-Hypothese. 42

43 Bayessches Lernen und Vorhersage Berechnung Bayessche Vorhersage Summenregel Produktregel y* = arg max y Py ( xl, ) = arg max Py (, θ xld, ) θ = arg max y θ, x) θ L) dθ Bayesan Model Averagng Bayessches Lernen: y y Vorhersage, gegeben Modell Mtteln der Vorhersage über alle Modelle. Modell Modell gegeben Tranngsdaten Gewchtung: we gut passt Modell zu Tranngsdaten. θ 43

44 Bayessches Lernen und Vorhersage Bayessche Vorhersage praktkabel? y * = arg max = arg max y y y x, L) y x, θ ) θ L) dθ Bayesan Model Averagng: Mtteln über.a. unendlch vele Modelle We berechnen? Nur manchmal praktkabel, geschlossene Lösung. Kontrast zu Entschedungsbaumlernen: Fnde en Modell, das gut zu den Daten passt. Trff Vorhersagen für neue Instanzen baserend auf desem Modell. Trennt zwschen Lernen enes Modells und Vorhersage. 44

45 Bayessches Lernen und Vorhersage We Bayes-Hypothese ausrechnen? y * = arg max = arg max Wr brauchen: y y y x, L) y x, θ ) θ L) dθ 1) Wsk für Klassenlabel gegeben Modell, T Py ( = 1 x, θ) = σ( wx) T Py ( = 0 x, θ) = σ( wx) Py ( xθ, ) z.b. lnearer probablstscher Klassfkator (logstsche Regresson)

46 Bayessches Lernen und Vorhersage We Bayes-Hypothese ausrechnen? y * = arg max = arg max Wr brauchen: y y y x, L) y x, θ ) θ L) dθ 2) Wsk für Modell gegeben Daten, a-posteror- Wahrschenlchket θ L) Ausrechnen mt Bayes Regel

47 Bayessches Lernen und Vorhersage Berechnung der a-posteror Vertelung über Modelle Bayes Glechung Posteror, A-Posteror- Vertelung Bayessche Regel: Posteror = Lkelhood x Pror. θ L) = 1 Z = L θ ) θ ) L) L θ ) θ ) Lkelhood, We gut passt Modell zu Daten? Pror, A-Pror- Vertelung Normerungskonstante 47

48 Bayessche Regel Bayes Glechung θ L) = L θ ) θ ) L) Brauchen: Lkelhood L θ). We wahrschenlch wären de Tranngsdaten, wenn θ das rchtge Modell wäre. We gut passt Modell zu den Daten. Typscherwese Unabhänggketsannahme: L= {( x, y ),...,( x, y )} 1 1 N PL ( θ) = Py ( x, θ) = 1 N N Wahrschenlchket des n L beobachteten Klassenlabels gegeben Modell θ 48

49 Bayessche Regel Bayes Glechung Brauchen: Pror θ ). We wahrschenlch st Modell θ bevor wr rgendwelche Tranngsdaten gesehen haben. Annahmen über θ ) drücken datenunabhängges Vorwssen über Problem aus. Bespel lneare Modelle: θ L) = L θ ) θ ) L) 49

50 Bayessche Regel Bayes Glechung θ L) = Brauchen: Pror θ ). We wahrschenlch st Modell θ bevor wr rgendwelche Tranngsdaten gesehen haben. Annahmen über θ ) drücken datenunabhängges Vorwssen über Problem aus. Bespel lneare Modelle: L θ ) θ ) L) ^2 w möglchst nedrg ( w = θ ) 50

51 Bayessche Regel Bayes Glechung Brauchen: Pror θ ). We wahrschenlch st Modell θ bevor wr rgendwelche Tranngsdaten gesehen haben. Annahmen über θ ) drücken datenunabhängges Vorwssen über Problem aus. Bespel Entschedungsbaumlernen: θ L) = L θ ) θ ) L) 51

52 Bayessche Regel Bayes Glechung θ L) = Brauchen: Pror θ ). L θ ) θ ) L) We wahrschenlch st Modell θ bevor wr rgendwelche Tranngsdaten gesehen haben. Annahmen über θ ) drücken datenunabhängges Vorwssen über Problem aus. Bespel Entschedungsbaumlernen: Klene Bäume snd n velen Fällen besser als komplexe Bäume. Algorthmen bevorzugen deshalb klene Bäume. 52

53 Zusammenfassung Bayessche/MAP/ML- Hypothese Um Rsko ener Fehlentschedung zu mnmeren: wähle Bayessche Vorhersage y* = arg max y y x, θ ) θ L) dθ Problem: In velen Fällen gbt es kene geschlossene Lösung, Integraton über alle Modelle unpraktkabel. Maxmum-A-Posteror- (MAP-)Hypothese: wähle θ* = arg max θ θ L) y= arg max Py ( x, θ ) * y * Entsprcht Entschedungsbaumlernen. Fnde bestes Modell aus Daten, Klassfzere nur mt desem Modell. 53

54 Zusammenfassung Bayessche/MAP/ML- Hypothese Um MAP-Hypothese zu bestmmen müssen wr Posteror (Lkelhood x Pror) kennen. Unmöglch, wenn ken Vorwssen (Pror) exstert. Maxmum-Lkelhood- (ML-)Hypothese: θ* = arg max θ PL ( θ) y= arg max Py ( x, θ ) * y * Berückschtgt nur Beobachtungen n L, ken Vorwssen. Problem der Überanpassung an Daten 54