Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayessches Lernen

Transkript

1 Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Bayessches Lernen Chrstoph Sawade/Nels Landwehr/Paul Prasse Domnk Lahmann Tobas Scheffer

2 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen Bayessche Lneare Regresson, Nave Bayes 2

3 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen Bayessche Lneare Regresson, Nave Bayes 3

4 Statstk & Maschnelles Lernen Maschnelles Lernen: eng verwandt mt (nduktver) Statstk Zwe Gebete n der Statstk: Deskrptve Statstk: Beschrebung, Untersuchung von Egenschaften von Daten. Mttelwerte Induktve Statstk: Welche Schlussfolgerungen über de Realtät lassen sch aus Daten zehen? Erklärungen für Beobachtungen Varanzen Modellbldung Unterschede zwschen Populatonen Zusammenhänge, Muster n Daten 4

5 Thomas Bayes An essay towards solvng a problem n the doctrne of chances, 1764 veröffentlcht. Arbeten von Bayes grundlegend für nduktve Statstk. Bayessche Wahrschenlchketen wchtge Schtwese auf Unscherhet & Wahrschenlchket 5

6 Frequentstsche / Bayessche Wahrschenlchket Frequentstsche Wahrschenlchketen Beschreben de Möglchket des Entretens ntrnssch stochastscher Eregnsse (z.b. Münzwurf). Defnton über relatve Häufgketen möglcher Ergebnsse enes wederholbaren Versuches Wenn man ene fare Münze 1000 Mal wrft, wrd etwa 500 Mal Kopf fallen In 1 Gramm Potassum-40 zerfallen pro Sekunde ca Atomkerne 6

7 Frequentstsche / Bayessche Wahrschenlchket Bayessche, subjektve Wahrschenlchketen Grund der Unscherhet en Mangel an Informatonen We wahrschenlch st es, dass der Verdächtge X das Opfer umgebracht hat? Neue Informatonen (z.b. Fngerabdrücke) können dese subjektven Wahrschenlchketen verändern. Bayessche Schtwese m maschnellen Lernen wchtger Frequentstsche Schtwese auch manchmal verwendet, mathematsch äquvalent 7

8 Bayessche Wahrschenlchketen m Maschnellen Lernen Modellbldung: Erklärungen für Beobachtungen fnden Was st das wahrschenlchste Modell? Abwägen zwschen Vorwssen (a-pror Vertelung über Modelle) Evdenz (Daten, Beobachtungen) Bayessche Schtwese: Evdenz (Daten) verändert subjektve Wahrschenlchketen für Modelle (Erklärungen) A-posteror Modellwahrschenlchket, MAP Hypothese 8

9 Wahrschenlchketstheore, Zufallsvarablen Zufallsexperment: defnerter Prozess, n dem en Elementareregns ω erzeugt wrd. Eregnsraum Ω: Menge aller Elementareregnsse. Eregns A: Telmenge des Eregnsraums. Wahrschenlchketsfunkton p: Funkton, de Eregnssen A Wahrschenlchketen zuwest. 9

10 Wahrschenlchketstheore Gültge Wahrschenlchketsfunkton p (Kolmogorow Axome) Wahrschenlchket von Eregns A : Scheres Eregns: p( ) 1, und 0 pa ( ) 1 Für de Wahrschenlchket zweer nkompatbler Eregnsse A, B (d.h. A B ) glt: p( A B) p( A) p( B) p( ) 0 10

11 Wahrschenlchketstheore: Bespel Würfeln Eregnsraum {1,2,3,4,5,6} Elementareregnsse haben Wsk Eregns gerade Zahl: A {2,4,6} Wahrschenlchket des Eregnsses: p({ }) 1/ 6 pa ( ) 1/ 2 11

12 Wahrschenlchketstheore, Zufallsvarablen Zufallsvarable X: Abbldung von Elementareregnssen auf numersche Werte Wahrschenlchket dafür, dass Eregns X=x entrtt (Zufallsvarable X wrd mt Wert x belegt). X : x p( X x) p({ X ( ) x}) Zusammenfassen n Wahrschenlchketsvertelung, der Varable X unterlegt px ( ) Experment weßt Zufallsvarable X den Wert x X( ) zu Vertelung gbt an, we Wahrschenlchketen über Werte x vertelt snd X ~ p( X ) X st vertelt nach p(x) 12

13 Zufallsvarable: Bespel Würfeln mt 2 Würfeln Eregnsraum {(, ) {1,2,3,4,5,6}} 1 2 Elementareregnsse haben Wahrschenlchket p({( 1, 2)}) 1/ 36 Zufallsvarable: Summe der bede Augenzahlen X ((, )) Wahrschenlchket für Wert der ZV: px ( 5)? 13

14 Zufallsvarable: Bespel Würfeln mt 2 Würfeln Eregnsraum {(, ) {1,2,3,4,5,6}} 1 2 Elementareregnsse haben Wahrschenlchket p({( 1, 2)}) 1/ 36 Zufallsvarable: Summe der bede Augenzahlen X ((, )) Wahrschenlchket für Wert der ZV: p( X 5) p({(1,4),(2,3),(3,2),(4,1)}) 4 / 36 14

15 Dskrete/kontnuerlche Zufallsvarablen Dskrete Zufallsvarablen: D=X(Ω) dskret Kontnuerlche Zufallsvarablen: D=X(Ω) kontnuerlch Für dskrete Zufallsvarablen glt: xd Bespel: N Münzwürfe Zufallsvarablen X,..., X {0,1} p( X x) 1 D dskreter Werteberech 1 N Münzparameter μ gbt Wahrschenlchket für Kopf an px ( 1) px ( 0) 1 Wahrschenlchket für Kopf Wahrschenlchket für Zahl X ~ Bern( X ) (1 ) X X 1 Bernoull-Vertelung 15

16 Dskrete Zufallsvarablen Bespel: Anzahl Köpfe be N Münzwürfen X ZV Anzahl Köpfe : Bnomal-Vertelung ~ Bn( X N, ) Bn( X N, )? N X X, X {0,..., N} 1 16

17 Dskrete Zufallsvarablen Bespel: Anzahl Köpfe be N Münzwürfen X ZV Anzahl Köpfe : Bnomal-Vertelung ~ Bn( X N, ) N Bn( X N, ) (1 ) X Anzahl möglcher Ergebnsseren, n denen X Münzen Kopf zegen X N X N X X, X {0,..., N} 1 Wahrschenlchket ener Ergebnssere, n der X Münzen Kopf zegen N 10,

18 Kontnuerlche Zufallsvarablen Kontnuerlche Zufallsvarablen Unendlch (überabzählbar) vele Werte möglch Wahrschenlchket Statt Wahrschenlchketen für enzelne Werte: Dchtefunkton p( X x) 0 f : Dchte der ZV X X x : f X ( x) 0, ( x) 1 f X Wahrschenlchket, dass ZV X Wert zwschen a und b annmmt p( X [ a, b]) f ( x) dx, b a X f ( x) 1 möglch X 18

19 Kontnuerlche Zufallsvarablen Bespel: Körpergröße X X annähernd Gaußvertelt ( Normalvertelt ) X 2 ~ ( x, ) Dchte der Normalvertelung z.b. 170, 10 19

20 Kontnuerlche Zufallsvarablen Bespel: Körpergröße We groß st de Wahrschenlchket, dass en Mensch genau 180cm groß st? px ( 180) 0 We groß st de Wahrschenlchket, dass en Mensch zwschen 180cm und 181cm groß st? ( [180,181]) ( 170,10 ) 180 p X x dx 20

21 Kontnuerlche Zufallsvarablen Vertelungsfunkton x F( x) p( X x) f X ( z) dz, p( X [ a, b]) F( b) F( a) Dchte st Abletung der Vertelungsfunkton df( x) f X ( x) dx Veranschaulchung Dchte: fx ( x) lm 0 p( X [ x, x ]) 2 21

22 Notaton Notaton: wenn der Zusammenhang klar st, schreben wr kompakter Für dskrete Varablen: p( x) statt p( X x) (dskrete Wahrschenlchket) Für kontnuerlche Varablen: p( x) statt f X ( x) (kontnuerlche Dchte) 22

23 Vertelungen über mehrere Zufallsvarablen Vertelung über mehrere Zufallsvarablen X, Y: Gemensame Wahrschenlchket p( X x, Y y), Gemensame Dchte f Gemensame Vertelung (dskret/kontnuerlch) p( X, Y), ( x, y), XY xy, f XY p( X x, Y y) =1, ( x, y) dxdy 1 23

24 Bedngte Wahrschenlchketen We beenflusst zusätzlche Informaton de Wahrschenlchketsvertelung? Bedngte Wahrschenlchket: Bedngte Dchte: Bedngte Vertelung (dskret/kontnuerlch): px ( zusätzlche Informaton) p( X x Y y) f XY p( X Y) ( x y) p( X, Y ) py ( ) p( X x, Y y) p( Y y) f XY, f Y ( x, y) ( y) dskret kontnuerlch 24

25 Rechenregeln Wahrschenlchketen Produktregel p( X, Y) p( X Y) p( Y) Summenregel p( X x) p( X x, Y y) yd f X ( x) f X, Y ( x, y) dy dskret/kontnuerlch dskret kontnuerlch p( X x) hesst auch "Randwahrschenlchket" 25

26 Unabhänggket Zwe Zufallsvarablen snd unabhängg, wenn: Äquvalent dazu p( X, Y) p( X ) p( Y) p( X Y) p( X ) und p( Y X ) p( Y) Bespel: wr würfeln zwemal mt farem Würfel, bekommen Augenzahlen x1, x2 ZV X1, X2 snd unabhängg ZV X X 1 X 2 und X X 1 X 2 snd abhängg 26

27 Erwartungswert Erwartungswert ener Zufallsvarable: E( X ) xp( X x) E( X ) xp( x) dx x Veranschaulchung: gewchtetes Mttel Rechenregeln Erwartungswert E( ax b) ae( X ) b E( X Y) E( X ) E( Y) X dskrete ZV X kontnuerlche ZV mt Dchte p(x) 27

28 Varanz, Standardabwechung Varanz: Erwartete quadrerte Abwechung von X von E(X) Mass für de Stärke der Streuung Var X E X E X 2 ( ) (( ( )) ) (dskret oder kontnuerlch) Standardabwechung X Var(X ) Verschebungssatz Var( X ) E( X ) E( X )

29 Varanz, Standardabwechung Verschebungssatz Var X E X E X 2 ( ) (( ( )) ) E X E X X E X 2 2 ( 2 ( ) ( ) ) E( X ) 2 E( X ) E( X ) E( X ) 2 2 E( X ) E( X )

30 Rechenregeln Varanz Rechenregeln Varanz/Standardabwechung Var ax b a Var X 2 ( ) ( ), Var( X Y) Var( X ) Var( Y) 2 Cov( X, Y) Cov( X, Y) E( XY ) E( X ) E( Y) Covaranz msst gemensame Schwankung der Varablen Falls Varablen unabhängg: Cov( X, Y) 0, a ax b X Var( X Y) Var( X ) Var( Y) 30

31 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X ) (1 ) EX ( )? 31

32 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X ) (1 ) E( X ) xp( X x) x{0,1} 1 0(1 ) 32

33 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X ) (1 ) E( X ) xp( X x) Erwartungswert Bnomalvertelung X x{0,1} 1 0(1 ) ~ Bn( X N, ) N E( X ) xp( X x) x0 X N N x (1 ) x0 x? x N x N X 1 33

34 Erwartungswert, Varanz Bnomalvertelung Erwartungswert Bernoull-Vertelung X 1 X X ~ Bern( X ) (1 ) E( X ) xp( X x) Erwartungswert Bnomalvertelung X x{0,1} 1 0(1 ) ~ Bn( X N, ) N E( X ) xp( X x) x0 N N x (1 ) x0 x N X x N x N X 1 Summe der Erwartungswerte der Bernoull-Varablen 34

35 Erwartungswert, Varanz Bnomalvertelung Varanz Bernoullvertelung? X ~ Bern( X ) Var( X )? 35

36 Erwartungswert, Varanz Bnomalvertelung Varanz Bernoullvertelung? X ~ Bern( X ) Var( X )? Verschebungssatz: Var( X ) E( X ) E( X ) (1 ) ( ) Var X 36

37 Erwartungswert, Varanz Bnomalvertelung Varanz Bnomalvertelung X X N X 1 ~ Bn( X N, ) X ~ Bern( X ) Var( X )? Var( X ) (1 ) Var( X ) N(1 ) X unabhängg 37

38 Erwartungswert, Varanz Normalvertelung zx Erwartungswert Normalvertelung X 2 ~ ( x, ) 2 E( X ) x ( x, ) dx x exp ( ) 2 1/2 2 (2 ) 2 x dx 1 1 ( ) exp (2 ) 2 z 2 z dz 2 1/ exp 2 1/2 2 exp 2 1/ (2 ) 2 z dz z (2 ) 2 z dz 38

39 Erwartungswert, Varanz Normalvertelung zx Erwartungswert Normalvertelung X 2 ~ ( x, ) 2 E( X ) x ( x, ) dx x exp ( ) 2 1/2 2 (2 ) 2 x dx ( z ) exp 2 1/2 2 (2 ) 2 z dz exp exp 2 1/ /2 2 (2 ) 2 z dz z (2 ) 2 z dz

40 Erwartungswert, Varanz Normalvertelung Varanz Normalvertelung Man kann zegen dass 2 2 X ~ ( x, ) Var( X ) 40

41 Überblck Wahrschenlchketen, Erwartungswerte, Varanz Grundkonzepte des Bayesschen Lernens MAP-Hypothese und regularserter Verlust Bayesan Model Averagng (Bayessche) Parameterschätzung für Wahrschenlchketsvertelungen Bayessche Lneare Regresson, Nave Bayes 41