Modelle, Version Spaces, Lernen

Transkript

1 Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle, Verson Spaces, Lernen Chrstoph Sawade/Nels Landwehr Jules Rasetaharson Tobas Scheffer

2 Überblck Problemstellungen: Klassfkaton und Regresson Modelle und Hypothesenraum Verlustfunktonen und Regularserer Unscherhet, Wahrschenlchketen, Bayes sche Regel 2

3 Überblck Problemstellungen: Klassfkaton und Regresson Modelle und Hypothesenraum Verlustfunktonen und Regularserer Unscherhet, Wahrschenlchketen, Bayes sche Regel 3

4 Klassfkaton Engabe: Instanz (Objekt) x X. Objekte oft durch Vektor von Attrbuten repräsentert Instanz st Belegung der Attrbute. x1 x... xm Merkmalsvektor Ausgabe: Klasse y Y; endlche Menge Y. Klasse wrd auch als Zelattrbut bezechnet y x heßt auch (Klassen)Label Klassfkator y 4

5 Klassfkaton: Bespel Engabe: Instanz (Objekt) x X. X = Menge aller möglchen Kombnatonen ener Menge von Medkamenten Attrbute Medkament 1 enthalten? Medkament 6 enthalten? 0 Instanz x Ausgabe: yy { toxsch, ok} / Belegung der Attrbute, Merkmalsvektor Medkamentenkombnaton Klassfkator 5

6 Klassfkaton: Bespel Engabe: Instanz (Objekt) x X. X = Menge aller 16x16 Pxel Btmaps Attrbute Instanz x 0.1 Grauwert Pxel Grauwert Pxel Ausgabe: yy {0,1,2,3,4,5,6,7,8,9}: erkannte Zffer Pxelwer rte Klassfkator "6" 6

7 Klassfkaton: Bespel Engabe: Instanz (Objekt) x X. X Attrbute Wort 1 kommt vor? = Menge aller möglchen Emal-Texte Wort N kommt vor? N Ausgabe: y Y { spam, ok} Instanz x Emal 0 Address Dear Benefcary, 1 Benefcary 0 Frend... 1 Sterlng 0 Scence your Emal address has been pcked onlne n ths years MICROSOFT CONSUMER AWARD as a Wnner of One Hundred and Ffty Fve Thousand Pounds Sterlng Dear Benefcary, We are pleased to notfy you that your Emal address has been pcked onlne n ths second quarter's MICROSOFT CONSUMER AWARD (MCA) as a Wnner of One Hundred and Ffty Fve Thousand Pounds Sterlng Klassfkator Spam 7

8 Klassfkatonslernen Idee: Klassfkator aus Daten lernen Engabe Lernproblem: Tranngsdaten. L ( x, y ),...,( x, y ) x x y ( 1 1 N N x 1... xm Objektrepräsentaton Klassenlabel (, ok) (, ) toxsch (, ) 0 ok 1 1 ( x, y ) ( x, y ) ( x, y ) x1 1 x

9 Klassfkatonslernen Engabe Lernproblem: Tranngsdaten. L x, y ),...,( x, y ) x ( 1 1 N N x 1... xm Ausgabe: Klassfkator (auch als Modell bezechnet). f : X Y, wenn x1 1 x3 0 x6 1 f ( x), sonst 9

10 Klassfkatonslernen Engabe Lernproblem: Tranngsdaten. L x, y ),...,( x, y ) x ( 1 1 N N x 1... xm Ausgabe: Klassfkator (auch als Modell bezechnet). f : X Y, wenn x1 1 x3 0 x6 1 f ( x), sonst Lnearer Klassfkator mt Parametervektor w. f w ( x), sonst T m wx 1 T, wenn wx b 0 wx 10

11 Klassfkatonslernen Engabe Lernproblem: Tranngsdaten. L x, y ),...,( x, y ) x ( 1 1 N N x 1... xm Ausgabe: Klassfkator (auch als Modell bezechnet). f : X Y Verschedene Klassen von Klassfkatoren - Entschedungsbäume. - Generalserte lneare Modelle (Kernel). - -Betrachtete Klassfkatoren wesentlches Unterschedungsmerkmal zwschen Verfahren des ML

12 Klassfkatonslernen Engabe Lernproblem: Tranngsdaten. L x, y ),...,( x, y ) x ( 1 1 N N x 1... xm Alternatve Schrebwese: Tranngsnstanzen: Matrx X x 1... x Tranngslabels: Vektor y1 y... yn N x 11 x N1 x 1m xnm

13 Regresson Engabe: Instanz (Objekt) x X. Objekte oft durch Attrbut-Vektoren repräsentert. Instanz st Belegung der Attrbute. x x1... xm Merkmalsvektor Ausgabe: kontnuerlcher Wert, y z.b Toxztät. We toxsch st Kombnaton? y 13

14 Regressonslernen Engabe: Tranngsdaten. L x, y ),...,( x, y ) x ( 1 1 N N x 1... xm y Ausgabe: Modell, Regressonsmodell. : (,0.05) f X ( x1, y1) Z.B. f w ( x) w T x b (,0.95) (,0.01) (, ) x2 y2 x3 y3 (, ) 14

15 Andere Lernprobleme Ordnale Regresson. Präferenzlernen. Taxonome-Klassfkaton. Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Kollaboratve Vorhersage. 15

16 Andere Lernprobleme Ordnale Regresson. Präferenzlernen. Taxonome-Klassfkaton. Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Mschung aus Klassfkaton und Regresson Kollaboratve Vorhersage. Endlche, dskrete Labels Ordnung 16

17 Andere Lernprobleme Ordnale Regresson. Präferenzlernen. Taxonome-Klassfkaton. Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Kollaboratve Vorhersage. Kene drekten Klassen beobachtet, sondern nur Präferenzen z.b Rehenfolge von Suchresultaten aus Clckstreams lernen 17

18 Andere Lernprobleme Ordnale Regresson. Präferenzlernen. Taxonome-Klassfkaton. Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Herarche von Klassen Kollaboratve Vorhersage. En Objekt hat mehrere Klassenlabels Panther st ->Ter ->Säugeter ->Katze ->Panther 18

19 Andere Lernprobleme Ordnale Regresson. Präferenzlernen. Taxonome-Klassfkaton. Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Kollaboratve Vorhersage. Engabe X und Ausgabe Y strukturerte Räume Bespel: Engabe DNA Ausgabe Protenfaltung Klassenlabel 3D Struktur AAGCTTGCACTGCCGT 19

20 Andere Ausnutzen Lernprobleme von Relatonen zwschen Objekten Bespel: Produktempfehlungen Präferenzlernen. Vorhersage nteressanter Produkte Ordnale Regresson. Taxonome-Klassfkaton. Was hat der Nutzer/haben ähnlche Nutzer vorher gekauft? Klassfkaton und Regresson mt strukturerten Ausgaberäumen. Kollaboratve Vorhersage. 20

21 Überblck Lernprobleme: Klassfkaton und Regresson Modelle und Hypothesenraum Verlustfunktonen und Regularserer Unscherhet, Wahrschenlchketen, Bayes sche Regel 21

22 Klassfkatonslernen Engabe: Tranngsdaten. x L, y ),...,(, y ) x x ( 1 1 N N x 1... xm Ausgabe: Klassfkator. f : X Y f ( x), wenn x 1x 0x 1, sonst We Klassfkator lernen aus Tranngsdaten? Ansatz: Klassfkator, der Tranngsdaten (Beobachtungen) erklärt Suchproblem m Raum aller (betrachteten) Klassfkatoren 22

23 Hypothesenraum Hypothesenraum, Modellraum H: Menge der Klassfkatonsmodelle, de Lernverfahren n Betracht zeht. Hypothesenraum st ener der Frehetsgrade bem maschnellen Lernen, vele Räume gebräuchlch. Hypothesenraum hesst auch Language Bas Bespel: Alle möglchen Konjunktonen von Bedngungen, wenn j J x j v j J {1,...,, m}, v j {0,1} f ( x), sonst We groß st Hypothesenraum (m bnäre Attrbute)? 23

24 Suche nach Hypothese Suche nach Klassfkator Tranngsdaten für Kombnaton toxsch. Hypothesenraum:, wenn j Jx j v j f ( x), sonst Bes spelmbnatone Kom en Medkamente n der Kombnaton x 1 x 2 x 3 x 4 x 5 x 6 y x x x x Ansatz: Hypothese sollte konsstent sen mt Tranngsdaten : f( x ) y Identfzeren aller solchen Hypothesen? Nutze Struktur auf dem Hypothesenraum (generell/spezell) 24

25 Genereller-Als -Ordnung-Ordnung Grundmenge X Hypothesen H spezfsch Immer x 3 x 4 x 1 f 1 f 3 x 2 f 2 f 1 =, wenn x2=1, x6=1 f generell Immer f 2 =, wenn x2=1 f 3 =, wenn x2=1, x3=1 g 2 g f1 f2 g f3 aber ncht f1 f 3 g 25

26 Verson Space Menge aller Hypothesen, de mt den Tranngsdaten konsstent snd, nennen wr den Verson Space: VS { f H ( x, y ) L : f ( x ) y H, L Verson Space begrenzt durch generellste/spezellste Hypothesen, de Daten erklären G { f VS f ' VS : f ' f} Generellste konsstente H, L H, L g S { f VS f ' VS : f f '} H, L H, L g } Hypothesen Spezellste konsstente Hypothesen Verson Space: alles zwschen G und S (kene unendlchen Ketten) VSH, L{ f H fg G, fss : fgg f g fs} 26

27 Verson Space: Beoachtungen VS { f H ( x, y ) L : f ( x H, L Verson Space wrd klener, je mehr Daten vorhanden Verson Space leer: Tranngsmenge wdersprüchlch (es exstert t kene Hypothese n H, de Daten erklärt) Verson Space enelementg: Rchtges Modell gefunden, Oder rchtges Modell st ncht m Hypothesenraum. Mehrere Elemente m Verson Space: Noch ncht fertg. ) y } 27

28 Verson Space: Brute Force Konstrukton Intalsere V auf Menge aller Hypothesen. Für alle Tranngsbespele (x, y): Lösche alle Hypothesen f aus V, de mt x nkonsstent snd, also f (x) y. V st jetzt der Verson Space Bessere Verfahren unter Benutzung von G und S (kene Detals) Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen 28

29 Bespel: Verson Space Medkamente n der Kombnaton, wenn jj x j v j H: f ( x ) x 1 x 2 x 3 x 4 x 5 x 6 y Welche Hypothesen snd m Verson Space?, sonst n pelbnatonen Bes Kom x x x x L ( x, y ),( x, y ),( x, y ),( x, y ) Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen 29

30 Bespel: Verson Space x Medkamente n der Kombnaton, wenn jj x j v j H: f ( x ) x 1 x 2 x 3 x 4 x 5 x 6 y Welche Hypothesen snd m Verson Space?, sonst n pelbnatonen Bes Kom x 0x 1x x x x x L ( x, y ),( x, y ),( x, y ),( x, y ) x 0 x1 0 x2 1 x1 0 x x2 1 3 x

31 Verson Space Medkamente n der Kombnaton, wenn j x j v j H: f (x) x 1 x 2 x 3 x 4 x 5 x 6 y sonst Welche Hypothesen snd m Verson Space? Problem:, n pelbnatonen Bes Kom x x x x Alle Elemente des Verson Space erklären de Daten glechermaßen gut. Jedes Element des Verson Space könnte de Daten erzeugt haben / de korrekte Hypothese sen 31

32 Unscherhet In der Praxs errecht man nemals Gewsshet darüber, en korrektes Modell gefunden zu haben. Verson Space-Ansatz problematsch Der Hypothesenraum st mest unendlch groß. Der Verson Space st dann mest auch unendlch groß, oder leer. Alternatve/zusätzlche Konzepte Verlustfunktonen: Grad der Konsstenz mt Tranngsdaten A-Pror-Wahrschenlchket (Pror) über Modelle. Wahrschenlchstes Modell gegeben Daten. 32

33 Überblck Lernprobleme: Klassfkaton und Regresson Modelle und Hypothesenraum Verlustfunktonen und Regularserer Unscherhet, Wahrschenlchketen, Bayes sche Regel 33

34 Verlustfunkton, Optmerungskrterum Alternatve zu Verson Spaces: Lernprobleme werden als Optmerungsprobleme formulert. Verlustfunkton msst, we gut Modell zu Tranngsdaten passt Regularserungsfunkton msst, ob das Modell nach unserem Vorwssen wahrschenlch st. Optmerungskrterum st Summe aus Verlust und Regularserer. Suche Mnmum des Optmerungskrterums: nsgesamt wahrschenlchstes Modell, gegeben Tranngsdaten und Vorwssen. 34

35 Verlustfunkton We schlmm st es, wenn Modell f(x ) vorhersagt obwohl der echte Wert der Zelvarable y st? l( f( x ), y ) Verlust auf den ganzen Tranngsdaten L: N 1 l( f( x ), y ) Bespel: Klassfkatonsprobleme, False Postves und False Negatves glech schlmm. Zero-One Loss: 0, wenn f ( x ) l ( f ( x ), y ) 1, sonst y 35

36 Verlustfunkton We schlmm st es, wenn Modell f(x ) vorhersagt obwohl der echte Wert der Zelvarable y st? Bespel: dagnostsche Klassfkatonsprobleme, übersehene Erkrankungen (False Negatves) schlmmer als False Postves. Kostenmatrx l( f ( x ), y ) f ( x f ( x ) 1 0 ) 1 y y 1 c FN 1 c FP 0 36

37 Verlustfunkton We schlmm st es, wenn Modell f(x ) vorhersagt obwohl der echte Wert der Zelvarable y st? Regresson: Vorhersage möglchst dcht an echtem Wert des Zelattrbutes Quadratscher Fehler l( f ( x ), y ) ( f ( x ) y 2 ) 37

38 Verlustfunkton We schlmm st es, wenn Modell f(x ) vorhersagt obwohl der echte Wert der Zelvarable y st? Verlust l(f(x ), y ). Verlustfunkton st aus der jewelgen Anwendung heraus motvert. Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen 38

39 Regularserer Verlustfunkton drückt aus, we gut Modell zu Daten passt Regularserer: drückt Annahme darüber aus, ob Modell a pror wahrschenlch st. Unabhängg von den Tranngsdaten. Je höher der Regularserungsterm für en Modell, desto unwahrschenlcher Häufg wrd de Annahme ausgedrückt, dass wenge der Attrbute für en gutes Modell ausrechen. Anzahl der Attrbute, L 0 -Regularserung Betrag der Attrbut-Gewchtungen, L 1 -Regularserung Quadrat der Attrbut-Gewchtungen, L 2 -Regularserung. 39

40 Regularserer: Bespel Hypothesenraum: Konjunkton von Bedngungen f ( x),, wenn sonst x 1 1 x 3 1 x 7 1 Lneares Modell: Lässt sch schreben als, wenn x 1 x 3 x 7 3 f ( x ), sonst Allgemen: äquvalente Darstellung st, wenn w j jx j b f w ( x ),,, mt { 1,0, 1} w j sonst wenn sonst T wx b w: Modellparameter 40

41 Regularserer: Bespel Lnearer Klassfkator f w ( x),, wenn w T x b sonst L 2 -Regularserung: w w w Addert für jedes von null verschedene Gewcht. Optmerungskrterum: Verlust+Regularserer 2 Rˆ ( w, L) l( f ( x ), y ) w Parameter steuert Stärke des Regularserers Durch den Regularserer mplementerte Präferenz des Lerners wrd auch Inductve Bas genannt. 41

42 Optmerungsproblem: Bespel x ˆ ( 2 R( w, L ) l ( f ( x ), ) w y x 1 x 2 x 3 x 4 x 5 x 6 y x x Beste Hypothese für λ =01? 0.1? x x 0x 1x x x 0 x1 0x21 x1 0x x2 1 3 x

43 Optmerungsproblem: Bespel ˆ ( R ˆ( w, L ) 2 x 2 R( w, L ) l ( f ( x ), ) w y x 1 x 2 x 3 x 4 x 5 x 6 y x x Beste Hypothese für λ =01? 0.1? x R ˆ( w, L) 3 x 0x 1x x x 0 x1 0x21 x1 0x R ˆ( w, L) x2 1 3 x

44 Optmerungsproblem Enstellung von? Rechtfertgung für Optmerungskrterum? Mehrere Rechtfertgungen und Herletungen. Wahrschenlchste Hypothese (MAP-Hypothese). Hypothese, de Daten am stärksten komprmert (Mnmum Descrpton Length). Nedrge obere Schranke für Fehler auf zukünftgen Daten abhängg von w. (SRM). Lernen ohne Regularserung st ll-posed Problem; Lösung exstert t manchmal ncht oder hängt extrem stark von mnmalen Änderungen n den Daten ab. 44

45 Überblck Lernprobleme: Klassfkaton und Regresson Modelle und Hypothesenraum Verlustfunktonen und Regularserer Unscherhet, Wahrschenlchketen, Bayes sche Regel 45

46 Unscherhet und Wahrschenlchketen Vele Verfahren des maschnellen Lernens baseren auf probablstschen Überlegungen Modellvorstellung bem Lernen: * Jemand hat echtes f nach A-Pror- Wahrschenlchket ( Pror ) p(f) gezogen. * f st ncht bekannt, aber p(f) reflektert Vorwssen (was snd wahrschenlche Modelle?). Tranngsengaben x werden gezogen. Klassenlabels y werden nach py * ( x, f) gezogen. Fragestellung Lernen: Gegeben L und p(f), was st wahrschenlchstes echte Modell? * Versuche, f (ungefähr) zu rekonstrueren 46

47 Wahrschenlchketstheore Zufallsexperment: defnerter Prozess, n dem en Elementareregns ω erzeugt wrd. Eregnsraum Ω: Menge aller möglchen Elementareregnsse. Eregns A: Telmenge des Eregnsraums. Wahrschenlchketsfunkton p: Funkton, de Wahrschenlchketsmasse auf Eregnsse A vertelt. 47

48 Wahrschenlchketstheore Gültge Wahrschenlchketsfunkton p (Kolmogorow Axome) Wahrschenlchket von Eregns A : Scheres Eregns: p( ) 1, und p( ) 0 0 pa ( ) 1 Für de Wahrschenlchket zweer nkompatbler Eregnsse A, B (d.h. A B) glt: p( AB) p( A) p( B)

49 Wahrschenlchketstheore: Bespel Würfeln g Eregnsraum {1,2,3,4,5,6} Elementareregnsse haben Wsk Eregns gerade Zahl: A {2, 4,6} p({ }) 1/6 Wahrschenlchket des Eregnsses: pa ( ) 1/2 Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen

50 Zufallsvarable Zufallsvarable X: Abbldung enes elementaren Eregnsses auf enen numerschen Wert X : X : x Wahrschenlchket, dass ZV enen Wert annmmt px ( x) p({ X( ) x}) Be kontnuerlchen ZV oft px ( x ) 0, man betrachtet dann auch Vertelungsfunkton px ( x) p({ X( ) x}) 50

51 Zufallsvarable: Bespel Würfeln mt 2 Würfeln Eregnsraum 1 2 {( 1, 2) {1,2,3,4,5,6}} Elementareregnsse haben Wsk Zufallsvarable: Summe der bede Würfel X ((, )) Wahrschenlchket für Wert der ZV: p( ( X 5)? p({( 1, 2)}) 1/36

52 Zufallsvarable: Bespel Würfeln mt 2 Würfeln Eregnsraum 1 2 {( 1, 2) {1,2,3,4,5,6}} Elementareregnsse haben Wsk Zufallsvarable: Summe der bede Würfel X ((, )) Wahrschenlchket für Wert der ZV: p({( 1, 2)}) 1/36 p ( X 5) p ({(1, 4),(2,3),(3,,, 2),(4,1)}), )}) 4/36

53 Gemensame und bedngte Wahrschenlchketen h hk t Oft gbt es mehrere Zufallsvarablen X,Y,Z,... Gemensame Wahrschenlchket: px ( xy, y) p({ X( ) xy( ) y}) Bedngte Wahrschenlchket px ( xy, y) px ( xy y) py ( y)

54 Gemensame und bedngte Wahrschenlchketen h hk t Zufällgen Punkt auf Fläche auswählen Gemensame Wahrschenlchket Randwahrschenlchket Bedngte Wahrschenlchket py ( y, X x ) j p( X x ) 54 Sa awade/lan ndwehr/scheffer, M aschnelle es Lernen

55 Wchtge Rechenregeln für Wahrschenlchketen h hk t Zufällgen Punkt auf Fläche auswählen Produktregel py ( y, X x ) py ( y X x) p( X x ) j j Summenregel p( X x ) p( X x, Y y ) c 1 p( X x) n N N nj nj c py ( y j, X x ) py ( y j X x) p( X x) N c N j j j p( X x, Y y ) j j 55 j

56 Wchtge Rechenregeln für Wahrschenlchketen h hk t Summenregel Produktregel Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen 56

57 Unabhänggket von Zufallsvarablen Varablen X, Y unabhängg gdw px ( xy, y) px ( x) py ( y) j j Äquvalente Defnton Unabhänggket: gg px ( xy y) px ( x) und py ( y X x) py ( y) j j j Bedngte Unabhänggket p( X x, Y y Z z ) p( X x Z z ) p( Y y Z z ) k k k

58 Bayessche Regel Bayessche Regel: Bewes enfach: px ( Y ) px ( Y) Defnton bedngte Wahrschenlchket py ( X) p( X) py ( ) pxy (, ) ( ) ( ) py X px py ( ) py ( ) Produktregel Wchtge Grundenscht für das maschnelle Lernen: Erlaubt den Rückschluss auf Modellwahrschenlchketen gegeben Wahrschenlchketen von Beobachtungen

59 Bayessche Regel Modellwahrschenlchket gegeben Daten und Vorwssen pdaten ( ) konstant, unabhängg von Modell p( Modell Daten) p( Daten Modell) p( Modell) p ( Daten ) p( Daten Modell) p( Modell) Lkelhood: we gut erklärt Modell de Daten? Pror: we wahrschenlch st Modell a pror?

60 Maxmum-A-Posteror-Hypothese Wahrschenlchstes Modell gegeben de Daten. f arg max p( f L) MAP f w w arg max f w plf ( ) p ( f ) pl ( ) arg max plf ( ) p ( f ) f w arg mn log PLf ( ) log p( f ) f w w w w w w Anwendung Bayes sche Regel Log-Lkelhood Log-Pror Optmerungskrterum bestehend aus log-lkelhood und log-pror w w Parameter des Modells ( x) f w 60

61 Log-Lkelhood We wahrschenlch snd de Daten gegeben das Modell? log plf ( ) log py (,..., y f,,..., ) x x w 1 N w 1 N Annahme: Datenpunkte snd unabhängg gezogen. log py ( 1,..., yn f, x 1,..., x w N) log pyf (, x ) log pyf (, x ) w w Annahme: spezelle Exponentalvertelung Sa awade/lan ndwehr/sc cheffer, M aschnelles Lernen 61

62 Log-Lkelhood We wahrschenlch snd de Daten gegeben das Modell? log plf ( ) log py (,..., y f,,..., ) x x w 1 N w 1 N Annahme: Datenpunkte snd unabhängg gezogen. log py ( 1,..., yn f, x 1,..., x w N) log pyf (, x ) 1 l f x y pyf (, ) e Z log pyf (, x ) w w Annahme: spezelle Exponentalvertelung Verlustfunkton y 1 y 1 x ( ( ), ) l( f ( x), y) f ( x) 1 0 c w f ( x ) 1 c 0 Normalserer cc, 0 62

63 Log-Lkelhood We wahrschenlch snd de Daten gegeben das Modell? log plf ( w ) log py ( 1,..., yn fw, x1,..., xn) Annahme: Datenpunkte snd unabhängg gezogen. log py ( 1,..., yn f, x 1,..., x w N) log pyf (, x ) log pyf (, x ) w w l( f ( x), y) e log Z Konstanter Faktor l ( f ( x ), y ) const (unabhängg von f ) w Negatve Log-Lkelhood Lk entsprcht Verlustterm! 63

64 Pror: Gaußvertelung, Normalvertelung Vertelung für reelle (oder vektor-wertge) Zufallsvarable x 2 Streut um Mttelwert mt Varanz Dchtefunkton Sa awade/lan ndwehr/sc cheffer, Maschnelles Lernen 64

65 A-Pror-Wahrschenlchket (Pror) Annahme: Modellparameter normalvertelt mt Mttelwert 0 p( f ) ( w 0, w ) 1 w 2 2 e Negatver Log-Pror: 1 const 2 log p ( fw ) w 2 Negatver Log-Pror = Regularserer! 2 Konstanter Faktor (unabhängg von f ) 65

66 A-Posteror-Wahrschenlchket (Posteror) Wahrschenlchstes Modell gegeben Vorwssen und Daten. f arg max p ( f L ) MAP f w w argmn log plf ( ) log p( f ) f w arg mn l ( f ( x ), y ) f w w w 1 (Fole 60 zusammen mt 63 & 65, ) 2 ArgMn über regularserte Verlustfunkton! Rechtfertgung für Optmerungskrterum? Wahrschenlchste Hypothese (MAP-Hypothese). w w 2 66

67 Zusammenfassung Klassfkaton, Regresson, Modelle für Vorhersage. Parametrserung von Modellen (Parametervektor w) Hypothesenraum: Raum aller Modelle. e Verson Space: Modelle, de mt Tranngsdaten konsstent snd. Lernen (Parameterschätzung) aus Tranngsdaten. Optmerungskrterum: Verlust über Tranngsbespele plus Regularserungsterm. Mnmum des Krterums: wahrschenlchstes Modell gegeben Daten und Pror. 67

68 Übungen Erstes Übungsblatt: Ausgabe morgen, Besprechung kommende Woche Se können für enzelne Aufgaben voteren Se müssen für 2/3 aller Aufgaben voteren Sa awade/lan ndwehr/sc cheffer, Maschnelles Lernen 68