Modelle, Version Spaces, Lernen

Transkript

1 Unverstät Potsdam Insttut ür Inormatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle Verson Spaces Lernen Tobas Scheer Mchael Brückner

2 Klasskaton Engabe: Instanz Objekt X. Können durch Attrbut-Vektoren repräsentert sen. Instanz st Belegung der Attrbute. Instanzen erden auch als Merkmalsvektoren bezechnet m Ausgabe: Klasse Y; endlche Menge Y. z.b {+1-1}; {Spam Ncht-Spam}. Klasse rd auch als Zelattrbut bezechnet. Kombnaton tosch? / Scheer/Brückner Maschnelles Lernen 2

3 3 Scheer/Brückner Maschnelles Lernen Klasskatonslernen Engabe: Tranngsdaten. Ausgabe: Klasskator auch als Modell bezechnet N N L m... 1 Y X : sonst enn

4 Klasskatonslernen Engabe: Tranngsdaten. Ausgabe: Klasskator auch als Modell bezechnet. L N N 1... m : X Y Lnearer Klasskator mt Parametervektor. enn sonst enn T 0 sonst Scheer/Brückner Maschnelles Lernen 4

5 Klasskatonslernen Engabe: Tranngsdaten. Ausgabe: Klasskator auch als Modell bezechnet. L N N 1... m : X Y - Entschedungsbäume. - Generalserte lneare Modelle Kernel. - - Hpothesenraum rd auch enn sonst enn T 0 also Language sonst Bas bezechnet. Scheer/Brückner Maschnelles Lernen 5

6 6 Scheer/Brückner Maschnelles Lernen Klasskatonslernen Engabe: Tranngsdaten. Alternatve Schrebese: Engaben: Matr Ausgaben: Vektor N N L m... 1 Nm N m N M O M X N... 1

7 Regresson Engabe: Instanz Objekt X. Können durch Attrbut-Vektoren repräsentert sen. Instanz st Belegung der Attrbute. Instanzen erden auch als Merkmalsvektoren bezechnet m Ausgabe: kontnuerlcher Werte R. z.b Toztät. We tosch st Kombnaton? Scheer/Brückner Maschnelles Lernen 7

8 Regressonslernen Engabe: Tranngsdaten. Ausgabe: Modell Regressonsmodell. L N N 1... m : X R T + b Scheer/Brückner Maschnelles Lernen 8

9 Andere Lernprobleme Präerenzlernen. Ordnale Regresson. Taonome-Klasskaton. Klasskaton und Regresson mt strukturerten Ausgaberäumen. Kollaboratve Vorhersage. Scheer/Brückner Maschnelles Lernen 9

10 Klasskatonslernen Engabe: Tranngsdaten. Ausgabe: Klasskator. L N N 1... m : X Y enn sonst Lernen: Klasskator aus Tranngsdaten. Scheer/Brückner Maschnelles Lernen 10

11 Hpothesenraum Hpothesenraum Modellraum H: Menge der Klasskatonsmodelle de Lernverahren n Betracht zeht. Hpothesenraum st ener der Frehetsgrade bem maschnellen Lernen vele Räume gebräuchlch. Z.B.: enn j j v sonst Alle möglchen Konjunkton von Bedngungen. We groß st Hpothesenraum m bnäre Attrbute? j Scheer/Brückner Maschnelles Lernen 11

12 Klasskaton Klasskator ür Kombnaton tosch. Hpothesenraum: Konjunktonen von Bedngungen. Welches st de korrekte Hpothese? enn sonst??? Bespel- Kombnatonen Präparate n der Kombnaton Scheer/Brückner Maschnelles Lernen 12

13 Genereller-Als -Ordnung Grundmenge X enn Hpothesen H Immer spezsch generell Immer 2 enn 21 3 enn Scheer/Brückner Maschnelles Lernen g gd X g s s g g 2 g 1 2 g 3 aber ncht 1 3 g 13

14 Verson Space Menge aller Hpothesen de mt den Tranngsdaten konsstent snd. VS { H L : H L Verson Space rd klener je mehr Daten vorhanden snd. Verson Space leer: Tranngsmenge dersprüchlch. Verson Space enelementg: Rchtges Modell geunden Oder rchtges Modell st ncht m Hpothesenraum. Mehrere Elemente m Verson Space: Noch ncht ertg. } Scheer/Brückner Maschnelles Lernen 14

15 Verson Space: Brute Force Konstrukton Intalsere V au Menge aller Hpothesen. Für alle Tranngsbespele : Lösche alle Hpothesen aus V de mt nkonsstent snd also. V st jetzt der Verson Space. Scheer/Brückner Maschnelles Lernen 15

16 Scheer/Brückner Maschnelles Lernen Verson Space Präparate n der Kombnaton enn Bespel- Kombnatonen

17 Verson Space enn Bespel- Kombnatonen Präparate n der Kombnaton Alle Elemente des Verson Space erklären de Daten glechermaßen gut. Jedes Element des Verson Space könnte de Daten erzeugt haben. Scheer/Brückner Maschnelles Lernen 17

18 Unscherhet In der Pras errecht man nemals Gesshet darüber en korrektes Modell geunden zu haben. Der Hpothesenraum st mest unendlch groß. Der Verson Space st dann mest auch unendlch. Rsko ener Vorhersage. Erartete Kosten ener Vorhersage. A-Pror-Wahrschenlchket Pror über Modelle. Wahrschenlchstes Modell gegeben Daten. Scheer/Brückner Maschnelles Lernen 18

19 Verlustunkton Optmerungskrterum Lernprobleme erden als Optmerungsprobleme ormulert. Verlustunkton msst e gut Modell zu Tranngsdaten passt. Regularserungsunkton msst ob das Modell nach unserem Vorssen ahrschenlch st. Optmerungskrterum st Summe aus Verlust und Regularserer. Mnmum des Optmerungskrterums: nsgesamt ahrschenlchstes Modell gegeben Tranngsdaten und Vorssen. Scheer/Brückner Maschnelles Lernen 19

20 Verlustunkton We schlmm st es enn Modell vorhersagt obohl der echte Wert der Zelvarable st? Verlust l. Bespel: Klasskatonsprobleme False Postves und False Negatves glech schlmm. Zero-One Loss: l 0 enn 1 sonst Scheer/Brückner Maschnelles Lernen 20

21 Verlustunkton We schlmm st es enn Modell vorhersagt obohl der echte Wert der Zelvarable st? Verlust l. Bespel: dagnostsche Klasskatonsprobleme übersehene Erkrankungen False Negatves schlmmer als False Postves. Kostenmatr l c FN 1 cfp 0 Scheer/Brückner Maschnelles Lernen 21

22 Verlustunkton We schlmm st es enn Modell vorhersagt obohl der echte Wert der Zelvarable st? Verlust l. Regresson: Vorhersage möglchst dcht an echtem Wert. Quadratscher Fehler l 2 Scheer/Brückner Maschnelles Lernen 22

23 Verlustunkton We schlmm st es enn Modell vorhersagt obohl der echte Wert der Zelvarable st? Verlust l. Verlustunkton st aus der jeelgen Anendung heraus motvert. Scheer/Brückner Maschnelles Lernen 23

24 Regularserer Drückt Annahme darüber aus ob Modell ahrschenlch st. Unabhängg von den Tranngsdaten. Häug rd de Annahme ausgedrückt dass enge der Attrbute ür en gutes Modell ausrechen. De Anzahl der Attrbute der Betrag oder der quadrerte Betrag der Attrbut-Gechtungen gehen n den Regularserungsterm en. L 0 - L 1 -bz. L 2 -Regularserung. Scheer/Brückner Maschnelles Lernen 24

25 Regularserer Konjunkton von Bedngungen Lässt sch schreben als: Allgemen: enn sonst enn sonst enn sonst enn sonst 1 + j j 3 j j + j j 7 b 3 b enn sonst T b Scheer/Brückner Maschnelles Lernen mt j { } 25

26 Regularserer Konjunkton von Bedngungen Lässt sch schreben als: Allgemen: enn sonst enn sonst enn sonst enn sonst 1 + j j 3 j j + j j 7 b 3 b enn sonst : Modellparameter T b Scheer/Brückner Maschnelles Lernen mt j { } 26

27 Regularserer Lnearer Klasskator L 2 -Regularserung: 2 λ enn T b sonst Addert 1 ür jedes von null verschedene Gecht. Optmerungskrterum: 2 Rˆ L l + λ Durch den Regularserer mplementerte Präerenz des Lerners rd auch Inductve Bas genannt. Scheer/Brückner Maschnelles Lernen 27

28 Optmerungsproblem Krterum Beste Hpothese? Rˆ L l + λ 3 2 Scheer/Brückner Maschnelles Lernen

29 Optmerungsproblem Rechtertgung ür Regularserer? Enstellung von λ? Mehrere Rechtertgungen und Herletungen. Wahrschenlchste Hpothese MAP-Hpothese. Hpothese de Daten am stärksten komprmert Mnmum Descrpton Length. Nedrgere obere Schranke ür Fehler au zuküntgen Daten abhängg von. SRM. Lernen ohne Regularserung st ll-posed Problem; Lösung esteren manchmal ncht oder hängt etrem stark von mnmalen Änderungen n den Daten ab. Scheer/Brückner Maschnelles Lernen 29

30 Unscherhet und Wahrschenlchketen Modellvorstellung bem Lernen: Jemand hat echtes nach A-Pror- Wahrschenlchket Pror p gezogen. st ncht bekannt aber p relektert Vorssen. Tranngsengaben erden gezogen. Tranngsausgaben erden nach p gezogen. Gegeben L und p as st ahrschenlchstes Modell? Scheer/Brückner Maschnelles Lernen 30

31 Zuallsvarablen En Eperment st en denerter Prozess n dem ene Beobachtung erzeugt rd. Eregnsraum Ω: Alle möglchen Ausgänge Zuallsvarable X: Abbldung des Eregnsraumes au numersche Werte. PX PA XA. Wahrschenlchketsunkton P vertelt Wahrschenlchketsmasse 1 au Elemente n Ω. Scheres Eregns: PX Ω X 1. Unmöglches Eregns: PX 0. Mathematsche Grundlage durch Kolmogoro Aome. Scheer/Brückner Maschnelles Lernen 31

32 Wahrschenlchketen Gemensame Wahrschenlchket Randahrschenlchket Bedngte Wahrschenlchket Scheer/Brückner Maschnelles Lernen 32

33 Scheer/Brückner Maschnelles Lernen Wahrschenlchketen 33 Produktregel Summenregel

34 Scheer/Brückner Maschnelles Lernen Rechenregeln ür Wahrschenlchketen 34 Summenregel Produktregel

35 35 Scheer/Brückner Maschnelles Lernen Unabhänggket Varablen X und Y snd unabhängg g.d.. Y P X P Y X P Äquvalente Denton ür Unabhänggket: X P Y X P und Y P X Y P Bedngte Unabhänggket Z Z Z Y P X P Y X P

36 Scheer/Brückner Maschnelles Lernen Baes Theorem 36 posteror lkelhood pror

37 Baes Theorem P Erklärung Beobachtung P Beobachtung Erklärung P Erklärung P Beobachtung P Beobachtung Erklärung P Erklärung posteror lkelhood pror Scheer/Brückner Maschnelles Lernen 37

38 38 Scheer/Brückner Maschnelles Lernen Mamum-A-Posteror-Hpothese Wahrschenlchstes Modell gegeben de Daten. log log arg mn arg ma arg ma arg ma p L P p L P L p p L P L p MAP Log-Lkelhood Log-Pror

39 Log-Lkelhood We ahrschenlch snd de Daten gegeben das Modell? Annahme: Datenpunkte snd unabhängg gezogen. log P L log P... N 1... log P log 1 λ' log P l N P 1 N N Annahme: spezelle Eponental-vertelung Scheer/Brückner Maschnelles Lernen 39

40 40 Scheer/Brückner Maschnelles Lernen Log-Lkelhood We ahrschenlch snd de Daten gegeben das Modell? Annahme: Datenpunkte snd unabhängg gezogen log log 1 1 N N P L P + l l l N N l e e e P P P ' 1 log log log log 1 1 λ β β β

41 Scheer/Brückner Maschnelles Lernen Gauß-Vertelung Normalvertelung 41

42 A-Pror-Wahrschenlchket Pror Datenunabhängg: Wahrschenlchket ür Modell bevor r de Daten angesehen haben. Normalvertelter Pror au Modellparametern. Negatver Log-Pror: p 1 e 2πσ log P 1 2 2σ 1 c + 2σ Scheer/Brückner Maschnelles Lernen 42

43 A-Posteror-Wahrschenlchket Posteror Wahrschenlchket ür Modell gegeben Vorssen und Daten. MAP arg ma arg mn arg mn p L log P L + λ Fole 37 zusammen mt 39 λ und σ zu λ zusammengeasst. l log p 2 Scheer/Brückner Maschnelles Lernen 43

44 Modell Hpothesenraum Verson Space Modell mt Parametern ür Vorhersage. Hpothesenraum: Raum aller Modelle. generalserte lneare Modelle Entschedungsbäume Verson Space: Modelle de mt Tranngsdaten konsstent snd. Lernen Parameterschätzung aus Tranngsdaten. Optmerungskrterum: Verlust über Tranngsbespele plus Regularserungsterm. Mnmum des Krterums: ahrschenlchstes Modell gegeben Daten und Pror. Scheer/Brückner Maschnelles Lernen 44