Kapitel 2: Klassifikation. Maschinelles Lernen und Neural Computation

Transkript

1 Kaptel 2: Klassfkaton Maschnelles Lernen und Neural Computaton 28

2 En enfacher Fall En Feature, Hstogramme für bede Klassen (z.b. Glukosewert, Dabetes a/nen) Kene perfekte Trennung möglch Entschedung: Schwellwert Frage: Wo setze ch hn am besten hn? nen C 1 C 2 a x 1 Maschnelles Lernen und Neural Computaton 29

3 Der allgemene Fall: Bayes sches Theorem Ann: Daten fallen n k Klassen, wähle für ene Beobachtung x de Wahrschenlchste aus Wahrschenlchket für Beobachtung, wenn n Klasse ( lkelhood, class-condtonal ) p x c Pc x px P c Wahrschenlchket, dass Beobachtung Zur Klasse gehört ( a posteror ) p k x px c Pc 1 Wahrschenlchket für Klasse vor der Beobachtung ( a pror ) Wahrschenlchket für das Auftreten der Beobachtung Nenner st Summe aller möglchen Zähler (aller Fälle) Maschnelles Lernen und Neural Computaton 30

4 Der optmale Klassfkator Klassfkaton: wähle de Klasse mt der höchsten a-posteror Wahrschenlchket Erzelt das bestmöglche Resultat Bayes sche Formel erlechtert das Problem, da Wahrschenlchketen auf der rechten Sete mest lechter zu bestmmen snd Da p(x) für alle Klassen glech st, kann es oft weggelassen werden Maschnelles Lernen und Neural Computaton 31

5 Enschub: Wahrschenlchketsdchten Für dskrete Varablen (endlche Werte): Wahrschenlchket, z.b.: P(c ) Für kontnuerlche Varablen ncht möglch: P(x )=0 Stattdessen: Wahrschenlchketsdchtefunkton p(x) p(x )... Dchte an desem Punkt (kann größer als 1 sen) p xdx 1 Wahrschenlchket, dass x n enem klenen Intervall legt x x p x x xd x Px x Dchte kann we Wahrschenlchket behandelt werden Maschnelles Lernen und Neural Computaton 32

6 Bespel: 1 Varable, 2 Klassen Vertelung der Werte für Klasse 1 ( class-condtonal ) für Klasse 2 Entschedungsgrenze Annahme: n beden Klassen snd Beobachtungen normalvertelt Entschedungsgrenze: Schnttpunkt der beden Kurven Multplkaton mt a-pror Wahrschenlchketen: Entschedungsgrenze verschebt sch Durchdvderen durch Summe ergbt Wahrschenlchket für Klasse Maschnelles Lernen und Neural Computaton 33

7 2-dm. Gaussvertelungen Bespel: 2 Varablen, 2 Klassen Lneare Entschedungsgrenze Maschnelles Lernen und Neural Computaton 34

8 Klassfkatoren Problem: Dchtevertelungen mest unbekannt Lösung: Schätzen der Vertelungen Schätzen der Entschedungsgrenze Schätzen von Dskrmnanzfunktonen: Wähle für ede Klasse Fkt. g (x) Klasse c, wenn g (x)>g (x) für alle z.b.: g x px c Pc g x log p x c log P c Kene Wahrschenlchketen mehr Maschnelles Lernen und Neural Computaton 35

9 Dskrmnanzfunktonen für Normalvertelungen Streuung n alle Rchtungen glech ( sphärsch ): x Log-Fkt. Und multplkatve Faktoren ändern nchts an Größenverhältns: 2 x μ g x logpc Quadratsche Funkton Entschedungsgrenze: g 1 (x)=g 2 (x), auch quadratsch wenn 1 = 2 : lnear g exp x μ 2 P c Maschnelles Lernen und Neural Computaton 36

10 Vsualserung: Normalvertelungen Maschnelles Lernen und Neural Computaton 37

11 Allgemener Ansatz: Dskrmnanzanalyse Lneare Dskrmnanzfunkton: entsprcht dem Perceptron mt 1 Output Unt pro Klasse Quadratsch lnear: g g x entsprcht ener Vorverarbetung der Daten, Parameter (w,v) noch mmer lnear n 1 n w x w x w x p p v x x w 0 Maschnelles Lernen und Neural Computaton 38

12 Der Schrtt zum neuronalen Netz Allgemen lnear: g p x w y x w0 1 belebge Vorverarbetungsfunktonen, lneare Verknüpfung Neuronales Netz: y y T x f w x f...sgmode x f w x f... Gauss MLP RBFN NN mplementert adaptve Vorverarbetung nchtlnear n Parametern (w) Maschnelles Lernen und Neural Computaton 39

13 Bespel: XOR (0 0) 0 (1 0) 1 (0 1) 1 (1 1) 0 Exklusves Oder 4. Muster st Summe des 2. und 3. (lneare Abhänggket) Punkte lassen sch durch kene Gerade trennen Maschnelles Lernen und Neural Computaton 40

14 Hdden Unts Zwe Perceptrons + nchtlneare Transferfunkton: Schwellwertfunkton brcht lneare Abhänggket Maschnelles Lernen und Neural Computaton 41

15 Belebge Klassfkatonen Jede Hdden Unt telt Raum n 2 Hälften Output Unts wrken we AND Sgmode: verlaufende Bereche Maschnelles Lernen und Neural Computaton 42

16 Bespel: MLP MLP mt 5 Hdden und 2 Output Unts Lneare Transferfunkton am Output Quadratscher Fehler Maschnelles Lernen und Neural Computaton 43

17 MLP zur Dskrmnanzanalyse MLP (und RBFN) st drekte Erweterung klassscher Modelle Stärke: belebge nchtlneare Dskrmnanzfunktonen Hdden Unts: Adaptve Vorverarbetung des Inputs Form der Dskrmnanzfunkton außerhalb der Entschedungsgrenze belanglos Perceptron st dentsch mt lnearer Dskrmnanzanalyse Maschnelles Lernen und Neural Computaton 44

18 Alternatver Ansatz: Schätzung der Vertelungen Bem Ansatz mttels Dskrmnanzfunktonen geht en wesentlcher Aspekt verloren: Wahrschenlchketen der Klassenzugehörgket mehr an Bayes halten, Dchtefunkton schätzen (vor allem p(x c )) Parametrsch: Form st bekannt, wenger Parameter zu schätzen Nchtparametrsch: Form st unbekannt, theoretsch belebg Maschnelles Lernen und Neural Computaton 45

19 Parametrsch: Maxmum Lkelhood (ML) Ann.: Vertelung hat ene bestmmte, analytsch beschrebbare Form (z.b. Normalvertelung) mt Parametern (z.b. Zentrum und Wete) n Lkelhood: L p θ p x θ Entsprcht der Wahrschenlchket, dass Daten beobachtet werden, wenn de Vertelung rchtg st ML: Fnde enes, das de Beobachtungen am wahrschenlchsten macht: Maxmere L() Vor: Beobachtungen (Daten) snd unabhängg vonenander 1 Menge aller Datenpunkte Maschnelles Lernen und Neural Computaton 46

20 Maschnelles Lernen und Neural Computaton 47 Bespel: endmensonale Normalvertelung Verenfachung (ähnlch we zuvor): logarthmeren, Vorzechen ändern, Konstante weglassen, mnmeren mnmere de negatve log-lkelhood n n x x p L L exp 2 1,, θ n x L log log Mnmerung: 1. Abletung auf 0 setzen n n x n x n ˆ 1 ˆ 1 ˆ Erwartetes Ergebns: Mttelwert und Varanz

21 Lkelhood-Funktonen für de Normalvertelung L() für Punkte 1, 2 und 3, =1 L() für Punkte 1, 2 und 3, =1 (weder Gauss-Fkt.) L() für enen Punkt 1, =1: ML ncht mmer snnvoll! Maschnelles Lernen und Neural Computaton 48

22 Nchtparametrsch: Parzen-Wndows Wenn Form belebg, kene Lkelhood angebbar Wähle enen klenen (Hyper-)Würfel, zähle wevel Punkte drn legen (k ) k Geschätzte Dchte: p x n V Volumen Wenn n, V 0, dann mmer genauer Entsprcht enem normalserten Hstogramm Maschnelles Lernen und Neural Computaton 49

23 Der Fluch der Dmensonaltät (Bellman 1961): be nchtparametrschen Fällen stegt de Anzahl der benötgten Bespele exponentell mt der Dmensonaltät des Input! Parzen: wenn Fenster klen, muss es noch genügend Bespele enthalten e mehr Dmensonen, desto dünner gesät möglchst wenge Inputs, vele Daten Maschnelles Lernen und Neural Computaton 50

24 Semparametrsch: Gaussan Mxtures (GMM) Nähere belebge Vertelung durch ene Mschung von Normalvertelungen an p x c l k 1 exp 2 x Gleches Prnzp we be neuronalen Netzen Maxmum Lkelhood: L n n μ,σ px π,μ, σ, c π, -logl, Gradentenverfahren 1 Maschnelles Lernen und Neural Computaton 51

25 (90 gedreht) Bespel Classcondtonals: Posteror: Entschedungsgrenze: Maschnelles Lernen und Neural Computaton 52

26 MLP zur Klassfkaton Bewes exstert: MLP nähert de a-posteror Wahrschenlchket an Aktverungsfunkton: Softmax (egene Fehlerfunkton notwendg; sehe später) y k exp 1 A-pror Wahrschenlchketen: Vertelungen m Tranngsset x exp x Maschnelles Lernen und Neural Computaton 53

27 De Softmax-Funkton Erzwngt, dass Outputs als Wahrschenlchketen nterpreterbar snd x out k 1 exp Bezug zum Bayes schen Theorem y exp out y out Spezalfall: Sgmode Funkton nur 2 Klassen, 1 Output Unt: durchdvderen n n p x c Pc x k n px c P c P c 1 0 x out 1, k 1 x out 1 Wenn Expontentalvertelung Softmax Nettonput st log. von Dchte x out 1 1 e out y Maschnelles Lernen und Neural Computaton 54

28 Warum Wahrschenlchketen? Mehr Informaton Ablehnung von unscheren Fällen: Performanz stegt, aber enge Fälle unentschedbar Enfache Berückschtgung von anderen a-pror Wahrschenlchketen Berückschtgung von Kosten für Fehler Verknüpfung mt anderen Quellen Maschnelles Lernen und Neural Computaton 55

29 NN als semparametrsche Methoden Semparametrsch: Form relatve belebg, aber dennoch durch Anzahl der Hdden Unts ( Modellkomplextät ) beschränkt Fluch der Dmenson abgeschwächt, aber mmer noch gegeben: Bedarf stegt ungefähr quadratsch NN haben gute Egenschaften, wenn Dchten unbekannt, aber mmer noch glt: wenge Inputs, vele Daten! Maschnelles Lernen und Neural Computaton 56

30 Nachtrag: k-nearest neghbor Spechere alle Tranngssätze mt zugehörger Klasse Neuer Fall: wähle de k nähesten Tranngsfälle, nmm Klasse, de am häufgsten vorkommt k=4: 3 Klasse 2 1 Klasse 1 Klasse 2 (posteror ¾) Duda & Hart 1974: Nearest Neghbor (k=1) hat maxmal den doppelten Fehler des bayesoptmalen Klassfzerers (für große Fallzahl) kann als Benchmark verwendet werden Approxmert auch de a-pror Wahrschenlchket drekt nchtparametrsch Maschnelles Lernen und Neural Computaton 57

31 Zusammenfassung NN snd semparametrsche Methoden zur Klassfkaton Lt. Bayes snd Wahrschenlchketen angebbar, brngt mehr Informaton Es exsteren glechmächtge Alternatven (z.b. GMM) Nearest Neghbor als Benchmark Maschnelles Lernen und Neural Computaton 58