Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester Lösungsblatt 3 Maschinelles Lernen und Klassifikation

Transkript

1 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester M. Sperber S. Nguyen Lösungsblatt 3 Maschinelles Lernen und Klassifikation Aufgabe : Zufallsexperiment a) Nehmen Sie eine Stoppuhr und lassen Sie eine andere Person diese starten. Versuchen Sie, ohne die Stoppuhr zu sehen, nach Ablauf von 5 Sekunden,,Stopp zu sagen, woraufhin die andere Person die Uhr stoppt und den darauf angezeigten Wert notiert. Wiederholen Sie den Versuch n mal, ohne die bereits notierten Werte zu betrachten. Wählen Sie einen sinnvollen Wert für n, um einen Naiven Bayes-Klassifikator zu trainieren. b) Nehmen Sie an, das Experiment in Teilaufgabe a) unterliegt einem Zufallsprozess, der mit einer Gauß schen Normalverteilung beschrieben werden kann. Somit lässt sich für jede Person, die den beschriebenen Versuch durchführt, eine spezifische Wahrscheinlichkeitsdichtefunktion beschreiben. Schätzen Sie die Parameter Ihrer persönlichen Verteilung mit den gemessenen Ergebnissen mit der Maximum Likelihood-Methode. c) Die in Teilaufgabe b) beschriebene Verteilungsfunktion soll die Wahrscheinlichkeitsdichte für eine Klasse ω beschreiben. Nehmen Sie an, eine Kommilitonin hat einen ähnlichen Versuch durchgeführt. Aus ihren Messungen ergibt sich eine Klasse ω, die ebenfalls einer Normalverteilung unterliegt mit dem Erwartungswert µ = 5.5 und der Varianz σ =. Führen Sie einen einzelnen weiteren Versuch wie beim Zufallsexperiment in Teilaufgabe a) durch und versuchen Sie, mit einem Naiven Bayes-Klassifikator zu ermitteln, ob das Ergebnis zu Ihnen selbst oder Ihrer Kommilitonin passt (ω oder ω ). Sie haben dabei die Handschrift analysiert, mit der das Ergebnis notiert wurde; Sie vermuten deshalb von vornherein, dass es mit einer Wahrscheinlichkeit von.3 zu ω gehört und mit einer Wahrscheinlichkeit von.7 zu ω. Lösung: a) when n = ; random numbers: 5.95;.9;.9;.9;.7; 5.59;.;.95;.;.3; b) Expected value and variance: µ = n n i= x i = ( ) 5.59 Lösungsblatt 3 zu Kognitive Systeme Seite

2 σ = n i= (x i µ) n = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + (. 5.59) + ( ) + (. 5.59) + ( ).5 σ.3 Therefore, the class follows following distribution: p(x ω ) N(5.59;.5) for chosen random numbers. c) Posterior probability in Bayes theorem is defined: P (ω c x) = p(x ω c)p (ω c ) p(x) p(x ωc)p (ωc) p(x) where p(x) is same for C = {; }. Therefore, implies that we need to find the ω c which maximizes p(x ω c )P (ω c ). = arg max c Generate another random number, for example, x = 5.5. Then when C =, is proportional to p(x ω c )P (ω c ). This p(x ω c )P (ω c ) P (ω x) = p(x ω )P (ω ) p(x) p(x ω )P (ω ) = e ( ( x µ ) σ ) P (ω ) πσ = π.3 e ( ( ) ).3.97 e.3.3. Lösungsblatt 3 zu Kognitive Systeme Seite

3 When C =, P (ω x) = p(x ω )P (ω ) p(x) p(x ω )P (ω ) = e ( ( x µ ) σ ) P (ω ) πσ = π e ( ( ) ) e Therefore from the pervious calculation we have following probabilities. p(x ω )P (ω ). p(x ω )P (ω ).93 p(x ωc)p (ωc) p(x) where p(x ω )p(ω ) is higher than p(x ω )p(ω ). As P (ω c x) = is proportional to p(x ω c )P (ω c ), we can conclude that P (ω x) < P (ω x) implies arg max p(x ω c )P (ω c ) for C = {, } yields C =. Therefore, when x = 5.5, it is assigned to the class ω according to the MAP-crieteria. c Lösungsblatt 3 zu Kognitive Systeme Seite 3

4 Aufgabe : Fehlerwahrscheinlichkeit Für zwei Klassen ω und ω mit den A-Priori-Wahrscheinlichkeiten P (ω ) = 5 und P (ω ) = 5 sind die folgenden Wahrscheinlichkeitsdichtefunktionen definiert: p(x ω ) = π e x und p(x ω ) = π e (x 3) a) Wie hoch ist die Fehlerwahrscheinlichkeit in Abhängigkeit eines Schwellwerts θ, wenn sich eine Entscheidungsfunktion für ω entscheidet wenn x < θ und ansonsten für ω? b) Online-Frage Nr. : Wie lautet der optimale Schwellwert θ opt? (i).37 (ii).53 (iii).5 (iv).5 (v).3 c) Berechnen Sie den kleinsten möglichen Klassifikationsfehler. Hinweis: Formen Sie die Integrale aus der Funktion zur Berechnung der Fehlerwahrscheinlichkeit aus Teilaufgabe a) so um, dass sich deren Lösungen aus einer Tabelle zur Standardnormalverteilung Φ(z) ablesen lassen (z.b. unter d) Sie haben eine Reihe von Messungen durchgeführt und die Messdaten mit einem Naiven Bayes- Klassifikator, bei dem Sie den Schwellwert auf das zuvor errechnete θ opt gesetzt haben, klassifiziert. Sie stellen dabei fest, dass die tatsächliche Fehlerrate höher liegt als die in Teilaufgabe c) errechnete Fehlerwahrscheinlichkeit. Warum ist dies so? Lösung: a) P F ehler (θ) = θ = 5 p(x ω )P (ω )dx + θ e x dx + π 5 θ θ p(x ω )P (ω )dx π e (x 3) dx Lösungsblatt 3 zu Kognitive Systeme Seite

5 b) Der optimale Schwellwert θ opt liegt an der Stelle an der sich die Fehlerwahrscheinlichkeitsfunktionen kreuzen. Der richtige Wert kann auch über eine grafische Darstellung am Schnittpunkt der beiden Funktionen abgelesen werden. P (ω )p(x ω )! = P (ω )p(x ω ) e θ opt = e (θ opt 3) 5 π 5 π e θ opt = e (θ opt 3) e θ opt +(θ opt 3) = e 3θopt+.5 = 3θ opt +.5 = ln θ opt =.5 ln 3.3 Gaussian Distribution μ =., σ =. μ = 3., σ = decision boudary: x = Lösungsblatt 3 zu Kognitive Systeme Seite 5

6 c) The minimum error probility is when the threshold θ is the optimum value. Therefore, we need to z calculate P error (θ opt ). Standard normal distribution is: Φ ; (z) = π e t dt. P error (θ) = θ = 5 = 5 = 5 = 5 = 5 p(x ω )P (ω )dx + θ.3 e x dx + π 5 π π π θ θ π e x dx p(x ω )P (ω )dx π e (x 3) dx.3 e x dx + 5 e x dx + 5 e x dx + 5 e (x 3) dx π.3 π.3 3 π.9 π e (x 3) dx e x dx e x dx = 5 (.3 e x dx) + π 5 (.9 e x dx) π = 5 ( Φ(.3)) + ( Φ(.9)) 5 5 (.5) + (.975) 5 = d) Die Wahrscheinlichkeitsdichtefunktion ist immer nur eine Schätzung, die der realen Verteilung möglichst nahe kommen soll, sie aber nicht perfekt abbildet. Zu wenige oder verzerrte Messdaten. Aufgabe 3: k-nearest-neighbors Gegeben sei der folgende Datensatz mit zwei Klassen (Kreise und Kreuze). Klassifizieren Sie das mit einer Raute markierte Merkmal an den Koordinaten (5, 5) mit dem k-nearest-neighbors Algorithmus für k = und k = 5. Benutzen Sie dabei zur Gewichtung die euklidische Distanz. Lösungsblatt 3 zu Kognitive Systeme Seite

7 Lösung für k = : Die Raute wird als Kreis klassifiziert. Lösung für k = 5: Die Raute wird als Kreuz klassifiziert. Lösungsblatt 3 zu Kognitive Systeme Seite 7

8 Online-Frage Nr. : Wie wird die Raute für k = 5 klassifiziert? (i) keine Klasse (ii) Kreis (iii) Kreuz Lösungsblatt 3 zu Kognitive Systeme Seite

9 Aufgabe : Perzeptronen In den Grafiken (a) bis (d) sind jeweils Datenpunkte zweier Klassen eingezeichnet. (a) b) (c) Online-Frage Nr. 3: Welche der folgenden Aussagen sind für die jeweils angegebene Abbildung wahr? Bitte alle richtigen Antworten im Online-Formular ankreuzen. (i) Abbildung a) Die beiden Klassen sind linear separierbar. (ii) Abbildung b) Die beiden Klassen lassen sich mit einem einfachen Perzeptron trennen. (iii) Abbildung c) Die beiden Klassen sind linear separierbar. (iv) Abbildung d) Nach einer Umrechnung in Polarkoordinaten sind die beiden Klassen linear separierbar. (v) Abbildung d) Die beiden Klassen lassen sich mit einem einfachen Perzeptron trennen. (vi) Abbildung d) Die beiden Klassen lassen sich mit einem Multi Layer Perceptron mit einer versteckten Schicht, die aus zwei Neuronen besteht, trennen. Lösung: (i) Falsch. (ii) Richtig. (iii) Falsch. (iv) Falsch. (v) Falsch. d) Lösungsblatt 3 zu Kognitive Systeme Seite 9

10 (vi) Richtig. Aufgabe 5: Neuronale Netze Gegeben seien die folgenden Punktwolken mit zweidimensionalen Merkmalsvektoren, die der positiven Klasse A und{( negativen ) ( Klasse)} B zugeordnet sind: {( ) ( )}.3. A = { a, a } = ; und B = {.. b,..7 b } = ;... a) Berechnen Sie ein einfaches Perzeptron mit binärer Schwellwertfunktion, das die Klassen A und B trennt. Verwenden Sie den folgenden iterativen Algorithmus: ( ) ( ) wi+ wi = [ ( )] e δ b i+ b e i e E b i entspricht dem Schwellenwert in Iterationsschritt i. ( ) wi w i = ist der Gewichtsvektor im Iterationsschritt i. w i E i = { e i, e i,... } { a, a, b, b } ist die Menge aller fehlerhaft klassifizierten Merkmalsvektoren in Iteration i. δ e ist das Fehlersignal: δ e = falls e a und δ e = falls e b. ( ) Beginnen Sie die Iteration mit den Werten w = und b = und skizzieren Sie die Trenngerade nach jeder Iteration i. Der Algorithmus terminiert in Iteration n, sobald alle Punkte richtig klassifiziert werden, d.h. E n =. b) Onlinefrage Nr. : Welchen Wert erhält man für {w n, w n, b n } wenn der Algorithmus terminiert? i)., -., - ii) -.,., iii) -., -., iv)., -., - v).,., Lösung: a) Die lineare Diskriminierungsfunktion eines einfachen Perzeptrons mit zwei Neuronen hat allgemein die Form: g(x) = w x + w x + b. Die Klassenzuordnung erfolgt über den Wert von g(x): Falls g(x) > = Klasse A und falls g(x) < = Klasse B. Die Trenngerade zwischen den beiden Klassen verläuft entsprechend bei g(x) =. Zur Zeichnung in ein Achsenkreuz mit den beiden Achsen x und x wird die Trenngerade bei g(x) = nach x aufgelöst: Lösungsblatt 3 zu Kognitive Systeme Seite

11 w x + w x + b = w x = w x b x = w w x w b Als Trenngerade für die initialen Werte ergibt sich aus g (x) = x x demnach die Geradengleichung x = x für ein zweidimensionales Achsenkreuz. Der Algorithmus durchläuft die folgenden Iterationsschritte: ( ). w = ; b = = g (x) = x x! g ( a ) =.3 = B (Fehlklassifikation)! g ( a ) =. = B (Fehlklassifikation) g ( b ) =. = B g ( b ) =.9 = B Damit sind zwei Punkte aus Klasse A falsch klassifiziert, E = { a, a }. Daraus ergibt sich nach dem ersten Iterationsschritt: ( ) w = ( ) a b ( ) a.3..9 = ( ). ( ). =. = g (x) =.9x +.x + Geradengleichung für die Zeichnung: x =.9x. =.5x 9. g ( a ) = 5.5 = A g ( a ) = 3. = A! g ( b ) = 3. = A (Fehlklassifikation) g ( b ) =.73! = A (Fehlklassifikation) Damit sind zwei Punkte aus Klasse B falsch klassifiziert: E = { b, b } ( ).9 w =. () b b ().9..7 b =. (). (). =. = g (x) =.x +.x Geradengleichung für die Zeichnung: x =.. x =.5x Lösungsblatt 3 zu Kognitive Systeme Seite

12 3. g ( a ) =. = A g ( a ) =. = A g ( b ) =. = B g ( b ) =. = B Alle Trainingsdatenpunkte werden damit korrekt klassifiziert: E = terminiert mit den Werten ( w, b ) = (.,., ) T. = der Algorithmus g(x) = x - x g(x) = x +.x g(x) =.9x +.x Lösungsblatt 3 zu Kognitive Systeme Seite