Klassifikation linear separierbarer Probleme

Transkript

1 Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme / 26

2 Gliederung Neuronale Netze und Lineare Algebra 2 Formulierung des Lernproblems 3 Ein erstes Lernverfahren 4 Das Verfahren ist praktikabel (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 2 / 26

3 Parameterfreie Klassifikation Eine naheliegende Idee ist, Klassen im mehrdimensionalen Raum durch Geraden abzugrenzen: Im Bild links hat die Gerade dem Term y = f(x) = a x + b Für einen Punkt (x p, y p ) gilt dann die Regel: (x p, y p ) in Klasse blau y p a x p + t Mehr Geraden kommen später dran. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 3 / 26

4 Verallgemeinerung der Geradengleichung Hinter der Geradengleichung steckt eine allgemeinere Form: ( ) ( ) a xp y p a x p + t a x p + y p t t Schematisch (und noch allgemeiner): x p y p g f f(g(x p, y p )) y p n Eingänge x i und Ausgang y = f(x,..., x n ) g ist die Integrierfunktion (g(x,.., x n ) = f ist die Ausgabefunktion. i n w i x i ). (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 4 / 26

5 Perzeptronen Modell für einfache 2-Klassen-Probleme Das mathematische Modell eines einfachen Perzeptrons ist gegeben durch einen Gewichtsvektor (w,..., w n ) und einen Eingabevektor (x,..., x n ), das Skalarprodukt aus dem Gewichts- und einem Eingabevektor und einem Schwellwert θ. Das Perzeptron klassifiziert nach der Regel: Klassifikationsregel eines Perzeptrons, falls f(g(x,..., x n, w,..., w n ), θ) = 0, sonst Die Aktivierungsfunktion n -dimensionale Ebene. i n i n w i x i > θ. w i x i = θ definiert eine (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 5 / 26

6 Perzeptronen Modell für einfache 2-Klassen-Probleme Beispiel: x + x 2 hat die folgende Grenzgerade und separiert den R 2 in Rot und Blau: (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 6 / 26

7 Perzeptronen Das abstrakte Verarbeitungsmodell Inspiration aus der Biologie: Weiterleitung von Aktivierungen in Nervenfasern über Synapsen. Modell: Netz wird durch 3 Matrizen symbolisiert: Verbindungsmatrix, Schwellwertmatrix und Anregungsmatrix Rechnung erfolgt durch Neuberechnen der Anregungsmatrix (schlagartig, ebenenweise, usw.) 2. Modell: Neuronen sind aktive Berechnungseinheiten, die lokal auf Eingaben reagieren und Ausgaben produzieren. Asynchrone Arbeitsweise gut vorstellbar (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 7 / 26

8 Skalarprodukt und Perzeptron Für einen Gewichtsvektor w = (w, w 2,..., w n ) und einen Eingabevektor x = (x, x 2,..., x n ) entspricht die Ausgabefunktion f(w, x) = w i x i i n dem Skalarprodukt von w und x: w w x = w 2... w n x x 2... x n f(w, x) = θ beschreibt die Trennebene, die das Perzeptron konstruiert. Für die Trennebene gilt: x n = w i x i θ w n i n (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 8 / 26

9 Skalarprodukt und Perzeptron Mit x = λ, x 2 = λ 2,... sind dies die Ortsvektoren λ λ 2 x =. w n [θ λ w λ 2 w 2... λ n w n ] Diese liegen in der Ebene, die u.a. diese Parameterdarstellung besitzt: x(λ, λ 2,..., λ n ) =. θ w n +λ. w w n + λ 2. w 2 w n +... } {{ } φ(λ,λ 2,...,λ n ) (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 9 / 26

10 Skalarprodukt und Perzeptron (2) Die Vektoren φ(λ, λ 2,..., λ n ) liegen in der definierten Ebene. Steht der Gewichtsvektor w wirklich senkrecht zu ihnen? Es genügt zu zeigen, dass w zu einem durch φ(λ, λ 2,..., λ n ) beschriebenen Vektor senkrecht steht. Sei λ = λ 2 = = λ n = w n : w ṇ ˆφ = φ(w n, w n,..., w n ) =. w w 2 w n Nun ist aber ( n ) w ˆφ = w w n + w 2 w n w n w n + w n w i = 0 w n i= und somit die beiden Vektoren senkrecht zueinander (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 0 / 26

11 Skalarprodukt und Perzeptron (3) Der Richtungsvektor ist also zum Gewichtsvektor senkrecht. w = ( ) ( ) ( ) = 0 ( /) (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme / 26

12 Geometrische Interpretation des Skalarprodukts Zwischen dem Skalarprodukt von w, und einer Eingabe x gilt folgender Zusammenhang zum Winkel zwischen den beiden Vektoren: w x = cos(w, x) w x Daraus folgt für den Winkel zwischen w und x: stumpfer Winkel: w x < 0 x liegt unter der Trennebene. Das Perzeptron feuert nicht. spitzer Winkel: w x > 0 x liegt über der Trennebene. Das Perzeptron feuert. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 2 / 26

13 Aktivierung eines Perzeptrons Überschreitung eines allgemeinen Schwellwerts θ: x i w i = cos(w, x) w x θ i n w und x spielen für den Winkel keine Rolle und werden in der Praxis meist durch Normierung der Vektoren auf gesetzt. Bei festem θ feuert das Neuron also nur, wenn der Winkel zwischen w und x nicht zu groß ist. Magenta und Grün sind die Aktivierungsgrenzen zu θ = 2 bzw. θ = 0. 2 D.h. der Abstand von x zur Trenngeraden darf nicht zu groß sein. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 3 / 26

14 Das Lernproblem für Perzeptronen Gegeben: eine gelabelte Stichprobe: Punkte P, die in positive Klasse sollen (grün) 2 Punkte N, die in negative Klasse sollen (rot) x := (x,..., x n ) Dabei gilt für alle x P : w i x i θ i n Gesucht: n Gewichte w i 2 Schwellwert θ (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 4 / 26

15 Suche nach einer analytischen Lösung Ausgangssituation (willkürlich festgelegt): w =, w 2 =, θ = 0. Für den grünen Punkt (2, ) gilt: ( ) ( 2 ) = 3 > 0 Aber für den roten Punkt (3, ) gilt: ( ) ( ) 3 = 4 > 0 Das ist aber eine Fehlklassifikation. Der Gewichtsvektor muss also nach links gedreht werden. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 5 / 26

16 Suche nach einer analytischen Lösung Es sind also zwei Bedingungen gleichzeitig zu erfüllen: ( ) ( ) ( ) ( ) w 2 w 3 θ und θ w 2 Umformuliert: Also: w 2 2w + w 2 + θ = 0 3w w 2 + θ = 0 w = 2θ und w 2 = 2w θ Für θ = 0, (willkürlich) ergibt sich: w = 0, 2 und w 2 = 0, 3. Verallgemeinert auf alle Punkte aus der Stichprobe: x (k) w + w w n +lθ = 0 k l k l x (k) 2 k l x (k) n (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 6 / 26

17 Suche nach einer analytischen Lösung Bei statistischen, also verrauschten, Daten ist das Gleichungssystem fast nie lösbar. Unser Beispiel zeigt, dass die verschiedenen Klassen so ineinander liegen können, dass sie nicht durch eine Gerade getrennt werden können. Die Trennebene passt schon besser ist, aber nicht optimal. Da es keine richtige Lösung gibt, suchen wir ein Iterationsverfahren, dass eine Lösung mit möglichst kleinem Fehler findet. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 7 / 26

18 Das Lernproblem Eine leicht andere Formulierung als eben: Gegeben: Eine gelabelte Stichprobe: Punkte P, die in positive Klasse sollen 2 Punkte N, die in negative Klasse sollen Gesucht: n + Gewichte w i Vorgehensweise beim Herstellen der Stichprobe: Koordinaten der Punkte aus N mit multiplizieren. Die n + -te Koordinate bekommt den Wert. Das n + -te Gewicht ist der Schwellwert θ. Für alle x P N gilt dann: i n+ w i x i 0 (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 8 / 26

19 Ein einfacher Lernalgorithmus w t ist der aktuelle Gewichtsvektor nach t Iterationen. Start: Test: Addiere: Subtrahiere: Wähle Gewichtsvektor w 0 zufällig t := 0 falls alle Punkte richtig klassifiziert, fertig Wähle Punkt x falls x P w t x > 0 gehe zu Test falls x P w t x 0 gehe zu Addiere falls x N w t x < 0 gehe zu Test falls x N w t x 0 gehe zu Subtrahiere w t+ = w t + x t = t + gehe zu Test w t+ = w t x t = t + gehe zu Test (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 9 / 26

20 Ein einfacher Lernalgorithmus Einfacher noch geht es, wenn man S = P N ansetzt: w t ist der aktuelle Gewichtsvektor nach t Iterationen. Start: Test: Update: Wähle Gewichtsvektor w 0 zufällig t := 0 falls alle Punkte richtig klassifiziert, fertig Wähle Punkt x falls x P w t x > 0 gehe zu Test falls x P w t x 0 gehe zu Update w t+ = w t + x t = t + gehe zu Test (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 20 / 26

21 Analyse des Lernalgorithmus () Falschklassifikation eines positiven Beispiels ( ) ( ) x w t+ x w t = + x x 2 w2 t + x = x w t + x 2 > x w t 2 (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 2 / 26

22 Analyse des Lernalgorithmus (2) Falschklassifikation eines negativen Beispiels ( ) ( ) x w t+ x w t = x w2 t x = x w t x 2 < x w t 2 x 2 (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 22 / 26

23 Konvergenzbeweis für den Lernalgorithmus () Annahmen: Alle Vektoren aus N werden nach P geworfen (mit negativem Vorzeichen). Alle Vektoren sind normiert. Der Lösungsvektor sei w. Beweisskizze: Sei nun w t+ der aus w t nach falscher Klassifizierung von p erzeugte Gewichtsvektor. Der Unterschied zwischen w und w t+ ist dann: cos(τ) = w w t+ w t+ (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 23 / 26

24 Konvergenzbeweis für den Lernalgorithmus (2) Ziel ist zu erreichen, dass cos(τ) =, d.h. w = w t nach einer endlichen Schrittzahl t. w w t+ = w (w t + p) Ausgehend von t = 0 gilt = w w t + w p w w t + δ (δ = min{w p p P }) w w w w 0 + δ In jeder Iteration kommt ein δ hinzu. Also schließlich: w w t+ w w 0 + (t + ) δ (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 24 / 26

25 Konvergenzbeweis für den Lernalgorithmus (3) Außerdem gilt: w t+ 2 = (w t + p)(w t + p) = w t 2 + 2w t p + p 2 (w (t) p 0) w t 2 + p 2 w t 2 + p ist falsch klassifiziert, daher: w (t) p 0. p ist gemäß Voraussetzung normiert, daher: p 2 =. Das heißt wieder, dass ausgehend von t = 0 für jedes t gilt (per Induktion): w t+ 2 w (t + ) Damit gilt weiter: cos(τ) w w 0 + (t + )δ w (t + ) (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 25 / 26

26 Konvergenzbeweis für den Lernalgorithmus (4) cos(τ) steigt mit wachsendem t, kann aber nicht übersteigen. Daher konvergiert cos(τ) gegen einen festen Wert. Im Idealfall gilt w = w t für ein t 0. Damit ergibt sich w w t+ w t+ cos(τ) w w 0 + (t + )δ w (t + ) > 0 Fazit: Bei beliebig großen, d.h. also rein theoretischen Stichproben ändert sich irgendwann der Fehler nicht mehr. Praktisch relevante Stichproben können zu klein sein, um so lange iterieren zu können. Der Fehler oszilliert dann. Konsequenz für die Praxis: Mehr Daten sind bessere Daten. (Lehrstuhl Informatik 8) Klassifikation linear separierbarer Probleme 26 / 26