Neuronale Netze. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 1

Transkript

1 Kapitel 8 Neuronale Netze H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

2 Ansätze zum Entwurf eines Klassifikators Es gibt zwei prinzipiell unterschiedliche Ansätze zum Entwurf eines Klassifikators:. Statistische parametrische Modellierung der Klassenverteilungen, dann MAP-Entscheidung (generativer Ansatz). Lösung eines Abbildungsproblems durch Funktionsapproximation (nichtlineare Regression) der a- posteriori-wahrscheinlichkeiten (diskriminativer Ansatz) min E f ( x) y Merkmalsraum Entscheidungsraum H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

3 Zu.) Die bisher beschriebene Vorgehensweise beim Entwurf eines Klassifikators beruht darauf, dass man die klassenspezifischen Verteilungsdichten p(x i)p( i) parametrisch durch statistische Modelle annähert (durch Schätzung der Parameter, z.bsp. Einer Gauß-Verteilung) und durch eine Maximumselektion zu einer Entscheidung kommt. Lernen bedeutet hierbei: Verbesserung des Parameter-Fitting. Zu.) Es gibt nun eine zweite Möglichkeit der Herangehensweise, welche auf die Auswertung der a-posteriori-wahrscheinlichkeitsdichte P( i x) aufbaut und durch ein Problem der Funktionsapproximation beschrieben werden kann. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 3

4 Die zwei Ansätze zum Klassifikatorentwurf p( x ) P( ) P( x) P( x) p( x ) P( ) Modellierung der Klassenverteilungsdichten Direkte Modellierung der A-posteriori-Verteilungsdichten P( x) p( x ) P( ) P( x) i i i i H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 4

5 Zur Gleichwertigkeit der beiden Ansätze Allgemeiner Fall: matlab-map.bat H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 5

6 Diese Funktionsapproximation kann z.bsp. durch eine nichtlineare Regression mit Polynomen oder auch mit Hilfe eines künstlichen Neuronalen Netzwerkes (NN) durchgeführt werden. Im Rahmen dieser Veranstaltung sollen die Grundlagen für beide Vorgehensweisen behandelt werden. Grundsätzlich ist die Suche nach einer besten Näherungsfunktion ein Variationsproblem, welches durch die Wahl von Basisfunktionen auf ein parametrisches Optimierungsproblem zurückgeführt werden kann. Lernen bedeutet dann auch hier: Parameterfitting. Die Gleichwertigkeit der beiden genannten Vorgehensweisen ergibt sich aus dem Bayes-Theorem: P( x) i p( x ) P( ) i p( x) i unabhängig von Die Gleichwertigkeit ergibt sich daraus, dass der Nenner unabhängig von ist. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 6

7 Im folgenden soll nun die Überführung in ein Funktionsapproximationsproblem begründet werden. Bei bekannter a-posteriori-w. P( x) würde für jedes kontinuierliche x bestmöglich ein zugeordnet werde (funktionale Zuordnung f:x ). Gegeben sind jedoch nur Stichproben und man sucht nach einer Funktion f, welche bestmöglich die Einzelexperimente fittet und damit eine Abbildung realisert: f : Merkmalsraum Bedeutungsraum x Diese Aufgabenstellung kann mit Hilfe der Variationsrechnung gelöst werden. Wählt man als Gütekriterium das minimale Fehlerquadrat, so geht es um die Minimierung von: J min E{ f ( x) y } f( x) f (x i, k) x H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 7

8 Dabei entstehen die Zielvektoren {y i } im Entscheidungsraum durch einfache Abbildung der skalaren Bedeutungswerte { i } : {,,, } K : { y, y,, y } mit: 0 0 y i K i-ter Einheitsvektor 0 0 H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 8

9 Zwei-Klassen-Problem mit Gaußverteilungsdichte p( x) p( x ) P( ) K k k P( x) p( x) p( x, ) p( x ) P( ) k k k k P( x) p( x) p( x ) P( ) P( x) p( x) p( x ) P( ) 0 x x x x Merkmalsraum Entscheidungsfunktion H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 9

10 Regression mit Hilfe künstlicher Neuronaler Netze Verwendung eines mehrschichtigen Perceptrons zur Funktionsapproximation (multilayer perceptron) Motivation: Anlehnung an menschliche Vorgehensweise (?) Parallele Auswertung mit NN-Rechner (Hardware) Menschliches Gehirn: 0 Neuronen mit bis zu 0 4 Verbindungen pro Neuron H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 0

11 Modell eines Neurons (McCulloch & Pitts, 943) Synapsen x 0 x w 0 w Interne Zustandsvariable x w s + f (s) y y f ( wx, b) b Axon x N w N Die neuronale Aktivität wird durch ein Skalaprodukt zwischen dem Gewichtsvektor w und den Eingangskanälen x i mit einer sich anschließenden nichtlinearen Aktivierungsfunktion f(s) beschrieben. Dabei können die Erregungen x i verstärkend oder hemmend wirken, was zu positiven oder negativen Gewichtswerten w i korrespondiert. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

12 Das Multilagen-Perceptron mit 3 Schichten (Rosenblatt 958) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

13 Symbolische Darstellung eines Perceptrons mit 3 Schichten erste Schicht zweite Schicht dritte Schicht x N W S N + s S f y S W S S + s S f y S W 3 S 3 S + s 3 S 3 f y 3 S 3 b b b 3 N S S S S S 3 S 3 y =f (W x+b ) y =f (W y +b ) y 3 =f 3 (W 3 y +b 3 ) y f ( W f ( W f ( W x b ) b ) b ) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 3

14 Das Perceptron mit einem Neuron und zwei Eingängen (Rosenblatt, 958) In den Anfangsjahren der NN-Forschung benutzte man vorzugsweise Schwellwertlogiken. D.h. der Eingangsvektor war zweiwertig und als Aktivierungsfunktion wurde die Sprungfunktion (f(s)= (s)= für s 0 und (s)=0 für s<0). Da jede Boole sche Funktion als disjunktive oder konjunktive Normalform geschrieben werden kann, ist es möglich, mit einem zweischichtigen Perceptron jede logische Funktion zu realisieren. x w 0 + s y x y= x x w 0 b Schwellwert y=0 y ( w, x b) ( g( x)) w x Funktionsweise bei rellwertigen Eingängen H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 4

15 Zur Funktionsweise des Perceptrons Das Neuron unterteilt den Eingansraum von x mit einer Hyperebene (hier: Gerade) in zwei Hälften. Die Hyperebene ist der geometrische Ort, auf dem alle Vektoren liegen, deren Projektion auf w konstant ist: g( x) w, x b 0 Orthogonale Projektion: wx, w x cos? b w x g(x)>0 Für zwei Punkte auf der Trennfläche gilt: x 0 w, x b w, x b g(x)<0 x w,( x x ) 0 w w ( x x ) x d b w H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 5

16 Nichtlinearer Klassifikatorentwurf - das XOR-Problem Es ist offensichtlich, dass sich die Booleschen Funktionen AND und OR durch einen linearen Klassifikator und damit mit einem einschichtigen Perceptron lösen lassen: x (0,) AND (,) y x x AND Klasse OR Klasse y OR w 0 0 x w 0 + x w 0 (0,0) (,0) b Schwellwert x y w oder auch vereinfacht: AND 3 OR AND: g( x) x x 0 OR: g( x) x x 0 b b H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 6

17 Lösung des XOR-Problems mit einem Zwei- Lagen-Perceptron Das Exklusiv-Oder-Problem lässt sich hingegen im Gegensatz zu AND und OR durch einen linearen Klassifikator offensichtlich nicht lösen. x (0,) (,) (0,0) (,0) x H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 7

18 Lösung des XOR-Problems mit einem Zwei- Lagen-Perceptron Das Exklusiv-Oder-Problem lässt sich hingegen im Gegensatz zu AND und OR nicht durch einen linearen Klassifikator lösen. Eine Lösung ergibt sich jedoch durch Kombination zweier Trennlinien. Dies führt auf ein zweilagiges Perceptron! OR NAND x + x - - -/ + + y y -3/ z XOR +3/ erste Schicht zweite Schicht x x y y XOR Klasse z ( x x) ( x x) y y XOR Nach der Abbildung der ersten Schicht ergibt sich ein linear trennbares Problem!! y y ( x x ) OR H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 8 y y ( x x ) NAND 3 3 z ( y y ) AND

19 Funktionsweise der ersten Schicht: Abbildung des reellwertigen Eingangsraums auf die Eckpunkte eines Hyperwürfels In der ersten Schicht eines Perceptrons reagiert ein Neuron mit 0 oder, in Abhängigkeit davon, in welcher Hälfte der von der Hyperfläche erzeugten beiden Halbräume sich der Eingangsvektor befindet. Jedes weitere Neuron erzeugt eine zusätzliche Trennebene. Die erste Schicht eines Perceptrons bildet somit den reellwertigen Eingangsraum auf die Eckpunkte eines Hyperwürfels ab. Die sich schneidenden Trennebenen bilden linear begrenzte (konvexe) Gebiete, sogenannte Polyeder. Jedes Gebiet korrespondiert zu einem Eckpunkt des Hyperwürfels. Nachfolgend ist eine Grafik zu sehen für 3 Neuronen und einen zweidimensionalen Eingangsraum x: x x (y,y,y 3 ) = g 3 (x) 00 g (x) g (x) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 9

20 Netz für Beispiel auf den Vorseiten x x w, x + w, w 3, w, w, b + b x + y 3 y w, y w, w,3 + b z y 3 y w 3, y b 3 matlab-nn.bat H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 0

21 Funktionsweise der zweiten Schicht: Abtrennung eines Eckpunktes des Hyperwürfels In der zweiten Schicht kann durch Abtrennung eines Eckpunktes des Hyperwürfels mit einer neuen Trennfläche ein eindeutiges Merkmal für ein konvexes Gebiet erzeugt werden: 0 konvexes Gebiet Eckpunkte eines Hyperwürfels H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

22 Trennt man mehrere benachbarte Punkte mit einer Ebene ab, so kann man auch nichtkonvexe Gebiete realisieren Durch das Abtrennen von mehreren Punkten mit einer Ebene, wird die Vereinigungsmenge der Elementargebiete gebildet (ODER): 0,, g, g, g g 3 3,, g 0 0,0,,0, 0 0 g g 3 0,0,0 0,0, g 0,,0,,0 0,,0 0,0,0,0,0 g 0,, Trennt man nur zwei benachbarte Punkte ab (Änderung in einer Bitstelle), so erhält man hier nur konvexe Gebiete, wie z.b.:,0,0,0, konvexes Gebiet mit benachbarten Punkten:,, 0,,,,0 konvexes Gebiet mit benachbarten Punkten:,,,, 0,, H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a

23 Trennt man mehrere benachbarte Punkte mit einer Ebene ab, so kann man auch nichtkonvexe Gebiete realisieren Durch das Abtrennen von mehreren Punkten mit einer Ebene, wird die Vereinigungsmenge der Elementargebiete gebildet (ODER): 0,, g, g, g g 3 3,, g 0 0,0,,0, 0 0 g g 3 0,0,0 0,0, g 0,,0,,0 0,,0 0,0,0,0,0 g 0,, Mit mehr als Punkten erhält man auch nichtkonvexe Gebiete:,0,0,0, Nichtkonvexes Gebiet mit 3 benachbarten Punkten:,, 0,, 0,, 0,,0 Nichtkonvexes Gebiet mit 3 benachbarten Punkten:,, 0,,,, 0,, H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 3

24 Optimale Trennebene zur Abtrennung eines Eckpunktes von einem Hyperwürfel Wird als nichtlineare Funktion im Neuron die Signum-Funktion verwendet, so liegt der daraus resultierende Hyperwürfel zentriert im Ursprung. Die optimale Trennebene liegt in der Mitte zwischen einem Eckpunkt und einer Ebene die von den nächsten Nachbarn aufgespannt wird. Ohne Einschränkung der Allgemeinheit, können wir den Eckpunkt entlang der ersten Raumdiagonale u betrachten. Dafür gilt: N= x T (-,) (,) u mit: dim( x) e u u u u N N (-,-) (,-) x Eigentlich genügt es, die Trennebene in einem Abstand d=n / - mit einem hinreichend kleinen Abstand zu platzieren. Problem: über in Abhängigkeit von N kann keine genaue Aussage gemacht werden. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 4

25 Die Trennebene liegt genau zwischen u und der orthogonalen Projektion eines der Nachbarecken u auf u: T N u T u u, u eu u N N N N und damit der Fußpunkt der Trennebene bei: u u u u N N N ( ) u ( ) u u e N N N N d u z. Bsp. N 3 u 3 Trennebene N 4 3 4u N 00 0,99u u e u d Ein zu u benachbarter Eckpunkt des Würfels produziert im Skalarprodukt <u,u> genau den Wert (N-)! Die Gleichung der Trennebene ergibt sich zu: w Koordinaten des Eckpunkts xe, u xu, N d N N N u, x ( N ) 0 w b N Neuron zur Abtrennung eines Eckpunkts H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 5

26 Das 3-Lagen-Perceptron mit Schwellwertfunktion Mit einem 3-L-S-MLPC lassen sich beliebige linear begrenzte Cluster in Merkmalsräumen klassifizieren!!. Schicht: Der gesamte kontinuierliche Merkmalsraum wird durch Neuronen in unterschiedliche Halbräume aufgeteilt. 0. Schicht: Sich schneidende Hyperebenen bilden konvexe Polyeder. Diese werden auf die Eckpunkte eines Hyperwürfels abgebildet. Durch abtrennen von Eckpunkten des Hyperwürfels durch Neuronen der. Schicht werden konvexe Polyeder (Schnittmengenbildung von Halbräumen) selektiert (AND) Schicht: beliebige Polyeder (linear begrenzte Gebiete) entstehen durch Vereinigung von konvexen Gebieten (OR). H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 6

27 Perceptron mit 3 Lagen zur Realisierung eines Klassifikators für beliebig linear begrenzte Gebiete (Polyeder) Erste Schicht: Der Merkmalsraum wird durch Neuronen in unterschiedliche Halbräume aufgeteilt. Zweite Schicht: Schnittmengen von Halbräumen (Polyeder) werden Booleschen Vektoren zugeordnet (AND) Dritte Schicht Vereinigung von konvexen Gebieten (OR) x N W S N + s S f y S W S S + s S f y S W 3 S 3 S + s 3 S 3 f y 3 S 3 b b b 3 N S S S S S 3 S 3 y =f (W x+b ) y =f (W y +b ) y 3 =f 3 (W 3 y +b 3 ) y f ( W f ( W f ( W x b ) b ) b ) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 7

28 Beispiel: Selektion eines nichtkonvexen Gebietes mit einem dreilagigen Perceptron mit f (s)=sign(s) y f ( W f ( W f ( W x b ) b ) b ) Aufgabe: Entwurf der ersten Schicht: Definition der Trenngeraden x g g g x - g 4 g 5 g 6 W w w 0 g,, w w 0 g,, w w 0 g 4 b w 0 w g 4 3, 3, 3 4, 4, 4 w 0 w g 5, 5, 5 w 0 w g 6, 6, 6 z.bsp.: g : w, x b 0 mit: w b 0 H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 8

29 Entwurf der zweiten Schicht: Aufgabe: x g g g x - g 4 g 5 g 6 Entwurf der zweiten Schicht: Abtrennen von Eckpunkten des Hyperwürfels der Dimension N=6 Kennzeichnung der Gebiete: g g g g g g W g g g 3 g 4 g 5 g 6 5 b Die Zeilenvektoren von W zeigen genau auf die abzutrennenden Eckpunkte; der Schwellwert hat den Wert b = (-N) = -5 H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 9

30 Entwurf der dritten Schicht: In der dritten Schicht ist die Vereinigungsmenge der Gebiete zu realisieren. Dies geschieht einfach mit einer OR-Verknüpfung. Das bedeutet, dass der Eckpunkt [ ] abgetrennt werden muss. Dies wiederum geschieht mit Hilfe von: W b ( N) 3 3 H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 30

31 Vereinfachter Entwurf der zweiten und dritten Schicht (Vereinigung nichtchtdisjunkter Gebiete): Aufgabe: x g g g x - g 4 g 5 g 6 Entwurf der zweiten Schicht: Abtrennen von Eckpunkten des Hyperwürfels Kennzeichnung der Gebiete: die Tabelle enthält don t care -Elemente ( ). Die dazugehörigen Neuronen können unberücksichtigt bleiben (Verbindung auftrennen) 3 g g g g g g W g g g 3 g 4 g 5 g b Die Dimension des reduzierten Würfels beträgt nur N=4 (ohne don t care Elemente!) Die Zeilenvektoren von W zeigen genau auf die abzutrennenden Eckpunkte; der Schwellwert hat den Wert b = (-N) = -3 des reduzierten Würfels! H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 3

32 Vereinfachter Entwurf der dritten Schicht: In der dritten Schicht ist die Vereinigungsmenge der Gebiete zu realisieren. Dies geschieht einfach mit einer OR-Verknüpfung. Das bedeutet, dass der Eckpunkt [ ] abgetrennt werden muss. Dies wiederum geschieht mit Hilfe von: 3 3 W b ( ) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 3

33 Beispiel für ein nicht linear separierbares Zwei- Klassenproblem (M.T. Hagan, H.B. Demuth, M. Beale Neural Network Design, PWS Publishing Company, Boston, 995) x 3 Klassifikationsproblem Klasse Klasse x 3 Konvexe Regionen der zweiten Schicht x x x 3 Trennlinien der ersten Schicht x 3 Endgültige Entscheidungsgebiete der dritten Schicht x x H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 33

34 Beispiel für ein nicht linear separierbares Zwei-Klassenproblem Erste Schicht: es werden Geraden zur Abtrennung der Gebiete als Funktion von zwei Eingangsvariablen benötigt! W b T T Zweite Schicht: es werden vier konvexe Gebiete selektiert! W b Dritte Schicht (Vereinigung): W b 3 H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 34

35 Beispiel für ein nicht linear separierbares Zwei- Klassenproblem Erste Schicht: Der Merkmalsraum wird durch Neuronen in unterschiedliche Halbräume aufgeteilt. Zweite Schicht: Schnittmengen von Halbräumen (Polyeder) werden Booleschen Vektoren zugeordnet (AND) Dritte Schicht Vereinigung von konvexen Gebieten (OR) x W + s y W 4 + s 4 y 4 W s 3 y 3 b b b y =sign(w x+b ) y =sign(w y +b ) y 3 =sign(w 3 y +b 3 ) y sign( W sign( W sign( W x b ) b ) b ) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 35

36 Diskussion über die Existenz einer fehlerfreien Lösung für jedes Reklassifikationsproblem (kein Fehler auf dem Lerndatensatz) linear separierbar (gute Generalisierung) nichtlinear separierbar (gute Generalisierung) nichtlinear separierbar (schlechte Generalisierung) nichtlinear separierbar (schlechte Generalisierung) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 36

37 Auf dem Weg zum automatischen Entwurf eines Neuronalen Netzes Die bisher skizzierte Vorgehensweise ist sehr anschaulich und im zweidimensionalen Fall noch intuitiv handhabbar, aber für höherdimensionale Fälle ist sie nicht brauchbar. Alles was wir in der Praxis zur Verfügung haben, sind die Lernstichproben. Benötigt wird ein automatischer Algorithmus, welcher davon ausgehend in einem Lernprozess die optimalen Gewichte des NN automatisch ermittelt. Will man für diese nichtlineare Optimierungsaufgabe iterative Algorithmen einsetzen, so benötigt man differenzierbare Nichtlinearitäten in den Neuronen (die Schwellwertfunktionen sind dafür nur begrenzt geeignet!). H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 37

38 Linear separierbare Klassen der Perceptron-Algorithmus Ziel ist, ein Algorithmus zur automatischen Anpassung der unbekannten Gewichtsmatrizen W i eines Perceptrons an ein Klassifikationsproblem, gegeben eine endliche Stichprobe {(x i, k)}. Für den Fall linear separierbarer Klassen gab Rosenblatt einen iterativen Algorithmus zur Lösung dieses Problems an. Es wird angenommen, dass eine lineare Trennfläche, definiert durch die Gleichung w* T x=0 für das Zweiklassenproblem existiert, derart dass: T w * x 0 x T w * x 0 x Dies schließt auch den Fall ein, dass die Trennfläche nicht wie hier durch den Ursprung läuft, nämlich w* T x+b*=0, da dieser durch Erweiterung von x auf die obige Formulierung zurückgeführt werden kann: w x T T x, x w b, w T T T T w x w x b Linear separierbares Problem H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 38

39 Gelöst wird das Problem durch die Wahl eines geeigneten Gütekriteriums und die Angabe eines Optimierungsalgorithmus. Das zu minimierende Perceptron- Gütemaß sei gegeben durch (Maß für Fehlklassifikation): T J ( w) ( w x) x mit: für x und: für x x x x Summe der Beträge der Projektionen der falsch klassifizierten Vektoren auf den Normalenvektor der Trenngeraden wobei die Menge der Trainingsvektoren enthält, welche durch die gegebene Hyperfläche falsch klassifiziert werden. Offensichtlich ist obige Summe immer positiv und sie wird Null, wenn die leere Menge ist, d.h. alle Elemente richtig zugeordnet werden. Für den Fall eines falsch zugeordneten Vektors x erhalten wir mit w T x < 0 und x < 0 ein positives Produkt der beiden Terme. Das gleiche gilt für Vektoren der Klasse. Das Gütekriterium nimmt seinen Minimalwert Null an, falls alle Stichproben richtig klassifiziert werden. w x i H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 39

40 Das Gütemaß ist stetig und stückweise linear. Falls wir den Gewichtsvektor wenig verändern, ändert sich J(w) linear bis zu dem Punkt, wo sich die Zahl der falsch zugeordneten Vektoren ändert. An dieser Stelle ist der Gradient von J nicht definiert und der Gradient von J ist unstetig. Die iterative Minimierung der Kostenfunktion geschieht durch einen Algorithmus, welcher dem Gradientenabstieg ähnlich ist: w w i i i J ( w) w w w i Dabei ist w i der Gewichtsvektor für die i-te Iteration und i eine Sequenz von positiven Zahlen. Vorsicht ist geboten an den Unstetigkeitsstellen! Aus dem Gütekriterium ergibt sich: J ( w) w, x xx wegen: w w x und damit: x w w x i i i x x Perceptron-Algorithmus H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 40

41 Die Iteration ist fortzusetzen bis der Algorithmus konvergiert. Das folgende Bild vermittelt einen Eindruck der Funktionsweise. Es wird angenommen, dass beim Iterationsschritt i nur ein x falsch klassifiziert wird (w T x < 0) und es sei i=0,5. Der Perceptron-Algorithmus korrigiert den Gewichtsvektor in die Richtung von x. Damit dreht sich die Trennlinie und x wird korrekt zugeordnet (w T x > 0). i+ x i x w i+ x ix w i H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 4

42 In dem folgenden Beispiel wird angenommen, dass wir beim vorletzten Iterationsschritt angekommen sind und lediglich noch zwei Merkmalsvektoren falsch zugeordnet werden: T Trennlinie: x x 0, 5 0 Gewichtsvektor: w 0, 5 Falsch klassifizierte Vektoren: 0,4 0,05-0, 0,75 T T T Mit dem Perceptron-Algorithmus ergibt sich der nächste Gewichtsvektor mit i=0,7 zu: w i w i 0,4 0,,4 0, 7( ) 0, 05 0, 7( ) 0, 75 0,5 0,5 Die neue Trennlinie:,4 x 0,5x 0,5 0 trennt alle Vektoren korrekt. Der Algorithmus terminiert. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 4

43 Eigenschaften des Perceptron-Algorithmus Man kann beweisen, dass der Algorithmus in einer endlichen Anzahl von Iterationen zu einer Lösung konvergiert (bei geeignet gewählten Werten von i, was bei Gradientenalgorithmen immer ein Problem ist), falls die Voraussetzung erfüllt ist, dass die Klassen linear trennbar sind. Die gefundene Lösung ist allerdings nicht eindeutig. Der Algorithmus terminiert, wenn der Fehler und damit auch der Gradient Null ist, selbst wenn die Trenngerade sehr dicht an den Klassen liegt. Für nicht linear-separierbare Probleme erhält man keine Lösung. Die Korrektur in der Iteration hat immer von Null verschiedene Beiträge und kann somit nicht terminieren. Demo aus Matlab: NN-Toolbox -Perceptron Learning rule -Linearly non-separable vectors (demop6.m) Später werden wir Multilagen-NN kennenlernen, welche beliebige Klassifikationsprobleme (auch nichtlineare) lösen können. Der Backpropagation- Algorithmus kann verwendet werden, um solche Netzwerke zu trainieren. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 43