Neuronale Netze mit mehreren Schichten

Transkript

1 Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 1 / 26

2 Struktur mehrschichtiger Netze Formal ist ein Neuronales Netz mit ein Graph (E, N, A, T ) mit E: Eingabeneuronen N: verborgene Neuronen A: Ausgabeneuronen T : gerichtete Kanten (k i, k j, w ij ) ki E N, k j N A wij reelle Zahl (Gewicht) Wie bisher gibt es für jedes Neuron n N eine Integrationsfunktion Ψ n : R n R und eine Aktivierungsfunktion Φ n : R R (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 2 / 26

3 Schichtenarchitektur Ein besonders wichtiger Typ von Neuronalen Netzen ist derjenige, in dem der Graph der Neuronen geschichtet ist: N ist in disjunkte Teilmengen S 1,..., S l aufteilbar, Es gibt nur Kanten von e E nach s S 1, von s S l nach a A und jeweils nur Kanten von s Si nach t S i+1. Es gibt keine Kanten (x, y) mit x S i und y S i (also innerhalb eines der S i ). (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 3 / 26

4 Adaption der Gewichte in einem Netz Erkenntnisse aus dem XOR-Netz Wir benötigen mehrere Schichten, um Flächen zu konstruieren. Mit diesen Flächen werden die Lösungsgebiete approximiert. Bezug zur Klassifikation Jede Fläche soll dem Gebiet entsprechen, in dem die Punkte einer Klasse liegen. Die Leistung eines Neuronalen Netzes wird daran gemessen, wie viele Datenpunkte in ein falsches Gebiet abgebildet werden. richtige Daten klassifizierte Daten (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 4 / 26

5 Adaption der Gewichte in einem Netz Die Gewichte der einzelnen Perzeptronen müssen so angepasst werden, dass die Anzahl der Fehlklassifikationen minimiert wird. Der Fehler ist nur an der Ausgabeschicht bekannt. Alle Gewichte also auch in den verborgenen Schichten sind aber zu ändern. Fehlerfunktion für Lernbeispiele Die Fehlerfunktion für ein Neuronales Netz N und eine Beispielmenge T a ist definiert durch: E(N, T ) = p o i t i 2 i=1 T eine gelabelte Stichprobe {(x 1, t 1 ), (x 2, t 2 ),..., (x p, t p )}. Zu jedem x i gehört ein t i (label von x i ). o i ist das Berechnungsergebnis von N zu x i. a Trainingsmenge (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 5 / 26

6 Adaption der Gewichte in einem Netz Die Gewichte müssen so bestimmt werden, dass E(N, T ) minimal ist. Beispiel: XOR-Netz f 1 (x 1, x 2 ) = w (1) 1 x 1 + w (1) 2 x 2 (1. Perzeptron innere Schicht) f 2 (x 1, x 2 ) = w (2) 1 x 1 + w (2) 2 x 2 (2. Perzeptron innere Schicht) f 3 (x 1, x 2 ) = w (3) 1 f 1 (x 1, x 2 ) + w (3) 2 f 2 (x 1, x 2 ) (Perzeptron = (w (3) 1 w(1) 1 + w (3) 2 w(2) 1 ) x 1 + Ausgabeschicht) = (w (3) 1 w(1) 2 + w (3) 2 w(2) 2 ) x 2 Für ein Beispiel x = (x 1, x 2 ) ist o(x) = f 3 (x 1, x 2 ) eine Funktion der Gewichte! Zur Bestimmung des Minimums suchen wir also eine Lösung für E(N, T ) w (1) 1, w(1) 2, w(2) 1, w(2) 2, w(3) 1, w(3) 2 = 0. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 6 / 26

7 Aktivierungsfunktionen (1) Bisher nur Treppenfunktionen als Aktivierungsfunktion Jetzt: differenzierbare Aktivierungsfunktion (Sigmoid) 1 s c (x) = 1 + e cx (c: Temperaturkonstante) Die punktsymmetrische, auf [ 1, 1] normierte Variante der Sigmoidfunktion ist der Tangens hyperbolicus: ( t c (x) = 2 s c (x) 1 ) = 1 e cx e cx (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 7 / 26

8 Aktivierungsfunktionen (2) Die Komposition von Sigmoiden liefert wieder ein Sigmoid (linke Graphik unten): f(x) = 1 + exp ( 2 ( 1 ( 1+exp 3 ( exp( x) )) )) Das gilt auch für den Tangens hyperbolicus (rechte Graphik). (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 8 / 26

9 Aktivierungsfunktionen (3) Im n-dimensionalen Fall lautet die Aktivierungsfunktion (c = 1) Φ(x 1, x 2,..., x n ) = exp ( ( n i=1 w i x i θ)) Die Termstruktur der Aktivierungsfunktion in einer Schicht ist also rekursiv: Berechne die Aktivierungsfunktion der Perzeptronen aus der Vorgängerschicht (Rekursion)! Addiere alle diese Werte! Berechne daraus die Aktivierung des aktuellen Perzeptrons! Die erste Ableitung für n = 2 nach w 1 lautet: Φ(x 1, x 2 ) w 1 = x 1 exp( w 1 x 1 w 2 x 2 + θ) (exp( w 1 x 1 w 2 x 2 + θ) + 1) 2 = x 1 Φ(x 1, x 2 ) (1 Φ(x 1, x 2 )) Mit dem input und der Aktivierung kann also auch die erste Ableitung bestimmt werden! (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 9 / 26

10 Fehlerfunktion Durch die Komposition differenzierbarer Funktionen zur Berechnung von o i ist auch die Fehlerfunktion stetig und überall differenzierbar (Kettenregel!). Es gibt keine Stellen, an denen die Fehlerfunktion völlig flach ist Gradient also niemals ohne Anstieg! Suche durch Verfolgung des Gradienten der Fehlerfunktion w = η E(w) w ist der Gewichtsvektor aller Gewichte im Netzwerk. η heißt Lernkonstante Für ein einzelnes Gewicht: w i = η w i E(w) Alle partiellen Ableitungen müssen für alle Punkte des Gewichtsraums existieren. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 10 / 26

11 Gradientenabstieg Ziel: Finde in der Definitionsmenge der Fehlerfunktion einen Punkt, an dem die Ableitung der Fehlerfunktion eine Nullstelle, und die Fehlerfunktion ein Minimum hat. Eine gesuchte Nullstelle gibt einen Wert für jedes der Gewichte im gegebenen Neuronalen Netz an. Gradientenabstieg (eindimensional) 1 Wähle einen Startwert. 2 Falls Ableitung positiv, steigt die Fehlerfunktion gerade an. Das Minimum ist also (vermutlich) links. Wähle kleineren Wert links vom aktuellen Wert und beginne neu bei 2. 3 Falls Ableitung negativ, fällt die Fehlerfunktion gerade ab. Das Minimum ist also (vermutlich) rechts. Wähle kleineren Wert links vom aktuellen Wert und beginne neu bei 2. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 11 / 26

12 Fallen Gradientenabstieg Falle 1: Oszillation x0 = 3, f (x 0 ) = 6 x1 = x 0 f (x 0 ) = 3 f (x 1 ) = 6 x 2 = x 1 f (x 1 ) = 3 Abhilfe: Führe Lernrate η ein: x i = x i 1 η f (x i 1) verwende einen Impulsterm oder trenne die Betachtung der Schrittweite von der Schrittrichtung (Vorzeichen) RProp Falle 2: Lokale Minima Start des Gradientenabstiegs von rechts führt zu einer Nullstelle der ersten Ableitung Es handelt sich aber nur um einen Flachpunkt, kein Minimum Abhilfe: Ausnutzen höherer Ableitungen ( QuickProp), Zufallsinitialisierung (simulated annealing) (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 12 / 26

13 Details zum backpropagation-verfahren Gegeben Anforderungen Mehrschichtiges Netz mit Sigmoiden als Ausgabefunktion p vorgegebene n-dimensionale Eingabevektoren sind in p vorgegebene m-dimensionale Ausgabevektoren abzubilden (gelabelte Stichprobe). Gesucht Aufgabe Minimiere Fehler E(N, T ) = 1 2 p o i t i 2. i=1 Ein- und Ausgabewerte sind durch die Stichprobe fest vorgegeben. Frage: Welche Gewichte minimieren E? (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 13 / 26

14 Ausgangssituation (1) Bei einem zu untersuchenden Netz handelt es sich um einen geschichteten Graphen mit s Schichten. In jeder Schicht befinden sich Neuronen, und zwar n(i) (1 i s) viele. Für jedes Neuron f i,j (1 i s und 1 j n(i)) gibt es n(i 1) Eingänge, also so viele, wie die vorhergehende Schicht Neuronen hat. Für i = 1 ist die Zahl der Eingänge die Dimension des Merkmalsvektors. Für jedes Neuron gibt es also n(i 1) viele Gewichte, die durch Beispieldaten gelernt werden müssen. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 14 / 26

15 Ausgangssituation (2) Beispiele für Neuronen: erstes Neuron in der ersten Schicht: 1 f 1,1 (x 1,..., x n ) = ( ( n )) 1 + exp i=1 w(1,1) i x i θ 1,1 n Eingabewerte. drittes Neuron in der zweiten Schicht: 1 f 2,3 (x) = ( ( m )) 1 + exp i=1 w(2,3) i f 1,i (x) θ 2,3 (Dabei ist x = (x 1,..., x n )). m Neuronen in der ersten Schicht. Zur Berechnung partieller Ableitungen für w (x,y) i müssen also sehr viele Funktionskompositionen ausgewertet werden. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 15 / 26

16 Berechnung der ersten Ableitungen Für jede Aktivierungsfunktion hat das Neuron an der Position (i, j) den Funktionsterm: n(i 1) f i,j (x) = Φ f i 1,k (x) k=1 w (i,j) k Dann gilt: f i,j(x) = Φ (x) n(i 1) k=1 w (i,j) k f i 1,k (x) Bei der Berechnung von Ableitungen spielen also drei Funktionstypen eine Rolle: Komposition Addition lineare Terme (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 16 / 26

17 Zwischenstand (1) Zur Minimierung der ersten Ableitung muss der Anteil jedes Perzeptrons im Netz am Wert der Ableitung in der Ausgabeschicht bekannt sein. Das Verfahren soll erreichen, dass möglichst wenige der verschachtelten Funktionen ausgewertet werden müssen, die bei der Auswertung eines kompletten Netzes für eine Eingabe anfallen. Um dieses Ziel zu erreichen, soll die Tatsache ausgenutzt werden, dass die Ableitung einer verschachtelten Funktion in ein Produkt zerfällt, dessen Faktoren lokal errechnet werden können. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 17 / 26

18 Zwischenstand (2) Woher kommt die Bezeichnung backpropagation? Das Netz wird vorwärts (d.h. von den Eingabe- zu den Ausgabeknoten) traversiert, um die Aktivierungsfunktion für jedes Perzeptron auszuwerten. Damit können die lokalen Ableitungen berechnet werden. Bei der Rückwärtstraversierung wird die Ableitung aus den lokalen Werten zusammengesetzt. Damit dies möglich ist, muss für jeden der Funktionstypen Komposition, Addition und lineare Terme festgelegt werden, wie der ein lokaler Ableitungswert mit den restlichen lokalen Werten verrechnet wird. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 18 / 26

19 Berechnung der Ableitungen (1) Funktionstyp Komposition: Dieser Typ tritt in einem Neuronalen Netz dann auf, wenn das Ergebnis der Aktivierungsfunktion eines Perzeptrons Eingabe eines Perzeptrons in der nachfolgenden Schicht ist. Berechnung der Ableitung: d dx f(g(x)) = f (g(x)) g (x) g (x) ist im Perzeptron bekannt, das g(x) berechnet. f (g(x)) ist im Perzeptron bekannt, das f(g(x)) berechnet. x g g g(x) f f f(g(x)) Erinnerung: Φ(x) w i = x i Φ(x) (1 Φ(x) (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 19 / 26

20 Berechnung der Ableitungen (2) backpropagation bei Komposition: Die Werte der lokalen Ableitungen können von rechts nach links multipliziert werden: g (x) f (g(x)) g g f (g(x)) f f 1 f (g(x)) wird vom zweiten Perzeptron als Faktor weitergereicht. g (x) wird vom ersten Perzeptron als Faktor weitergereicht. Durch die Eingabe von 1 in der Ausgabeschicht wird der Traversierungsvorgang initalisiert. In verborgenen Schichten wird der bisher ermittelte Wert zur Initialisierung der Schicht links benutzt. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 20 / 26

21 Berechnung der Ableitungen (3) Funktionstyp Addition: Einfachster Fall: Ein Perzeptron bekommt Eingaben von zwei Perzeptronen aus einer verborgenen Schicht. Jedes der beiden Perzeptronen bezieht aus der Eingabeschicht den Wert { von x. } g x 1 g 1 g 1 (x) g 2 f g 2 g 2 (x) f f(g 1 (x) + g 2 (x)) backpropagation bei Addition: Berechnet wird: d dx f(g 1(x) + g 2 (x)) = f (g 1 (x) + g 2 (x)) (g 1(x) + g 2(x)) f muss also in jeden Zweig weitergereicht werden. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 21 / 26

22 Berechnung der Ableitungen (4) Wenn sich die Zweige wieder treffen, werden ihre Ableitungen addiert. In der Ausgabeschicht wird die Berechnung in jedem Teilzweig mit 1 initialisiert, in einer verborgenen Schicht mit f (g 1 (x) + g 2 (x)). Verallgemeinerung auf n Eingänge: Das Assoziativgesetz ( der Addition besagt: m m 1 ) g i (x) = g i (x) + g m (x) i=1 i=1 Jede Summe mit m > 2 Summanden auf zwei Summen mit höchstens m 1 Summanden zurückführen. Per Induktion über m kann man also zeigen, dass auch für m Eingänge die richtige Ableitung berechnet wird. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 22 / 26

23 Berechnung der Ableitungen (5) Funktionstyp Lineare Terme: Da alle Kanten in einem Neuronalen Netz gewichtet sind, wird jede Eingabe von der Integrationsfunktion des betroffenen Perzeptrons mit einem Gewicht w multipliziert. x w w x Die Ableitung d dx w x = w wird also berücksichtigt, wenn der lineare Term w als Faktor in die Berechnung der gesamten Ableitung eingeht. w w 1 (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 23 / 26

24 Struktur eines Fehlerkorrektur-Netzes Zunächst gehen wir von einer einelementigen Stichprobe T = (x, t) aus. Das Neuronale Netz N berechnet f(x) = o. Wie kann mit Hilfe eines Neuronalen Netzes der Fehler gemessen werden, so dass ein Lernverfahren implementierbar wird? Aufbau des Fehlerkorrektur-Netzes t und o sind m-dimensionale Vektoren. Dementsprechend hat N m Perzeptronen in der Ausgabeschicht. Der Fehler, den das Netz bei der Verarbeitung von x macht, beträgt: E(x, t, N) = (o i t i ) 2 1 i m (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 24 / 26

25 Struktur eines Fehlerkorrektur-Netzes Zur Berechnung des Fehlers und der backpropagation seiner Ableitung wird N erweitert: An jedes Perzeptron der Ausgabeschicht wird ein neues Perzeptron über eine Kante mit Gewicht 1 angeschlossen. Das neue Perzeptron zum Perzeptron 1 i m der Ausgabeschicht bekommt die Aktivierungsfunktion: 1 2 (o i t i ) 2 Das ist der Anteil der Komponente i von o am gesamten Fehler. Die Ausgaben der neuen Perzeptren werden über Kanten mit Gewicht 1 in ein weiteres neues Perzeptron geleitet. Dort werden sie addiert zu E(x, t, N) (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 25 / 26

26 Struktur eines Fehlerkorrektur-Netzes x y s e + s e s ist eine Sigmoidfunktion. e ist die Fehlerfunktion für die i-te Ausgabe: e i = 1 2 (o i t i ) 2 Im letzten Perzeptron wird der Fehler akkumuliert: E = 1 i m Im backpropagation-schritt wird der Fehler über die partiellen Ableitungen rückwärts durch die Schichten verteilt. (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren Schichten 26 / 26 e i