6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

Transkript

1 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1 MLPs: x(t) z 1 x(t) x(t 1) z 1 x(t 2) x(t+1) z 1 x(t m) MLP Schwenker NI1 114

2 Training und Prognose von ˆx = f(x(t 1),..., x(t m)): x(t) z 1 z 1 x(t 1) x(t 2) x(t) Σ + x(t) z 1 z 1 Schalter x(t 1) x(t 2) x(t) z 1 x(t m) NN z 1 x(t m) trainiertes NN Probleme: m ist fester Architekturparameter, zwei gleiche Teilfolgen bewirken unabhängig vom Kontext immer die gleiche Ausgabe Schwenker NI1 115

3 Architekturen partiell rekurrenter Netze Jordan Netzwerk [Jordan 1986]: y(t) x(t) s(t) Schwenker NI1 116

4 Elman Netzwerk [Elman 1990]: y(t) c ij s(t+1) x(t) w ki v ki s(t) Vorteile des Elman-Netzwerks: interne Repräsentation einer Sequenz ist unabhängig von der Ausgabe y, Zahl der Kontextzellen ist unabhängig von der Ausgabedimension! Schwenker NI1 117

5 Training eines partiell rekurrenten Netzes Möglichkeit A: Modifikation eines Lernverfahrens für nichtrekurrente Netze (z.b. Error Backpropagation, RPROP, Quickprop) Algorithmus (für Elman-Netzwerk): Seien w ki und v ki die Gewichte von Eingabeknoten u k bzw. Kontextknoten s k zum verdeckten Neuron i und c ij die Gewichte der zweiten Netzwerkschicht 1) Setze t = t 0, initialisiere Kontextzellen s(t 0 ) = 0 2) Berechne w ki (t), v ki (t) und c ij (t) gemäß Lernregel für eine Eingabe x(t) mit Sollwert T(t) ohne Beachtung rekurrenter Verbindungen 3) Setze t = t + 1, aktualisiere die Ausgabe s(t) der Kontextzellen und gehe zu 2) Eigenschaften: Fehler von y(t) = f(x(t)) wird minimiert, keine Klassifikation von Sequenzen möglich. Schwenker NI1 118

6 Möglichkeit B: Verwendung eines Lernverfahrens für rekurrente Netze (z.b. BPTT [Rumelhart 86], RTRL [Willliams 89]) Idee von BPTT ( Backpropagation Through Time ): Entfaltung des Netzwerks in der Zeit! Gradientenabstieg zur Minimierung von E = t max t=t 0 E(t) mit E(t) = { T(t) y(t) falls T(t) zum Zeitpunkt t vorliegt 0 sonst Eigenschaften: Fehler von y(t max ) = f(x(t 0 ),..., x(t max )) wird minimiert, auch Klassifikation von Sequenzen variabler Länge möglich! Schwenker NI1 119

7 BPTT Algorithmus für Elman Netzwerk Gegeben sei ein (m + h) h n Elman Netzwerk mit: w ki : Gewichte von Eingabeknoten u k zum verdeckten Neuron i v ki : Gewichte von Kontextknoten s k zum verdeckten Neuron i c ij : Gewichte vom verdeckten Neuron i zum Ausgabeneuron j : Fehler am Ausgabeneuron j δ (y) j δ (s) i : Fehler am verdeckten Neuron i Lineare Ausgabeneuronen j = 1,..., n : Annahme: für t = t max gilt: für t < t max gilt: E(t) = 0 für t t max δ (y) j (t) = T j (t) y j (t) c ij = s i (t + 1) δ (y) j (t) δ (y) j (t) = 0 c ij = 0 Schwenker NI1 120

8 Sigmoide verdeckte Neuronen i = 1,..., h : n für t = t max δ (s) i (t) = c ij δ (y) j (t) s i(t + 1) für t 0 t < t max j=1 v ki (t) = s k (t) δ (s) i (t) w ki (t) = x k (t) δ (s) i (t) δ (s) i (t) = h k=1 v ki (t) = s k (t) δ (s) i (t) w ki (t) = x k (t) δ (s) i (t) v ki δ (s) k (t + 1) s i(t + 1) Resultierende Lernregeln: t max t max c ij = c ij + η 1 c ij, w ki = w ki + η 2 w ki (t), v ki = v ki + η 2 v ki (t) t=t 0 t=t 0 Schwenker NI1 121

9 6.5 Radiale Basisfunktionen Motivation: Es wird eine Lösung für das folgende Interpolationsproblem gesucht: Gegeben sei eine Menge M = {(x µ, T µ ) : µ = 1,..., p} mit x µ R m und T µ R n. Gibt es eine Funktion g : R m R n mit g(x µ ) = T µ µ = 1,..., p? Idee: Annäherung von g durch eine Linearkombination von p Funktionen h ν (x) = h( x ν x ) mit (beliebig oft differenzierbarer) radialsymmetrischer Funktion h : R + R + Das Interpolationsproblem hat (hier für n = 1) die Form p p g(x µ ) = w ν h ν (x µ ) = w ν h( x ν x µ ) µ = 1,..., p ν=1 ν=1 Schwenker NI1 122

10 w ν können analytisch bestimmen werden: p g(x µ ) = w ν h( x ν x µ ) = T µ, µ = 1,..., p. ν=1 In Matrixnotation gilt: Hw = T mit H := (H µν ) und H µν := h µ (x ν ) Falls H invertierbar ist, so gilt: w = H 1 T, mit den Vektoren w = (w 1,... w p ) t und T = (T 1,..., t p ) t. einige radialsymmetrische Basisfunktionen (mit r = x x µ ): Gauss-Funktion: h(r) = exp( r2 2σ2) mit σ 0 Inverse multiquadratische Funktionen: 1 h(r) = mit c 0 und α > 0 (r 2 + c 2 ) α Multiquadratische Funktionen: h(r) = (r 2 + c 2 ) β mit c 0 und 0 < β 1 Schwenker NI1 123

11 Radiales Basisfunktionen-Netzwerk (RBF) Aufbau eines m-h-n RBF-Netzwerks: m Eingabeknoten h RBF-Neuronen n lineare Neuronen C x c ki Berechnung der Netzausgabe z: m u i = (x k c ki ) 2 = x c i k=1 u y W w ij y i = h(u i ) h z j = y i w ij [ + bias j ] z i=1 Schwenker NI1 124

12 Herleitung der Lernregel für RBF-Netzwerk Es soll eine auf Gradientenabstieg basierende Lernregel für das RBF- Netzwerk hergeleitet werden. Für die Gewichte w ij der Ausgabeschicht gilt: E µ w ij = = w ij T z 2 (T j z j ) 2 w ij = 2(T j z j ) j = 2 y i δ j w ij ĩ yĩwĩj wobei δ j = (T j z j ) den Fehler von Neuron j der Ausgabeschicht für ein Muster bezeichnet Schwenker NI1 125

13 resultierende Lernregeln für Gewichte w ij der Ausgabeschicht: im Online-Modus: w ij = w ij η 1 E µ w ij = w ij + η 1 y i δ j [bias j = bias j η 1 E µ w ij = bias j + η 1 δ j ] im Batch-Modus: w ij = w ij η 1 [bias j = bias j η 1 E = w ij + η 1 w ij µ y µ i δµ j E = bias j + η 1 w ij µ δ µ j ] Schwenker NI1 126

14 Für Gewichte c ki der Eingabeschicht gilt: E µ c ki = E µ y i = 2 j = 2 j = 2 j y i c ki (T j z j ) y i (T j z j ) w ij h (u i ) ĩ yĩ wĩj c ki h(u i ) c ki (x k c ki ) 2 (T j z j ) w ij h (u i ) 1 2u i ( 2) (x k c ki ) k = 2 j δ j w ij h (u i ) 1 u i (x k c ki ) Speziell für h(u) = e u2 /2σ 2 = e u2s ergibt sich: E µ c ki = 2 j = 4 j (T j z j ) w ij e u2 i s 2s(x k c ki ) δ j w ij y i s (x k c ki ) Schwenker NI1 127

15 resultierende Lernregeln für Gewichte c ki der Eingabeschicht bei Verwendung der radialen Basisfunktion h(u) = e u2 /2σ 2 = e u2s : im Online-Modus: c ki = c ki η 2 E µ c ki = c ki + η 2 (x k c ki ) y i s j δ j w ij im Batch-Modus: E c ki = c ki η 2 = c ki + η 2 (x µ k c c ki) y µ i s ki µ j δ µ j w ij Schwenker NI1 128

16 Lernalgorithmus (online) für RBF-Netzwerk Gegeben: m-h-n RBF-Netzwerk verwendete radiale Basisfunktion: y = h(u) = e u2 /2σ 2 := e u2 s Menge von p gelabelten Mustern (x µ, T µ ) R m R n Schritt 1: Initialisierung Setze w ij für i = 1,..., h, j = 1,..., n auf kleine Zufallswerte und wähle c ki für k = 1,..., m, i = 1,..., h derart, dass die Daten im Eingaberaum überdecken Schritt 2: Berechnung der Netzausgabe z Wähle nächstes gelabeltes Musterpaar (x, T) und berechne: u 2 i = m (x k c ki ) 2 für i = 1,..., h k=1 Schwenker NI1 129

17 y i = e u2 i /2σ2 = e u2 i s für i = 1,..., h h z j = y i w ij für j = 1,..., n i=1 Schritt 3: Bestimmung des Fehlers am Netzausgang Berechne δ j = (T j z j ) für j = 1,..., n Schritt 4: Lernen Adaptiere Gewichte: w ij = w ij + η 1 y i δ j c ki = c ki + η 2 (x k c ki ) y i s für k = 1,..., m, i = 1,..., h, j = 1,..., n n δ j w ij j=1 Schritt 5: Ende Falls Endekriterium nicht erfüllt, gehe zurück zu 2 Schwenker NI1 130

18 Bemerkungen zum RBF-Netzwerk Anzahl der RBF-Neuronen ist kleiner als Anzahl Trainingsmuster Vektor c i wird auch als Prototyp bzw. Zentrum bezeichnet Initialisierung der Gewichte c ki z.b. durch äquidistante Verteilung in einem Intervall [min,max] m durch Clusteranalyse (vgl. Kapitel 8) Verhalten des RBF-Netzwerks stark abhängig von der Wahl eines guten Wertes für σ bzw. s z.b.: σ [d min, 2 d min ] (mit d min = kleinster Abstand zwischen zwei Zentren) Parameter σ i bzw. s i kann auch für jedes RBF-Neuron i individuell gewählt und adaptiert werden ( Übung) Adaption von c ki, w ij und σ i bzw. s i ist simultan oder sequentiell möglich! Schwenker NI1 131

19 Approximation einer verrauschten Funktion mit RBF-Netz: (mit 5 RBF-Neuronen bei σ = 10, mit σ = 0.4, σ = 0.08) Schwenker NI1 132

20 Unterschiede MLP und RBF bei Klassifikation: MLP: Trennung durch Hyperebenen RBF: Hyperkugeln umfassen Punkte einer Klasse bei MLP ist Repräsentation in verdeckter Schicht verteilt, bei RBF lokal Initialisierung der Gewichte bei MLP zufällig, bei RBF datenabhängig MLP und RBF können Funktionen beliebig genau approximieren i.a. schnellere Konvergenz mit RBF bei guter Initialisierung Schwenker NI1 133

21 6.6 Konstruktive Lernverfahren Problem: In allen bisherigen neuronalen Netzmodellen wird die Architektur vor Start des Lernverfahrens festgelegt während des Trainings ist keine Anpassung der Architektur an das zu lernende Problem möglich. Idee: Man startet mit einem kleinen neuronalen Netzwerk und fügt während des Trainings bei Bedarf noch weitere Neuronen oder Neuronenschichten hinzu. Beispiele: 1. Upstart Algorithmus (konstruiert Binärbaum aus Perzeptronen) 2. Cascade Correlation (konstruiert pyramidenartige Architektur aus sigmoiden Neuronen) Schwenker NI1 134

22 Upstart Algorithmus [Frean 1990] rekursiver Algorithmus zum Erlernen beliebiger binärer Abbildungen mit Schwellwertneuronen: upstart(t 0, T 1 ) { trainiere ein Perzeptron Z mit T 0 T 1 wenn mind. 1 Muster aus T 0 falsch klassifiziert wird: bilde T0 T 0 generiere neues Perzeptron X trainiere X mit upstart(t 1, T0 ) wenn mind. 1 Muster aus T 1 falsch klassifiziert wird: bilde T1 T 1 generiere neues Perzeptron Y trainiere Y mit upstart(t 0, T1 ) berechne MAX= max µ i w iu (µ) i von Z verbinde X mit Z durch w < MAX und Y mit Z durch w > MAX } mit: T 0, T 1 Trainingsmenge für Ausgabe 0 bzw. 1 T0 1 Menge falsch klassifizierter Muster aus T 0 bzw. T 1 Schwenker NI1 135

23 Cascade Correlation Motivation : bei großem Fehler am Ausgang für ein Muster A werden alle Gewichte adaptiert aufgrund fehlender Absprache zwischen den Neuronen der verdeckten Schicht kann Fehler für ein Muster B wachsen ( moving target problem ) Idee : Gewichte v ij eines jedes verdeckten Neurons j werden separat trainiert, indem die Korrelation zwischen der Ausgabe des Neurons und dem Fehler maximiert wird anschließend werden die Gewichte v ij von Neuron j eingefroren Hinzufügen weiterer verdeckter Neuronen (als Kandidatenzellen bezeichnet), bis Fehler am Ausgang ausreichend klein ist automatische Bestimmung einer guten Topologie! Schwenker NI1 136

24 Cascade Correlation Architektur [Fahlman 90]: n sigmoide oder lineare Neuronen (enthalten θ ) k z sigmoide Neuronen (Kandidatenzellen, enthalten θ j ) j y j m Eingabe knoten 1 2 V W x Ziel: Maximierung der Korrelation S j = k p (y pj y j )(δ pk δ k ) mit y pj Ausgabe der Kandidatenzelle j für Muster p y j mittlere Ausgabe der Kandidatenzelle j δ pk Fehler der Ausgangszelle k für Muster p mittlerer Fehler der Ausgangszelle k δ k Schwenker NI1 137

25 Für Eingangsgewichte v ij der j-ten Kandidatenzelle gilt: S j v ij = k = k = k = k = k (y pj y j )(δ pk δ k ) v ij p σ k (y pj y j )(δ pk δ k ) v p ij σ k y pj (δ pk δ k ) v p ij σ k f( I pi v ij )(δ pk δ k ) v p ij i σ k f (x pj )I pi (δ pk δ k ) p mit σ k = sgn( p (y pj y j )(δ pk δ k )) I pi = { upi für externen Eingang i für Kandidatenzelle i < j y pi Schwenker NI1 138

26 Lernalgorithmus für Cascade Correlation Schritt 1: Trainiere die Gewichte w ik und θ k der Ausgangsknoten mit einem geeigneten Algorithmus: - Perzeptron-Lernalgorithmus oder - Delta-Lernregel: w ik = u i (T k y k )f (x k ) - Quickprop-Verfahren bis Fehler E am Netzausgang nicht weiter sinkt Schritt 2: - Stop, wenn Fehler E ausreichend klein - Ansonsten generiere eine neue Kandidatenzelle j und initialisiere v ij zufällig Schwenker NI1 139

27 Schritt 3: Bestimme Gewichte v ij und θ j der Kandidatenzelle j derart, daß Korrelation S j maximiert wird. Adaptiere hierzu v ij und θ j durch Gradientenaufstieg gemäß v ij = v ij + η σ k f (x pj )I pi (δ pk δ k ) k p θ j = θ j + η σ k f (x pj )(δ pk δ k ) k p bis Korrelation S j nicht weiter steigt Schritt 4: Friere alle Gewichte v ij und θ j der Kandidatenzelle j ein Schritt 5: Gehe nach (1) Schwenker NI1 140