Rekurrente Neuronale Netze Rudolf Kruse Neuronale Netze 227
Rekurrente Netze: Abkühlungsgesetz Ein Körper der Temperaturϑ wird in eine Umgebung der Temperaturϑ A eingebracht. Die Abkühlung/Aufheizung des Körpers kann beschrieben werden durch das Newtonsche Abkühlungsgesetz: Exakte analytische Lösung: dϑ dt = ϑ = k(ϑ ϑ A ). ϑ(t) =ϑ A + (ϑ ϑ A )e k(t t ) Ungefähre Lösung mit Hilfe des Euler-Cauchyschen Polygonzuges: ϑ 1 =ϑ(t 1 ) =ϑ(t ) + ϑ(t ) =ϑ k(ϑ ϑ A ). ϑ 2 =ϑ(t 2 ) =ϑ(t 1 ) + ϑ(t 1 ) =ϑ 1 k(ϑ 1 ϑ A ). Allgemeine rekursive Gleichung: ϑ i =ϑ(t i ) =ϑ(t i 1 ) + ϑ(t i 1 ) =ϑ i 1 k(ϑ i 1 ϑ A ) Rudolf Kruse Neuronale Netze 228
Rekurrente Netze: Abkühlungsgesetz Euler Cauchy-Polygonzüge für verschiedene Schrittweiten: ϑ ϑ = 4 ϑ = 2 ϑ = 1 ϑ ϑ ϑ A t 5 1 15 2 ϑ A t 5 1 15 2 ϑ A t 5 1 15 2 Die dünne Kurve ist die genaue analytische Lösung. Rekurrentes neuronales Netz: ϑ(t ) k kϑ A ϑ(t) Rudolf Kruse Neuronale Netze 229
Rekurrente Netze: Abkühlungsgesetz Formale Herleitung der rekursiven Gleichung: Ersetze Differentialquotient durch Differenzenquotient dϑ(t) dt ϑ(t) = ϑ(t + ) ϑ(t) mit hinreichend kleinem. Dann ist ϑ(t + ) ϑ(t) = ϑ(t) k(ϑ(t) ϑ A ), und daher ϑ(t + ) ϑ(t) = ϑ(t) kϑ(t) +kϑ A ϑ i ϑ i 1 kϑ i 1 +kϑ A. Rudolf Kruse Neuronale Netze 23
Rekurrente Netze: Masse an einer Feder x m Zugrundeliegende physikalische Gesetze: Hooke sches Gesetz: F = c l = cx (c ist eine federabhängige Konstante) Zweites Newton sches Gesetz: F = ma = mẍ (Kraft bewirkt eine Beschleunigung) Resultierende Differentialgleichung: mẍ = cx oder ẍ = c m x. Rudolf Kruse Neuronale Netze 231
Rekurrente Netze: Masse an einer Feder Allgemeine analytische Lösung der Differentialgleichung: mit den Parametern x(t) =a sin(ωt) +b cos(ωt) ω = c m, a =x(t ) sin(ωt ) +v(t ) cos(ωt ), b =x(t ) cos(ωt ) v(t ) sin(ωt ). Mit gegebenen Initialwertenx(t ) =x undv(t ) = und der zusätzlichen Annahmet = bekommen wir den einfachen Ausdruck x(t) =x cos Rudolf Kruse Neuronale Netze 232 c m t.
Rekurrente Netze: Masse an einer Feder Wandle Differentialgleichung in zwei gekoppelte Gleichungen um: ẋ =v and v = c m x. Approximiere Differentialquotient durch Differenzenquotient: x =x(t + ) x(t) =v and v =v(t + ) v(t) = c m x Resultierende rekursive Gleichungen: x(t i ) = x(t i 1 ) + x(t i 1 ) = x(t i 1 ) + v(t i 1 ) und v(t i ) = v(t i 1 ) + v(t i 1 ) = v(t i 1 ) c m x(t i 1). Rudolf Kruse Neuronale Netze 233
Rekurrente Netze: Masse an einer Feder x(t ) u 1 x(t) c m v(t ) u 2 v(t) Neuronu 1 : f (u 1) net (v,w u 1 u 2 ) =w u1 u 2 v = c v und m f (u 1) act (act u 1, net u1,θ u1 ) = act u1 + net u1 θ u1, Neuronu 2 : f (u 2) net (x,w u 2 u 1 ) =w u2 u 1 x = x und f (u 2) act (act u 2, net u2,θ u2 ) = act u2 + net u2 θ u2. Rudolf Kruse Neuronale Netze 234
Rekurrente Netze: Masse an einer Feder Einige Berechnungsschritte des neuronalen Netzes: t v x.. 1..1.5.95.2.975.8525.3 1.412.7124.4 1.7574.5366.5 2.258.3341.6 2.1928.1148 x 1 2 3 4 t Die resultierende Kurve ist nah an der analytischen Lösung. Die Annäherung wird mit kleinerer Schrittweite besser. Rudolf Kruse Neuronale Netze 235
Rekurrente Netze: Differentialgleichungen Allgemeine Darstellung expliziter Differentialgleichungen n-ten Grades: Einführung von n 1 Zwischengrößen Gleichungssystem x (n) =f(t,x,ẋ,ẍ,...,x (n 1) ) y 1 =ẋ, y 2 =ẍ,... y n 1 =x (n 1) ẋ = y 1, ẏ 1 = y 2,. ẏ n 2 = y n 1, ẏ n 1 = f(t,x,y 1,y 2,...,y n 1 ) von n gekoppelten Differentialgleichungen ersten Grades. Rudolf Kruse Neuronale Netze 236
Rekurrente Netze: Differential Equations Ersetze Differentialquotient durch Differenzenquotient, um die folgenden rekursiven Gleichungen zu erhalten: x(t i ) = x(t i 1 ) + y 1 (t i 1 ), y 1 (t i ) = y 1 (t i 1 ) + y 2 (t i 1 ),. y n 2 (t i ) = y n 2 (t i 1 ) + y n 3 (t i 1 ), y n 1 (t i ) = y n 1 (t i 1 ) +f(t i 1,x(t i 1 ),y 1 (t i 1 ),...,y n 1 (t i 1 )) Jede dieser Gleichungen beschreibt die Aktualisierung eines Neurons. Das letzte Neuron benötigt eine spezielle Aktivierungsfunktion. Rudolf Kruse Neuronale Netze 237
Rekurrente Netze: Differentialgleichungen x ẋ ẍ. x (n 1). θ x(t) t Rudolf Kruse Neuronale Netze 238
Rekurrente Netze: Schräger Wurf y v cosϕ y ϕ v sinϕ x Schräger Wurf eines Körpers. x Zwei Differentialgleichungen (eine für jede Koordinatenrichtung): wobeig= 9.81 ms 2. ẍ = und ÿ = g, Anfangsbedingungenx(t ) =x,y(t ) =y,ẋ(t ) =v cosϕ undẏ(t ) =v sinϕ. Rudolf Kruse Neuronale Netze 239
Rekurrente Netze: Schräger Wurf Führe Zwischenbedingungen ein: v x =ẋ und v y =ẏ um das System der folgenden Differentialgleichungen zu erhalten: ẋ =v x, v x =, ẏ =v y, v y = g, aus dem wir das System rekursiver Anpassungsformeln erhalten x(t i ) =x(t i 1 ) + v x (t i 1 ), v x (t i ) =v x (t i 1 ), y(t i ) =y(t i 1 ) + v y (t i 1 ), v y (t i ) =v y (t i 1 ) g. Rudolf Kruse Neuronale Netze 24
Rekurrente Netze: Schräger Wurf Bessere Beschreibung: Benutze Vektoren als Eingaben und Ausgaben r = ge y, wobeie y = (, 1). Anfangsbedingungen sindr(t ) =r = (x,y ) undṙ(t ) =v = (v cosϕ,v sinϕ). Führe eine vektorielle Zwischengröße v = ṙ ein, um zu erhalten. ṙ =v, v = ge y Das führt zu den rekursiven Anpassungsregeln r(t i ) = r(t i 1 ) + v(t i 1 ), v(t i ) = v(t i 1 ) ge y Rudolf Kruse Neuronale Netze 241
Rekurrente Netze: Schräger Wurf Die Vorteile vektorieller Netze werden offensichtlich, wenn Reibung mit in Betracht gezogen wird: a = βv = βṙ β ist eine Konstante, die von Größe und Form des Körpers abhängt. Dies führt zur Differentialgleichung Führe die Zwischengrößev=ṙ ein, um r = βṙ ge y. ṙ =v, v = βv ge y, zu erhalten, woraus wir die folgenden rekursiven Anpassungsformeln bekommen: r(t i ) = r(t i 1 ) + v(t i 1 ), v(t i ) = v(t i 1 ) βv(t i 1 ) ge y. Rudolf Kruse Neuronale Netze 242
Rekurrente Netze: Schräger Wurf Sich ergebendes rekurrentes neuronales Netz: y r r(t) 1 2 3 x v ge y β Es gibt keine seltsamen Kopplungen wie in einem nicht-vektoriellen Netz. Man beachte die Abweichung von der Parabel, die durch die Reibung bewirkt wird. Rudolf Kruse Neuronale Netze 243
Rekurrente Netze: Umlaufbahnen der Planeten r = γm r r 3 ṙ =v v = γm r r 3 Rekursive Anpassungsregeln: r(t i ) = r(t i 1 ) + v(t i 1 ) v(t i ) = v(t i 1 ) γm r(t i 1) r(t i 1 ) 3 y r γm v x(t) v(t).5 1.5.5 x Rudolf Kruse Neuronale Netze 244
Rekurrente Netze: Backpropagation über die Zeit Idee: Entfalte das Netzwerk zwischen Trainingsmustern, d.h. lege ein Neuron für jeden Zeitpunkt an. Beispiel: Newton sches Abkühlungsgesetz 1 k 1 k 1 k 1 k ϑ(t ) θ θ θ θ ϑ(t) Entfalten in vier Schritten. Es istθ= kϑ A. Training: Standard-Backpropagation im entfalteten Netzwerk. Alle Anpassungen beziehen sich auf dasselbe Gewicht. Anpassungen werden ausgeführt, wenn das erste Neuron erreicht wird. Rudolf Kruse Neuronale Netze 245