1 Eva-Nachbar-Versuch

Transkript

1 1 Eva-Nachbar-Versuch Jeder Arm des Rades wird von einem Neuron angesteuert werden. Jedes dieser Neuronen i hat drei Eingänge x n und einen Bias H. Der Sensorwert x i ist die Stellung des vom Neuroun i angesteuerten Armes. Die Sensorwerte x i 1 und x i+1 ergeben sich aus den den benachbarten Armstellungen. z i = j (x n c ij ) + H i ; n = (i + j + 4)mod5 (1) Der Fehler ist nur für das Biasupdate bedeutend, wobei Bias sowie Fehler in diesem Fall keinen grossen Einfluss auf das Verhalten der Neuronen haben, da nur das Rauschen in den Fehler eingeht. E = i (x i y i ) 2 Die Rückkopplungsstärke des Neurons i ist K i = j (c ij a ji ) ; a ji = 1 : j = 1 0 : j 1 Die Gewichte c ij werden für jedes Neuron i und jeden Eingang j seperat berechnet, wobei c i1 das Gewicht des eigenen Sensorwertes ist. Die Update-Regel der Gewichte: Die Update-Regel des Bias: c ij = ɛ (1 tanh 2 (z i )) (a ji 2 K i y i x n ) γ c ij (2) H i = ɛ ( 2 K i y i E freq (1 tanh 2 (z i ))) (3) Die Startparameter sind auf ɛ = 0.001, γ = 0.01, f req = 10 festgelegt. Die Sensorwerte und synaptischen Gewichte werden mit Zufallszahlen initialisiert. Nach einigen Durchläufen stabilisieren Abbildung 1: Motorsignale sich die Gewichte und die Motorsignale y schwingen phasenverschoben zwischen -1 und 1. Auch die 1

2 Reihenfolge der Flanken ist ideal um eine Drehung des Rades zu erzeugen. Problematisch ist die hohe Frequenz, die auch mit den Lernparametern nicht ausreichend verringert werden kann, da zu stark veränderte Startwerte eine völlig andere Dynamik des Systems verursachen. Um die Frequenz dennoch zu reduzieren kann man das z i zu einem Update umformulieren und so eine Trägheit des Neurons erreichen. λ ist eine Zeitkonstante mit der die Stärke der Trägheit festgelegt werden kann. z i = λ( j (x n c ij ) + H i z i ) Abbildung 2: Motorsignale Die Frequenz ist ungefähr 40 mal kleiner als zuvor und würde das Rad zum drehen bringen. Der Quelltext: for(;;) for (i =0; i < 5; i++) E[i] = (x[i] - y[i]) * (x[i] - y[i]); k[i]=c[i][1]*a[i][1]; for(j=0;j<3;j++) c[i][j] += epsilonc *tanh((1 - tanh (z[i]) * tanh (z[i]))* (a[i][j] - 2 * k[i] * y[i] *x[(i+j+4)%5]) - gam * c[i][j]); h[i] += epsilonc * tanh(-2 * k[i] * y[i]* E[i] * freq * (1 - tanh (z[i])* tanh (z[i]))); z[i] += lam*((x[i] * c[i][1] + x[(i+4)%5] * c[i][0] +x[(i+1)%5] * c[i][2] + h[i])-z[i]); } for (i = 0; i < 5; i++) y[i] = tanh (z[i]); } } x[i] = y[i] + r*n(); 2

3 2 Jeder sieht Jeden Eine Erweiterung des Programmes soll dahin gehen, das jedes Neuron alle Motorsignale als Sensorwerte empfängt. Die Updateregeln und Fehlerfunktion bleiben gleich. Die Startwerte wurden auf ɛ = 0.01, frequenz = 1, λ = 0.2 gesetzt. Das Gewicht des eigenen Sensorwertes schwingt um Abbildung 3: Gewichte eines Neurons nach gestartetem Programm einen Wert von c 1 = 1, 3. Die Gewichte der Nachbarneuronen schwingen um den Nullpunkt. Es Abbildung 4: Motorsignale nach gestartetem Programm stellt sich eine Phasenverschiebung ein, jedoch kommt es nicht zu einer Anordnung der richtigen Reihenfolge, wie im ersten Versuch. Die Anordnung hängt von den Startwerten der Gewichte und der Sensorsignale ab. Es ist schwierig nachzuvollziehen welche der Eingänge zu welchem Zeitpunkt für das Umschalten der Neuronen verantwortlich ist. 3

4 Abbildung 5: Gewichte eines Neurons nach 2000 Schritten Abbildung 6: Motorsignale nach 2000 Schritten 4

5 Die zwei folgenden Grafiken zeigen wie sich die Phasenverschiebung zweier Motorsignale im ersten und zweiten Versuch verhält. Wie man sieht ist im ersten Versuch ein eindeutiges Verhaltensmuster zu erkennen. Die Phasenverschiebung bleibt gleich. Im zweiten Versuch schwingen die Motorsignale Abbildung 7: zwei Motorsignale des ersten Versuches mit unterschiedlicher Frequenz, damit ändert sich die Phasenverschiebung ständig. Abbildung 8: zwei Motorsignale des zweiten Versuches 5

6 3 Programm auf dem Rad Um das Programm(1.Versuch) für das Rad zu verwenden, mussten noch einige Werte verändert werden. Die Trägheit des Rades verlangt eine noch niedrigere Frequenz als im ersten Versuch mit dem Z-Update erreicht wurde. Die Werte λ = 0.05, ɛ = 0.02, γ = 0.01 erfüllen diese Anforderung. Die Startwerte der Gewichte können nicht zufällig gewählt werden, da sie die Reihenfolge der Schwingungen beeinflussen. Die richtige Reihenfolge ist wichtig um eine Drehung des Rades zu erzeugen. c[5][3] = 0.2, 1.3, 0.2}, 0.2, 1.3, 0.2}, 0.2, 1.3, 0.2}, 0.2, 1.3, 0.2}, 0.2, 1.3, 0.2}} sind mögliche Startwerte. 4 weitere Versuche Ziel ist es, verschiedene Einstellungen der Parameter zu verwenden um das Verhalten der Motorsignale und der Gewichte zu untersuchen. Dabei wird das Eva-Nachbar Programm ohne z-update verwendet. Als erstes soll nur der Einfluß des γ-wertes untersucht werden, indem wir den Wert auf 0 setzten. ɛ = freq = 10 a i = 0, 1, 0 γ = 0 Die Motorsignale oszillieren schnell und bleiben stabil. Die Gewichte der Nachbarn stellen sich auf Abbildung 9: Motorsignale 0.4 bzw ein und halten sich dort. Dies ist der Grund für die hohe Frequenz der schwingenden Motorsignale. Da γ = 0 ist werden die Gewichte der Nachbar-Sensorwerte nicht gedämpft und lassen diese Sensorwerte sehr stark in die Berechnung der Motorsignale eingehen. y i = tanh( 3 (x n c ij ) + H i ) j Als nächtes soll ein hoher γ-wert zeigen wie sich das Verhalten der Nachbar-Gewichte und somit der Motorsignale verändert. γ = 0.5 6

7 Abbildung 10: Motorsignale Die Gewichte der Nachbar-Sensorwerte liegen um null wobei sie leicht schwingen. Der γ-term γ c ij in der Updateregel hält die Gewichte klein. Die Motorsignale sind langwelliger. Dies ist auf die niedrigen Gewichte der Nachbar-Sensorwerte zurückzuführen, da die Neuronen nicht so schnell vom Zustand der Nachbarneuronen mitgezogen werden. Ein weiterer Versuch soll mit einer anderen Vorgabe der Proportionnalitätsfaktoren a ji, die bis jetzt für den eigenen Sensorwert 1 und für die Nachbar-Sensorwerte 0 waren, durgeführt werden. Es wird 1 : j = 1 a ij = 0.1 : j 1 gewählt, so daß der Rückkopplungsfaktor K i = j (c ij a ji ) nicht wie zuvor nur vom Gewicht des eigenen Sensorwertes abhängig ist. Diese Veränderung hat auch einen Einfluss auf die Updateregel der Gewichte. c ij = ɛ (1 tanh 2 (z i )) (a ji 2 K i y i x n ) γ c ij Erst ist kein Unterschied zum vorrigen Versuch zu erkennen. Nach einigen Schritten kann man sehen Abbildung 11: Gewichte 7

8 das die vorgegebenen Proportionnalitätsfaktoren eine stärkere Ausdehnung der Nachbar-Gewichte verursachen(siehe Bild 11). Die Gewichte steigen zum Teil auf hohe Werte an und rufen eine noch stärkere Oszillation der Motorsignale hervor. Nachdem die Proportionalitätsfaktoren a ji mit fest Abbildung 12: Motorsignale vorgegebenen Werten initialisiert wurden, soll dies jetzt mit einer Lernfunktion realisiert werden. a wird durch ein Updateregel so angepaßt, das es die Proportionalität zwischen Motor- und Sensorwert beschreibt. a ji = ɛ m (x n x m ij ) y i ) x m ist der vorhergesagte Sensorwert, der sich aus x m ij = a ji y i (Modellfunktion) ergibt und die Berechnung eines Modellfehlers E i = (x n x m ij ) 2 ermöglicht. Der Modellfehler ist die Differenz zwischen vorhergesagtem und tatsächlichem Sensorwert und geht in die Updateregel des Bias ein. Das heißt bei großem Fehler schaltet das Neuron schneller um. Zu beobachten ist: Wenn sich die Motorsiganle auf einen Wert stabilisieren (keine Schwingung), kann für das Modell ein geeigneter Proportonalitätsfaktor a ji gefunden werden. Meist haben alle Motorsignale ungefähr den gleichen Wert. In dem Fall ist a ji = 1 und der Fehler sehr klein, da alle Sensorwerte gut vorhergesagt werden können. Dieses Verhalten zeigt sich jedoch nur wenn γ groß genug ist und somit die Gewichte der Nachbar-Sensorwerte klein bleiben. Ein niedriges γ löst eine phasenverschobene Schwingung der Motorsiganle aus. Für diesen Fall kann keine Proportionalität zwischen dem Motorsignal und dem Sensorwert des Nachbarneurons gefunden werden, da keine Linearität zwischen beiden besteht. Dadurch ist der Modellfehler ist sehr hoch, so daß der Bias eine hohe Änderungsgeschwindigkeit hat. Die Änderungerungs 8