Anleitung zum Praktikum Neuroinformationsverarbeitung - Wintersemester 2016/2017

Transkript

1 Anleitung zum Praktikum Neuroinformationsverarbeitung - Wintersemester 26/27 EINLEITUNG. Sinn und Zweck des Praktikums Neuroinformationsverarbeitung Das Praktikum soll dazu dienen, die in der Vorlesung behandelten Standardnetzwerke auf vorgegebene Problemstellungen zur Musterklassifikation anzuwenden und dabei sowohl das Verständnis der Netze zu vertiefen als auch praktische Erfahrungen beim Einsatz der Netzwerke zu sammeln. Das Vorlesungsmaterial bildet die theoretische Basis für die Anwendung der Netzwerke. Es ist von Vorteil, den enstprechenden Stoff zur Praktikumsvorbereitung zu wiederholen. Nach der Bedienungsanleitung werden die Aspekte des Praktikums beschrieben, die von den in der Vorlesung behandelten Methoden abweichen bzw. diese ergänzen..2 Was ist der JavaNNS? Die Entwicklung des SNNS (Stuttgart Neural Network Simulator), der die Basis für den JavaNNS bildet, wurde Ende der 8er Jahre an der Universität Stuttgart begonnen und umfaßte zunächst ausschließlich Feedforward-Netzwerke. Bis etwa 994 wurden sukzessive fast alle der heute bekannten Netzwerkparadigmen in den SNNS integriert. Der SNNS gehört zu den weltweit am häufigsten eingesetzten Simulatoren für Neuronale Netzwerke. Implementiert wurde der SNNS in C/C++ für Unix bzw. Linux. Um den SNNS auch unter verschiedenen Windowsbetriebssystemen zu nutzen, wurde 2 mit einer Java- Kapselung der wichtigsten SNNS-Funktionen begonnen und 22 abgeschlossen. Im Vergleich zu vielen anderen Simulatoren für Neuronale Netze bietet der SNNS/JavaNNS die Möglichkeit, viele Aspekte der Verarbeitung innerhalb der Netzwerke, wie Aktivierungsund Ausgabefunktionen, Gewichte, Fehlergrafen, Trainingsparameter, Aktivierungsprojektionen etc. zu konfigurieren und zu visualisieren. Dies macht ihn zu einem sehr sinnvollen Simulator für die Lehre. Hinweis: Es ist unbedingt darauf zu achten, daß die Bedienungshinweise und vorgegebenen Abläufe eingehalten werden. Da der JavaNNS wesentlich mehr Möglichkeiten der Netzwerksimulation bietet, als für das Praktikum benötigt werden, ist die Gefahr der Fehlbedienung (sinnlose Parametereinstellungen, falsche Aktivierungs, Lern- oder Initialisierungsfunktionen etc.) sehr groß, was entweder zu nicht interpretierbaren Ergebnissen, massenhaften Fehlermeldungen (Kernel- Error) bzw. im worst case zum Simulatorabsturz führt. Um einen reibungslosen Ablauf zu sichern, bitte keine Buttons betätigen, die nicht explizit in der vorliegenden Anleitung erklärt sind. Es ist unbedingt darauf zu achten, dass alle Fenster nur mit dem jeweiligen Done- Button geschlossen werden dürfen, ansonsten besteht die Gefahr eines Totalabsturzes des JavaNNS. 2 BEDIENUNGSANLEITUNG JAVANNS Zum Starten des JavaNNS bitte folgende Hinweise beachten: Linux: entpacken der Datei JavaNNS-LinuxIntel.tar.gz ausführen der JavaNNS.jar alternativ "java -jar JavaNNS.jar" Windows HTW (Praktikumslabor): entpacken der Datei JavaNNS-Win_HTW.zip ausführen der Datei Start.bat (nutzt installierte Java JRE 32 Bit) Das graphische Nutzerinterface unterstützt alle Funktionen, die für die Netzwerksimulation notwendig sind. Nachfolgend werden alle Fenster und deren Funktionen, soweit sie für das Praktikum eine Rolle spielen, vorgestellt. An dieser Stelle nochmals der Hinweis, dass nur die Funktionen, die in der Anleitung explizit erklärt sind, verwendet werden sollten. 2. Hauptfenster Nach dem Start des Simulators erscheint folgendes Hauptfenster: Abbildung zeigt das Hauptfenster des SNNS. Über dieses Fenster werden die Generierung von Netzwerken, das Laden und Speichern von Netzwerken bzw. Daten und die Visualisierung des Netzwerks sowie der Fehlerverläufe realisiert. Das dargestellte Default-Fenster

2 2 Aktivierungsfunktion _ x Gewichtsvektor w Berechnung des internen Zustandes z & Anwendung einer u.u. nichtlinearen Übertragungsfunktion Ausgabefunktion _ y Figure 3. Modell des formalen Neurons im JavaNNS Figure. Hauptfenster des JavaNNS Figure 2. Laden und Speichern von Datensätzen und Netzwerken übernimmt die Visualisierung des aktuell verwendeten Netzwerk-Topologie. 2.2 Laden und Speichern von Daten und Netzwerken Der JavaNNS bietet die Möglichkeit, Daten und komplette Netzwerke (inkl. der entsprechenden Parameter) zu laden und zu speichern. Die nachfolgende Abbildung 2 illustriert dies. Die Dateiendungen geben an, ob es sich um ein Patternfile (*.pat) oder um ein Netzwerk (*.net) handelt. Beim Speichern eines Netzwerkes ist es hilfreich, wenn aussagekräftige Namen verwendet werden, die den Typ, die Topologie und die Abbildung, für die das Netzwerk trainiert wurden, beinhalten. Bei einem MLP- Netzwerk, das für die Lösung des Doppelspiralproblems mit 2 Eingabe-, zwei Hiddenschichten mit 25 bzw. Neuronen und einer aus einem Neuron bestehenden Ausgabeschicht trainiert wurde, lautet der Name dann: MLP_2_25 spiral.net. 2.3 Erstellen von Netzwerken vom Typ Multilayer- Perceptron und RBF-Netzwerk Zum Erstellen von Netzwerken legt man ebenenweise Neuronen an. Über die Abfolge Tools -> Create - > Layers legt man die einzelnen Ebenen (von links nach rechts darsgestellt im Default-Fenster) an. Begonnen wird mit der Inputschicht, danach folgen ggfs. notwendige Hiddenschichten, und den Abschluss bildet die Ausgabeschicht. Dimensionen (Knotenanzahl) von Ein- und Ausgabeschicht werden durch die vorgegebenen Datensätze bestimmt. Ob und in welchem Umfang Hiddenschichten notwendig sind, hängt vom jeweiligen Problem bzw. von der Komplexität des vorliegenden Abbildungsproblems ab Implementierung des formalen Neuronenmodells im JavaNNS Im Gegensatz zu der in der Lehrveranstaltung verwendeten Modellierung fasst das formale Neuronenmodell des JavaNNS die Berechnung von Aktiviserungs- und Transfer(Übertragungs)funktion in einem Schritt zusammen (siehe Abbildung 3). Die Ausgabefunktion, die im Rahmen des Praktikums IMMER die Identitätsfunktion darstellt, erlaubt eine zusätzliche Modifizierung der Neuronenausgabe, was aber für die Zwecke des Praktikums nicht benötigt wird Neuronenfunktionen beim MLP-Netzwerk Beim ebenenweisen Editieren der Neuronen zur Erstellung eines Netzwerks wird festgelegt, ob es sich um Eingabe-, Hidden- oder Ausgabeneuronen handelt. Zuständig für diese Zuweisung ist die Einstellung des Neuronentyps (unit type). Standardmäßig verwendet der JavaNNS immer eine Zustandsfunktion durch die Bildung des Skalarprodukts von Eingabe- und Gewichtsvektor. Im Fenster activation function muss dann bei den Eingabeneuronen die Funktion act_identity und bei Hidden- und Ausgabeneuronen entsprechend die Funktion act_logistic ausgewählt werden, die die in der Lehrveranstaltung

3 3 Figure 4. Einstellung der Knotenfunktionen beim MLP- Netzwerk für Input- (oben) und Hidden- bzw. Outputneuronen (unten) stets verwendete Sigmoidfunktion implementiert. Die Ausgabefunktion bleibt stets unverändert. Zur Verdeutlichung dient Abbildung 4. Bei den im Praktikum verwendeten Netzwerken (sowohl MLP als auch RBF) wird der Bias für die entsprechenden Netzwerkknoten vom Simulator automatisch erzeugt. Es muss also kein separater Bias- Knoten angelegt werden. Die simulatorinterne Behandlung des vom Biasknoten kommenden Gewichtes, welches als Schwellwert für das entsprechende Neuron dient, erfolgt genau so wie in der Vorlesung bzw. Übung behandelt Neuronenfunktionen beim RBF-Netzwerk Die Einstellung der Knotenfunktionen beim RBF- Netzwerk verdeutlicht Abbildung 5. Die für die Knoten der RBF(Hidden)schicht einzustellende Aktivierungsfunktion act_rbf_gaussian realsiert sowohl die Berechnung des euklidischen Abstandes zwischen Eingabeund Gewichtsvektor als auch die Berechnung der Aus- Figure 5. Netzwerk Einstellung der Knotenfunktionen beim RBF-

4 4 Figure 6. Einstellung zum Generieren eines ebenenweise vollvernetzten Feedforward-Netzwerks gabe durch die Anwendung der Gaussfunktion genau so wie in der Vorlesung behandelt Verbindungen (Links, Gewichte) zwischen den Knotenebenen Im Praktikum sind die verwendeten Feedforward- Netzwerke immer ebenenweise vollvernetzt, d.h. es existiert jeweils ein Gewichtsparameter von einem Knoten der Schicht l zu einem Knoten der nachfolgenden Ebene l+ (siehe Abbildung 6). Figure 7. Netzwerk Initialisierung von MLP- (oben) und RBF- 2.4 Vorgabe der Initialisierungs- und Trainingsparameter bei MLP- und RBF-Netzwerk Entsprechend den in der Vorlesung behandelten Netzwerktypen müssen die Trainingsparameter korrekt eingestellt werden. Deren Eingabe erfolgt über das Control Panel, das man via Menu-Button Tools öffnet Initialisierungsparameter bei MLP- und RBF- Netzwerk Das MPL-Netzwerk wird mittels der Initialisiserungsfunktion Random Weights mit zufälligen Gewichtsparametern aus dem eingestellten Wertebereichsintervall initialisiert. Wählt man für die obere und untere Intervallgrenze den gleichen Wert, bekommen alle Parameter diesen Wert zugewiesen. Beim RBF-Netzwerk nutzt man die Initialisiserungsfunktion RBF Weights. Dabei ist lediglich der bias- Parameter relevant, der die Varianz der Gaußfunktion, die für alle RBF-Knoten gleich initialisiert wird, repräsentiert. Zu beachten ist, dass eine Verkleinerung des bias-parameters zu einer Vergrößerung der Varianz führt und umgekehrt. Beide Aspekte illustriert Abbildung Trainingsparameter bei MLP- und RBF-Netzwerk Das verwendete Trainingsverfahren wird im Menü Learning function ausgewählt. Beim MLP-Netzwerk werden Backpropagation, was den Modus des Direct Learning implementiert, und Batch Backpropagation genutzt. Eta gibt die für alle Parameter gültige Lernrate/Schrittweite an, dmax den Abstand zwischen Teachvorgabe und tatsächlichem Ausgang, ab dem die Ausgabe als korrekt angesehen wird und kein Lernen (Adaption der Netzwerkparameter) mehr erfolgt. Beim RBF-Netzwerk stellen Eta/2 die Lernraten für die Anpassung der Gaußfunktionen, die durch die RBF-Neuronen realisiert werden, dar. Diese werden auf den Wert gesetzt! Hinter weights verbirgt sich die Lernrate zur Anpassung der Gewichte von der RBF- zur Ausgabeschicht. Parameter Cycles gibt an, wie oft der Datensatz zum Training des Netzwerks durchlaufen wird (Trainingsepochen). Parameter Steps verbleibt unverändert auf dem Wert. Zur Illustration dient Abbildung Darstellung des Fehlerverlaufs während des Trainingsprozesses Mit Hilfe des Error Graph (Abbildung 9), der über den Button View ausgewählt werden kann, lässt sich der Fehlerverlauf während des Trainingsprozesses visualisieren. Die Achsen der Darstellung sind skalierbar, ebenso lassen sich verschiedene Fehlermaße einstellen Projektion Möchte man den Aktivierungsverlauf eines Neurons über der Eingabeebene darstellen, nutzt man die Funktion Projection, der ebenfalls über den Button View ausgewählt wird. Wichtig ist dabei, dass die entsprechenden Neuronen VOR der Auswahl des Projektionsfensters in der grafischen Ansicht des Netzwerks

5 5 Figure 8. Trainingsparameter von MLP- (links) und RBF- Netzwerk Figure. Oben: markierte Neuronen (gelb). Unten: Aktivierungsverlauf des Ausgabeneurons über der Eingabeebene # Patternfile: or.pat No. of patterns : 4 No. of input units : 2 No. of output units : Figure 9. Error Graph markiert wurden (ctrl + linke Maustaste), wie dies die Abbildung verdeutlicht. 3 BESCHREIBUNG DER DATENSÄTZE 3. Format der Pattern-Files Am Beispiel der Datei or_train.pat soll das Fileformat der SNNS-Patternfiles kurz erläutert werden, wobei Modifikationen an den Patternfiles im Rahmen des Praktikums nicht vorgesehen sind. SNNS pattern definition file V3.2 generated at Mon Jul 2 6:3:4 997 # Input pattern : # Output pattern : # Input pattern 2: # Output pattern 2: # Input pattern 3: # Output pattern 3: # Input pattern 4: # Output pattern 4: 3.2 Datensätze für die lineare Klassifikation Die Patternfiles and_train.pat und or_train.pat enthalten die Trainingsdaten für die AND-bzw. OR-Abbildung. Anhand dieser beiden Abbildungsprobleme soll der Umgang mit dem Simulator geübt werden. Die Verteilung der Eingangsmuster und die dazugehörigen Klassenzugehörigkeiten sind in Abbildung dargestellt. Die Ausgabe wird in einem einzigen Neuron kodiert, welches für die eine Klasse eine und für die andere Klasse entsprechend eine Null als Ausgabewert aufweisen soll.

6 6 x x x Figure. Trainingsdaten für AND/OR-Abbildung: + entspricht Ausgabe, x entspricht Ausgabe x x Figure 2. Trainingsdaten für XOR-Abbildung: + entspricht Ausgabe, x entspricht Ausgabe Datensätze für die nichtlineare Klassifikation 3.3. XOR-Abbildung Das Patternfile xor_train.pat enthält die Trainingsdaten für die XOR-Abbildung. Die Verteilung der Eingangsmuster und die dazugehörigen Klassenzugehörigkeiten sind in Abbildung 2 dargestellt. Die Ausgabe wird in einem einzigen Neuron kodiert, welches für die eine Klasse eine und für die andere Klasse entsprechend eine Null als Ausgabewert aufweisen soll Klassen-Abbildungen Die Patternfiles 4kl_train.pat, 4klbin_train.pat, 4kl2_train.pat, 4kl2bin_train.pat und 4kl3_train.pat enthalten die Trainingsdaten für verschiedene Realisierungen einer 4-Klassen-Abbildung. Die Beispiele in 4kl/2_train.pat und 4kl/2bin_train.pat unterscheiden sich lediglich in der Art der Kodierung der Klassen (-aus-n-kodierung bzw. Binärkodierung mit 4 bzw. 2 Ausgabeneuronen). Die Verteilung der Eingangsmuster und die dazugehörigen Teacherwerte, die die gewünschte Netzausgabe beinhalten, sind in den Abbildungen 3und 4 dargestellt Doppelspirale Abbildung 5 zeigt die Datenverteilung eines Benchmark-Datensatzes, der zum Vergleich verschiedener Klassifikatoren verwendet wird. Man erkennt, dass es sich um ein kompliziertes Abbildungsproblem handelt, da sich die Entscheidungsregionen, die das Netzwerk ausprägen muss, sehr stark gegenseitig umschließen. Die Ausgabe wird in einem einzigen Neuron kodiert, welches für die eine Klasse eine und für die andere Klasse entsprechend eine Null als Ausgabewert aufweisen soll Figure 3. Trainingsdaten für 4-Klassen-Abbildung 4kl(oben)/4kl2(unten): die grafischen Symbole kodieren die 4 Klassenzugehörigkeiten x Figure 4. Trainingsdaten für 4-Klassen-Abbildung 4kl3: die grafischen Symbole kodieren die 4 Klassenzugehörigkeiten

7 7 x x Figure 5. Trainings- (oben) und Validierungsdaten (unten) der Doppelspiral-Abbildung: + entspricht Ausgabe, x entspricht Ausgabe 4 AUFGABEN ZUM PRAKTIKUM 4. Teil - Perceptron- & Multilayer-Perceptron- Netzwerk 4.. Lernen der logischen Abbildungen AND/OR/XOR Bearbeiten Sie die folgenden Aufgaben möglichst in der angegebenen Reihenfolge. Aufgabe Erstellen Sie ein Netzwerk mit minimaler Topologie (Anzahl der Schichten und Knotenzahl), das die logische AND-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz and_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Erstellen Sie ein Netzwerk mit minimaler Topologie (Anzahl der Schichten und Knotenzahl), das die logische OR-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz or_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Aufgabe Erstellen Sie ein Netzwerk mit minimaler Topologie (Anzahl der Schichten und Knotenzahl), das die logische XOR-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz xor_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Aufgabe 4 Nutzen Sie das in Aufgabe 3 generierte Netzwerk und initialisieren Sie das Netzwerk so, dass das Training für alle Parameter mit einem identischen Wert (z.b. Null) begonnen wird. Geben Sie dazu bei der Angabe des Initialisierungsintervall im control panel identische Werte für die obere und untere Intervallgrenze an. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen. Kann das Netzwerk mit dieser Initialiiserung die gegebene XOR-Abbildung erlernen? Diskutieren Sie anhand der Projektion von der Eingabe- auf die Neuronen der Hiddenschicht des Netzwerks, was die Ursache dafür ist Lernen der 4-Klassen-Abbildungen Bearbeiten Sie die folgenden Aufgaben möglichst in der angegebenen Reihenfolge. Aufgabe Entwerfen und trainieren Sie für alle 3 gegebenen Abbildungen jeweils MLP-Netzwerke. Verwenden Sie dabei die Datensätze 4kl_train.pat, 4kl2_train.pat und 4kl3_train.pat. Die Ausgabeschicht besteht hier aus 4 Neuronen, jeweils ein Neuron pro Klasse (Eins-aus- N-Kodierung). Versuchen Sie, das jeweilige Problem mit möglichst minimalen Netzwerken und minimalem Trainingsaufwand zu lösen! Nutzen Sie dazu die Datensätze 4klbin_train.pat und 4kl2bin_train.pat. Im Vergleich zu den in Aufgabe verwendeten Datensätzen wird die Netzwerkausgabe nicht mit einer Eins-aus-N-Kodierung (jeweils ein Ausgabeneuron pro Klasse), sondern durch eine Binärkodierung an den beiden Ausgabenueronen kodiert (also 2 Neuronen in der Ausgabeschicht). Untersuchen Sie, welchen Einfluss die Kodierung der Ausgabeklassen auf den Trainingsprozess hat! Interpretieren Sie diesen Effekt im Hinblick auf die praktische Anwendung des Netzwerks. Aufgabe 3 Untersuchen Sie, welchen Einfluss die Kodierung der Wertebereiche der Eingangskomponenten auf den Trainingsprozess hat! Nutzen Sie dazu den Datensatz 4kl3_train.pat. Erzeugen Sie ein MLP-Netzwerk mit möglichst optimaler Topologie und dokumentieren Sie den Trainingsverlauf durch die Darstellung des Error Graphen. Welchen Effekt beobachten Sie im Vgl. zu den Trainingsverläufen aus Aufgabe? Interpretieren Sie diesen Effekt im Hinblick auf die praktische Anwendung des Netzwerks. Aufgabe 4

8 8 Figure 6. Einstellungen im control panel zur parallelen Nutzung von Trainings- und Validierungsdaten Figure 8. Parametereinstellungen für RProp im Control Panel Figure 7. Verlauf von Trainings-(schwarz) und Validierungsfehler (rot) Trainieren Sie ein MLP mit dem Datensatz 4kl_train.pat und stellen Sie Lernrate auf einen Wert größer gleich 7 ein! Welcher Effekt lässt sich beobachten? 4..3 Lernen der Doppelspiralabbildung Alle Datensätze zum Doppelspiralproblem enthalten jeweils 94 Datenpunkte. Aufgabe Welche Struktur (Topologie) muß ein MLP aufweisen, damit es das Doppelspiralproblem überhaupt lösen kann? Entwerfen Sie eine entsprechende Netzwerk- Topologie (Anzahl Hiddenschichten; Neuronen pro Schicht)! Trainieren und validieren Sie das in Aufgabe entworfene Netzwerk! Nutzen Sie zum Training den Datensatz spiral_train.pat, zum Validieren den Datensatz spiral_valid.pat. Abbildung 7illustriert die dazu notwendigen Einstellungen im control panel. Dabei kann festgelegt werden, nach wie vielen Trainingsepochen ein Durchlauf durch den Validierungsdatensatz erfolgt (im Beispiel alle Trainingsepochen). Beide Fehlerverläufe werden im Error Graphen angezeigt (Abbildung 7) Training von MLP-Netzwerken mit RProp Wiederholen Sie zunächst die Funktionsweise der Trainingsmethode Resilient Backprpagation (RProp), die in der Vorlesung vorgestellt wurde. Bei deren Anwendung geht es darum, die Konvergenz des Trainings zu beschleunigen und dabei trotzdem gute Generalisierungseigenschaften zu erhalten. Besonders gut kann man diese Aufgabenstellung bei der Lösung des Doppelspiralproblems verdeutlichen. Aufgabe Trainieren Sie dazu im ersten Schritt ein MLP- Netzwerk, dass die Doppelspirale möglichst gut approximiert. Eine geeignete Topologie wurde dazu bereits im Abschnitt 4..3erarbeitet. Ein Maß für gute Generalisierung ist der Validierungsfehler, der ebenso wie der Trainingsfehler möglichst klein ausfallen soll. Notieren Sie nach erfolgreichem Trainingsverlauf die Anzahl der benötigten Trainingsepochen und schätzen Sie ebenfalls anhand des Error-Graphen die erreichten Werte von Trainings- und Validierungsfehler ab. Trainieren Sie das Netzwerk aus Aufgabe erneut mittels RProp. Die dazu notwendigen Parametereinstellungen werden in Abbildung 8veranschaulicht. Delta_null gibt den Initialwert, Delta_max den Maximalwert der Schrittweite pro Parameter an. Der dritte Parameter Alpha wird genutzt, um den Grad des Weight Decay zu steuern. Implementiert wird dies über die Vorschrift hoch minus Alpha. Je größer Alpha gewählt wird, umso kleiner wird also der Einfluss des Weight Decay auf den Trainingsprozess. Während die Parameter Delta_max und Delta_null unverändert belassen werden können, experimentieren Sie mit einem Parameterbereich von Alpha von bis. Beobachten Sie dabei die Verläufe von Trainings- und Validierungsfehler und diskutieren Sie die Ergebnisse Training von MLP-Netzwerken mit Momentum- Term Abbildung 9zeigt die Parametereinstellungen, nachdem man Backpropagation-Momentum als Learning

9 9 Figure 9. Parametereinstellungen für Backprop mit Momentum im Control Panel Figure 2. Einstellungen für die Initialiserung eines RBF- Netzwerks Function ausgewählt hat. Eta ist wieder die Schrittweite/Lernrate (hier wieder einheitlich für alle Parameter!), µrepräsentiert den eigentlichen Momentum-Term, und c stellt einen Parameter dar, mit dem eine sogenannte Flat Spot Elimination erreicht wird. Dabei wird eine sehr kleine Gewichtsänderung ab einem Minimalwert durch den Wert, der in diesem Parameterfenster eingetragen ist, ersetzt. Aufgabe Auch hier beschränken wir uns auf die Lösung des Doppelspiralproblems. Trainieren Sie das MLP-Netzwerk aus Aufgabe 4..3bzw. 4..4mittels Backpropagation-Momentum-Verfahren. Variieren Sie dabei die drei Trainingsparameter und versuchen Sie, eine Parameterkonstellation zu finden, mit der das Training schnell konvergiert (kleine Zahl an Trainingsepochen) und das trainierte Netzwerk gute Generalisierungseigenschaften aufweist. Diskutieren Sie die erreichten Ergebnisse. 4.2 Training von RBF-Netzwerken Beim Entwurf der RBF-Netzwerke gehen wir immer so vor, dass die Anzahl der gegebenen Beispieldaten der Anzahl der Knoten innerhalb der RBF-Schicht entspricht. In diesem Fall spricht man davon, dass das RBF- Netzwerk mit der RBF-Schicht die gegebenen Datenpunkte exakt approximiert! Initialisieren Sie in allen nachfolgenden Aufgaben das Netzwerk, wie dies in Abbildung 2dargestellt ist. Dabei ist ausschließlich der Parameter Bias für das Praktikum relevant (alle anderen Parameter auf ihren Voreinstellungen belassen!). Mit dem Bias lässt sich die Varianz der Gaußfunktionen der RBF-Knoten steuern. Zu beachten ist, dass die für alle RBF-Knoten einheitliche Varianz durch die Vorschrift Eins dividiert durch Bias implementiert ist. Erhöht man den Bias, verringert sich entsprechend die Varianz, verringert man diesen, wird die Varianz größer. Weiterhin gilt es zu bedenken, dass die geeignete Wahl der Varianz (bzw. des Bias) für die Generalisierungseigenschaften des Netzwerks eine wesentliche Rolle spielt. Die einzustellenden Parameter/Funktionen für Figure 2. Knotenfunktionen der RBF-Schicht die Neuronen der RBF-Schicht sind an Abbildung 2dargestellt. Nach erfolgter Initialisierung bleiben die Parameter für das Training der Parameter der RBF-Knoten unverändert, was mit einem Eintrag von Null in den entsprechenden Parameterfenstern erfolgt (siehe Abbildung 8). und variieren Sie dabei den Parameter, der die Varianz der Aktivierungsfunktionen der RBF- Knoten festlegt!was beobachten Sie, wenn Sie sich die Aktivierung der RBF-Knoten für die Eingabemuster anschauen, in Abhängigkeit von diesem Parameter? Nutzen Sie zum Training der RBF-Netzwerke analog zum Training der MLP-Netzwerke die entsprechenden Daten-Files! 4.2. Lernen der logischen Abbildungen AND/OR/XOR Bearbeiten Sie die folgenden Aufgaben möglichst in der angegebenen Reihenfolge. Aufgabe Erstellen Sie ein RBF-Netzwerk mit entsprechender Topologie, das die logische AND-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz and_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht

10 des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Erstellen Sie ein Netzwerk mit entsprechender Topologie (Anzahl der Schichten und Knotenzahl), das die logische OR-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz or_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Aufgabe 3 Erstellen Sie ein Netzwerk mit entsprechender Topologie (Anzahl der Schichten und Knotenzahl), das die logische XOR-Abbildung erlernen kann. Nutzen Sie dazu den Datensatz xor_train.pat. Dokumentieren Sie den Trainingsverlauf mit Hilfe des Error Graphen und zeigen Sie anhand der Projektion von der Eingabe- auf die Neuronen der Ausgabeschicht des Netzwerks, dass die Abbildung durch das trainierte Netzwerk erlernt wurde. Welche Struktur (Topologie) sollte ein RBF-Netzwerk aufweisen, damit es das Doppelspiralproblem überhaupt lösen kann? Entwerfen Sie eine entsprechende Netzwerk-Topologie (Anzahl Neuronen der RBF- Schicht)! Trainieren und validieren Sie das in Aufgabe entworfene Netzwerk! Nutzen Sie zum Training den Datensatz spiral_train.pat, zum Validieren den Datensatz spiral_valid.pat. Ermitteln Sie, welchen Wert der Bias- Parameter (Varianz der RBF-Knoten) aufweisen sollte, damit gute Generalisierungseigenschaften erwartet werden können! Lernen der 4-Klassen-Abbildungen Bearbeiten Sie die folgenden Aufgaben möglichst in der angegebenen Reihenfolge. Aufgabe Entwerfen und trainieren Sie für alle 3 gegebenen Abbildungen jeweils RBF-Netzwerke. Verwenden Sie dabei die Datensätze 4kl_train.pat, 4kl2_train.pat und 4kl3_train.pat. Die Ausgabeschicht besteht hier aus 4 Neuronen, jeweils ein Neuron pro Klasse (Eins-aus-N- Kodierung). Nutzen Sie dazu die Datensätze 4klbin_train.pat und 4kl2bin_train.pat. Im Vergleich zu den in Aufgabe verwendeten Datensätzen wird die Netzwerkausgabe nicht mit einer Eins-aus-N-Kodierung (jeweils ein Ausgabeneuron pro Klasse), sondern durch eine Binärkodierung an den beiden Ausgabenueronen kodiert (also 2 Neuronen in der Ausgabeschicht). Untersuchen Sie, welchen Einfluss die Kodierung der Ausgabeklassen auf den Trainingsprozess hat! Interpretieren Sie diesen Effekt im Hinblick auf die praktische Anwendung des Netzwerks! Aufgabe 3 Untersuchen Sie, welchen Einfluss die Kodierung der Wertebereiche der Eingangskomponenten auf den Trainingsprozess hat! Nutzen Sie dazu den Datensatz 4kl3_train.pat. Erzeugen Sie ein RBF-Netzwerk und dokumentieren Sie den Trainingsverlauf durch die Darstellung des Error Graphen. Welchen Effekt beobachten Sie im Vgl. zu den Trainingsverläufen aus Aufgabe? Interpretieren Sie diesen Effekt im Hinblick auf die praktische Anwendung des Netzwerks Lernen der Doppelspiralabbildung Alle Datensätze zum Doppelspiralproblem enthalten jeweils 94 Datenpunkte. Aufgabe