Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Transkript

1 Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS _CI2_Deckblatt_XORbinaer_JNNS_2

2

3 Inhaltsverzeichnis Inhaltsverzeichnis Release _XOR_binaer_JNNS_Till1_Schn7 II II.1 II.1.1 II.1.2 II.1.3 II.1.4 II.1.5 Binär aktiviertes KNN mit JavaNNS für das XOR Problem... II-5 Versuchsanleitung... II-5 Versuchsziele... II-5 Grundlagen... II-5 Aufgabe 1... II-6 Aufgabe 2... II-7 Aufgabe 3... II-7 Online-Anleitung... II-8 II.1.6 KNN mit binärer Aktivierung für Wiedergabe der XOR-Funktion... II-8 Glossar... II-19 Abbildungsverzeichnis... II-21 Sachwortverzeichnis... II-22 Literaturverzeichnis... II-23 II-3

4 Inhaltsverzeichnis II-4

5 II.1 Versuchsanleitung II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II.1 Versuchsanleitung II.1.1 Versuchsziele Realisierung von XOR mittels binär aktiviertem Netz wie in der Vorlesung gezeigt Auswertung der vom KNN erzeugten Ergebnisse für die Eingabemuster in JavaNNS II.1.2 Grundlagen Es gibt zum Aufbau und Training von Künstlichen Neuronalen Netzen (KNN) Entwicklungsumgebungen, mit denen sich Künstliche Neuronale Netze aufbauen, trainieren und testen lassen. Mit Hilfe dieser Entwicklungsumgebungen können Künstliche Neuronale Netze einfach erzeugt werden. Das KNN kann visualisiert und als C- Programm generiert werden. JavaNNS ist eine sehr anschauliche und übersichtliche Entwicklungsumgebung für Künstlich Neuronale Netze, da jedes Neuron mit seinen Gewichten und auch deren Änderung visualisierbar ist. Die Inputdaten können dem Netz präsentiert und die Outputwerte und die Verbindungsgewichte der Neuronen können visualisiert werden. XOR- Verknüpfung Erläuterung des XOR- Verhaltens anhand einer Wahrheitstabelle mit zwei Eingängen (A, B) und einem Ausgang X: Tabelle II.1: XOR Fall A B X Ein XOR-Glied erhält am Ausgang immer dann eine 1, wenn an einem der Eingänge der Zustand 1 liegt und am anderen Eingang eine 0 anliegt. Haben beide Eingänge den gleichen Wert, dann ist der Ausgang 0. Dieses Verhalten konnte viele Jahre, während der aktiven Forschung an KNN, nicht durch KNN wiedergegeben werden. Erst durch die Einführung eines Hiddenlayers im Perzeptron II-5

6 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem war die Wiedergabe der XOR-Funktion möglich. Heute stellt diese Funktion für mehrschichtige Perzeptren, sogenannte MLP-Netze, überhaupt kein Problem dar. Binäres XOR Das in der Vorlesung vorgestellte binär aktivierte Künstliche Neuronale Netz zur Realisierung des XOR-Problems soll in dieser Praktikumsaufgabe getestet werden. Dazu wurde ein Künstliches Neuronales Netz generiert, das anhand seiner eingestellten Gewichte und Schwellwerte in der Lage ist, alle vorkommenden Varianten des logischen XOR-Operators korrekt zu berechnen. Abbildung II.1: KNN mit 4 Neuronen für das XOR-Netzwerk [Zell, Simulation neuronaler Netze, 1994] II.1.3 Aufgabe 1 Es soll ein Künstliches Neuronales Netze erstellt werden. Mit der dazugehörigen Pattern-Datei xor.pat soll die Visualisierung eines Künstlichen Neuronalen Netzes in JavaNNS analysiert und das Präsentieren von Trainingsmustern getestet werden. Durchführung des Praktikums: 1. Starten Sie JavaNNS. 2. Erstellen Sie das KNN gemäß der Abbildung II.1 und konfigurieren Sie es dementsprechend. 3. Laden Sie die Dateien xor.pat aus dem Intranet ( /Lehmann/Downloads/Computational Intelligence 2 - Praktikum) 4. Aufrufen des Control Panels 5. Über das Arbeitsblatt Updating können dem Netz die Inputwerte präsentiert werden und in der Visualisierung des Netzes können die Outputwerte bzw. die Gewichte analysiert werden II-6

7 II.1 Versuchsanleitung Bitte speichern Sie Ihre Ergebnisse in Dateien mit mnemonischem Namen (z.b. xor_binaer_v2_a1_autor1) auf Ihrem USB-Stick oder auf dem Server o.ä. II.1.4 Aufgabe 2 Verändern Sie die Architektur dieses KNN so, dass das KNN weiterhin das gewünschte Ergebnis berechnet. Berechnen Sie dazu bei Bedarf die Verbindungsgewichte und die Bias neu. II.1.5 Aufgabe 3 Jetzt soll ein neues KNN erstellt und trainiert werden, so dass es das korrekte Ergebnis für das XOR-Problem wiedergibt. Durchführung des Praktikums: 1. Erstellen Sie die Architektur des KNN. Achtung: Aktivierungsfunktion! 2. Verbinden Sie die Neuronen. 3. Laden der Patterndatei(en): Training, Validierung, Test 4. Trainingsverfahren auswählen 5. Netz initialisieren 6. Training durchführen 7. Trainiertes KNN anhand der Testdaten auswerten und dokumentieren II-7

8 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem Online-Anleitung II.1.6 KNN mit binärer Aktivierung für Wiedergabe der XOR-Funktion Im Folgenden sind die PPT-Folien dargestellt, die für die Anleitung der Studierenden im Praktikum während der Veranstaltung gezeigt werden. Die aktuelle Version der PPT-Folien mit Notizen ist im Intranet unter Lehmann/Download/Computational Intelligence 2- Praktikum zu finden. II-8

9 0 Online-Anleitung II-9

10 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II-10

11 0 Online-Anleitung II-11

12 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II-12

13 0 Online-Anleitung II-13

14 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II-14

15 0 Online-Anleitung II-15

16 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II-16

17 0 Online-Anleitung II-17

18 II Binär aktiviertes KNN mit JavaNNS für das XOR Problem II-18

19 Glossar Glossar Binäre Aktivierung Die Aktivierungen der Neuronen im Netzwerk bestehen nur aus den Werten 0 und 1. Sigmoide Aktivierung Sigmoide (S-förmige) Aktivierungsfunktionen lösen das Problem, dass ein Netzwerk häufig sowohl auf Signale kleiner als auch sehr großer Amplitude reagieren muss, wobei es bei kleinen Amplituden wesentlich sensibler sein muss. Sigmoide Aktivierungsfunktionen haben daher ihre höchste Sensibilität, d. h. ihre größte Steigung im Bereich um den Arbeitspunkt (Schwellenwert) θ. Anders als die binäre Schrittfunktion sind sie aber stetig und überall differenzierbar, so dass ihre Ableitung an jeder Stelle definiert ist. Häufig werden die Logistische-Aktivierung und die Tanh-Aktivierung angewandt, wenn es sich um nichtlineare Probleme handelt. Bei linearen Problemen ist eine lineare Aktivierung oder lineare Aktivierung mit Sättigung hinreichend. Siehe dazu folgende Hinweise (auf dem Hiddenlayer wird üblicherweise die Aktivierung mit dem Tanh verwendet und auf dem Input-/Outputlayer die lineare Aktivierung) Logistische-Aktivierung Diese Funktion ist punktsymmetrisch um den Schwellenwert θ, stetig, überall differenzierbar und hat als Wertebereich das offene Intervall ]0,1[. f log 1 ( x) = 1 + e x Tanh-Aktivierung Die Funktion tanh(x) ist ebenso sigmoid, stetig, differenzierbar und hat als Wertebereich das offene Intervall ]-1,1[. Die Aktivierungsfunktion tanh(x) lässt sich aus der logistischen Aktivierungsfunktion herleiten. Bei Verwendung des Lernverfahrens Backpropagation wird durch die Verwendung dieser Funktion häufig das Lernen erleichtert, weil hier auch bei Nichtaktivierung des Vorgängerneurons (entspricht einer Aktivierung von -1) das Gewicht zwischen zwei Neuronen verändert (reduziert) wird Bei Verwendung der logistischen Aktivierungsfunktion geht in diesem Fall die Aktivierung 0 als Produkt in die Formel ein und verhindert eine Gewichtsänderung. x x e e ftanh( x) = tanh( x) = = 2 flog(2 x) 1 x x e + e II-19

20 Glossar JavaNNS JavaNNS ist ein Neural Network Simulator entwickelt von Prof. Dr. Andreas Zell an der Uni Tübingen. Der Download ist kostenlos. Es kann damit auch C-Code generiert werden. Pattern-Datei In der Pattern-Datei sind die Datensätze für Training, Validierung und Test des KNN zusammengestellt. II-20

21 Abbildungsverzeichnis Abbildungsverzeichnis Abbildung II.1: KNN mit 4 Neuronen für das XOR- Netzwerk [Zell, Simulation neuronaler Netze, 1994]... II-6 II-21

22 Sachwortverzeichnis Sachwortverzeichnis Binär... II-5 Binäre Aktivierung... II-17 Control Panels... II-6 Gewichte... II-6 Hiddenlayers... II-5 JavaNNS... II-5, II-6, II-18, II-21 KNN... II-5, II-6, II-7, II-18 Künstlich Neuronale Netz... II-6 Künstlich Neuronalen Netzen... II-5 Künstlich Neuronales Netz... II-6 Logistische-Aktivierung... II-17 MLP-Netze... II-6 Pattern-Datei... II-6, II-18 Perzeptron... II-5 Sigmoide Aktivierung... II-17 Tanh-Aktivierung... II-17 XOR... II-5, II-6, II-7 II-22

23 Literaturverzeichnis Literaturverzeichnis Hinweise zur Bedienung des Entwicklungsumgebung JavaNNS und eine Kurzeinführung in JavaNNS erhalten Sie unter: Software JNNS incl. Handbuch : Software Java : A. Zell: Simulation neuronaler Netze, 1994 U. Lehmann: Vorlesungsskript VDI/VDE 3550 Blatt 1: Computational Intelligence, Künstlich Neuronale Netze in der Automatisierungstechnik; Begriffe und Definitionen; September 2001 II-23

24 Literaturverzeichnis II-24