Implementationsaspekte

Transkript

1 Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der Objekte Globale Methoden Darstellung graphische Oberfläche Version 04.1 Heinrich Werner Vorwort 2

2 Aufbau von Netzwerken Elementare Bausteine: Neuronen, Verbindungen Zusammengesetzte Bausteine Neuronengruppen, Schichten Verbindungsgruppen Netzwerk Sammlung von Neuronengruppen und Verbindungsgruppen Version 04.1 Heinrich Werner Vorwort 3 Daten in Netzwerken Neuronen: Input, Aktivität, Output, Fehler, Verbindungen: Start, Ziel, Gewicht, Plastizität (trainierbar?), Neuronengruppen: Neuronenzahl, Verbindungsgruppe Start, Ziel, Inzidenzmatrix, Version 04.1 Heinrich Werner Vorwort 4

3 Methoden von Netzwerken Aktivierungsfunktionen Outputfunkionen Propagierung Fehlerberechnung Trainingsfunktionen Trainingsorganisation Version 04.1 Heinrich Werner Vorwort 5 Globale Methoden Command-Line Befehle zur Netzdefinition Initialisierung Dateienerzeugung Training Generalisierungsprüfung Arbeitsphase Fehlerbehandlung Version 04.1 Heinrich Werner Vorwort 6

4 Darstellung Neuronen: Form, Position, Farbe/Muster, Verbindungen: Form, Position, Farbe, Selektion Information Fehleranzeige Dateiverwaltung Version 04.1 Heinrich Werner Vorwort 7 Bausteine Eine Neuronengruppe ohne Verbindungen zueinander Eine vollständig rückgekoppelte Neuronengruppe Eine Neuronengruppe mit untrainierbaren Verbindungen Ein System von Verbindungen von jedem Neuron einer Gruppe zu jedem Neuron einer anderen Gruppe Ein System von Verbindungen von je einem Neuron einer Gruppe zu je einem Neuron einer gleichgroßen anderen Gruppe Ein System von untrainierbaren Verbindungen Version 04.1 Heinrich Werner Vorwort 8

5 Hopfield Netz Beispiel 1 Perceptron / Adaline Input Output Feature Map Input Output Version 04.1 Heinrich Werner Vorwort 9 Beispiel 2 Multilayer Perceptron BAM Input Input hidden Output Output Version 04.1 Heinrich Werner Vorwort 10

6 Counterpropagation Netz Beispiel 3 Input Jordan-Netz hidden Output Version 04.1 Heinrich Werner Vorwort 11 Neuronen int: lfdnummer, Gruppe float: Input, Aktivität, Output, Fehler String: Aktivierungsfunktion String: Outputfunktion String[] : Kommentare Version 04.1 Heinrich Werner Vorwort 12

7 Verbindungen int: startnummer, zielnummer, startgruppe, zielgruppe float: Gewicht, delta, min, max String: Propagierungsmethode String: Trainingsmethode String[] : Kommentare Version 04.1 Heinrich Werner Vorwort 13 Training Datei: Trainingsdatei String: Auswahlmethode int: Durchlauf, Sample, Durchlaufzahl, Samplezahl, verboselevel, float: epsilon, alpha, beta, gamma String[]: Kommentare Version 04.1 Heinrich Werner Vorwort 14

8 Arbeit String: Propagierungsregel, outstruktur Datei: EingabeSamples boolean: Fehleranalyse int: Sample, SampleZahl, verblevel, String[]: Kommentare Version 04.1 Heinrich Werner Vorwort 15 Neuronen: graphische Darstellung Eingabeschicht Verborgen (evtl. in Schichten geordnet) Ausgabeschicht Synapsen: Unidirektional Bidirektional Version 04.1 Heinrich Werner Vorwort 16

9 Aktivierungsfunktion String[] zulässigenamen = {default, inhibitorisch, gruppen} Version 04.1 Heinrich Werner Vorwort 17 OutputFunktionen String[] Name = {"logistisch", "stufe", "treppe", "linear", "dreieck", "trapez", "parabel", "gauss", "hut"}; int aktuell; float: alpha, beta; value(float x) { case (altuell) of 0: return log(x); 1: return stu(x); 2: return tre(x); 3: return lin(x); 4: return dre(x); 5: return tra(x); 6: return par(x); 7: return gau(x); 8: return hut(x); default: return x;} Version 04.1 Heinrich Werner Vorwort 18

10 Informatische Darstellung Neuronen: in einer Liste aufzählen Neuron Nr. 0 ist das dauernd feuernde Sonderneuron. Jedes Neuron hat eigene Felder Position : Paar von Pixel-Koordinaten Schicht : nat. Zahl, 0 ist die Eingabeschicht erlaubt die Einteilung in Schichten Aktivierung: Verweis auf eine Funktion und ggf. weitere Parameter Output: Verweis auf eine Funktion und ggf. weitere Parameter Version 04.1 Heinrich Werner Vorwort 19 Informatische Darstellung Synapsen: in einer reellen nxn-matrix (n : Anzahl der Neuronen ) an Stelle ij das Gewicht der Verbindung vom i-ten zum j-ten Neuron der Liste eintragen, bzw. 0, falls diese Verbindung nicht existiert in einer booleschen nxn-matrix wird parallel dazu an der Stelle ij true eingetragen, bzw. false, falls diese Verbindung nicht existiert. Version 04.1 Heinrich Werner Vorwort 20

11 Informatische Darstellung Verarbeitung: Bei der Auswertung von Eingaben benötigt das System neben der Gewichts-Matrix und der Existenz- Matrix einen Ausgabe-Vektor, der die aktuellen Ausgaben aller Neuronen angibt. Es wird außerdem ein Eingabe-Vektor benötigt, dessen Werte die Anfangs-Aktivitäten der Eingabe- Neuronen sind. Eine Boolesche Ausgabe zeigt an, ob die Auswertung durch das Netzwerk abgeschlossen ist (bei nicht rückgekoppelten Systemen: sobald der Ausgabevektor neu berechnet ist). Version 04.1 Heinrich Werner Vorwort 21 Version 04.1 Heinrich Werner Vorwort 22