Simulation Neuronaler Netze. Eine praxisorientierte Einführung. Matthias Haun. Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen.

Transkript

1 Simulation Neuronaler Netze Eine praxisorientierte Einführung Matthias Haun Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen expert

2 Inhaltsverzeichnis 1 Einleitung 1.1 Über das Projekt Über das Buch 2 2 Das Gehirn als Vorbild 2.1 Anatomische Vorbemerkung Die Hirnrinde Das Neuron DieSynapsen Historische Anmerkungen Interdisziplinärer Ansatz Zusammenfassung 9 3 Formales Neuronenmodell und künstliche Netze 3.1 Natürliche vs. Künstliche Neuronale Netze Berechenbarkeitsmodelle Das mathematische Modell Turing-Maschinen Computer-Modell Zellularautomaten Neuronale Netze Die atomaren Komponenten des Modells Speicherung Speicherung vs. Lernen '...' Energieverbrauch Elemente des neuronalen Modells Modelleigenschaften Anpassungsfähigkeit Flexibilität Selbstorganisation '..' Generalisierung Stabilität Konvergenz Fehlertoleranz Normalisierung 17

3 3.5 Zustandsbeschreibung Diskrete Zustandsbeschreibung Kontinuierliche Zustandsbeschreibung Neuronale Methoden des Lernens Lernverfahren Überwachtes Lernen Lernregel Grenzen der Neuronalen Netze Historische Anmerkungen Zusammenfassung 22 4 Klassifikation von Netzen 4.1 Versuch einer Klassifikation Ebene Ebene Ebene Grundmodelle Vorwärts gerichtete Netze Rückgekoppelte Netze Verbundene Netze Geschichtete Netze Symmetrische Netze Selbstassoziative Netze Stochastische Netze Asynchrone Netze Mathematische Vorbereitung auf die Praxis Begriffstransfer Funktionsweise Neuronale Netze vs. Computer Die Mathematik des Lernens Zusammenfassung 35 5 Netze mit Vorwärtsausbreitung 5.1 Assoziativspeicher Bidirektionaler Assoziativspeicher Listing Bildliche Zusammenfassung 55

4 6 Vorwärts gekoppelte Netze 6.1 Einsatzbegründung Die Perzeptron-Familie Struktur Lernregel Leistungsfähigkeit Lineare Netze Mustererkennung Lineare Assoziierung Klassifikation der Assoziativspeicher Entitäten und Assoziationen Einstufiges lineares Netz zur Musteridentifikation Listing Einstufiges lineares Netz als Assoziativspeicher Listing Kohonen-Modell Counterpropagation-Modell Architektur Lerngesetz Back Propagation Netze Trainingsmethode 78 7 Backpropagation 7.1 Das biologische Vorbild Blackbox Begriffsbestimmung Lernen unter Aufsicht Der Lernfaktor Lernfehler und Fehlertoleranz Mathematik des Backpropagation-Netzes Struktur Mathematische Formeln Die Praxis des Backpropagation Arbeitsweise Konstruktionshinweise Topologie-Betrachtung 102

5 7.5.2 Kodierung der Muster : Parameter und das Symmtrieproblem Musterweises Lernen vs. Globales Lernen Listing Zusammenfassung Rückgekoppelte Neuronale Netze 8.1 Hopfield-Modell Training Eignung Theoretisches Anwendungsbeispiel Listing Birektionales assoziativer Speicher (BAM) ; Modell der adaptiven Resonanz (ART) Praktische Anwendungsbeispiele 9.1 Diagnosesysteme Anwendung: Endprüfung bei Montagefertigung Hybride medizinische Diagnosesysteme Optische Schriftzeichenerkennung Probleme Verarbeitungsschritte Zeichenerkennung mittels neuronaler Netze Einsatzgebiete Voraussetzungen für den Einsatz neuronaler Netze Qualitätskontrolle Problem Lösungsansätze Optische Qualitätskontrolle Verarbeitungsschritte Einsatzmöglichkeiten neuronaler Netze Bildverarbeitung Fenster-Technik Implementierung Vorteile Prognose Netzmodelle 137

6 9.6.2 Vor-und Nachteile Simulationssysteme Zusammenfassung Werkzeuge 10.1 Werkzeugklassen Anforderungen für das Kennenlernen Anforderungen für das Entwickeln Anforderungen an Simulationen Kleines C-Kompendium 11.1 Grundlagen und Aufbau eines C-Programms Die Entwicklung von C Charakteristikas von C Aufbau eines C-Programms Syntax! ; Zulässige Zeichen Bezeichner Operatoren Kommentare Konstanten Datentypen ' Fundamentale Datentypen Zusammengesetzte Datentypen Vektoren Deklaration und Initialisierung Speicherbedarf Definition vs. Deklaration Typkonversion Operatoren Zuweisungen Arithmetische Operatoren Inkrement-und Dekrementoperatoren Vergleichsoperatoren Logische Operatoren Mathematische Operatoren Ein-und Ausgabe 162

7 Formatierte Eingabe Kontrollstrukturen Bedingte Verzweigung Schleifen Programmstruktur Anweisung vs. Ausdruck Blöcke Speicherklassen Funktionen Zeiger und Vektoren Deklarieren einer Zeigervariable Adresse ermitteln Indirekter Zugriff Arithmetik mit Zeigern Zeiger auf Vektoren Zeigervektoren Zeiger auf Funktionen Zusammengesetzte Datentypen Zuweisung in Punktnotation Zuweisung in Pfeilnotation Strukturobjekte und Funktionen typedef-anweisung Übergabemechanismen Wertübergabe an Funktionen Variable Argumentliste Wertübergabe an main() Bit-Operatoren Bitoperationen Verschiebe-Operatoren Operator-Prioriäten Dateioperationen öffnen und Schließen von Dateien Schreiben und Lesen in Dateien Wahlfreier Zugriff auf Daten Der Preprozessor 190

8 Konstantendefinition #include-anweisungen Makrodefinitionen Bedingte Kompilierung Entwurfsmethodik 12.1 Design Aufgabenstellung definieren Informationen auswählen Relevantes Datenmaterial zusammenstellen Netzwerkdimensionen festlegen Training Testen Anwenden Kleines Mathematicum 13.1 Vektoralgebra Skalarmultiplikation Vektoraddition Vektorsubtraktion Vektormultiplikation Matrizen Übertragungsfunktionen Lineare Übertragungsfunktionen Schwellenwertfunktionen Stufenfunktion sigmoide Übertragungsfunktion Backpropagation Mittlerer quadratischer Fehler Backpropagation Fehler Gradientenabstiegsverfahren Hopfield Literaturverzeichnis 15 Stichwortverzeichnis