Simulation neuronaler Netze

Transkript

1 Simulation neuronaler Netze von Professor Dr. Andreas Zeil Universität Tübingen R. Oldenbourg Verlag München Wien

2 Inhaltsverzeichnis Teil I: Einführung und Neurobiologische Grundlagen 21 Kapitel 1 Einleitung und Motivation Was sind Neuronale Netze? Geschwindigkeitsvergleich Gehirn - Rechner Schritt-Regel Vergleich Konnektionismus - klassische Künstliche Intelligenz (KI) Eigenschaften neuronaler Netze Geschichte neuronaler Netze Frühe Anfänge ( ) Erste Blütezeit ( ) Die stillen Jahre ( ) Die Renaissance neuronaler Netze (1985-heute) Bemerkungen zum vorliegenden Buch 34 Kapitel 2 Biologische Neuronen Aufbau einer Nervenzelle Zellmembran von Nervenfasern Fortpflanzung des Nervensignals entlang des Axons Myelinhülle Weiterleitung des Nervensignals über eine Synapse Neurotransmitter Einige Zahlen und Formeln über Neuronen Vereinfachte Modellierung von Neuronen bei der Simulation 51 Kapitel 3 Kleine Verbände von Nervenzellen Die Meeresschnecke Aplysia Steuerung des Herzschlags und Blutdrucks von Aplysia Steuerung des Kiemenreflexes von Aplysia 57 Kapitel 4 Gehirn des Menschen Struktur des Gehirns Sensorische Nervenleitung Sinneswahrnehmungen Motorische Nervenleitung Das autonome Nervensystem 64

3 Inhaltsverzeichnis 4.6 Weg der visuellen Information ins Sehfeld Augendominanz-Spalten des primären Sehfeldes Bereiche der Großhirnrinde Aufteilung in funktioneil differenzierte Bereiche Lage funktioneil verschiedener Bereiche des Cortex Verstehen und Produktion von Sprache und Schrift 67 Teil II Konnektionistische Modelle 69 Kapitel 5 Konzepte des Konnektionismus Zellen als stark idealisierte Neuronen Bestandteile neuronaler Netze Zelltypen nach Position im Netzwerk Beispiel eines Netzes: XOR-Netzwerk mit 4 Zellen Aktivierangszustand Ausgabefunktion Arten von Verbindungsnetzwerken Netze ohne Rückkopplung (feedforward-netze) Netze mit Rückkopplungen Hinweise zur Matrixschreibweise Ersetzung der Schwellenwerte durch ein "on"-neuron Propagierungsregel und Aktivierungsfunktion Lernregel Theoretisch mögliche Arten des Lernens Hebbsche Lernregel Delta-Regel Backpropagation-Regel 85 Kapitel 6 Komponenten neuronaler Modelle Dynamische Eigenschaften der Modelle Synchrone Aktivierung Asynchrone Aktivierung Weiteres über Aktivierungsfunktionen Lineare Aktivierungsfunktionen Schrittfunktion Sigmoide Aktivierungsfunktionen Lernen in Neuronalen Netzen Überwachtes Lernen Probleme und Fragen überwachter Lernverfahren Bestärkendes Lernen (reinforcement learning) Unüberwachtes Lernen (unsupervised learning) 95

4 Kapitel 7 Perzeptron Schema des Perzeptrons Neuronen des Perzeptrons Lineare Trennbarkeit (linear separability) Zweistufige Perzeptrons Dreistufige Perzeptrons Lernverfahren des Perzeptrons 103 Kapitel 8 Backpropagation Prinzip des Lernverfahrens Backpropagation Prinzip der Gradientenverfahren neuronaler Netze Herleitung der Delta-Regel Herleitung der Backpropagation-Regel Probleme des Lernverfahrens Backpropagation Symmetry Breaking Lokale Minima der Fehlerfläche Flache Plateaus Oszillationen in steilen Schluchten Verlassen guter Minima Wahl der Schrittweite Wahl des Dynamikbereichs 114 Kapitel 9 Modifikationen von Backpropagation Momentum-Term Fiat-Spot Elimination WeightDecay Manhattan-Training Normierung des Gradienten SuperSAB: eigene Schrittweite für jedes Gewicht Delta-Bar-Delta-Regel Verallgemeinerung auf Sigma-Pi-Zellen Second-Order Backpropagation Quickprop Resilient Propagation (Rprop) 124 Kapitel 10 Backpercolation (Perc) Prinzip des Lernverfahrens Backpercolation Backpropagation als Grundlage für Backpercolation Der Aktivierungsfehler im Backpercolation-Netzwerk Nachrichten an die Vorgänger zur Änderung der Aktivierung Adaption der Gewichte in Backpercolation 133

5 Inhaltsverzeichnis 10.6 Lernrate und Fehlerverstärkung Initialwerte der Gewichte für Backpercolation Verallgemeinerung von Backpercolation für "Shortcut Connections" Kapitel 11 Jordan-Netze und Elman-Netze Repräsentation von Zeit in neuronalen Netzen Jordan-Netze Elman-Netze Hierarchische Elman-Netze Lernverfahren der partiell rekurrenten Netze 143 Kapitel 12 Gradientenverfahren für rekurrente Netze Backpropagation Through Time (BPTT) Real-Time Recurrent Learning (RTRL) Kombination von BPTT und RTRL Rekurrentes Backpropagation Zeitabhängiges rekurrentes Backpropagation 158 Kapitel 13 Cascade-Correlation Learning Architecture Das Moving-Target-Problem Der Cascade-Correlation-Algorithmus Vergleich von Cascade-Correlation mit anderen Verfahren Diskussion von Cascade-Correlation Die Rekurrente Cascade-Correlation-Architektur Training der Rekurrenten Cascade-Correlation-Architektur 169 Kapitel 14 Lernende Vektorquantisierung (LVQ) LVQ LVQ LVQ OLVQ Bemerkungen zu den LVQ-Algorithmen 177 Kapitel 15 Selbstorganisierende Karten (SOM) Prinzip der selbstorganisierenden Karten Lernverfahren der selbstorganisierenden Karten Hinweise zur Verwendung der selbstorganisierenden Karte 186 Kapitel 16 Counterpropagation Eigenschaften des Lernverfahrens Counterpropagation Counterpropagation-Netz Training der Kohonen-Schicht Normalisierung der Eingabe 192

6 Veränderung der Gewichte Initialisierung der Gewichtsvektoren Interpolativer Modus Statistische Eigenschaften des trainierten Netzes Training der Grossberg-Schicht Vollständiges Counterpropagation-Netz 196 Kapitel 17 Hopfield-Netze Binäre Hopfield-Netze Stabilität von Hopfield-Netzen Kontinuierliche Hopfield-Netze Anwendung von Hopfield-Netzen: Traveling Salesman Problem Abbildung des TSPauf ein Netzwerk 202 Kapitel 18 Boltzmann-Maschine Die Boltzmann-Maschine als Lösung von Hopfield-Netz-Problemen Energie und Aktivierungsfunktion der Boltzmann-Maschine Ein Lernverfahren für Boltzmann-Maschinen Herleitung des Lernverfahrens der Boltzmann-Maschine Veranschaulichung des Simulated Annealing 214 Kapitel 19 Bidirektionaler Assoziativspeicher (BAM) Eigenschaften und Struktur des BAM Einfachste Version des BAM Auffinden gespeicherter Assoziationen des BAM Kodierung der Assoziationen des BAM Stabilität und Speicherkapazität des BAM Nicht-homogenes und kontinuierliches BAM AdaptivesBAM Diskussion des BAM 222 Kapitel 20 Radiale-Basisfunktionen-Netze (RBF-Netze) Idee der RBF-Netze Interpolation mit Zentrumsfunktionen Interpolation mit Zentrumsfunktionen und Polynomen Approximation mit Zentrumsfunktionen Variationsrechnung zur Lösung des RBF-Approximationsproblems Erweiterung und Abbildung auf neuronale Netze Erweiterung auf mehrwertige Funktionen Erweiterung um linearen Anteil Hyper-Basisfunktionen-Netze(HBF-Netze) Iteratives Nachtraining der RBF- und HBF-Netze 236

7 10 Inhaltsverzeichnis 20.9 Wahl der Zentren und Radien in RBF-Netzen 239 Kapitel 21 Probabilistische Neuronale Netze (PNN) Die Bayes-Strategie zur Mustererkennung Architektur der Probabilistischen Neuronalen Netze Lernverfahren des PNN Geschwindigkeit und Generalisierungsleistung Bewertung der Eigenschaften der PNNs 250 Kapitel 22 Adaptive Resonance Theory (ART) ART-1: Klassifikation binärer Eingabemuster Überblick über die ART-1 Architektur ART-1 Comparison Layer ART-1 Recognition Layer Verstärkungsfaktoren und Reset Arbeitsweise von ART Leistungsüberlegungen Theoreme über ART ART-2: Ein ART-Netzwerk für kontinuierliche Eingaben Überblick über ART Theorie von ART ART-2 Erkennungsschicht ART-2 Lernregeln ART-2 Reset-Kontrolle ART-2 Gewichtsinitialisierung Wahl der Parameter bei ART ART-2A: Eine optimierte Version von ART ART-3: Modellierung der Neurotransmitter von Synapsen ARTMAP: Überwachtes Lernen mit ART-Netzen ARTMAP Netzarchitektur ARTMAP Klassifikation Mathematische Beschreibung von ARTMAP FuzzyART FuzzyART Algorithmus Geometrische Interpretation von Fuzzy ART 282 Kapitel 23 Neocognitron Netzwerkstruktur des Neocognitrons S-Zellen C-Zellen Prozeß der Mustererkennung durch das Neocognitron 287

8 Prinzip der Erkennung deformierter Muster Ein-/Ausgabecharakteristika einer S-Zelle Unüberwachtes Lernen des Neocognitrons Funktion der C-Zellen Überwachtes Lernen des Neocognitrons Neocognitron mit Selective-Attention-Mechanismus 296 Kapitel 24 Time-Delay-Netze (TDNN) Überblick über Time-Delay-Netze Aufbau von Time-Delay-Netzen Backpropagation für TDNNs Herleitung von Backpropagation für TDNNs Beschleunigung des Backpropagation-Algorithmus für TDNNs Hierarchische TDNNs Multi-State TDNNs TDNN-Architekturen für mehrere Sprecher Automatische Strukturoptimierung von MS-TDNNs 316 Kapitel 25 Verfahren zur Minimierung von Netzen Verschiedene Ansätze zur Verkleinerung von Netzen WeightDecay Löschen der betragsmäßig kleinsten Gewichte Optimal Brain Damage (OBD) Optimal Brain Surgeon (OBS) Skelettierung Kostenfunktion für die Gewichte verdeckter Zellen Kostenfunktion für die Ausgaben verdeckter Neuronen Vergleich der Verfahren zur Minimierung von Netzen 333 Kapitel 26 Adaptive Logische Netze (ALN) Idee der Adaptiven Logischen Netze Aufbau eines Adaptiven Logischen Netzwerks Generalisierung in Adaptiven Logischen Netzen Lernverfahren für Adaptive Logische Netze Topologieänderung während des Lernens Lazy Evaluation und Simulationsgeschwindigkeit bei ALNs Verarbeitung kontinuierlicher Eingabemuster 342

9 12 Inhaltsverzeichnis Teil III Simulationstechnik Neuronaler Netze 347 Kapitel 27 Software-Simulatoren neuronaler Netze NeuralWorks Professional H/Plus BrainMaker Nestor Development System ANSimundANSpec NEURO-Compiler NEUROtools SENN Die PDP-Simulatoren RCS (Rochester Connectionist Simulator) Neural Shell LVQ-PAKundSOM-PAK Pygmalion SNNS (Stuttgarter Neuronale Netze Simulator) SESAME NeuroGraph UCLA-SFINX PlaNet Aspirin/MIGRAINES FAST VieNet Xerion GENESIS MUME MONNET Galatea ICSIM 379 Kapitel 28 Der Stuttgarter Neuronale Netze Simulator (SNNS) Stuttgarter Neuronale Netze Simulator Geschichte des SNNS Struktur von SNNS Unterstützte Architekturen und Leistung Simulatorkern von SNNS Graphikoberfläche von SNNS D-Visualisierung von Netzen Der Netzwerk-Editor D-Netzwerk- Visualisierung Netzwerkbeschreibungssprache Nessus 389

10 Die Sprache Nessus Beispielprogramm Nessus-Compiler Werkzeuge zur Analyse von Netzen Von SNNS unterstützte konnektionistische Modelle Parallele Simulatorkerne für den Parallelrechner MasPar MP Batch-Version und Laufzeitversion Einige Anwendungen von SNNS Projektmitarbeiter und Bezugsquelle 397 Kapitel 29 Visualisierungstechniken neuronaler Netze Wozu Visualisierungstechniken neuronaler Netze? Techniken zur Visualisierung der Netztopologie Zweidimensionale Visualisierung der Netzstruktur Dreidimensionale Projektion der Netzstruktur Stereo-3D-Visualisierung der Netzstruktur Techniken zur Visualisierung von Gewichten Techniken zur Visualisierung des zeitlichen Verhaltens von Netzen Fehlerkurven des Lernfehlers Trajektorien der Ausgaben bei rekurrenten Netzen Techniken zur Visualisierung selbstorganisierender Karten Selbstorganisierende Karten als Gitternetze Vektor-Lagekarten 408 Kapitel 30 Leistungsmessung Neuronaler Netze Einführung, Problemstellung Unterscheidung: Lernverfahren, Netzsimulatoren, Neurocomputer Das Chaos der Maßeinheiten Was will man überhaupt messen? Leistungsmessung von Lernverfahren Verschiedenartigkeit der Lernverfahren Vergleich der Lernverfahren für mehrstufige Feedforward-Netze Benchmarks für Lernverfahren Leistungsmessung von Netzwerksimulatoren Problem unterschiedlicher Hardware und Software Unterschiedliche Implementierung der Lernverfahren Weitere Einflußfaktoren auf die Messungen Leistungsmessung bei Parallelrechnern und Neurocomputern Leistungsmessung neuronaler Netze auf SIMD-Parallelrechnern Leistungsmessung neuronaler Netze auf MIMD-Parallelrechnern Leistungsmessung neuronaler Netze auf Neuro-Chips 428

11 14 Inhaltsverzeichnis Leistungsmessung neuronaler Netze auf VLSI-Neurocomputern Mangelnde Vergleichbarkeit der Implementierungen 430 Kapitel 31 Simulation Neuronaler Netze auf SIMD-Parallelrechnern Arten der Parallelität in vorwärtsgerichteten neuronalen Netzen Massiv parallele SIMD-Rechner Connection Machine CM MasPar MP MasPar MP AMTDAP Implementierungen von Backpropagation auf SIMD-Rechnern Kantenparallele, Gitterbasierte Implementierung Listenbasierte Implementierung Trainingsmuster-parallele Implementierungen Matrix-Algebra-basierte Implementierungen Die Implementierung von Zhang Erste parallele Implementierung für die MasPar MP Zweite Knoten- und Trainingsmuster-parallele Implementierung Eine kantenparallele Implementierung für die MasPar MP Vergleich der parallelen Implementierungen auf SIMD-Rechnern 449 Kapitel 32 Neurocomputer-Architekturen Kriterien für Neurocomputer-Architekturen Koprozessoren für neuronale Netze HNC ANZA Plus TI ODYSSEY SAICSIGMA NeuraLogixADS COKOS Nestor/Intel NilOOO Recognition Accelerator Neurocomputer aus Standardbausteinen TRW Mark ffl TRW Mark IV ICSIRAP (Ring Array Processor) Fujitsu Neurocomputer MUSIC-System der ETH Zürich (1992) VLSI-Neurocomputer HNCSNAP Adaptive Solutions CNAPS Siemens SYNAPSE Connectionist Network Supercomputer CNS-1 470

12 Ein Simulatorkern von SNNS auf dem Neurocomputer CNAPS 472 Kapitel 33 VLSI-Neuro-Chips Klassifikation von Neuro-Chips Digitale VLSI-Chips für neuronale Netze Adaptive Solutions CNAPS-1064 Chip Siemens MA Nestor/Intel NilOOO ICSI CNS-1 Torrent NeuraLogix NLX WSI-Neurocomputer von Hitachi Analoge VLSI-Chips für neuronale Netze AT&TChips BellcoreChip Intel ETANN (N10) Weitere analoge VLSI-Neuro-Chips 491 Teil IV Anwendungen neuronaler Netze 493 Kapitel 34 Prognose des Intensitätsverlaufs eines NH3-Lasers Trainings- und Testdaten des Laser-Prognoseproblems Auswahl einer Netzwerkarchitektur Ergebnisse der Prognose der Laserintensität 498 Kapitel 35 Ähnlichkeitsanalyse biologisch aktiver Moleküle Einführung und Motivation Wichtige Eigenschaften selbstorganisierender Karten Abbildung der 3D-Oberfläche von Molekülen auf einen 2D-Torus Selbstorganisierende Karten auf Parallelen SIMD-Computern Selbstorganisierende Oberflächen (self-organizing surfaces, SOS) Dynamische Änderung der Netzwerktopologie Abbildung von Moleküloberflächen auf die Oberfläche einer Kugel 508 Kapitel 36 Bahnregelung in Ringbeschleunigern und Speicherringen Problemstellung Mathematische Beschreibung des Problems der Bahnkorrektur Bahnkorrektur mit neuronalen Netzen Implementierung mit SNNS Bewertung der Ergebnisse 517 Kapitel 37 Texturanalyse mit neuronalen Netzen Texturen und Texturmerkmale 520

13 16 Inhaltsverzeichnis 37.2 Texturanalyse mit neuronalen Netzen Verbesserungen des Verfahrens Qualitätskontrolle von Natursteinplatten Bewertung 530 Kapitel 38 Prognose der Sekundärstruktur von Proteinen Einführung Der Ansatz von Quian und Sejnowski Partiell rekurrente Netze zur Vorhersage der Proteinstruktur Vergleich der Verfahren 539 Kapitel 39 Steuerung autonomer Fahrzeuge mit neuronalen Netzen ALVTNN Erste Version von ALVTNN Zweite Version von ALVTNN VTTAund OSCAR Erste Version des neuronalen Reglers von OSCAR Zweite Version des neuronalen Reglers von OSCAR Ergebnisse der Simulationen und der Testfahrten mit OSCAR 551 TeilV Ausblick 555 Kapitel 40 Ausblick Weitere aktuelle Forschungsthemen Komplexitätstheorie neuronaler Netze Hierarchischer Aufbau neuronaler Netze Neuronale Regler (Neural Control) Neuronale Netze und Fuzzy-Logik Neuronale Netze und Evolutionsalgorithmen Weitere aktuelle Anwendungsbereiche neuronaler Netze Neuronale Netze in der Robotik Spracherkennung mit neuronalen Netzen Gesichtserkennung mit neuronalen Netzen Ausblick 573 Literatur 575 Stichwortverzeichnis 609