Inhaltsverzeichnis. Einführung

Transkript

1 Inhaltsverzeichnis Einführung 1 Das biologische Paradigma Neuronale Netze als Berechnungsmodell Natürliche und künstliche neuronale Netze Entstehung der Berechenbarkeitsmodelle Elemente eines Berechnungsmodells Biologische neuronale Netze Aufbau der Nervenzellen Informationsübertragung in Neuronennetzen Informationsverarbeitung an Membran und Synapse Speicherung von Information - Lernen Künstliche neuronale Netze als Funktionennetze Atomare Bestandteile der Informationsverarbeitung Neuronale versus Funktionennetze Historische Anmerkungen 25 Teil I: Vorwärtsgerichtete Netze 2 Das Modell von McCulloch und Pitts Netze von Funktionen Vorwärtsgerichtete und rekursive Netze Ein abstraktes Neuronenmodell Aufbau von logischen Funktionen Konjunktion und Disjunktion Nichtmonotone Funktionen und die Negation Geometrische Interpretation Netze für beliebige logische Funktionen Konstruktive Methode Verknüpfungsbasen Äquivalente Netze Gewichtete und ungewichtete Netze Absolute und relative Hemmung Binäre Information Rekursive Netze Netze mit Erinnerung" Endliche Automaten Äquivalenz endlicher Automaten und neuronaler Netze 47

2 2.5.4 Erste Klassifizierung von neuronalen Netzen Historische Anmerkungen 50 3 Gewichtete Netze - Das Perzeptron Perzeptronen und parallele Datenverarbeitung Das Modell von Rosenblatt Das klassische und das Minsky-Papert-Perzeptron Parallele Algorithmen und unlösbare Probleme Realisierung logischer Funktionen mit Perzeptronen Einfaches Perzeptron und geometrische Interpretation Gewichtete Netze mit einem kanonischen Baustein Logische Funktionen und das XOR-Problem Lineare Entscheidungsfunktionen Lineare Trennbarkeit Eingabe- und Gewichteraum - Dualität Fehlerfunktion im Gewichteraum Allgemeine Entscheidungskurven Anwendungen und biologische Analogie Kantenerkennung mit Perzeptronen Die Verschaltung der Netzhaut Die Silicon-Retina" von Carver Mead Historische Anmerkungen 71 4 Der Perzeptron-Lernalgorithmus Lernalgorithmen für neuronale Netze Lernen in parametrischen Systemen Klassen von Lernalgorithmen Lineare Trennbarkeit Vektornotation Absolute lineare Trennbarkeit Fehlerflächen und Suchvorgang Perzeptron-Lernen Definition des Lernalgorithmus Geometrische Visualisierung Konvergenz des Algorithmus Beschleunigung der Konvergenz - Delta-Regel Komplexität des Perzeptron-Lernalgorithmus Perzeptron-Lernen als lineares Programm Lineare Optimierung und innere Punkte Lineare Trennbarkeit als lineares Programm Der Algorithmus von Karmarkar Historische Anmerkungen 96

3 Unüberwachtes Lernen Lernen durch Konkurrenz Klassen von unüberwachtem Lernen Verallgemeinerung des Perzeptron-Problems Unüberwachtes Lernen durch Konkurrenz Konvergenzanalyse Der eindimensionale Fall - Energiefunktion Mehrdimensionaler Fall Unüberwachtes Lernen als Minimierungsaufgabe Beziehung zum Perzeptron-Lernen Stabilität der Lösungen Hauptkomponentenanalyse Unüberwachtes Lernen mit Verstärkung Konvergenz des Lernalgorithmus Bestimmung zusätzlicher Hauptkomponenten Beispiele Mustererkennung Selbstorganisation im menschlichen Gehirn Historische Anmerkungen 119 Netze mit mehreren Schichten Struktur und geometrische Visualisierung Netzarchitekturen Das XOR-Problem Geometrische Visualisierung, Regionen im Eingabe- und Gewichteraum Gewichteraumregionen für das XOR-Problem Bipolarvektoren Projektion der Lösungsregionen auf die Ebene Geometrische Interpretation Regionen für komplexere Netze Regionen im Gewichteraum des XOR-Problems Anzahl der Regionen im Allgemeinen Konsequenzen Die Vapnik-Chervonenkis-Dimension Die Frage der lokalen Minima Historische Anmerkungen 147 Der Backpropagation-Algorithmus Lernen in Backpropagation-Netzen Gradientenabstiegsverfahren Differenzierbare Aktivierungsfunktionen 149

4 7.1.3 Regionen im Eingaberaum Entstehung von lokalen Minima Backpropagation in Funktionennetzen Das Lernproblem Berechnungen in einem Backpropagation-Netz Die Kettenregel Parallelschaltungen Gewichtete Kanten Die Fehlerfunktion Lernen mit Backpropagation Schritte des Algorithmus Backpropagation in Matrixform B ackpropagation als lokale Informationsverarbeitung Die Form der Fehlerfunktion für das XOR-Problem Varianten des Backpropagation-Verfahrens Historische Anmerkungen 172 II: Theoretische Analyse Backpropagation und statistische Regression Statistische Funktionsanpassung Annäherung versus Verallgemeinerung Der lineare Assoziator Lineare Regression Nichtlineare Regression Form der Ausgabefunktion Die Logit-Transformation Logistische Regression Backpropagation in komplexen Netzen Regression in einem Backpropagation-Netzwerk Visualisierung der Lösungs-Regionen Form der Fehlerfunktion Regression in mehrschichtigen Netzen Die Rolle der verborgenen Schicht Tragweite der Nichtlinearität Matrixinversion durch Backpropagation Anwendungen Die Lernmatrix Datencodierung und Datenkompression NETtalk Prognose von Zeitreihen Historische Anmerkungen 201

5 9 Die Komplexität des Lernens Funktionen als Netze Lernalgorithmen für mehrschichtige Netze Hilberts Dreizehntes Problem Der Satz von Kolmogorov Funktionsannäherung Der eindimensionale Fall Der mehrdimensionale Fall Komplexität von Lernproblemen Das Lernproblem für neuronale Netze Komplexitätsklassen NP-vollständige Lernprobleme Komplexität des Lernens bei AND-OR-Netzen Vereinfachungen der Netzarchitektur - der Kortex Lernen mit Hinweisen Historische Anmerkungen Fuzzy-Logik und neuronale Netze Fuzzy-Mengen und Fuzzy-Logik Unscharfe Daten und Regeln Der Begriff der unscharfen Mengen Geometrische Darstellung von unscharfen Mengen Mengenlehre, logische Operatoren und Geometrie Familien von Fuzzy-Operatoren Berechnung von Fuzzy-Inferenzen Unscharfes Schließen Unscharfe Zahlen und inverse Operation Kontrolle mit Fuzzy-Systemen Fuzzy-Regler Fuzzy-Netze Funktionsapproximation mit Fuzzy-Methoden Das Auge als fuzzifier Farbensehen Historische Anmerkungen 248 Teil III: Rekursive Netze 11 Assoziativspeicher Grundlagen der assoziativen Speicherung Rekursive Netze Klassen von Assoziativspeichern Struktur des Assoziativspeichers Die Eigenvektorenmaschine Bipolarvektoren und die Vorzeichen-Funktion 257

6 11.2 Lernen in Assoziativspeichern Hebbian-Learning - Die Korrelationsmatrix Geometrische Deutung der Hebb-Regel Netze als dynamische Systeme - Resultate Die Pseudoinverse Orthogonale Projektionen Eigenschaften der Pseudoinversen - Berechnung Holographische Speicher Historische Anmerkungen 276 Das Hopfield-Modell Synchrone und asynchrone Netze Rekursive Netze mit stochastischer Aktivierung Der bidirektionale Assoziativspeicher Definition der Energiefunktion Definition der Hopfield-Netze Asynchrone Netze Der Ansatz von Hopfield Isomorphie zwischen Hopfield- und Ising-Modell Konvergenz des Modells Dynamik des Hopfield-Netzes Konvergenzanalyse Die Hebb-Regel Äquivalenz des Lernverfahrens mit Perzeptron-Lernen Perzeptron-Lernen bei Hopfield-Netzen Komplexität des Lernens bei Hopfield-Modellen Historische Anmerkungen 301 Kombinatorische Optimierung und Parallelität Parallele Algorithmen NP-vollständige Probleme Das Multi-Flop-Problem Das Acht-Türme-Problem Das Acht-Damen-Problem Das Problem des Handlungsreisenden Theoretische Betrachtungen Die Klasse co-np Die Grenzen von Hopfield-Netzen Implementierung des Hopfield-Netzes Elektrische Realisierung Optische Realisierung Historische Anmerkungen 315

7 14 Stochastische Netze Varianten des Hopfield-Modells Beschränkungen des Standardmodells Das Hopfield-Modell mit stetiger Aktivierungsfunktion Stochastische Algorithmen und Systeme Simulated Annealing Stochastische neuronale Netze Markov-Ketten Die Boltzmann-Verteilung Physikalische Bedeutung der Boltzmann-Verteilung Lernverfahren und Anwendungen Lernen in Boltzmann-Maschinen Anwendungen in der kombinatorischen Optimierung Historische Anmerkungen 334 Teil IV: Selbstorganisation und Neurohardware 15 Kohonens topologieerhaltende Abbildungen Selbstorganisation Kartierung des Eingaberaums Sensorische Karten im Gehirn Kohonens Modell Der Lernalgorithmus Projektion auf niedrigere Dimensionen Konvergenzanalyse Potentialfunktion - Eindimensionaler Fall Zweidimensionaler Fall Auswirkung der Nachbarschaft eines Neurons Anwendungen > Kartierung von Funktionen Kartierung von Räumen Automatische Anpassung an Hindernisse Historische Anmerkungen Hybride Modelle Netzkombinationen Die Grossberg-Schicht ART-Architekturen Netze mit einer Kohonen-Schicht Counterpropagation-Netz Kohonen-Schicht und lineare Assoziatoren Radiale Funktionen Wechselwirkung zwischen Schichten 373

8 16.3 Historische Anmerkungen Genetische Algorithmen Codierung und Operatoren Optimierung durch Evolutionsstrategien Methoden der stochastischen Optimierung Genetische Codierung Informationsaustausch durch genetische Operatoren Eigenschaften von genetischen Algorithmen Konvergenzanalyse Genetisches Driften Gradientenmethoden versus genetische Algorithmen Optimierung von Funktionen Genetische Algorithmen für neuronale Netze Andere Anwendungen von genetischen Algorithmen Historische Anmerkungen Hardware für neuronale Netze Klassen von Neurohardware Implementierung künstlicher neuronaler Netze Taxonomie der Hardwarearchitekturen Neuronale Netze in Analog-Technik Codierung der Signale VLSI-Transistor-Schaltungen Transistoren mit eingebautem Ladungsspeicher Pulsierende CCD-Schaltungen Der digitale Ansatz Analog versus Digital Numerische Darstellung der Netzparameter und Signale Vektor- und Signalprozessoren Systolische Felder Eindimensionale Strukturen Innovative Rechnerarchitekturen VLSI-Mikroprozessoren für neuronale Netze Optische Rechner Pulscodierte Netze Historische Anmerkungen 425 Literaturverzeichnis 427 Index 443