1 Neuronale Netze Historisches

Transkript

1 1 Neuronale Netze Historisches Literatur, erste Modelle 1 begleitende Literatur T.Kohonen: Associative Memory: A system theoretic approach. New York, Springer 1977 D.E.Rumelhart, J.L.McLelland: Parallel Distributed Processing Explorations in the microstructure of cognition. Vol.1 : Foundations. Cambridge, MIT-Press, 1986 M.A.Arbib: Brains, Machines, and Mathematics. 2nd edition. New York, Springer, 1987 T.Khanna: Foundations of Neural Networks. Reading/Mass., Addison-Wesley, 1990 H.Ritter, T.Martinez, K.Schulten : Neuronale Netzwerke: Eine Einführung in die Neuroinformatik selbstorganisierter Netzwerke Bonn/München, Addison-Wesley, 1990 A.Zell: Simulation Neuronaler Netze Bonn/München, Addison-Wesley, 1994 KI.P.Kratzer: Neuronale Netze: Grundlagen und Anwendungen München, Hanser, 1991 R.Brause: Neuronale Netze Stuttgart, Teubner 2

2 Biologische Neuronale Netze Gekennzeichnet durch Große Anzahl von Neuronen (einfache Prozessoren) Große Anzahl von Verbindungen pro Neuron Daten werden bei der Übertragung durch Synapsengewichte verändert Lern- und Anpassungsfähigkeit Informationsverteilung auf große Netzbereiche 3 Biologische Neuronen Soma (mit Zellkern) Axon Dendriten Synapsen 4

3 künstliche Neuronale Netzwerke Neuronen: einfache multi-input Prozessoren mit eigenen Parametern, z.b. Schwellwert Synapsen: Verbinungen zwischen den Neuronen mit eigenem Parameter: Synapsengewicht Topologie: Verbindungsstruktur des Netzes Training: Algorithmus zur Anpassung des Netzes an bestimmte Daten : Lektion Propagierung: Artbeitsphase des Netzes, in der Inputdaten entgegengenommen und zu einem Output verarbeitet werden 5 Theoretische: Modellierung biologischer Neuronaler Teilnetze zum besseren Verständnis der Vorgänge Ziele Praktische: Modellierung Neuronaler Vorgänge auf dem Computer zur Nutzbarmachung neuronaler Fähigkeiten für den Rechner und andere technische Anwendungen 6

4 Schwellwert -Neuron 1943 : McCulloch-Pitts-Neuronen (W.McCulloch, W.Pitts : A logical calculus of the ideas immanent in nervous activity. Bull.Math. Biophysics 5, 1943, ) excitatorische Verbindungen inhibitorische Verbindungen Schwellwert Output 0 oder 1 Feuert 1, falls : Summe(excit.) >= Schwellwert & Summe(inhib.) = 0 alternativ: Summe(excit.) - Summe(inhib.) >= Schwellwert Mit diesen Schaltungen läßt sich jede 0-1-Funktion modellieren, z.b. XOR Verbindungen werden konstruiert, nicht gelernt. x y x XOR y : Rosenblatt - Perceptron (F.Rosenblatt: The Perceptron: a probabilistic model for information storage and organization in the brain. Psychol. Review, 65 (1958), ) Verbindungsgewichte x 1 x 2 x 3 x 4 Input-Schicht w 11 w w 43 s 1 s 2 s 3 Output-Schicht Output-Neuron i feuert (1), wenn x 1 w 1i +...+x n w ni >= s i Verbindungen werden frei initialisiert und nach der Delta-Regel trainiert: w i,neu := w i,alt + a * Outputfehler (der Output-Fehler, die Differenz zwischen soll-output und ist-output, ist -1, 0 oder 1) Lernen = Gewichtsanpassung. 8

5 Delta-Regel : Lernen aus Fehlern Verändere das Gewicht von Synapsen, deren Start-Neuron aktiv ist und deren Ziel-Neuron einen großen Fehler macht ist soll : Widrow/Hoff - ADALINE (B.Widrow, M.E.Hoff : Adaptive switching circuits. NewYork IRE WESCON Convention Record 1960) Schichten x 1 x 2 x 3 x 4 Input-Schicht w 11 w w 43 s 1 s 2 s 3 Output-Schicht Aktivierungs- und Output-Funktionen linear Outputvektor = Gewichtsmatrix * Inputvektor Grundsätzlich sind mehr als zwei Schichten möglich aber nicht nötig. Lernen nach der Delta-Regel 10

6 1961 : Steinbuch - Lernmatrix nichtlineare Gewichte (K.Steinbuch : Die Lernmatrix. Kybernetik 1 (1961) 36-45) Input-Schicht Eigenschaften Output-Schicht Bedeutungen Lernmatrix : nichtlineare Übertragung Lernen nach der Hebb-Regel Rückkopplungen können eingebaut werden 11 Hebb-Regel: Lernen durch Gewöhnung Erhöhe die Gewichte der Synapsen, die stark gebraucht werden, d.h. deren beide Neuronen aktiv sind 12

7 1969 : Minski/Papert - Verdikt (M.Minski, S.Papert : Perceptrons. An introduction to computational geometry Cambridge, Mass. MIT-Press 1969) linear separierbare Klassifikations-Probleme nicht linear separierbare Klassifikations-Probleme.Perceptron und ADALINE können nur linear separierbare Probleme lösen Hopfield Netze (J.J.Hopfield : Neural Networks and Physical Systems with Emergent Computational Abilities Proc.Nat.Acad.Sci. USA, 79 (1982), ) Vollständig rückgekoppeltes Netz mit symmetrischen Gewichten (w ik = w ki ) aber ohne Loops (w ii =0) Verwendung als assoziativer Speicher Einrichten (ohne Adaption) in einem Schritt nach der Hebb-Regel Auswerten durch Relaxation in einen stabilen Zustand 14

8 1982 MAXNET (R.P.Lippmann, B.Gold, M.L.Malpass : A Comparison of Hamming and Hopfield Neural Nets for Pattern classification, MIT Lincoln Lab.Tech Report 769) Vollständig rückgekoppeltes Netz mit einheitlichen Gewichten w ik =- 1 und Loops w ii =1 Verwendung zur Bestimmung des Maximums keine Adaption Auswerten durch Relaxation in einen stabilen Zustand, in dem nur das Neuron mit maximalem Input aktiv ist Feature Maps stark rückgekoppeltes 2-dimensionalse Array (T.Kohonen : Self-Organization and Associative Memory Springer-Verlag, Berlin, 1984) Verwendung als Klassifikator Selbst-organisiertes Lernen über eine topologische Nachbarschaftsbeziehung Auswertung über eine Distanz-Minimierung (Winner-Take-All Strategie) 16

9 1986 Multi-Layer-Perceptron (D.E.Rumelhart, J.L.McLelland : Parralel Distributed Processing: Explorations in the Microstructure of Cognition, MIT-Press, 1986) Geschichtetes feedforward Netz (d.h. keine Rückkopplungen) Training (adaptiv) nach einer Erweiterung der Delta-Regel Überwachtes Lernen alternativ im Einzelschritt oder Gesamtschritt Auswerten durch einmalige Propagierung des Inputs ART - Map (G.A.Carpenter, S.Grossberg : Neural Dynamics of Category learning and Recognition: Attention, Memory Consolidation and Amnesia Brain Structure, Learning, and Memory, AAAS Symposion Series, 1986) Adaptive Resonanz Stark rückgekoppeltes zweischichtiges Netz Verwendung als Klassifikator Überwachtes Lernen durch Aufmersamkeit gesteuert Auswerten durch Relaxation 18

10 1986 Jordan Netze (M.I.Jordan : Attractor Dynamics and parallelism in a connectionist sequential machine Preoc. 8th Ann. Conf. of the Cognitive Science Soc., Hillsdale NJ, 1986, pp ) schwach rückgekoppeltes 2-schichtiges Netzwerk Verwendung für Zeitreihen Überwachtes Lernen über eine Variation der Delta-Regel Auswertung über eine Rückkopplung des vorigen Outputs BAM (B.Kosko : Bi-Directional associative memories IEEE Transactions on Systems, Man, and Cybernetics 18, 49-60, 1987) Assoziativspeicher zweischichtiges Netz mit Rückkopplungen zwischen den Schichten Verwendung als Assoziator Training nach der Hebb-Regel Auswerten durch Relaxation 20

11 1987 Counterpropagation Netz Geschichtetes Netz mit Rückkopplungen in der Mittelschicht (R.Hecht-Nielsen : Counterpropagation Networks, Proc. IEEE 1st N.Conf. Neural Networks 2, 19-32, 1987) Training nach der Kohonen- Methode in der ersten Schicht danach nach der Delta-Regel in der zweiten Schicht Auswerten durch einmalige Propagierung des Inputs 21