Künstliche Neuronale Netze

Transkript

1

2 Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2

3 Neuronale Netze Bestehend aus vielen Neuronen(menschliches Gehirn etwa 100 Milliarden) Mustererkennung im Bruchteil einer Sekunde => hohe Parallelität Berechnung findet durch Interaktionen von anderen Neuronen statt Durchschnittlich 1000 bis Verknüpfungen Interaktionen durch elektrische Potentialänderungen Potentialdifferenz > Aktivierungspotential => Signal an andere Neuronen 3

4 Neuronale Netze 4

5 Schwellenwertelemente Einfache Nachbildung von Neuronen Aufbau: - N Eingänge(x) - Ausgang(y) - Schwellenwert Eingänge werden gewichtet und zusammen aufaddiert Nur beschränkte Ausdrucksmöglichkeit - Lösung durch vernetzen von mehreren Neuronen 5

6 x y x

7 Schwellenwertelemente Training der Schwellenwertelemente durch Trainingsbeispiele Lernmethoden: - Online-Training: jedes Trainingsbeispiel wird sofort ausgewertet - Batch-Training: es wird erst nach einer Trainingsepoche ausgewertet Änderung des Schwellenwertes und der Gewichte bei Fehler Wiederholen des Trainings - Bis Unterschreitung der Fehlertoleranz oder - Bis Abschluss von n Epochen Problem: Nur bei dem Schwellenwertelement mit der Ausgabe konnten die Parameter verändert werden, da nur dort der Fehler berechnet werden konnte 7

8 Allgemeiner Aufbau Neuronaler Netze Reellwertige Ein- und Ausgänge Jedes Neuron besitzt: - Eingabefunktion: Gewichtung der Eingabe - Aktivierungsfunktion: Berechnung der Aktivierung des Neurons - Ausgabefunktion: Berechnung der Ausgabe Darstellung des Neuronalen Netzes als Graph G = (U, C) Training durch feste oder freie Lernaufgaben - Freie Lernaufgaben eher geeignet für Klassifizierung von Objekten, durch vergleichen von mehreren ähnlichen Objekten 8

9 Mehrschichtiges Perzeptron Besteht aus mehreren Schichten von Neuronen - Eingabeschicht U_in - Versteckte Schicht U_hidden - Ausgabeschicht U_out Nur benachbarte Schichten sind verbunden Bei einem r-schichtigem Perzeptron besteht die U_hidden aus r-2 Schichten Netzeingabe: Gewichtete Summe der Eingänge Aktivierungsfunktion: Sigmoide Funktion 9

10 Mehrschichtiges Perzeptron 10

11 Mehrschichtiges Perzeptron Berechnung des Fehlers: (o out)^2 Anpassung der Gewichte und Schwellenwerte wieder abhängig vom Fehler Kann durch Gradientenabstieg und Fehler-Rückübertragung trainiert werden Aktivierungsfunktion meist eine logistische Funktion => einfache Ableitung der Fehlerfunktion Varianten des Gradientenabstiegs zur Beschleunigung des Lernens - Manhattan-Taining - Momentterm - Selbstadaptive Fehler-Rückübertragung - Elastische Fehler-Rückübertragung 11

12 12

13 Radiale-Basisfunktionen Netze Neuronales Netz mit 3 Schichten Netzeingabefunktion: Abstandsfunktion von Eingabe- und Gewichtsvektor Aktivierungsfunktion - Jedes versteckten Neurons: monoton fallend - Jedes Ausgabeneurons: lineare Funktion 13

14 Hopfield-Netze Keine Versteckte Schicht Alle Neuronen sind symmetrisch (außer mit sich selbst) verknüpft Netzeingabe: Gewichtete Summe der Ausgaben aller Neuronen Ausgabefunktion: Identität Reihenfolge der Berechnungen der Neuronen ist wichtig - Synchron oder Asynchron Gutes Verfahren zur Mustererkennung Kann nur wenige Muster speichern 14

15 Rückgekoppelte Netze Keine Einschränkungen zur Struktur Eignen sich zum Lösen von Differentialgleichungen Je Term ein Neuron 15

16 Quellen R. Kruse, C. Borgelt, C. Braune, F. Klawonn, C. Moewes, M. Steinbrecher: Computational Intelligence G. Görz, J. Schneeberger, U. Schmid: Handbuch der Künstlichen Intelligenz A. Kroll: Computational Intelligence S. Haykin: Neural Networks and learning machines 1cI/AAAAAAAAAxY/wTd1Oi WTw/s1600/Figure+1.jpg