Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Transkript

1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck

2 Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen? Was ist intelligentes Verhalten wie lässt es sich nachbilden? Welche Erklärungen für Plastizität und Anpassungsfähigkeit? Auf welchen Prinzipien und Prozessen beruht Lernfähigkeit? Wie kann man Lernfähigkeit in Maschinen realisieren? Reinhard Eck 2

3 Inhaltsübersicht Künstliche neuronale Netze das Perceptron Lernen, Lernaufgabe, Lernalgorithmus Beschränkung des Perceptrons Backpropagation-Algorithmus und Mehrebenen-Perceptrone Eigenschaften des Backpropagation-Algorithmus Reinhard Eck 3

4 Künstliche neuronale Netze Zelle Nervenfaser synaptische Verbindg. Funktionsprinzipien natürlicher Neuronen Elektrochemisches Potenzial - Aktivierung Elektrische Impulse an Nachfolgerzelle Aktivierung einer Zelle abhängig von den Potenzialen der Vorgängerzellen Aktivierung abhängig von Leitfähigkeit der synaptischen Verbindungen Reinhard Eck 4

5 Künstliche neuronale Netze Modell für künstliche Neuronen Netzeingabe Aktivierung Ausgabe Vorgänger Σ A Nachfolger Netzeingabe Aktivierung Ausgabe - Sammeln der Eingaben von Vorgängerneuronen - eigenen Zustand ableiten - Weiterleiten an Nachfolgerneuronen Reinhard Eck 5

6 Künstliche neuronale Netze Modell für künstliche Neuronen Netzeingabe net o w Aktivierung A Ausgabe o Vorgänger o 2 w 2 Σ A Nachfolger o 3 w 3 Netzeingabe net = Σ i o i w i Aktivierung a t = A (a t-,net) Ausgabe o = a Reinhard Eck 6

7 Künstliche neuronale Netze künstliches Neuronales Netz Netzwerk aus Modellneuronen Arbeitsweise (ohne Lernen) Phasen: ?. Ruhephase - alle Aktivierungen konstant 2. Eingabephase Eingaben wirken auf Eingabeneuronen 3. Arbeitsphase (zyklisch) 0 4 Eingaben im Netz weiterverarbeiten, bis keine Zustandsänderung mehr 4. Ruhephase Reinhard Eck 7

8 0 Ruhephase Eingabe ? Künstliche neuronale Netze 5 3 Arbeitsschritt 2 0? 0 4 für net > 0 a = A (net) = 0 sonst 4 Arbeitsschritt 3 Ruhephase Arbeitsschritt ? Reinhard Eck 8

9 Künstliche neuronale Netze - Perceptron Perceptron einfaches Netzwerkmodell o Netzeingabe net o 2 w w 2 w 3 Σ a t = A( ) Ausgabe o Stimuluszellen feste Gewichte o 3 Eingabezellen variable Gewichte Aktivierung a Ergebniszelle(n) Netzeingabe net = Σ i o i w i Aktivierung a t = A (a t-,net) Ausgabe o = a Reinhard Eck 9

10 Lernen, Lernaufgabe, Lernalgorithmus Perceptron Lernen durch Strukturveränderung o Netzeingabe net o 2 w w 2 w 3 Σ a t = A( ) Ausgabe o o 3 Eingabezellen Aktivierung A variable Gewichte Netzeingabe net = Σ i o i w i Aktivierung a t = A (a t-,net) Ausgabe o = a Reinhard Eck 0

11 Lernen, Lernaufgabe, Lernalgorithmus Perceptron Beispiel Mustererkennung 3 Ergebniszellen (3 Perceptrone) A B C Input Ziel Input Ziel Input Ziel Lernaufgabe Menge der zugeordneten Input-Ziel-Paare L = { (I A, Z A ), (I B, Z B ), (I C, Z C ) } zu lernen: Muster-Ergebnis-Zuordnung Reinhard Eck

12 Lernen, Lernaufgabe, Lernalgorithmus A B C Input Output Ziel Input Output Ziel Input Output Ziel Lernaufgabe L = { (I A, Z A ), (I B, Z B ), (I C, Z C ) } Lernstatus S = { (I A, O A ), (I B, O B ), (I C, O C ) } Lernalgorithmus vermittelt zwischen aktuellen Ausgaben und den Zielergebnissen durch zielgerichtete Anpassung der Verbindungsgewichte Reinhard Eck 2

13 Lernen, Lernaufgabe, Lernalgorithmus Lernalgorithmus - fünf Schritte (überwachter Lernalgorithmus). wähle Musterpaar l = (i, z) L aus (Eingabe i dem NN präsentieren) 2. schalte Eingabe durch das Netz fort (propagieren) 3. vergleiche Netzausgabe o l mit Zielvorgabe z l bestimme Fehlerwert e l = e (o l, z l ), bestimme Gesamtfehler E über alle Musterpaare 4. wenn Fehler e l aus (3) 0 oder außerhalb ε -Umgebung, dann verändere Gewichte, so dass Verringerung des Fehlerbetrags zu erwarten ist 5. Überprüfe Gesamtfehler E, entscheide über Abbruch Reinhard Eck 3

14 Lernen, Lernaufgabe, Lernalgorithmus Lernalgorithmus - Schritt 4 (Anpassung der Gewichte) Input Output Ziel Input Output Ziel Fehlerrückmeldung: w ij (t+) = w ij (t) + (2z j ) σ o i Input Output Ziel Reinhard Eck 4

15 Beschränkung des Perceptrons lineare Teilbarkeit eingeschränkte Klasse von Funktionen: O (I) = net = Σ i w i o i > θ 0 sonst Perceptrone entscheiden Prädikate - Wahrheitswert durch lineare Schwellwertfunktion berechnet Eingaben durch Schwellwertgerade trennbar? Reinhard Eck 5

16 Beschränkung des Perceptrons lineare Teilbarkeit Eingaben durch Schwellwertgerade trennbar? 0 UND = 0 UND = UND-Funktion Gerade w x + w 2 y = θ 0 UND 0 = 0 UND 0 = Reinhard Eck 6

17 Beschränkung des Perceptrons lineare Teilbarkeit Eingaben durch Schwellwertgerade trennbar? 0 XOR = XOR = 0 XOR-Funktion 0 XOR 0 = 0 XOR 0 = XOR-Funktion nicht linear trennbar => nicht durch Perceptron erlernbar Reinhard Eck 7

18 Beschränkung des Perceptrons neue Struktur, neues Lernverfahren Perceptrone sind zu einfach Eingabeschicht zusätzliche verborgene Schicht(en) Ausgabeschicht höhere Komplexität an höhere Komplexität (Mehrstufigkeit) angepasstes Lernverfahren Lernverfahren Reinhard Eck 8

19 Backpropagation-Algorithmus und Mehrebenen-Perceptrone Eingabeschicht verborgene Schicht(en) Ausgabeschicht feed forward - Netze nichtlineare Aktivierungsfunktionen f(x) = / (+ e -βx ) Error-Backpropagation Fehlerrückführung Eingabe Ausgabe Reinhard Eck 9

20 Backpropagation-Algorithmus und Mehrebenen-Perceptrone Schichten U U2 U3 w(u,u2) = σ δ u2 a u δ u2 = f (net u2 ) Σ U2 δ u3 w(u2,u3) w(u2,u3) = σ δ u3 a u2 δ u3 = f (net u3 ) (z u3 a u3 ) Fehler in Ausgabeschicht Reinhard Eck 20

21 Backpropagation-Algorithmus und Mehrebenen-Perceptrone Anwendung - Schritte U U2 U3. propagiere Eingabe durch Netzwerk 2. bestimme Fehler der Ausgabeeinheiten 3. gewichte Fehler der Ausgabeschicht mit Verbindungsgewicht 4. übertrage gewichteten Fehler rückwärts (rekursiv) 5. Ende bei erster innerer Schicht universeller Approximator an bel. stetige Funktionen Reinhard Eck 2

22 Backpropagation-Algorithmus Eigenschaften Annäherung eines Gradientenabstiegs in Fehlerfläche über W Veränderung des Gesamtfehlers in Richtung (lokales) Minimum (Konvergenz) Konvergenzprobleme je nach Form des Fehlergebirges Schrittweite Algorithmus biologisch nicht motiviert rein technisches Gebilde Reinhard Eck 22

23 Ausblick Alternative Lernformen : genetische Algorithmen, evolutionäre Verfahren Reinhard Eck 23

24 Anwendungen - Aufgabenbereiche Assoziative Speicherung Musterassozition, Simulation eines inhaltsadressierten Speichers Autoassoziation Mustervervollständigung, Rekonstruktion Mustererkennung (pattern classification) Lösung von Optimierungsproblemen Minimieren einer Fehlerfunktion, Verknüpfung mit Fuzzy-Systemen Reinhard Eck 24

25 Anhang Reinhard Eck 25

26 Künstliche neuronale Netze das Perceptron Natürliche neuronale Netze Nervernzellverbände und -Geflechte, Ganglienknoten, Gehirne Steuerung vegetativer und bewusster Vorgänge Bauelement Nervenzelle = Neuron Zellkörper Nervenfaser Axon Dendriten Vernetzung Axon Verbindungsknöpfchen an Dendriten oder Zellkörper : Synapsen Reinhard Eck 26

27 Kurzeinführung in künstliche neuronale Netze künstliches Neuronales Netz Netzwerk aus Modellneuronen Arbeitsweise (ohne Lernen) Phasen:. Ruhephase - alle Aktivierungen konstant 2. Eingabephase Eingaben wirken auf Eingabeneuronen 3. Arbeitsphase (zyklisch) Eingaben im Netz weiterverarbeiten, bis keine Zustandsänderung mehr 4. Ruhephase Reinhard Eck 27

28 Künstliche neuronale Netze W(u,u) von Neuronen u u n net u a u (t) Σ A u O u W(u n,u) ex u Modell für künstliche Neuronale Netze Neuronales Netz NN = (U, W, A, O, NET, ex) :. U endl. Menge von Neuronen (units) 2. W Netzwerkstruktur, Konnektions- oder Gewichtsmatrix 3. net u Netzeingabe, gewichtete Summe 4. ex u direkte externe Eingabe 5. A Aktivierungsfunktion R 3 -> R; a u (t) = A u (a u (t-), net u, ex u ) 6. O u Ausgabefunktion o u zu Nachfolge-Neuronen Reinhard Eck 28