Neuronale Netze. Anna Wallner. 15. Mai 2007

Transkript

1 5. Mai 2007

2 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 2

3 Motivation Gehirn Computer arbeitet in hohem Maße parallel erkennt Muster kann verrauschte/ unvollständige Daten rekonstruieren kann Beispiele verallgemeinern numerisch präzise Berechnung speichert Daten fehlerlos kann zuverlässig auf gespeicherte Daten zugreifen vergisst nichts lernt selbstständig 3

4 Motivation Informationsverarbeitung im Gehirn: Interaktion von stark vernetzten Neuronen über elektrische Impulse Neuronen können gleichzeitig untereinander Informationen austauschen Informationsverarbeitung in einem künstlichen neuronalen Netz: Künstliche Neuronen aktivieren sich untereinander mit Hilfe von gerichteten Verbindungen ~> Aufgaben können anhand von Trainingsbeispielen erlernt werden ~> hohe Parallelität bei der Informationsverarbeitung ~> hohe Fehlertoleranz 4

5 Motivation Fähigkeiten eines neuronalen Netzes: Approximation beliebig komplexer Funktionen Erlernen von Aufgaben (z.b. Klassifikation) Lösen von Problemen, bei denen eine explizite Modellierung schwierig oder nicht durchführbar ist 5

6 Motivation Anwendungsgebiete neuronaler Netze: Frühwarnsysteme Optimierung Zeitreihenanalysen (z.b. Wetter, Aktien) Bildverarbeitung und Mustererkennung - Schrifterkennung - Spracherkennung - Data-Mining Informatik: Bei Robotik, virtuellen Agenten und KI-Modulen in Spielen und Simulationen. 6

7 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 7

8 Grundlagen Künstliches Neuron: nicht-lineare parametrisierte beschränkte Funktion X i, i =,...,p i, i =,...,p y = f(x,x 2,...,X p,, 2,..., p ) Eingaben: Ausgaben anderer Neuronen oder beobachtete Werte eines Prozesses Eingaben Parameter (bzw. Gewichte) Ausgabe f(x,x 2,...,X p,, 2,..., p ) y Gewichte: bestimmen den Grad des Einflusses, den die Eingaben auf die Aktivierungsfunktion f haben > 0 ~> erregende Wirkung = 0 ~> keine Wirkung = keine Verbindung < 0 ~> hemmende Wirkung Ausgabe: Ergebnis der Funktion f f p 2 3 X X 2 X 3 X p 8

9 Grundlagen 2 gängige Möglichkeiten der Parametrisierung von f:.) Die Parameter werden den Eingaben zugeordnet: - Ausgabe entspricht nicht-linearer Kombination der Eingabewerte { }, gewichtet durch Parameter { } - häufig verwendetes Potenzial: gewichtete Summe der Eingabewerte mit zusätzlichem Bias -Term - die Aktivierungsfunktion f(v) ist meist s-förmig (sigmoid) i p v = 0 i = i X i X i 9

10 Grundlagen 2 gängige Möglichkeiten der Parametrisierung von f: 2.) Die Parameter gehören zur Definition der Aktivierungsfunktion Beispiel: Gauß'sche radiale Basisfunktion p f(x,x 2,...,X p,, 2,..., p, p+ ) = exp[ i= X i i 2 2 / 2 p+ ] wobei i, i =,...,p = p+ = Position des Mittelpunktes der Gaußglocke Standardabweichung. 0

11 Grundlagen Künstliches neuronales Netz: Verknüpfung der nicht-linearen Funktionen von Neuronen Feedforward -Netze - Informationen fließen nur in eine Richtung (von der Eingabe zur Ausgabe) - stationär (d.h. Eingabewerte konstant => Ausgabewerte konstant)

12 Grundlagen Netzwerkdiagramm eines neuronalen Netzes mit einer verdeckten Schicht Ausgabeschicht Y Y 2 Y K verdeckte Schicht (wird nicht direkt beobachtet) Z Z 2 Z 3 Z M Eingabeschicht X X 2 X 3 X p- X p 2

13 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 3

14 Beispiel: XOR XOR (Exclusive Or) logische Verknüpfung zweier Operatoren z = XOR(x,y) z Ausgabe 0 = false = true Gewichte -2 2 Schwellenwerte Ergebnis true <=> genau ein Operator hat den Wert x y Eingabe 4

15 Beispiel: XOR.) x = 0, y = 0 2.) x =, y = ) x = 0, y = ) x =, y =

16 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 6

17 Netze mit einer verdeckten Schicht Netzwerkdiagramm eines neuronalen Netzes mit einer verdeckten Schicht Ausgabeschicht Y Y 2 Y K verdeckte Schicht (wird nicht direkt beobachtet) Z 0 Z Z 2 Z M Eingabeschicht X 0 X X 2 X p- X p 7

18 Netze mit einer verdeckten Schicht Gewichte gewichtete Summe Aktivierungsfunktion Merkmale Bias X 0 = 0m z.b. Sigmoidfunktion X m sv = e sv Eingabewerte X 2 X 3 2m 3m Σ s = 0,5 s =,0 s = 0,0 Z m = v m =,2,...,M X p pm p v = n=0 wobei nm X n = 0m m T X 8

19 Netze mit einer verdeckten Schicht Gewichte gewichtete Summe Bias Z 0 = Z 0k k Σ M T k = m=0 mk Z k = 0k k T Z k =,2,...,K Z 2 2k Merkmale Z 3 3k => Ausgabe des neuronalen Netzes: f k X = g k T, k =,2,...,K Z M Mk für Regressionen meist g k T = T k für Klassifikationen meist K g k T = e T k l = e T l Softmax-Funktion 9

20 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 20

21 Anpassung des Netzes mit Backpropagation Wie bestimmt man geeignete Gewichte? Sei θ die Menge aller Gewichte = { 0m, m, 0k, k ; 0m, 0k R, m R p, k R M, m =,2,..,M, k =,2,..,K} und X,Y, X = X,...,X p, Y = y,..., y K ein Trainingsdatensatz. ~> Fehlerfunktionen als Maß für die Anpassung ~> Summe der Fehlerquadrate K R = k= y k f k X 2 Differenz zwischen gewünschter und tatsächlicher Ausgabe Minimieren von R(θ) mit Hilfe des Gradientenabstiegs ~> Backpropagation 2

22 Anpassung des Netzes mit Backpropagation 22

23 Anpassung des Netzes mit Backpropagation Backpropagation-Algorithmus:. forward pass : - Festlegen der Gewichte - Anlegen eines Eingabemusters, das anschließend vorwärts durch das Netz propagiert wird - Berechnung der f k X, k =,..,K 2. Vergleich dieser Ausgabe mit den gewünschten Werten ~> Differenz = Fehler des Netzes K R = k= y k f k X 2, X = X,..., X p 23

24 Anpassung des Netzes mit Backpropagation 3. backward pass ~> der Fehler wird über die Ausgabe- zur Eingabeschicht zurück propagiert, die Gewichtungen der Neuronenverbindungen werden abhängig von ihrem Einfluss auf den Fehler geändert Es gilt Z m = 0m m T X, Z = Z,...,Z M f k X = g k T k = g k 0k T k Z K R = k= M = g k 0k m= mk 0m m T X K y k f k X 2 = [ y k= M k g k 0k mk 0m m X ]2 T m= 24

25 Anpassung des Netzes mit Backpropagation Berechnung der Anpassung der Gewichte: mk = R mk = k Z m, m = 0,,...,M, k =,...,K mit nm = R nm Lernrate k = 2 y k f k X g T k 0k k Z = s m X n, n = 0,,...,p, m =,...,M mk K s m = k= km k T 0m m X nm Aktualisierung der Gewichte: neu mk alt = mk mk neu alt nm = nm nm 25

26 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 26

27 Probleme Wahl der Startwerte für die Gewichte - alle Gewichte identisch 0 => Modell ist in allen Komponenten symmetrisch => der Algorithmus wiederholt sich ohne tatsächlich etwas zu bewirken - zu hohe Werte => eventuell schlechte Ergebnisse - Zufallswerte nahe 0 => Modell ist zu Beginn fast linear, wird nicht-linear, wenn Gewichte größer werden 27

28 Probleme Anzahl der verdeckten Neuronen und Schichten - zu viele verdeckte Neuronen => zu viele Parameter => das neuronale Netz ist zu flexibel => Überanpassung - zu wenige verdeckte Neuronen => zu wenige Parmeter => das neuronale Netz ist nicht komplex genug => kann nicht richtig trainiert werden - häufig: # verdeckte Neuronen {5,...,00} (steigt mit Anzahl der Eingabewerte und der Trainingseinheiten) - # verdeckte Schichten abhängig von - Hintergrundwissen - Ergebnissen von Experimenten 28

29 Probleme Beispiel: 29

30 Probleme Überanpassung Modell im globalen Minimum der Fehlerfunktion R oft überangepasst ~> rechtzeitiger Abbruch des Verfahrens ~> Weight-Decay-Methode zur Fehlerfunktion wird ein Strafterm addiert: R(θ) + λj(θ), wobei J = 2 mk 2 2 mk nm nm und 0 ein Tuningparameter mk = R J mk = R mk mk nm = R J nm = R nm nm => Zu große Werte für λ lassen die Gewichte gegen 0 schrumpfen. 30

31 Probleme Skalierung der Eingabewerte ~> bestimmt die effektive Skalierung der Gewichte in der untersten Schicht => kann einen großen Einfluss auf die Qualität des Endergebnisses haben ~> die Eingabewerte werden z.b. so genormt, dass gilt Mittelwert = 0 Standardabweichung = => Gleichbehandlung der Eingabewerte im Regulierungsprozess => ermöglicht sinnvolle Wahl eines Intervalls für die Startwerte der Gewichte ~> man wählt in diesem Fall zufällige Gewichte aus dem Intervall [-0,7; +0,7] 3

32 Probleme Multiple Minima Die Fehlerfunktion R(θ) ist nicht konvex ~> besitzt viele lokale Minima => Endergebnis hängt stark von der Wahl der Anfangswerte der Gewichte ab => Experimentieren zu Beginn notwendig => wähle dasjenige Netz, das den kleinsten Fehler verspricht Alternative : verwende die durchschnittlichen Vorhersagen aus allen Netzen als endgültige Vorhersage Alternative 2: bagging wie, Netze werden jedoch mit zufällig gestörten Trainingsdaten trainiert 32

33 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 33

34 Beispiel: Klassifikation handgeschriebener Zahlen Beispiel: Klassifikation handgeschriebener Ziffern von 0 9 (Erkennen von Mustern) Erzeugung der Eingabemuster: - Einscannen handgeschriebener Ziffern, Auflösung 6x6 Pixel Umfang: - Trainingsmenge: 320 Ziffern - Testmenge: 60 Ziffern Es werden fünf verschiedene Netze trainiert und anschließend verglichen. 34

35 Beispiel: Klassifikation handgeschriebener Zahlen Net-: Netz ohne verdeckte Schicht Eingabeschicht: Pro Ziffer 256 Eingabewerte Ausgabeschicht: 0 Neuronen, für die Ziffern 0-9 f k X geschätzte Wahrscheinlichkeit, dass Bild X zur Klasse k gehört, k {0,,...,9} : # Gewichte = # Verknüpfungen = x6 Erfolgsquote: 80% 35

36 Beispiel: Klassifikation handgeschriebener Zahlen Net-2: Netz mit einer verdeckten Schicht, deren 2 Neuronen vollständig verknüpft sind # Gewichte = # Verknüpfungen = = x6 Erfolgsquote: 87% 36

37 Beispiel: Klassifikation handgeschriebener Zahlen Net-3: Netz mit zwei verdeckten Schichten, die lokal verknüpft sind # Gewichte = # Verknüpfungen = = 46 5x5 4x4 8x = x3 6x6 Erfolgsquote: 88,5% 37

38 Beispiel: Klassifikation handgeschriebener Zahlen Net-4: Netz mit zwei verdeckten Schichten, die lokal verknüpft sind + weight sharing auf einer Ebene # Verknüpfungen # Gewichte = = = = 86 4x4 5x5 2x 8x = = x3 6x6 Erfolgsquote: 94% 38

39 Beispiel: Klassifikation handgeschriebener Zahlen Net-4: Netz mit zwei verdeckten Schichten, die lokal verknüpft sind + weight sharing auf zwei Ebenen # Verknüpfungen # Gewichte = = = = 264 4x 4x = = x 8x8 3x3 5x5 Erfolgsquote: 98,4% 6x6 39

40 Beispiel: Klassifikation handgeschriebener Zahlen Ergebnis: Verknüpfungen Gewichte Erfolgsquote Net ,00% Net ,00% Net ,50% Net ,00% Net ,40% => Net-5 liefert die besten Ergebnisse 40

41 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente neuronale Netze 4

42 Rekurrente neuronale Netze Rekurrente neuronale Netze - mindestens eine zyklische Verbindung - jeder Verknüpfung wird eine bestimmte Verzögerungszeit zugewiesen (Vielfaches einer festgelegten Zeiteinheit) Beispiel: Verzögerungszeit C g kt Inputs und Outputs zum Zeitpunkt kt: T: Zeiteinheit 0 A B C u kt u 2 kt u kt k =,2,3,... A B Inputs Output u 2 [(k-)t] y B [(k-)t] y A kt y A kt y B kt y A kt g kt u kt u 2 kt 42

43 Quellen T. Hastie, R. Tibshirani, J. Friedman. - The elements of statistical learning G. Dreyfus. - Neural Networks Methodology and Applications