Neuronale Netze u. Anwendungen, 17. Jan. 2012

Transkript

1 Neuronale Netze u. Anwendungen, 17. Jan. 2012

2 Backpropagation Implementation Speed, Training Generalization Choice of Architecture Algorithms

3 Backpropagation is Computer Intenstive during Training very efficient during evaluation/testing How to Improve Training Time Parallel Hardware (?) Efficient Implementation Faster Gradient Descent Search Selective Choice of Patterns Efficient Architectures

4 1). 2). x j y j 3). 4).

5 Momentum 0...1

6 Kein BP für Trainingsbeispiele, die bereits gut gelernt sind Vorwärts-Durchlauf des Beispiels X durch das Netzwerk Fehler am Ausgang > Schwellenwert? Ja: Back-Propagation Nein: nächstes Trainingsbeispiel

7 A B C D E F A 1 B 1 C 1 D 1 E 1 F 1 A 2 B 2 C 2 D 2 E 2 F 2 A 3 B 3 C 3 D 3 E 3 F 3 A n B n C n D n E n F n (A 1, B 1,... E n, F n ) 1 weight update langsam aber sicher!

8 A 1 1 weight update B 1 1 E n 1 F n 1 schnell, aber riskant! (A 1... F 1 ) 1 weight update (A 2... F 2 ) 1 weight update

9 (Franzini) ok! schlecht! (Θ = 0 o, 360 o,...) (Θ = 180 o ) => ε größer machen => ε kleiner machen

10 BP: output i-tes unit f 0,5 input j f f sehr klein => Δw ij sehr klein

11 Lösung: (S. Fahlmann) f * = f + const. f * const i.a. schnelle Konvergenz besonders wirksam bei hochgradig nichtlinearen Klassifizierungsproblemen (XOR) manchmal schlechtere Generalisierung auf den Test-Daten?

12 Ziel: schnelles Training eines MLP Zwei riskante Annahmen: 1.) die Fehler/weight Kurve hat die Form einer Parabel 2.) die Parabeln für jedes weight w ij sind unabhängig voneinander E mit w ij optimal w ij

13 Annahme 2 ist nicht richtig, aber: durch das iterative Einstellen der weights werden die gemachten Fehler aufgehoben funktioniert sehr gut für hochgradig nichtlineare Probleme wie z.b. XOR, die sich so verhalten: E BP Training E epochs QP Training epochs

14 Output units Hidden units Input units 0,5 input eines units

15 Einfachst mögliche Ausgangsrepräsentation: Klasse A Klasse B Klasse C Klasse D Klasse A B C D NN Daten Vorteile: - die wahrscheinlichste Klasse ist leicht zu finden (Maximum suchen) - Abschätzung der Verläßlichkeit der Klassifikation ist möglich

16 Angenommen: Alphabet-Erkenner => 26 Klassen NN G am einfachsten, wenn alle output units Null gesetzt werden!

17 E = MSE = angenommen: => großer Beitrag zu E aber: Ableitung klein => klein => langsames Lernen, obwohl E groß ist

18 f input eines units stetig beschränkt Ableitung sollte einfach auszurechnen sein monoton

19 (z.b. Mc Clelland) Multiplikation mit Falls target j = 1 Falls target j = 0 => maximal, wenn y j - target j = 1

20 Backpropagate on Error from Best and Correct output

21 Fähigkeit, das aus den Trainingsdaten Erlernte auf neue Daten (Testdaten) anzuwenden. Angenommen: Klassifikation 100% Trainingsdaten Beste Testperformance Testdaten 30 Lernzyklen Auswendiglernen Overfitting Eine einfache Lösung: Validation Data Trainingsdaten Training Validierung

22 1.) Overfitting/Overtraining (zu lange trainiert) 2.) Zu viele Parameter (weights) bzw. zu wenig Trainingsmaterial 3.) falsche Netzwerkstruktur (neu) perf. perf. - Training - Test epochs 1000 weights 3000 weights epochs

23 Für lineare Systeme gilt: (Akaike, 1970: Statistical Predicator Identification Ann. Inst. Stat. Math., 22:203 oder Barron oder Eubank) ξ : Training Set ζ : Test Set p : # Parameter n : # Trainingsbeispiele Effektive Varianz des Rauschens

24 (Moody, 1992) σ 2 eff : effektive Varianz des Rauschens p eff : effektive Anzahl der Parameter p eff p λ: Regulierungsparameter

25 1.) Reduzierung der Kompexität des Netzwerkes durch Regularisierung - Weight Decay - Weight Elimination - Optimal Brain Damage - Optimal Brain Surgeon * Ein großes Netzwerk wird daran gehindert, die Daten auswendig zu lernen.

26 2.) Schrittweises Vergrößern eines zu kleinen Netzes (konstruktiv) - Cascade Correlation - Meiosis Netzwerke - ASO (Automativ Structure Optimization) * Ein zu kleines Netzwerk wird solange erweitert, bis es die Daten lernen kann.

27 - soll das Overfitting verhindern z.b. Weight-Elimination (Rumelhart, Chauvin, Denker,...) E = MSE + λ: Parameter Kosten eines weights Kosten eines weights Ableitung Interpretation : das Netzwerk wird für große w bestraft!

28 The average relative single-step prediction variance are given for the training sets (solid lines) and the early (low gray lines) and the late prediction set (upper gray lines) (as well as for the cross-validation set for the network trained without weight-elimination on the left side). The vertical lines A, B, a, b) indicate different stopping points

29 perf. λ= 0 perf. λ= langsameres Lernen - schlechtere Performanz auf den Trainingsdaten - bessere Generalisierung Einfachste Form: Weight Decay

30 Idee: bestimmte Verbindungen werden aus dem Netzwerk entfernt um die Komplexität des Netzes zu beschränken und so Overfitting zu vermeiden. Einfachste Form: Es werden diejenigen Verbindungen entfernt, die nach dem Training sehr kleine Beträge w ij haben. Richtig: Es werden diejenigen Verbindungen entfernt, die dabei den geringsten Einfluß auf den Fehler (MSE oder ä.) haben, d.h. die unwichtigsten Verbindungen. dazu: berechnen -> zeitaufwendig (schwierig)

31 (Fahlman, Lebiere) Initial configuration: Outputs Initial State No Hidden Units Inputs +1

32 (Fahlman, Lebiere) After adding one unit: Outputs Add Hidden Unit 1 Inputs +1

33 (Fahlman, Lebiere) After adding a second unit: Outputs Add Hidden Unit 2 Inputs +1

34 Hinzufügen eines hidden units: - input connections von allen input units und allen bisherigen hidden units - Zunächst werden nur diese Verbindungen adaptiert. Ziel: Maximieren der Funktion p: Trainingsmuster o: Index der output units Vorzeichen der Correlation zwischen der Aktivierung des candidate units und output o Ableitung der sigmoid Funktion Input des candidate units

35 Nicht noetig, die Anzahl Hidden Units oder Hidden Layers empirisch zu bestimmen. Kann tiefe Netze erzeugen ohne dramatischen Slowdown. Zu jedem Zeitpunkt wird nur eine Ebene von Verbindungen trainiert. Lernt sehr schnell. Inkrementelles Training.

36 black: strong negative white: strong positive

37 black: strong negative white: strong positive

38 (Hanson, 1990) Idee: Hinzufügen von hidden units abhängig von der Unsicherheit der weights w ij σ(w ij ) µ(w ij ) Gauss Noise mit Mittelwert 0 und Varianz 1 - der Mittelwert eines Gewichts µ(w ij ) und die Varianz σ (w ij ) werden gelernt

39 - Start mit einem hidden unit - ein hidden unit wird aufgespalten, falls und output units hidden unit input units Verbindung zu den Input Units Verbindung zu den Output Units Probleme: 1.) Zusätzliche Parameter der Verbindungen (σ) 2.) Rausch-Generator 3.) Instabilitäten beim Hinzufügen von neuen hidden units