Klassifikationsverfahren und Neuronale Netze

Transkript

1 Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

3 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

4 Das Klassifizierungsproblem Merkmalvektor X x M Fragestellung X K oder X / K PDFs f ( x) x K oder g( x) x / K z x y Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

5 Der Klassifikator K F : M R, x y (1) c Effizienz Reinheit Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

6 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

7 Neyman-Pearson-Lemma K NPL = f ( x) g ( x) (2) Bester Klassifikator PDFs müssen bekannt sein, dies ist selten der Fall Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

8 Fisher-Diskriminante K Fisher ( x) = n a i x i = a x i=1 µ i = a µ i J ( a) = (µ s µ b ) 2 σ 2 i = a T V i a J a i = 0 σ 2 s + σ 2 b Die ersten beiden Momente der PDFs müssen bekannt sein Verfahren ist analytisch durchführbar Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

9 Künstliche neuronale Netze K Netz ( x) = y Biologisch motiviert Massiv parallelisierbar Problem: Training nötig mit Beispieldaten Renaissance 1986 durch den,,backpropagation of Error Lernalgorithmus Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

10 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

11 Schichtenmodell Eingabeschicht Versteckte Schicht Ausgabe Schicht 1 w 13 w 14 3 w 36 w 15 w 23 4 w w 24 w 25 5 w 56 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

12 Rekurrente Netze (a) Symmetrisches Hopfield-Netz 1 7 (b) Jordan-Netz mit Kontextneuron 5 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

13 Feed-Forward-Netze (c) RBF (d) MLP Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

14 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

15 Innere Struktur eines Neurons x 3 w 3j t x 2 w 2j t = net j ( xi,w ij, θ j ) x j = f j (t) x j x 1 w 1j Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

16 Übertragungsfunktion t = net j ( wij, x i, θ j ) Häufig net j = w ij x i + θ j RBF net j = ( ) 2 x i θ ji 2 θs 2 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

17 Aktivierungsfunktion x j = f j (t) 1 Häufig f j = 1 + e at RBF f j = 1 e t 2π 0 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

18 Fehlerfunktion E = E ( x j, w ij ) Häufig E = 1 2 ( x j t j ) 2 Weight Decay E = E β w 2 ij Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

19 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

20 Backpropagation of Error Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Gewichtsänderung w ij de dw ij Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

21 Gewichtsänderung w ij = η de dw ij Gebiet Lernrate Klein Groß Riesig η η η η η η Konvergenz Langsam Schnell Keine Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

22 Backpropagation Formel de = E f j dw ij x j t net j w ij + E w ij Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Konkret ( ) net j wij, x i, θ j = w ij x i + θ j i net j = x i w ij Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

23 Backpropagation Formel de = E f j dw ij x j t net j w ij + E w ij Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Konkret 1 f j (t) = 1 + e t f j t = cosh t + 1 = f j (t) ( 1 f j (t) ) Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

24 Backpropagation Formel de = E f j dw ij x j t }{{} δ j net j w ij + E w ij Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Neuron j in Ausgabeschicht - Konkret E ( ) 1 ( ) 2 x j = xj t 2 j E = ( ) x x j t j j Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

25 Backpropagation Formel de = E f j dw ij x j t }{{} δ j net j w ij + E w ij Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Neuron j in Ausgabeschicht - Konkret E ( ) 1 ( ) 2 x j = xj t 2 j E = ( ) x x j t j j Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

26 Backpropagation Formel de = E f j dw ij x j t }{{} δ j net j w ij + E w ij Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Neuron j in verdeckter Schicht E ( ) x j = E k (x k ) k E x j = k E k x k f k t net k x j = δ k w jk k Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

27 Backpropgation für θ j de = E f j dθ j x j t net j θ j Definitionen E = E ( x j, w ij ) x j = f j (t) t = net j ( wij, x i, θ j ) Analog für Θ j Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

28 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

29 Projektion des Fehlers E auf w ij Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

30 η = η (n) oder = η (?) Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

31 w ij = random ( 1, 1) = 0 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

32 w ij (n) = η de dw ij + α w ij (n 1) Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

33 f j t! = 0 f j = f j t t + c Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

34 Wird in der Praxis nie gefunden! Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

35 Fehler E über der Anzahl der Trainingsiterationen n Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

36 Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

37 Übersicht 1 Klassifizierung 2 Klassifizierungsverfahren 3 Strukturen 4 Propagation 5 Backpropagation 6 Probleme 7 Anwendung 8 Diskussion Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

38 ROOT - Datenanalyseframework vom CERN Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

39 Eigenentwicklung Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

40 NeuroBayes Thomas Keck Klassifikationsverfahren und Neuronale Netze /40

41 Vielen Dank Vielen Dank Für Eure Aufmerksamkeit! Literatur Ein kleiner Überblick über Neuronale Netze von David Kriesel Vorlesung,,Moderne Methoden der Datenanalyse SS11 Uni Karlsruhe Fuzzy-Logik, neuronale Netze und evolutionäre Algorithmen von Jürgen Adamy Wahrscheinlichkeitsrechnung und schließende Statistik von Karl Mosler und Friedrich Schmid Thomas Keck Klassifikationsverfahren und Neuronale Netze /40