Neuronale Netze, Deep Learning

Transkript

1 Unverstät Potsam Insttut für Informatk Lehrstuhl Neuronale Netze, Deep Learnng Tobas Scheffer

2 Motvaton Moelle neuronaler Informatonsverarbetung Hoffnung: Bessere Lösungen für Probleme, n enen Computer schlecht sn (z.b. Bl- un Sprachverarbetung) Künstlche Intellgenz als größere Vson Ansatz hat mehrere Populartätswellen erlebt Perceptron: Rosenblatt 960 Verrängt uch SVM, Bayes sche Verfahren Jetzt Stan er Technk Voce Recognton (Google DeepMn), Face Recognton (Deep Face, 04)

3 Deep Face Face Verfcaton: zegen zwe Bler eselbe Person? Mult-Layer-Archtektur lernt Merkmale für e Unterscheung von Personen Höchste Genaugket für Face Ientfcaton 3

4 DNNResearch Von Geoff Hnton gegrünet, 03 von Google gekauft Object Detecton (für Blersuche) Speech Recognton: Neuronale Netze für akustsche Moellerung Spracherkennung für Anro 4

5 Google X Artfcal Bran Larry Pages Vson für Google: allwssene künstlche Intellgenz mt Zugrff auf alle verfügbaren Informatonen Verstehen von Teten Verstehen von Sprache Verstehen von Blern Übersetzen von Teten Verstehen er Informatonsbeürfnsse er Nutzer 5

6 Rekore von Deep Learnng Neuronale Netze sn genaueste bekannte Verfahren für Objektklassfkaton (CIFAR/NORB/PASCAL VOC- Benchmarks) Veoklassfkaton, verscheene Benchmark- Datensätze Sentment-Analyss von Teten (MR-Benchmark) Erkennung von Fußgängern Spracherkennung 6

7 Fee-Forwar-Netzwerke Typsch für Mustererkennungsaufgaben: Im Engaberaum legen Postv- un Negatvbespele (z.b. Btmaps von Gwyneth Paltrow un Jennfer Anston) nenaner vermscht Separerung urch lnearen Klassfkator m Pelraum unmöglch? = Grauwert Pel Grauwert Pel

8 Deep Learnng Schrttwese Transformaton er rohen Engabeaten n höhere Merkmale Ene er Kette: Merkmale, mt enen sch e Klassen separeren lassen Bem Tranng nur Engabeaten un Label gegeben Label Invuenskrmnerene Merkmale Geschts-Tele Gwyneth Paltrow Merkmale er Zwschenebenen ergeben sch als Tel er Lösung enes Optmerungsproblems Lokale Muster Grauwertmatr 8

9 Deep Learnng Blverarbetung Tet Pel Kanten lokale Muster Objekttele Objekte Zechen Wort Wortgruppe Klausel Satz Dokument Sprache Sgnal Spektralban Phon Phonem Wort 9

10 Deep Learnng Ene (ausrechen große) Zwschenebene un ene Ausgabeebene genügen grunsätzlch, um jee belebge Funkton zu appromeren Aber: Mt mehreren Ebenen genügen häufg vel wenger Knoten Berechnungen können mehrfach verwenet weren Bespel: Party-Funkton N Elemente n log(n) Ebenen Oer N Elemente n zwe Ebenen 0

11 Deep Learnng Sn Kernel-Verfahren tef? Nen, ene Anwenung er Kernel-Funkton, ann lneare Funkton Kene Zwschen-Merkmale Sn Entscheungsbäume tef? Nen, alle Entscheungen weren anhan er Engabeattrbute getroffen Es weren kene neuen Merkmale Berechnet Sn Empfehlungsalgorthmen tef? Ja, wenn latente Merkmale berechnet weren Allerngs nur ene Ebene latenter Merkmale

12 Überwachtes, unüberwachtes Lernen Überwachtes Lernen Gesamtes Netzt wr überwacht tranert (Merkmale er Zwschenebenen Tel er Lösung es Optmerungsproblems) Unüberwacht + überwachter Klassfkator oben Ebenen weren sequentell unüberwacht tranert Oberste Ebene wr überwacht tranert Unüberwachtes Pre-Tranng + überwachtes Lernen Ebenen weren sequentell unüberwacht tranert Mt esen Startwerten wr anach gesamtes Netz überwacht tranert Gut be velen ungelabelten, wengen gelabelten Daten

13 Neuronale Informatonsverarbetung Engänge Gewchtete Engangssgnale weren aggregert Aon: Ausgangssgnal: Wahrschenlchket enes Ausgangs-Sgnals Gewchtete Engangssgnale Synaptsche Gewchte: Weren urch Lernprozesse Verstärkt oer abgeschwächt Sgnale n Form von Spkes Verbnungen zu aneren Nervenzellen 3

14 Neuronale Informatonsverarbetung: Moell 3... Engabevektor 3... T h 0 m m Ausgabe (h) Ausgangssgnal Gewchtete Engangssgnale Gewchtsvektor 4

15 Fee-Forwar-Netze Ine h h ( h ) k k k k k0 ( h ) k k 0 k k k0 Ine k... Forwar Propagaton: Engabevektor: 0 Lneares Moell: Jee Enhet hat Parametervektor: Ebene hat Parametermatr: Ausgabe-Ebene h k k k0 k n n n n nn Vereckte Ebenen m Engabe-Ebene 5

16 Fee-Forwar-Netze Ine h h ( h ) k k k k k0 ( h ) k k 0 k k k0 Ine k... Forwar Propagaton: Engabevektor: 0 Lneares Moell: Aktverungsfunkton un Propagaton: ( h ) Ausgabevektor: Ausgabe-Ebene h k k k0 Vereckte Ebenen m Engabe-Ebene 6

17 Fee-Forwar-Netze Ine h h ( h ) k k k k k0 ( h ) k k 0 k k k0 Ine k... Bas Unt Lneares Moell: Konstantes Element wr häufg weggelassen un urch zusätzlche Knoten mt konstanter Aktverung von ersetzt: h h k k [.. n ] k k k k m 7

18 Fee-Forwar-Netze Ine ( h ) k k Ine k... Forwar Propagaton pro Ebene n Vektornotaton: h h h k k k0 ( h ) k k 0 k k k m 8

19 Fee-Forwar-Netze h h ( h ) k k ( h ) k k 0 k k k0 k k k Tranng urch Graentenabsteg, häufg stochastc Graent Fehlerfunkton: Graentenabsteg: Stochastscher Graent, Bsp. E Em ( ) ' Em ( ) ' ( y j j) j m ' y ( ) ( ) ( y ) j m m j j 9

20 Fee-Forwar-Netze: Back Propagaton y... δ Stochastscher Graent, Bsp. Für Gewchte er obersten Ebene: ' y ( ) ( y ) ( y ( ) k k k k k k ( y ( ) ( ) k k k k ( k ) k k ( y ( ) '( ) k k k ( y ) '( h ) k k k k 0 Mt: k ( '( h yk h k k ) )( y ) k k k 0

21 Fee-Forwar-Netze: Back Propagaton Forwar Propagaton y... δ l δ lk δ ( h k h k... ) δ Back Propagaton Für Gewchte er Ebene : Mt ( y ) ( y ) h k k k k k hk k k ( yk k ) h ( y ) (,..., ) k k n l l k k l k hl k hk l lk '( hk) k l l lk (,..., n ) ( y ) h '( h ) k h k k k 0

22 Aktverungsfunkton Jee fferenzerbare, sgmoe Funkton st möglch Bespel: ( h) h e '( h) ( h)( ( h))

23 Back Propagaton: Algorthmus Iterere über alle Tranngsbespele (, y): Forwar Propagaton: Für =0 : Für k= n : ( h ) Back Propagaton: Für k= n : k Für =- : Für k= n : Bs zur Konvergenz h k k k0 '( h )( y ) k k k k ' k k '( h ) k k l l lk k ' k k 3

24 Back Propagaton Fehlerfunkton st ncht konve Jee Permutaton von Gewchten er nneren Knoten enes Mnmums ergbt weer en Mnmum Gelernte Merkmale (Gewchte er nneren Knoten) können ok aber ncht optmal sen Hoffnung: Lokale Optma können trotzem belebg gut sen Bessere Lösung mt mehr Daten Realtät: Back Propagaton funktonert nur für wenge (, mamal ) vereckte Ebenen Tranng tefer Netze enet n lokalem Optmum 4

25 Regularserung L-regularserte Verlustfunkton E T m( ) m ( y j j) j Entsprcht normalverteltem Pror auf Parametern Regularserter Graent: ( E ) m m δ j j Upate: ' δ j Wr auch als Weght Decay bezechnet. Wetere Formen von Regularserung verbretet Early Stoppng (ncht mehr Stan er Technk): Tranng vor Konvergenz abbrechen Unts mt gerngen Gewchten rauswerfen Dropout: Unts bem Tranng zufällg ausblenen Länge er propagerten Vektoren normalseren 5

26 Regularserung: Dropout In kompleen Netzen blen sch urch Co- Aapton von Knoten zu komplee Mechansmen Ncht robust für neue Testaten Dropout: In jeem Tranngsschrtt wr en Antel (Hyperparameter) er Unts ausgeblenet Be er Anwenung es tranerten Netzes weren alle Unts verwenet. Verbessert Robusthet: Jeer Knoten muss n unterschelchen Kombnatonen von aneren Knoten zum Ergebns betragen 6

27 Regularserung: Stochastc Bnary Unts En stochastsch-bnärer Knoten berechnet Aktverung k ( hk) Un propagert mt ener Wahrschenlchket von k enen Wert von Ungefähr äquvalent azu, mt ener festen Wahrschenlchket enen Wert von zu schcken Möglche Implementerung von Dropout Bologsche Neuronen schenen sch so zu verhalten. k 7

28 Back Propagaton: Trcks Cross-Entropy als Verlust für Klassfkaton Stochastc Graent auf klenen Batches Tranngsaten zufällg mschen Lernrate über en Verlauf er Optmerung hnweg snken lassen Gewchte zufällg ntalseren (Nullpunkt kann Sattelpunkt sen) Gewchte urch unsupervse Pre-Tranng ntalseren 8

29 Unsupervse Feature Learnng Auto Encoer: Lerne Ienttätsfunkton Von m Engabeknoten über n vereckten Knoten nach m Ausgabeknoten mt n << m. Iee: vereckte Knoten lernen Repräsentaton, aus enen sch e Daten rekonstrueren lassen m 9

30 Auto Encoer Auto Encoer: Lerne Ienttätsfunkton Zusätzlche Regularserung: vereckte Knoten sollen sparse sen, mestens Aktverung 0 haben. Regularserungsparameter Regularserungsterm n KL( ρ k k Backprop-Upateregel ) log ( )log k 3 3 k '( hk) l llk k k m 30

31 Auto Encoer Bespel: Bnäre Engabevektoren mt ener. Ausgabe Vereckt Engabe Vereckte Ebene lernt Bnärcoe Coe-Wörter können aber belebg permutert sen m 3

32 Convoluton / Faltung Multplkaton enes Flters mt em Ausschntt ener Engabe: Intenstät es Fltersgnals an eser Stelle n n 0 j k, jl kl knln Jees neue Pel st Ergebns ener Konvoluton. Verarbetung von Blern, Auosgnalen Z.B. Detekton von Kanten, bestmmten Frequenzen, Muster, Geschtern 3

33 Convoluton / Faltung Verscheene Detektoren pro Poston Z.B. Kanten verscheener Orenterungen Unterschelch skalerte Detektoren ergeben en Array von Feature Maps 33

34 Auto Encoer Bespel: Engabe un Ausgabe: gemschte Bler Gewchte er 5 # Postonen vereckten Knoten: Netzwert lernt Detektoren für lokale Muster (überwegen Kanten) Euto-Encoer-Tranng mt Back Propagaton funktonert nur mt ener vereckten Ebene PCA = lnearer Auto Encoer m 34

35 Restrcte Boltzmann Machne Engabeebene un ene Ebene vereckter Knoten Bnäre stochastsche Knoten Bas-Unts auf jeer Ebene - log P(Aktverung) ~ Energefunkton Energefunkton: E(, h ) ( ) h 0 0 T T n 0 0 h n 0 nn 0 n h 0 n Bas-Unts 0... k =0 (Bas-Unts ncht verbunen) m 35

36 Restrcte Boltzmann Machne Energefunkton: P(Aktverung) ~ Energefunkton E(, h ) ( ) h 0 0 T P(, ) P( ) 0 0 E(, ) Z e h h 0 0 E(, ) Z e h h P 0 ( h ) e P 0 (, h ) P( h ) 0 E(, h ) Z E(, h ) 0 Z e h e 0 Bas-Unts 0... k Z st Normalserungsfaktor m 36

37 Restrcte Boltzmann Machne Lernen: Mamere log-wahrschenlchket er Engabevektoren. Graent: Energegraent: 0 arg ma log P( ) 0 log p( ) h j p 0 ( h ) E Energegraent für beobachtete Engabe 0 (, h ) j 0 0 E(, h ) 0 p( h, ), h j E(, h ) ( ) h 0 0 T j j h 0 j Margnaler Energegraent k m 37

38 RBM: Samplng von Zustänen RBM generert Zustäne we Bayessches Netz MCMC: Iterere über alle Knoten, abwechseln enen Engaben un vereckten Knoten Zehe Aktverung es Knotens gegeben Aktverung er Nachbarn Nach Burn-In-Phase ergbt e Markov-Kette ene Stchprobe aus er vom Netz moellerten Vertelung 38

39 Restrcte Boltzmann Machne: Lernen Graent: Mt Gewchtungs-Upate: log p( ) 0 E(, ) 0 E(, ) p( ) h 0 p( ) h h h h, h j j j E(, h ) ( ) h 0 0 T j j 0 0 j ' j ( hj hj ) h 0 j Beobachtete Engabe In enem MCMC-Schrtt genererter Engabevektor 39

40 Restrcte Boltzmann Machnes Tranng ener RBM fügt enem Netzwerk ene wetere Ebene hnzu, auf er ene neue Repräsentaton er Tranngsaten gelernt wr Blen e Grunlage tefer Netzwerke Tranng wr teratv, Ebene für Ebene urchgeführt 40

41 Convolutonal Networks Mustererkennung: Objekterkennung, Spracherkennung, Photo Tagger Iee: Detektoren erzeugen Merkmale aus Berech er Engabe Detektoren mt enselben Gewchten weren auf unterschelche Bereche angewenet, ergbt en Fel von Werten enes Merkmals Z.B. Kantenekektor für Kanten enes bestmmten Wnkels wr auf gesamtes Bl angewenet, ergbt Kantenbl 4

42 Convolutonal Networks Knoten mt gekoppelten Gewchten (entsche Funkton) weren auf überlappene Bereche er Engabe angewant. 3 Gleche Gewchte (,,,, )

43 Convolutonal Networks Knoten mt gekoppelten Gewchten (entsche Funkton) weren auf überlappene Bereche er Engabe angewant. Parallel angeornete Layer mt unterschelchen Fltern (,,,, )

44 Convolutonal Networks Für Blverarbetung: Pro Flter ergbt sch en Array von Knoten mt gekoppelten Gewchten 44

45 Convolutonal Networks Bespel: Kantenetektoren für 8 Rchtungen 5 Skalerungen (Fenstergrößen) 45

46 Convolutonal Networks MaPoolng-Layer: Tele jees Flter-Array n ncht-überlappene Bereche Lefere für jeen Berech as Mamum zurück MaPoolng-Layer lesten A-Hoc- Dmensonsreukton 46

47 Convolutonal Networks Bespel: DeepFace Engabe: 3 Farbkanäle 5 5 Pel 3 Flterbänke pro Kanal, Pel Brete MaPoolng 6 Flterbänke, 9 9 Pel Brete 3 lokal verknüpfte Layer Dskrmnatv tranerte Layer 47

48 Tefe Autoencoer Ebene für Ebene wenger Dmensonen Tranere Restrcte Boltzmann Machne ebenenwese z.b. 0 Knoten 3... z.b. 00 Knoten... z.b. 000 Knoten m 48

49 Tefe Autoencoer... m... Autoencoer wr ann aufgeklappt un mt Backpropagaton weter tranert Nchtlneare, tefe Form von PCA m 49

50 Tefe Autoencoer: Bespel D-Vsualserung enes Korpus von Dokumenten TF-Vektor wr auf 500 Dmensonen 50 Dmensonen Dmensonen abgeblet Enheten 3 50 Enheten Enheten... Worthäufgketen von velen Wörtern 50

51 GPU-Tranng Grafkkarten egnen sch zur Parallelserung es Tranngs neuronaler Netze Matrmultplkaton, Faltungen, elementwese Operatonen GPU-Software CUDA: NVIDIA C-API OPENCL: ncht NVIDIA-spezfsch PyCUDA: Python-API PyOPENCL: ncht NVIDIA-spezfsch 5