DEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE

Transkript

1 DEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE

2 INHALT Einführung Künstliche neuronale Netze Die Natur als Vorbild Mathematisches Modell Optimierung Deep Learning Netze und deren Anwendung Convolutional Nets Recurrent Nets Autoencoder Google und DeepMind Literaturliste

3 DIE NATUR ALS VORBILD Bruce Blaus: Anatomy of a multipolar neuron (30 September 2013) unter: (abgerufen am ) Lizenz : (keine Änderungen vorgenommen) 3

4 MATHEMATISCHES MODELL 4

5 MATHEMATISCHES MODELL 5

6 MATHEMATISCHES MODELL x a(x) (0 0) 5 (1 2) -3 (1 5) 19 (1 8) 6

7 MATHEMATISCHES MODELL Ausgabe des Netzes Tatsächliche Funktion 7

8 MATHEMATISCHES MODELL Ausgabe des Netzes 8

9 MATHEMATISCHES MODELL Ausgabe des Netzes 9

10 OPTIMIERUNGSMETHODEN - BACKPROPAGATION C = 1 2 σ j y j a j L 2 y ist der gewünschte Wert a ist die Approximation durch das Netz Differenzieren um die Änderung des Fehlers C in Abhängigkeit eines Kantengewichts zu ermitteln Ziel ist es alle C w zu berechnen 10 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

11 OPTIMIERUNGSMETHODEN - BACKPROPAGATION In Vorwärtsrichten die Berechnung durchführen a i l 1 = σ( σ j x j w j + b ) 11 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

12 OPTIMIERUNGSMETHODEN - BACKPROPAGATION In Vorwärtsrichten die Berechnung durchführen a i l = σ( σ j x j w j + b ) 12 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

13 OPTIMIERUNGSMETHODEN - BACKPROPAGATION In Vorwärtsrichten die Berechnung durchführen a i L = σ( σ j x j w j + b ) 13 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

14 OPTIMIERUNGSMETHODEN - BACKPROPAGATION C = 1 2 σ j y j a j L 2 C a 1 L = (y 1 a 1 L ) C a 2 L = (y 2 a 2 L ) 14 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

15 OPTIMIERUNGSMETHODEN - BACKPROPAGATION δ 1 L = C z 1 L bzw. δ 2 L = C z 2 L δ 1 L = C a 1 L σ (z 1 L ) δ 2 L = C a 2 L σ (z 2 L ) σ (z) = σ(z)(1-σ(z)) 15 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

16 OPTIMIERUNGSMETHODEN - BACKPROPAGATION Den Fehler auf die Ausgänge jedes einzelnen Neuronen in allen Schichten zurückführen δ l = (w l+1 ) T δ l+1 σ (z l ) Verständlicher: C a l = σ l j w jk j δ j l+1 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2] 16

17 OPTIMIERUNGSMETHODEN - BACKPROPAGATION C w l jk = a k l 1 δ j l Da der Ausgang durch die Berechnung in Vorwärtsrichtung bekannt ist kann nach jedem Kantengewicht abgeleitet werden 17 Nielsen: Neural Networks and Deep Learning (2015), Kap. 2 [Literaturverzeichnis 2]

18 TIEFES NETZ FÜR DEEP LEARNING 18 Michael A. Nielsen: Ohne Titel (1. Januar 2016) unter: (abgerufen am ) Lizenz : (keine Änderungen vorgenommen)

19 DEEP LEARNING NETZE UND DEREN ANWENDUNG CONVOLUTIONAL NEURAL NETWORKS Aphex34: typical CNN architecture (16. Dezember 2015) unter: (abgerufen am ) Lizenz: (keine Änderungen vorgenommen Convolutional Neural Networks werden vor allem für Bilderkennung eingesetzt Ihr Aufbau ist an den des visuellen Cortex von Tieren angelehnt 19

20 DEEP LEARNING NETZE UND DEREN ANWENDUNG CONVOLUTIONAL NEURAL NETWORKS Aphex34: typical CNN architecture (16. Dezember 2015) unter: (abgerufen am ) Lizenz: (keine Änderungen vorgenommen CNNs filtern Bilder oder auch andere Daten und erzeugen sogenannte Feature Maps (z.b. für vertikale und horizontale Kanten) Einer der bekanntesten Architekturen ist die des sogenannten AlexNet (A. Krizhevsky, I. Sutskever, G. Hinton) 20

21 DEEP LEARNING NETZE UND DEREN ANWENDUNG RECURRENT NEURAL NETWORKS Recurrent Neural Networks werden für Sequenzdaten verwendet Ihr Aufbau ist im Neocortex des Gehirns wiederzufinden. Das Long Short-Term Memory (Hochreiter, Schmidhuber, 1997) ist das bekannteste Recurrent Neural Network 21

22 DEEP LEARNING NETZE UND DEREN ANWENDUNG RECURRENT NEURAL NETWORKS LSTMs (auch andere Architekturen) haben pro Zelle Gates mit denen bestimmt werden kann welche Information aufgenommen, behalten oder ausgegeben werden soll BiObserver: Long Short-Term Memory (4 Oktober 2015) unter: (abgerufen am 3. Okt 2016) Lizenz: (keine Änderungen vorgenommen) 22

23 DEEP LEARNING NETZE UND DEREN ANWENDUNG - AUTOENCODER Autoencoder komprimieren Daten Sie lernen unüberwacht Sie lernen indem sie ihre Eingangsdaten approximieren Einzeln trainiert und zusammengesteckt ergeben sie ein Deep Belief Net 23

24 DEEP LEARNING GOOGLE UND DEEPMIND Das Google Brain ist ein verteiltes Deep Belief Net Es läuft auf Prozessoren Es analysiert selbstständig Bilder aus Youtube Videos Nach ca. 3 Tagen hatte das Netz das (äußerliche) Konzept einer Katze erlernt AlvesGaspar: Cat March (März 2012) unter: (abgerufen am 2. Nov 2016) Lizenz: (keine Änderungen vorgenommen) 24

25 DEEP LEARNING GOOGLE UND DEEPMIND DeepMind entwickelte das AlphaGo Programm und DeepQLearning Beide basieren auf Künstlichen Neuronalen Netzen Der DeepQLearning Algorithmus konnte 50 verschiedene Videospiele erlernen Bumm13: Pong (2006) unter: (abgerufen am 2. Nov 2016) 25

26 DEEP LEARNING GOOGLE UND DEEPMIND ( ) 26

27 DEEP LEARNING SCHLUSSBEMERKUNG Konzepte und Algorithmen sind teilweise sehr alt Moderne Hardware macht Deep Learning erst umsetzbar Die Leistungsfähigkeit wird durch leistungsstärkere Hardware erhöht Die Zukunft von Deep Learning ist noch ungewiss 27

28 DEEP LEARNING LITERTURLISTE 1. Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning (Adaptive Computation and Machine Learning), 1. Auflage, MIT Press, Michael A. Nielsen: Neural Networks and Deep Learning, Determination Press, Stuart J. Russel, Peter Norvig: Artificial Intelligence A modern approach, 3. Auflage, Prentice Hall International (Pearson Education), 2010 Empfehlenswertes Framework: deeplearning4j unter deeplearning4j.org, unterstützt die meisten Netztypen 28

29 VIELEN DANK