Was ist, kann und darf Deep Learning? Dr. Beat Tödtli Laboratory for Web Science

Transkript

1 Was ist, kann und darf Deep Learning? Dr. Beat Tödtli Laboratory for Web Science

2 Suchinteresse Was ist, kann und darf Deep Learning? 2 Google Trends für Deep Learning ILSVRC 2012: Deep Learning Durchbruch

3 Was ist, kann und darf Deep Learning? 3 Machine Learning Statistisches Lernen Didaktik Erstelle komplexes Steuerungsprogramm ohne explizites Programmieren Zeige Beispiele: Steuerungsprogramm wird berechnet Lernen: Mathematische Optimierungsaufgabe Zentrales Problem: Verallgemeinerung

4 Was ist, kann und darf Deep Learning? 4 Es gibt nicht nur Deep Learning Decision Trees Random Forests Support Vector Machines Ensemble Methods Expectation Maximisation Naive Bayes Principal Components Analysis etc. Matrix Factorisation Generalized Linear Models Nearest Neighbour Classification Networks Adaboost Linear Discriminant Analysis Ridge Regression Hidden Markov Models Gaussian Mixtures KMeans Clustering Gaussian Processes Data Preprocessing, Feature Selection

5 Was sind neuronale Netze? Neuronales Netz (Gehirn) Künstliches neuronales Netz ~ 100 Milliarden Neuronen Neural network topology. Topology of multilayer full feedforward neural network for the estimation of lipase-catalyzed synthesis of palm-based wax ester. Basri et al. BMC Biotechnology :53 doi: / Was ist, kann und darf Deep Learning? 5

6 Was ist, kann und darf Deep Learning? 6 Was ist Deep Learning? Deep Learning tiefe neuronale Netze + Big Data + effizientere Algorithmen z.b. Inception, 2014: 22 Schichten ResNet, 2015: 152 Schichten 1 Schicht:

7 Performance Was ist, kann und darf Deep Learning? 7 Warum Deep Learning? Deep Learning Traditionelles Machine Learning Datenmenge Urheber: Andrew Ng

8 Performance Was ist, kann und darf Deep Learning? 8 Warum gewinnt Deep Learning? Deep Learning Traditionelles Machine Learning Datenmenge

9 Abstrakte Darstellungen von Rohdaten: Bilder Was ist, kann und darf Deep Learning? 9

10 Was ist, kann und darf Deep Learning? 10 Abstrakter Begriff: Lächeln NN verstehen die Struktur des Bildraums Addieren den Lächeln-Vektor zu bestehendem Bild Frau * Lächeln lächelnde Frau

11 Mann Frau Was ist, kann und darf Deep Learning? 11 blond dunkel

12 Was ist, kann und darf Deep Learning? 12 Hyperfläche der sinnvollen Bilder By Leonid 2 (Own work) [<a href=" BY-SA 3.0</a> or <a href=" <a href=" Wikimedia Commons</a>

13 Was ist, kann und darf Deep Learning? 13 Adversarial examples? Goodfellow, Shlens, Szegedy 2014, arxiv.org/pdf/ pdf

14 Was ist, kann und darf Deep Learning? 14 Style transfer und übertrage ihn auf das Foto! Nehme Kunststil von hier (V. Van Gogh)

15 Style transfer (V. Van Gogh) (E. Munch) Was ist, kann und darf Deep Learning? 15

16 Was ist, kann und darf Deep Learning? 16 Loving Vincent (2017) 125 Maler Bilder

17 Was ist, kann und darf Deep Learning? 17 Abstrakte Darstellungen von Rohdaten: Text Bsp. Word2Vec: Rom Italien + Frankreich Paris

18 Visualisierung von Embeddings Was ist, kann und darf Deep Learning? 18

19 Fashwell Was ist, kann und darf Deep Learning? 19

20 Was ist, kann und darf Deep Learning? 20 Reinforcement Learning in AlphaGo: allgemeine Lernfähigkeit Erstes System, das allgemein lernt? Kreativität von Maschinen

21 Was ist, kann und darf Deep Learning? 21 Eine neue Informatik? Computer lernen, abstrakte Begriffe zu verstehen Formale Sprache informelle Sprache robot-ears.eu

22 Titel Präsentation 22 Informelle Informatik Steuerung, Programmierung Training, Dressur Erziehung Nachvollziehbarkeit Haftung?

23 Was ist, kann und darf Deep Learning? 23 Neue Aufgaben für Informatiker? Bisher Neu Dokumentation Nachvollziehbarkeit? Tests, Validierung Mehrwert schaffen Soziale Akzeptanz Ethik Dialog: Was soll und darf KI?

24 Was ist, kann und darf Deep Learning? 24 Herausforderungen, technisch Bilder für so was Triviales?! Kleine Datensätze Spracherkennung, Chatbots Lernen von Verhalten

25 politische und soziale Herausforderungen Fake Video-Anrufe! (Deklarationspflicht?) Technologievorherrschaft? Wertevorgaben an KI-Systeme: Z.B. Rassismus-Problematik Was ist, kann und darf Deep Learning? 25

26 Was ist, kann und darf Deep Learning? 26 Würde? Silizium vs. Kohlenstoff? Komplexe Maschine Moralisches Subjekt? Komplexität Lernfähigkeit

27 Dankeschön! Was ist, kann und darf Deep Learning? 27

28 Backup Slides Dr. Beat Tödtli Laboratory for Web Science

29 Was ist, kann und darf Deep Learning? 29 Weitere Anwendungen Lippensynchronisation, Videogeneration von Obama-Audio Sprachsynthese aus Text WaveNet: Sprachsynthese aus Text -> Fake Radio News? Chopin-Musikgeneration

30 Was ist, kann und darf Deep Learning? 30 Noch mehr Transfer abstrakter Eigenschaften Ergibt sinnvolle neue Beispiele

31 Was ist, kann und darf Deep Learning? 31 Weitere Anwendungen Übersetzung Segmentierung dhttps://research.googleblog.com/2015/07/how-google-translatesqueezes-deep.html Vervollständigung

32 Titel Präsentation 32 Abstraktee Begriffe Mann, Frau und Brille Mann mit Sonnenbrille Mann + Frau = Frau mit Sonnenbrille

33 Was ist, kann und darf Deep Learning? 33 Anwendungen Wikipedia-Artikelschreiben

34 Was ist, kann und darf Deep Learning? 34 Generative Adversarial Networks

35 Machine Learning Deep Learning ein Untergebiet des Machine Learning Man vergesse die nicht! Es gibt einfachere Machine Learning Techniken, welche Mit 20% des Aufwands 80% des Ertrags rausholen Deep Learning ist nur in Teilbereichen erfolgreich Deep Learning hat das Potenial zur Killerapp: Selbstfahrende Autos, Digital Doctor Immer noch gilt: Zuerst einfachere Methoden ausprobieren! Was ist, kann und darf Deep Learning? 35

36 Was ist, kann und darf Deep Learning? 36 Machine Learning 101 Supervised Learning: Unterscheide Katzen von Hunden Vs. Unsupervised Learning: Finde nützliche Struktur in Daten Reinforcement Learning: Lerne ein Verhalten Laufen, Computerspiele Autofahren

37 Was sind Neuronen? Neuron (Gehirnzelle) Neuron (Perzeptron) Northeastern University. "Oorganization of human brain is nearly ideal: New research reveals that structure of the human brain has an almost ideal network of connections." ScienceDaily. ScienceDaily, 7 July < Was ist, kann und darf Deep Learning? 37