Künstliche Intelligenz

Transkript

1 1. Juni, 2017 Künstliche Intelligenz Stand der Forschung, Aktuelle Probleme & Herausforderungen Prof. Dr. Roland Kwitt Fachbereich Computerwissenschaften Universität Salzburg

2 Übersicht Begrifflichkeiten & Einführung Auswahl an aktuellen Problemen & Stand der Forschung Praktische Umsetzung im Unternehmen Herausforderungen

3 Begrifflichkeiten (1) Summe der kognitiven Fähigkeiten des Menschen? Künstliche Intelligenz

4 Begrifflichkeiten (1) Summe der kognitiven Fähigkeiten des Menschen? Künstliche Intelligenz (2) Generierung von Expertise Maschinelles Lernen durch Erfahrung.

5 Begrifflichkeiten (1) Summe der kognitiven Fähigkeiten des Menschen? Künstliche Intelligenz (2) Generierung von Expertise Maschinelles Lernen durch Erfahrung. Deep Learning (3) (Mächtige) Umsetzung von Punkt (2)

6 Begrifflichkeiten Zuwachs an Forschungsarbeiten zu KI-verwandten Themen über die letzen Jahre Erwartete Anzahl an Einreichungen 2017 > 3000! Anzahl an Einreichungen Neural Information Processing Systems (NIPS)

7 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Klassifikation

8 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Klassifikation Katze

9 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Klassifikation & Lokalisation

10 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Klassifikation & Lokalisation Katze + Koordinaten

11 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Objekterkennung

12 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Objekterkennung Katze Pferd

13 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Segmentierung

14 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Segmentierung

15 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Fragen & Antworten Frage: Wie viele Tiere kommen im Bild vor? Antwort: 2 Frage: Welche / wie viele Tiere kommen vor? Antwort: Eine Katze, ein Pferd

16 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Bildregistrierung

17 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Bildregistrierung Transformation

18 Maschinelles Sehen / Lernen Mit welchen Arten von Problem haben wir es zu tun? Bildregistrierung Transformation

19 Deep Learning Grundideen Traditionell Merkmal Extraktion Klassifizierung Auto vom Entwickler vorgegeben, sozusagen designed by hand (z.b., Kanten, Farbinformationen, etc.) z.b., Kategorie des nähesten Nachbarn

20 Deep Learning Grundideen Traditionell Merkmal Extraktion Klassifizierung Auto vom Entwickler vorgegeben, sozusagen designed by hand (z.b., Kanten, Farbinformationen, etc.) z.b., Kategorie des nähesten Nachbarn Deep Learning (Deep Neural Networks) Low-level Merkmale Mid-level Merkmale High-level Merkmale Klassifizierung Auto Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten

21 Deep Learning Grundidee Ein künstliches Neuron Eingangssignal... Summe Eingangssignal Neuronales Netz: im Wesentlichen eine Zusammenschaltung von Bauelementen dieser Art!

22 Deep Learning Grundidee Deep Learning (Deep Neural Networks) Low-level Merkmale Mid-level Merkmale High-level Merkmale Klassifizierung Auto Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten

23 Deep Learning Grundidee Deep Learning (Deep Neural Networks) Low-level Merkmale Mid-level Merkmale High-level Merkmale Klassifizierung Auto Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten

24 Deep Learning Grundidee Deep Learning (Deep Neural Networks) Deep Learning Learning Hierarchical Representations Deep Learning == Learning Hierarchical Representations Y LeCun Y LeCun Low-level Mid-level High-level It's deep if has it has more than one stage non-linear feature transformation It's deep if it more than one stage of of non-linear feature transformation Merkmale Merkmale Merkmale Klassifizierung Low-Level Mid-Level Mid-Level High-Level High-Level Trainable Trainable Low-Level Feature Feature Feature Classifier Feature Feature Feature Classifier Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten Feature visualization convolutional trained ImageNet from [Zeiler & Fergus 2013] Feature visualization of of convolutional netnet trained on on ImageNet from [Zeiler & Fergus 2013] Auto

25 Deep Learning Grundidee Deep Learning (Deep Neural Networks) Deep Learning Learning Hierarchical Representations Deep Learning = Learning Hierarchical Representations Deep Learning == Learning Hierarchical Representations Y LeCun Y LeCun Y LeCun Low-level Mid-level High-level It's deep if has itif has more than one stage non-linear feature transformation It's deep itmore has more than one stage of non-linear feature transformation It's deep if it than one stage of of non-linear feature transformation Merkmale Merkmale Merkmale Low-Level Mid-Level High-Level Trainable Low-LevelMid-Level Mid-LevelHigh-Level High-Level Trainable Trainable Low-Level Feature Feature Feature Classifier Feature Feature Feature Feature Feature Classifier Classifier Feature Klassifizierung Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten Feature visualization convolutional trained ImageNet from [Zeiler & Fergus 2013] Feature visualization of convolutional net trained on ImageNet from [Zeiler & Fergus 2013] Feature visualization of of convolutional netnet trained on on ImageNet from [Zeiler & Fergus 2013] Auto

26 Deep Learning Grundidee Deep Learning (Deep Neural Networks) Low-level Merkmale Mid-level Merkmale High-level Merkmale Klassifizierung Auto Merkmale auf verschiedenen Ebene werden erlernt auf Basis von Trainingsdaten Erlernte (visuelle) Konzepte auf verschiedenen Ebenen

27 Deep Learning Grundidee Was bedeutet Lernen in diesem Zusammenhang? Trainingsdaten Neuronales Netz

28 Deep Learning Grundidee Was bedeutet Lernen in diesem Zusammenhang? Trainingsdaten Neuronales Netz Flugzeug (Ziel: Minimierung der Fehler über alle Kategorien) Kategorie: Flugzeuge Lernen = Einstellen günstiger Parameter

29 Aktuelle Probleme & Stand der Forschung 1. Klassifizierung von Fotos/Bildern vor 2012: ca % Fehler 2011/2012: ca. 37% Fehler 2011) Aktuell*: ca. 21% Fehler (Netz mit ~25 Millionen Parameter) ImageNet (2010) Challenge ~1 Million Bilder in 1000 Kategorien *Xie et al., Aggregated Residual Transformations for Deep Neural Networks

30 indicates that registration results were di eomorphic). initial momentum networks highlighted in bold. best indicates that all all registration results were di eomorphic). OurOur initial momentum networks areare highlighted in bold. TheThe best results highlighted in bold. results areare alsoalso highlighted in bold. Aktuelle Probleme & Stand der Forschung (a) Moving image (a) Moving image (b) Target image (b) Target image (c) LDDMM (c) LDDMM (d) Predict (probabilistic) (d) Predict (probabilistic) 2. Registrierung von medizinischen Bildern (z.b., MRT) Ziel Quelle Yang et al., Quicksilver: Fast Predictive Image Registration (e) Uncertainty (e) Uncertainty

31 indicates that all registration results were di eomorphic). Our initial momentum networks are highlighted in bold. The indicates that all registration results were di eomorphic). initial momentum networks highlighted in bold. bestbest indicates that all registration results were di eomorphic). OurOur initial momentum networks areare highlighted in bold. TheThe best results are also highlighted in bold. results also highlighted in bold. results areare also highlighted in bold. Aktuelle Probleme & Stand der Forschung (a) Moving image (a) Moving image (a) Moving image (b)image Target image (b) Target image (b) Target (c) LDDMM (c) LDDMM (c) LDDMM (d) Predict (probabilistic) (e) Uncertainty (e) Uncertainty (d) Predict (probabilistic) (e) Uncertainty (d) Predict (probabilistic) 2. Registrierung von medizinischen Bildern (z.b., MRT) Ziel Quelle Yang et al., Quicksilver: Fast Predictive Image Registration Traditionell (Rechenzeit ca. 10 [min])

32 indicates indicates that that all all registration registration results results were were di eomorphic). di eomorphic). Our Our initial initial momentum momentum networks are are highlighted highlighted bold. inthe bold. The The bestbest indicates that all registration results were di eomorphic). Our initial momentum networks are highlighted in in bold. The best indicates that all registration results were di eomorphic). initial momentum networks are highlighted in bold. best indicates that all registration results were di eomorphic). OurOur initial momentum networks arenetworks highlighted in bold. The best results results are are also also highlighted highlighted in bold. in bold. results are also highlighted in bold. results are also highlighted in bold. results are also highlighted in bold. Aktuelle Probleme & Stand der Forschung (a) Moving (a) Moving image image (b) Target (b) image Target (b) image Target image image (c) LDDMM (c) LDDMM (c) LDDMM (a) Moving image (b)image Target (c) LDDMM (a) Moving image (b) Target (c) LDDMM (a) Moving image (d) Predict (d) Predict (probabilistic) (probabilistic) (e) Uncertainty (e) Uncertainty (d) Predict (probabilistic) (e) Uncertainty (d) Predict (probabilistic) (e) Uncertainty (d) Predict (probabilistic) (e) Uncertainty 2. Registrierung von medizinischen Bildern (z.b., MRT) Ziel Quelle Yang et al., Quicksilver: Fast Predictive Image Registration Traditionell (Rechenzeit ca. 10 [min]) Neuronales Netz (Rechenzeit ca. 18 [s]) Unsicherheit (in der Vorhersage)

33 Aktuelle Probleme & Stand der Forschung 3. Image Translation ( Bildübersetzung ) Zebra Pferd Foto Monet VanGogh Monet Foto Isola et al., Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

34 Aktuelle Probleme & Stand der Forschung 4. Neural Style Transfer Transfer des Bildinhaltes hinsichtlich bekannter Stilrichtungen Foto Gatys et al., A Neural Algorithm of Artistic Style

35 Aktuelle Probleme & Stand der Forschung 4. Neural Style Transfer Transfer des Bildinhaltes hinsichtlich bekannter Stilrichtungen Foto Gatys et al., A Neural Algorithm of Artistic Style Sternennacht (van Gogh)

36 Aktuelle Probleme & Stand der Forschung 4. Neural Style Transfer Transfer des Bildinhaltes hinsichtlich bekannter Stilrichtungen Foto Gatys et al., A Neural Algorithm of Artistic Style Sternennacht (van Gogh) The Shipwreck (William Turner)

37 Aktuelle Probleme & Stand der Forschung 4. Neural Style Transfer Transfer des Bildinhaltes hinsichtlich bekannter Stilrichtungen Foto Gatys et al., A Neural Algorithm of Artistic Style Sternennacht (van Gogh) The Shipwreck (William Turner) The Scream (Edvard Munch)

38 Aktuelle Probleme & Stand der Forschung 5. Predictive video models Video (4 Frames) Vorhersage (12 Frames) Video (4 Frames) Vorhersage (12 Frames) Vondrick & Torralba, Generating the Future with Adversarial Transformers

43 Praktische Umsetzung im Unternehmen Momentane Fortschritt in dem Forschungsbereich angetrieben von Unternehmen.

44 Praktische Umsetzung im Unternehmen Hardware GPU (Graphics Processing Unit): z.b., Nvidia Titan X (Kostenpunkt: ca ) Nvidia DevBox

45 Praktische Umsetzung im Unternehmen Software 1. TensorFlow (Google) 2. Torch / PyTorch (Facebook) 3. Caffe (UC Berkeley) 4. Theano Alle diese Frameworks werden momentan auch kommerziell eingesetzt. (z.b., Google Bildsuche, Facebook Face Recognition / Tagging, etc.)

46 Herausforderungen Im Wesentlichen fehlt es einer Maschine an Alltagsverstand (common sense). Der Ball bricht durch den Tisch weil er aus Styropor ist. Frage: Ist der Ball, oder der Tisch aus Styropor? (typisches Winograd Schema benannt nach Terry Winograd) Bei Fragen dieser Art, sind Maschinen zu ~60%, und Menschen zu ~95% korrekt.

47 Herausforderungen

48 Herausforderungen Supervised Learning (die meisten aktuellen Anwendungen + alle Beispiele von heute)

49 Herausforderungen Reinforcement Learning (erfolgreich bei Spielen, z.b., AlphaGo, Doom) Supervised Learning (die meisten aktuellen Anwendungen + alle Beispiele von heute)

50 Herausforderungen Reinforcement Learning (erfolgreich bei Spielen, z.b., AlphaGo, Doom) Supervised Learning (die meisten aktuellen Anwendungen + alle Beispiele von heute) Unsupervised/Predictive Learning (mehr oder weniger ungelöst)

51 Danke für Ihre Aufmerksamkeit! Fragen? Kontakt: