Webinar: DeepLearning Dr. Bernhard Moser, DI Theodorich Kopetzky WKO Linz, 27. April 2017 SCCH ist eine Initiative der SCCH ist Teil des
Fragen? Geben Sie Ihre Fragen im Fragen-Chat ein 1 2 3
Überblick Webinar Teil I - Grundlagen Maschinelles Lernen im Allgemeinen Das Besondere an Deep Learning Deep Learning Varianten und Beispiele Teil II - Praxis Deep Learning anwenden Services am SCCH 3
Maschinelles Lernen ohne DL Vorgaben Extraktion von Merkmalen Trainieren Lernmodell Trainingsphase Anwendung aktuelle Daten Extraktion von Merkmalen Lernmodell Vorhersage
Generalisierbarkeit
Maschinelles Lernen mit DL Keine Vorgabe von Merkmalen! Vorgaben Neuronales Netz Trainieren Lernmodell Trainingsphase Anwendung aktuelle Daten Neuronales Netz Lernmodell Vorhersage
Einfachste Form: Autoencoder Encoder Decoder Input kompakte Repräsentation Rekonstruktion 7
Komplexere Netzarchitekturen Aufbau in Schichten Schicht 1: Pixels Interpretation als künstliches neuronales Netz Schicht 2: Kanten und einfache Muster 1990s 2000s: CNN 2012 ImageNet Competition 2015 U-Net (10-20 Schichten) Schicht 3: komplexere Muster Schicht 4: System lernt, wie sich Gesichter aus Mustern zusammensetzen LeCun, Software Y., Competence Bengio, Y., & Center Hinton, Hagenberg G. (2015). GmbH Deep learning. Nature, 521(7553), 436 444.
Ultraschall Nerven Segmentierung / Bsp. SCCH mit U-Net 9
Wärmebild Fußgänger Segmentierung / Bsp. SCCH 10
Weitere Anwendungen Generative Modelle Tagbild Nachtbild Luftbild Karte https://arxiv.org/abs/1611.07004 Isola, Software P., Zhu, Competence J.-Y., Zhou, Center T. and Hagenberg Efros, A. GmbH (2016) Image-to-Image 11Translation with Conditional Adversarial Networks
Weitere Anwendungen / Bsp. SCHH Vorhersage und Analyse von Verhalten Taktik Analyse im Fußball grün: Anfangsinfo rot: Vorhersage Wahrscheinlichkeitskarte für 4 unterschiedliche Szenarien Bsp. Software aus aktuellem Competence SKIN Center Projekt Hagenberg (KIRAS, GmbH mit Partner PKE, BM.I) 12
Warum DL wichtig ist... Markttreiber Digitalisierung der Gesellschaft (Handy ) Vernetzung / Rechenpower / Verfügbarkeit von Daten Hohe Investitonen von Schlüsselfirmen: Apple, Facebook, Google.. Fast wöchentlich neue wissenschaftliche Neuerungen Anwendungspotential Wo DL bereits ein kompetitiver Vorteil ist bildbasierte Klassifikation Sprachanalyse (Skype/Google-Translate) Wo DL zu bahnbrechenden Neuerungen führen könnte Autonomes Fahren medizinische Diagnose Monitoring von komplexen Szenarien: Verkehr, Security, Industrie Software Engineering 13
Ende Teil 1 Diskussion Teil 2 14
Überblick Webinar DL Teil II - Praxis Zielplattformen Frameworks Workflows benötigte Infrastruktur 15
Zielplattformen Standalone Executable / Prototype Windows / Linux System Mobile: Android, iphone Embedded: preferable Linux (Unix) System As a service, z.b. Amazon AWS / Server Backend (Python) Google Microsoft Web-based: Javascript Frontend 16
Frameworks Package Repos Code Commits Stars Tensorflow 9276 Python/C++ 112k 53.7k Caffe 3387 C++/Python 121k 17.1k Keras 2329 Python 14k 14.4k (Theano, Tensorflow) convnetjs 40 JavaScript 0.1k 6.9k Torch* (Learning) 2529 (194) Lua/Java 206k (0.2k) 6.7k Theano 1564 Python 35k 6.1k deeplearning4j 133 Java/Scala 8k 6.0k Lasagne 270 Python 2k 3.0k 17
Beispiel für benötigte Infrastruktur Zwei Grafikkarten mit ausreichenden Speicher/Cores (Nvidia Titan X) Schneller Rechner mit genügend Hauptspeicher für die Vorverarbeitung Ausreichend Speicherplatz im Intranet für Daten und vortrainierten Modelle Typical dataset: COCO (Common Objects in Context) http://mscoco.org/dataset/#download 2014 Training images [80K/13GB] 2014 Validation images [40K/6.2GB] 2014 Testing images [40K/6.2GB] 2015 Testing images [80K/12.4G] Nvidia Jetson TX-2 (Embedded Plattform for Deep Learning) 18
Workflow am SCCH Datenaufbereitung (eventuell große Datenmengen) Trainieren von vollwertigen DL-Modellen (Python) Modelltransfer auf Zielplattform (C++, zb. mit Caffe) Optimierung der Modellperformanz (zb. pruning, fp16) Upgrade-Strategie und Version Controlling Unit-Tests für Modell-Upgrading 19
DL Services und Kompetenz am SCCH Kompetenz enge Vernetzung mit Universitäten, u.a. St. Andrews/UK, JKU (Prof. Widmer) aktuell: vier Dissertationen zu DL Entwicklung von Best-Practice Workflows für Umsetzung Services F&E Partner (z.b. COMET) Beratung und Machbarkeit, vertiefende Workshops Nächste Veranstaltung: SCCH Software Research Day 2017 9.5.2017 in der Wirtschaftskammer Linz 20
Weitere Veranstaltungshinweise 31. Mai: Forum Künstliche Intelligenz in der WKO-Linz www.wko.at/service/veranstaltungen.html 7. Juni: InnovationsFORUM 2017 in der WKO- Linz Erfolgsfaktoren für den digitalen Wandel www.wko.at/ooe/innovationsforum.html TIM ist eine gemeinsame Initiative von Land OÖ und WKO Oberösterreich 20. Juni: TIM-Labortag Smarte Fabrik bei Profactor in Steyr www.tim.at/veranstaltungen
Beratung und Begleitung durch TIM Erstberatung (kostenlos) Analysieren der Aufgabenstellung und des Know-how Bedarfs. Grundlagen von F&E-Förderungen erläutern und die Voraussetzungen für ein förderwürdiges Projekt erklären Auswahl von Förderung(en) Für das Projekt am besten geeignete Förderung (bzw. Abfolge von Förderungen) auswählen Begleitung des Förderantrags Antrag im Hinblick auf die technische und betriebswirtschaftliche Projektbeschreibung sowie den Projekt- und Kostenplan analysieren Expertensuche und vermittlung Recherchieren geeigneter Know-how Träger im Expertennetzwerk von rund 300 Forschungseinrichtungen. Kontaktvermittlung und Projekt-Coaching Alois Keplinger I 05 90909 3547 I TIM WKOÖ I alois.keplinger@wkooe.at www.tim.at
Fragen, Diskussionen, Anregungen... Kontakt Bernhard Moser +43 7236 3343 833 bernhard.moser@scch.at www.scch.at Theodorich Kopetzky +43 7236 3343 870 theodorich.kopetzky@scch.at www.scch.at 23