Artificial Intelligence (AI) und Machine Learning (ML) b+m Engineering, Tom Stahl Kiel, Q1 2019
Agenda Einordnung Stand der Technik Live Demo Funktionsweisen, Merkmale Diskussion
Was ist AI? Historisch: Turing-Test (Alan Turing, 1950) Blindtest: Ist die AI im freien Dialog nicht von einem menschlichen Gesprächspartner unterscheidbar? Der AI-Effect AI ist das, was aktuell gerade am Rande - oder knapp jenseits - der Machbarkeit ist. In den 60er Jahren galten Schachcomputer als AI-Systeme. Die letzten 3-4 Jahre In der AI-Forschung gab es in den letzten Jahren erstaunliche Durchbrüche weitgehend unterhalb der Wahrnehmungsschwelle der Öffentlichkeit (Deep Learning, Reinforcement-Learning). Die Hardware-Entwicklung (Moore s Law) spielt dabei tatsächlich eine untergeordnete Rolle. Big-Data? AI wird oft/meist im Kontext von BigData gesehen. Doch gerade der Bereich der selbstlernenden Systeme, die ganz ohne externe Trainingsdaten auskommen, hat jüngst beeindruckende Meilensteine hervorgebracht. Hype? Im öffentlichen Diskurs ist AI zuweilen recht diffus In der Informatik/Mathematik ist es ein wohl definiertes Forschungsgebiet. Dass der Fortschritt auf diesem Gebiet ganz ohne langfristige, makroskopische Auswirkungen bleibt, ist unwahrscheinlich. 3
AI Definition über Forschungsfelder Spitzenforschung Forschung in den Kinderschuhen 4
AI - Ansätze z.b. klassische Expertensysteme - Anwendung explizit ausformulierter Regeln Symbolic AI Machine-Learning Supervised Learning Deep Neural Networks (Deep Learning) Lernende, stochastische Systeme Systeme lernen durch (i.d.r. von Hand annotierte) Beispiele Unsupervised Learning Reinforcement Learning Systeme (Agenten) lernen selbstständig durch Erkunden ihrer Umgebung AI Landscape Big Picture 5
AI-Breakthroughs: Image Recognition Convolutional Neural Networks (CNN) 6
AI-Breakthroughs: Language Processing - Recurrent Neural Networks (RNN/LSTM) Facebook: Alice & Bob Experiment Google Assistant: Haircut Appointment Call Derzeit bester Translation Service 7
Reinforcement Learning (RL) Ingedients Policy (Function) Value (Function) Reward (Function) Environment Model Policy: What to do next (learnable strategy) Value: Rating of a state based on reward prediction (learnable value estimation) Reward: Measure for objective/goal (given by design) Model: Representation of the environment (explicit MDP or implicit/learnable) 8
AI-Breakthroughs : Reinforcement Learning (RL) - Robotics Google Deepmind Runner Boston Dynamics Atlas 9
AI-Breakthroughs : Reinforcement Learning (RL) Full Information Games Branching-Factor Schach ~ 20 Branching-Factor Go ~ 200 170 Mögliche Go Positionen ~ 10 Atome im sichtb. Universum ~ 10 80 AlphaGo Zero General AI 10
AI-Breakthroughs : Reinforcement Learning (RL) Incomplete Information Games DotA (Defense of the Ancients) Open AI Five vs. 5 Humans (Pro Gamer) Challenges Long time horizons Partially-observed state High-dim continuous action space High-dim continous observation space Open AI Five won best-of-three match against 99.95% rated Dota Pros Open-AI Five plays 180 years worth of games against itself every day 11
Zusammenfassung: Was ist Machine Learning? Maschinelles Lernen ist ein Teilgebiet der Informatik / Mathematik ML implementiert AI. Der Begriff des Lernens wird dabei auf die sukzessive Minimierung einer (beliebig komplexen) Fehlerfunktion oder umgekehrt das Maximieren einer (beliebig komplexen) Belohnungsfunktion zurückgeführt. Supervised Learning Überwachtes Lernen, Lernen durch Beispieldaten in der Regel durch Menschen annotierte Roh-Daten oder Bilder. Die AI abstrahiert dabei selbstständig von den Beispieldaten und kann auf dieser Basis z.b. auch Prognosen erstellen. Beispiele: Kreditrisiko-Prognose, Fraud Detection bei Versicherungsschäden, Erkennung von Objekten auf Bildern. Unsupervised Learning - spez. Reinforcement Learning Ein AI-System (auch Agent genannt) lernt ohne Daten o. eincodiertes Domänenwissen allein durch Erkunden seiner (ggf. virtuellen) Umgebung und das Feedback dieser Umgebung. Beispiele: Roboter lernen (wie Kleinkinder) selbstständig Laufen. Spiele : AI-Systeme lernen durch Spielen gegen sich selbst. AI-Systeme lernen Geschäftsprozesse (via Simulation) zu optimieren, ohne starr vorgegebene Prozessmodelle. 12
Klassische Software-Entwicklung vs. Supervised Machine Learning Computer Computer Deep-Learning 13
Artificial Neural Nets (ANN) Live Live Demo Computer Vision: Image Recognition ResNet50 Architektur vortrainiert auf dem ImageNet Benchmark Dataset Aufgabe: Erkennung des primären Objektes auf einem Bild ANN in einem REST-Server deployed Browser-basiertes Demo-Frontend (serverless, singlepage, plain HTML5/CSS3 REST-Client) 14
ANN Grundlagen: Neurobiologisches Vorbild 15
ANN Grundlagen: Mathematische Modellierung eines Neurons Mathematische Grundelemente eines künstlichen Neurons Synapsen Dendriten Zellkörper(Soma) Axon-Aktivität (Bias) Linearer Teil (gewichtete Summen + Bias) Nicht-linearer Teil (Schwellwertfuntion) 16
ANN Grundlagen: Multilayer Perceptron (MLP) 1/2 Das Multilayer Perceptron (MLP) ist die einfachste mögliche ANN Architektur 17
ANN Grundlagen: Multilayer Perceptron (MLP) 2/2 Screenshot from tensorflow playground 18
Convolutional Neural Nets Beispiel: Face Classification Classification Output Woman: 85% Girl: 14,5% Boy: 0,5% Man: 0% Woman Man Girl Boy Input Layer (Neuron = Pixel) Output-Layer (Neuron = Klasse) Visueller Cortex) Klassifikator (hier: 4 Klassen) 19
Deep Dream Visualisierung gelernter Filter (hier: Merkmale von Hunden) eines Convolutional Neural Nets durch Rückpropagierung auf den Input 20
Supervised Learning Training and Validation: Samples Input Target (Soll-Output) Image Classification Sample Jaguar E-Type Serie-1 Roadster Semantic Text Analysis Sample (Topic + Sentiment Analysis) Beschwerde, Schadenmeldung; empört Data Based Prediction Sample Adresse: Schlossalle 1 Liquidität: 50 TEUR Mahnungen: 10 Mtl. Ausgaben: 3 TEUR Kreditausfall nach 3 Jahren Time Series Prediction Sample Passagierzahlen KW7 2018 Passagierzahlen KW1-6 2018 21
Supervised Learning Training and Validation: SampleSets Samples Min ca. 8Tsd Preprocessing Avg ca. 80Tsd Large ca. 1Mio Very Large ca. 10Mio Sample Set TrainingSet Data Augmentation Training ValidationSet Validation 22
Machine Learning Take Aways (1/2) ML ist ein Grenzgebiet zwischen Mathematik und Informatik Mathematik-Verständnis ist essenziell, ML-Werkzeuge sind mächtig aber eben nur Werkzeuge! ML-Systeme sind stochastische Systeme (mit Wahrscheinlichkeiten behaftet) ML-Systeme sind (Stand heute) Black-Box Systeme Maschinelles Lernen bedeutet: Iterative Optimierung einer Funktion (Reward, Loss) ML-Systeme arbeiten fundamental anders als klassische Computerprogramme, lassen sich aber wie solche betreiben und in klassische Systeme einbauen ML-Systeme zu trainieren ist teuer (Zeit, Rechenleistung), sie anzuwenden nicht Die theoretische Leistungsfähigkeit von ML-Systemen ist nahezu unbegrenzt Universal Approximation Theorem für 3-Layer MLP, LSTM s sind turing-mächtig Notorische Probleme in der Praxis: Overfitting / Underfitting Der künstliche IQ hängt stark von der Verteilung der Trainingsdaten ab. 23
Machine Learning Take Aways (2/2) Externes BigData ist nicht immer zwingende Voraussetzung (-> Reinforcement Learning) Die gestiegene Rechenleistung ist lediglich notwendige Voraussetzung für den explosionsartigen Fortschritt (-> weltweite ML-Community, Milliarden-Investitionen der Tech- Giganten => Fortschritt auf Ebene der Architekturen und Algorithmen Fazit: Der In den letzten 3-4 Jahren gab es z.t. erstaunliche Durchbrüche, dennoch stehen wir erst am Fuß des AI-Berges. Bis zum Gipfel (General AI) könnte es länger dauern (als viele meinen). Narrow-AI Systeme sind praxisreif. 24
Links Boston Dynamics Atlas https://www.youtube.com/watch?v=6vya8l_r850 Boston Dynamics Door Opening Dog https://www.youtube.com/watch?v=wxxrmussq4e Google Deepmind RL Runner https://www.youtube.com/watch?v=gn4nrcc9twq Google Assistant Haircut Appointment Call https://www.youtube.com/watch?v=ycwj0z6_z34 25
Kontakt thomas.stahl@bmiag.de 26