Machine Learning Chancen und Herausforderungen

Transkript

1 Machine Learning Chancen und Herausforderungen Prof. Dr. Stephan Trahasch Hochschule Offenburg

2 Hochschule Offenburg Studierende, 130 Professoren, 300 Mitarbeiter Vier Fakultäten 1. Betriebswirtschaft und Wirtschaftsingenieurwesen 2. Elektrotechnik und Informationstechnik 3. Maschinenbau und Verfahrenstechnik 4. Medien und Informationswesen Forschung: Energie, Medizintechnik, Machine Learning 2

3 Gliederung Was versteht man unter Machine Learning? Wo wird Machine Learning eingesetzt? What s next? 3

4 Aktuelle Meldungen zu Künstlicher Intelligenz 4

5 5

6 KI ist ein Oberbegriff, der mehr als Machine Learning und Deep Learning umfasst. Künstliche Intelligenz Machine Learning Data Science Methoden wie Deep Learning, Reinforcement, SVM, Clustering Data Mining Big Data 6

7 Künstliche Intelligenz und Machine Learning KI in Filmen KI und ML in der Realität bilder/?cmediafile=

8 Machine Learning [Machine Learning is the] field of study that gives the computer the ability to learn without being explicitly programmed. Arthur Samuel, 1959 Problem Analysis Write Programm IF x THEN do IF y THEN do Evaluate Run Analyze Errors 8

9 Machine Learning [Machine Learning is the] field of study that gives the computer the ability to learn without being explicitly programmed. Arthur Samuel, 1959 Data Problem Analysis Write Programm Train ML IF x THEN do Algorithm IF y THEN do Evaluate Run Analyze Errors 9

10 Alter Status Einkommen Job seit Kredit Verwendung Kredit? 46 Verheiratet Hoch Auto ja 54 Verheiratet Mittel Frei ja 25 Ledig Niedrig Auto nein 35 Geschieden Mittel Ausstattung ja 37 Ledig Mittel Auto Data New Data Problem Analysis Train ML Algorithm Model Evaluate Apply Model Analyze Errors Prediction 10

11 Datenselektion und -vorbereitung verursachen hohen Aufwand in ML-Projekten Machine Learning Interpretation Transformation Pattern Preprocessing Selection Preprocessed data n Databases Knowledge Transformed data Selected data 80% 20% 11

12 Arten des Maschinellen Lernens Überwachtes Lernen (Supervised Learning) Ziel: Vorhersage einer Klasse Trainigsdaten mit Features und einem Label (Target Feature) Label kann eine Klasse oder ein numerischer Wert (Regression) sein. Modell soll möglichst gut die tatsächliche Klasse vorhersagen. 57 M yes M no F no M yes F no F no F yes M na M yes M no F ni

13 Arten des Maschinellen Lernens Überwachtes Lernen (Supervised Learning) Unüberwachtes Lernen (Unsupervised Learning) Ziel: Ähnlichkeiten zwischen Daten ermitteln Trainigsdaten mit Features, jedoch keinem Label Modell soll möglichst gut Ähnlichkeiten identifizieren. 57 M yes M no F no M yes F no F no F yes M na M yes M no F ni

14 Arten des Maschinellen Lernens Überwachtes Lernen (Supervised Learning) Unüberwachtes Lernen (Unsupervised Learning) Bestärkendes Lernen (Reinforcement Learning) Ziel: Lerne Strategie, um erhaltene Belohnungen zu maximieren. Indirektes Feedback für die Qualität einer Folge von Aktionen Keine direkte Antwort, sondern nur besser oder schlechter Feedback erfolgt zeitlich verzögert. 14

15 RoboCup "By the year 2050, develop a team of fully autonomous humanoid robots that can win against the human world soccer champion team." (RoboCup Federation) Quelle: Prof. Dr. Dorer Year Location Teams 1997 Nagoya Paris Stockholm Melbourne Seattle Fukuoka Padua Lissabon Osaka Bremen Atlanta Suzhou Graz Singapur Istanbul Mexiko Eindhoven Joao Pessoa ca Hefei ca Leipzig ca Nagoya ca Montreal 15 ca 380

16 Team Magma: Kicken lernen Genetische Algorithmen Distanz Mittelwert Bestes Generationen Quelle: Prof. Dr. Dorer 16

17 Machine Learning Verfahren Klassifikation Regression Clustering Association Pattern Time Series 17

18 Formalisierung des überwachten Lernens am Beispiel Regression Lerne eine Funktion ff xx = yy die die Zielvariable vorhersagt. xx ff xx yy Funktion ff xx wird anhand von gelernten Parametern definiert. ff(xx) = ββ 0 + ββ 1 xx Für das Lernen werden vorliegende Trainingsdaten verwendet. 18

19 Beispiel Regression: Welche Funktion soll man wählen? Wähle ff xx so, dass eine Gütefunktion optimal ist: nn Residual Sum of Squares RRRRRR = ii=1 yy ii yy 2 ii 19

20 Underfitting und Overfitting am Beispiel Regression Obj Θ = LL Θ + Ω(Θ) 20

21 Aufteilung der Daten in eine Trainings-, Validierungs- und Testmenge Training set Model 1 Historic Data Partition Strategy Validation Set Train ff xx Y N = yy Model 2 Model n Predict Optimize Predict True New Data Test Set + Y N - + Final Model - Apply Model

22 Wähle Modell so, dass Fehler klein ist und das Modell gut generalisiert. Predictive Error Error on Test Data Error on Training Data Model Complexity Underfitting Ideal Range for Model Complexity Overfitting 22

23 Supervised Learning: Entscheidungsbäume zur Klassifikation x 1 > 0.5 x x 2 > x 1 > x 1 23

24 Gruppen sind klüger als Einzelne!? Gradient Boosted Decision Trees 24

25 Gradient Boosted Decision Trees The most frequently used tool by data science competition winners: 17 out of 29 winning solutions in kaggle in 2015 used XGBoost Present and Future of KDDCup. Ron Bekkerman (2015): Something dramatic happened in Machine Learning over the past couple of years. It is called XGBoost a package implementing Gradient Boosted Decision Trees that works wonders in data classification. Apparently, every winning team used XGBoost, mostly in ensembles with other classifiers. Most surprisingly, the winning teams report very minor improvements that ensembles bring over a single well-configured XGBoost. 25

26 Deep Learning Revolution A: Geburt, B nach 1 Monat, C nach 3, D nach 4 Monaten Lernen erfolgt durch Bildung neuer Verbindungen zwischen Nervenzellen Verstärkung und Abschwächung von Verbindungen 26

27 Frank Rosenblatt 1958: Neuronales Netzwerk mit einem Perzeptron. xx 1 ww 1 xx 2 ww 2 xx nn ww nn Neuron... Input Processing Output Neuron wird aktiviert, sobald ein Schwellwert erreicht wird. ff xx = +1 if ww ii xx ii bb ii=1 0 else nn 27

28 Maschinelles Lernen vor Deep Learning Input Feature Engineering Klassifizierer Ergebnis SVM, (flaches) neuronales Netz, HMM, (flaches) neuronales Netz, Spracherkennung,... Clustering, HMM, Themenerkennung, maschinelle Übersetzung,

29 Maschinelles Lernen mit Deep Learning Input Klassifizierer Ergebnis Deep Learning Network "Tacker" "Tacker" "Bedienungsanleitung für einen Tacker" nach 29

30 Deep Learning: Beispiel Google Input 10 Mio Bilder (200 x 200 pixel) Learning 1 Mio Gewichte cores 3 Tage and Building High-level Features Using Large Scale Unsupervised Learning, 2012, arxiv: v5 30

31 Convolutional Neural Networks Sweaty will Fußball spielen. Dazu muss er Objekte auf Bildern erkennen. Es ist egal, wo im Bild ein Gegenstand ist. Es soll möglichst egal sein, wie hell es ist. Es soll egal sein, wie der Ball aussieht. Quelle: Prof. Dr. Dorer 31

32 Convolutional Neural Networks Input ist 3D Unser Beispiel: 96x96 Pixel, 3 Kanäle (Red, Green, Blue) Output ist Feature-Vektor (Ball, X-Linie, Roboter, L-Linie, Obstacle) Ball Pfosten Obstacle Input Netzwerk 8 L X T Punkt Fuß Quelle: Prof. Dr. Dorer 32

33 Warum funktioniert Deep Learnig seit einigen Jahren? 34

34 Gliederung Was versteht man unter Machine Learning? Wo wird Machine Learning eingesetzt? What s next? 35

35 Ability to Automate Decisions with Machine Learning Machine Learning Automated Stop fraudulent transaction Adjust production process Time intensive Tactical Define pricing policies Define underwriting policy Operational Make a cross-sell offer Approve credit 1 Year 1 Month 1 Week 1 Day 1 Hour 1 Minute 1 Second Single Decision Make a specific hire Define price for product Short duration Strategic Create a new product line Acquire a company Manual In Anlehnung an Ingo Mierswa 36

36 Machine Learnung durchdringt (fast) alle Geschäftsfelder und unseren Alltag 37

37 Data Insights Competitive advantages ecommerce // 38 Source: Wikiedia (Shinjuku, Tokyo)

38 Uber Trip Clustering 39

39 Predictive Maintenance Use sensor data and log files to predict breakdwons. 40

40 Team Taco Audi Autonomous Driving Cup Wettbewerb für Universitäten und Hochschulen 2015, 2016 aus Deutschland 2017 aus dem deutschsprachigen Raum 2018 aus Europa Alle Teams bestehen aus 5 Mitgliedern erhalten identische Q5 Modelle haben 6 Monate Zeit veröffentlichen ihre Software nach dem Wettbewerb Hochschule Offenburg bisher jedes Mal dabei 2. Platz

41 Herausforderung Objekterkennung - Fußgänger Quelle: Prof. Dr. Dorer 42

42 43

43 Medizin Woebot Labs Inc. 44

44 Quelle: Trailer 45

45 Association Analysis und Recommender Systems 46

46 Gliederung Was versteht man unter Machine Learning? Wo wird Machine Learning eingesetzt? What s next? 47

47 Generative adversarial networks (GANs) 48

48 Generative adversarial networks (GANs) 49

49 Generierung von synthetischen Trainingsdaten Source: and 50

50 Aktuelle Themen und Herausforderungen Forschung End-to-End- Learning AutoML Nachvollziehbarkeit Unternehmen Datenverfügbarkeit und Datenqualität Fokus: Zielsetzung, Rollen, Kommunikation Lab Factory Automatisierung Talente Gesellschaft Diskriminierung durch ML Kontrolle von Algorithmen Erwartungshaltung Datenschutz 51

51 Zielsetzung und Roadmap klären Datenkomplexität Niedrig Hoch #2 Spare Parts #1.1 Predictive Maintenance for Critical Parts #7 Production Quality #1 Predictive Maintenance for Assembly #6 Prizing Niedrig Analytische Komplexität Hoch 52

52 Diskriminierung durch Algorithmen 53

53 Zusammenfassung KI Machine Learning {Deep Learning, Gradient Boosting Trees } Machine Learning is the field of study that gives the computer the ability to learn without being explicitly programmed. Supervised, unsupervised und Reinforcement Learning Underfitting Overfitting Wisdowm of Crowds tabellarische Daten (ERP, CRM ) GBM, SVM Images, Video, Audio Deep Learning Lab Factory Kontrolle von Verfahren 54

54 Prof. Dr. Stephan Trahasch Hochschule Offenburg Badstraße 24 D Offenburg Phone: Forschungsgruppe Analytics & Data Science Projekt Menschen lernen Maschinelles Lernen 55