Predictive Analytics. Warum datenbasierte Vorhersagen kein Hexenwerk sind. ASQF Automation Day Dr. Stefano Signoriello

Transkript

1 Predictive Analytics Warum datenbasierte Vorhersagen kein Hexenwerk sind Dr. Stefano Signoriello Seite 1

2 Inhalte des Vortrags Analytics Von Daten zu Wissen Von Nachsicht über Einsicht zu Voraussicht Descriptive, Diagnostic, Predictive & Prescriptive Analytics Machine Learning Überblick Supervised, Unsupervised & Reinforcement Learning Lernprozess als Optimierungsproblem Timeline der künstlichen Intelligenz Data Science Data Science Venn-Diagramm nach Conway Warum datenbasierte Vorhersagen kein Hexenwerk sind It s Science! Vorhersagen mithilfe von Wissenschaft, Beispiel: Positionsvorhersage mittels GPS Seite 2

3 Analytics Von Daten zu Wissen Seite 3

4 Analytics Von Nachsicht über Einsicht zu Voraussicht Abb. 1 Abb. 2 Seite 4

5 Analytics Descriptive Analytics Was ist geschehen? Ziele von Descriptive Analytics: Sammeln, Aufbereiten und Zusammenfassen von historischen Daten Statistische Berechnungen und Beschreibungen dieser Vergangenheitsdaten Erstellen von Zusammenfassungen, Visualisierungen und Berichten für ein breites Publikum Grundlage für weitere Analytics Abb. 3 Seite 5

6 Analytics Diagnostic Analytics Warum ist es geschehen? Ziele von Diagnostic Analytics: Zusammenhänge zwischen Ursache und Wirkung sollen in historischen Daten aufgedeckt werden Hierzu werden Korrelationen zwischen verschiedenen Variablen berechnet (aber Vorsicht: Korrelation Kausalität) Drill-Downs werden genutzt um den Einfluss verschiedener Variablen auf einander zu untersuchen (Problem: confounding / Störfaktoren) Abb. 5 Abb. 4 Seite 6

7 Analytics Predictive Analytics Was wird geschehen? Ziele von Predictive Analytics: mithilfe von Machine Learning sollen zukünftige Ereignisse / Daten basierend auf historischen Daten vorhergesagt werden Hierzu werden u.a. statistische Modelle und / oder neuronale Netze erstellt, trainiert und evaluiert Erfolgsmetriken werden zum Vergleich und zur Auswahl geeigneter Modelle herangezogen Abb. 6 Seite 7

8 Analytics Prescriptive Analytics Wie lassen wir es geschehen? Ziele von Prescriptive Analytics: Vorhersagekraft vorangegangener Predictive Analytics wird genutzt Methoden der Simulation werden verwendet, um optimale Handlungen für konkrete Situationen zu identifizieren dem Entscheider werden diese Handlungen empfohlen oder sie werden automatisch ausgeführt Abb. 7 Seite 8

9 Machine Learning Seite 9

10 Machine Learning Überblick Machine Learning liegt in der Schnittmenge von Mathematik: unser Wissen über theoretisch Mögliches, z.b. in Bezug auf Statistik, lineare Algebra, Analysis und Optimierung, Algorithmik Abb. 8 Informatik und Technik: unser Wissen über praktisch Umsetzbares, z.b. in Bezug auf die Umsetzung und Laufzeit von Algorithmen, Entwicklung und Betrieb von Computern Abb. 9 Seite 10

11 Machine Learning Überblick Machine Learning ist in 3 Gebiete untergliedert Beaufsichtigtes Lernen: Lernen von Vorhersagen mit gegebenen Input-Output-Paaren Unbeaufsichtigtes Lernen: Komprimierung und Erkennung von Strukturen Bestärkendes Lernen: Interaktion eines Agenten mit der Umgebung durch ein Belohnungssystem Abb. 10 Seite 11

12 Machine Learning Supervised Learning / Beaufsichtigtes Lernen Klassifikation Zu welcher bekannten Klasse K (Label) gehört ein Dateninput x? Training & Evaluation von Entscheidungsrändern Linear Classifiers, Logistic Classifiers, Support Vector Machines, Decision Trees, Boosted Trees, Random Forests, Neural Networks, Nearest Neighbor Regression Abb. 12 Abb. 11 Welchen numerischen Wert hat ein Datenoutput y gegeben Dateninput x? Training & Evaluation von funktionalen Zusammenhängen Linear & Polynomial Regression, Logistic Regression, Regularization, Regression Trees, Random Forests, Neural Networks Seite 12

13 Machine Learning Unsupervised Learning / Unbeaufsichtigtes Lernen Clustering In welche und wie viele Cluster / Haufen können die Daten aufgeteilt werden? Unbeaufsichtigt, da keine Klassen / Labels bekannt sind K-means Clustering, Mean-Shift Clustering, DBSCAN, Gaussian Mixture Models, Agglomerative Hierarchical Clustering Abb. 14 Dimensionsreduktion In welche (orthogonalen) Richtungen haben die Daten die größte Streuung? Projektion auf diese Richtungen zur Komprimierung für Visualisierung und Feature Extraction Principal Component Analysis, Autoencoders Abb. 13 Seite 13

14 Machine Learning Reinforcement Learning / Bestärkendes Lernen Lernverhalten in der Natur soll nachgebildet werden Im Schritt t befindet sich der Agent im Zustand s t einer Umgebungsmenge S führt eine Aktion a t von möglichen Aktionen A(s t ) gemäß einer Policy / Regel aus Agent gelangt damit zu einem neuen Zustand s t+1 Abb. 15 erhält dafür eine gegebene positive oder negative Belohnung r t+1 Belohnung r t+1 wird anhand einer Art von zu erwartender Gesamtbelohnung bewertet Ziel des Agenten ist, diese Gesamtbelohnung zu maximieren und dabei seine Policy entsprechend anzupassen, d.h. zu lernen Seite 14

15 Machine Learning Lernprozess als Optimierungsproblem bestimmte Aufgabe zu lernen = Leistung bei der Ausführung zu erhöhen Benötigt Maß zur Güte der Ausführung / Verlust-, Kostenfunktion, Score Algorithmisch wird Lernen durch ein Optimierungsproblem behandelt / Minimieren einer Verlust-, Kostenfunktion oder Maximieren des Scores Modelle werden auf einem Teil der Daten (Trainingsdaten) trainiert bzw. angelernt, d.h., Modellparameter werden mittels Optimierung bestimmt Die Güte verschiedener Modelle wird auf einem separaten Teil der Daten (Testdaten) validiert / Simulation von unbekannten Daten Durch Vergleich der Güte / Erfolgsmetriken verschiedener Modelle wird das optimale Modell ausgewählt Seite 15

16 Machine Learning Lernprozess als Optimierungsproblem Am Beispiel der polynomialen Regression: Zu gegebenen Dateninputs x i sollen Datenoutputs y i durch Polynomfunktionen f approximiert werden Strukturparameter / Koeffizienten für Polynome f werden auf Trainingsdaten optimiert, so dass die Verlustfunktion i y i f x i 2 (quadratischer Fehler) minimal ist Abb. 16 der optimale Grad der Polynomfunktion f wird durch Validierung / Verlust auf Testdaten ermittelt Abb. 17 Seite 16

17 Machine Learning Timeline der künstlichen Intelligenz Abb. 18 Abb. 19 Viele der heute im Bereich Machine Learning eingesetzten Methoden beruhen auf alten und guten mathematischen Ideen, z.b. lineare Algebra, Analysis, Statistik und Optimierung Umsetzbarkeit, Bedeutsamkeit und Rentabilität steigen mit technologischem Fortschritt Moore s Law ist eine lahme Ente (spiegel.de) zwischen 2012 und 2017 ist die Rechenleistung im Bereich Deep Learning um den Faktor gestiegen, d.h., eine Verdoppelung alle 3,5 Monate (openai.com) Seite 17

18 Data Science Warum datenbasierte Vorhersagen kein Hexenwerk sind It s Science! Seite 18

19 Data Science Venn-Diagramm nach Conway Abb. 20 Seite 19

20 Warum datenbasierte Vorhersagen kein Hexenwerk sind It s science! Data Science = fundierte Anwendung von Machine Learning auf Datenproblem einer Domäne, um spezifische Probleme zu lösen Gedanke an lernende / denkende Computer mag bei Laien zur Vorstellung eines Hexenwerkes führen Prozess des Lernens = eventuell schwieriges Optimierungsproblem, das durch technologischen Fortschritt praktisch lösbar wurde bzw. wird It s Science! Es braucht mathematische Sorgfalt und eine wissenschaftliche Arbeitsweise, andernfalls: Danger Zone! wir lernen seit hunderten von Jahren von Daten; nur heute nutzen wir dazu mehr Rechenleistung Abb. 21 Abb. 22 Seite 20

21 Vorhersagen mithilfe von Wissenschaft Beispiel: Positionsvorhersage mittels GPS Vorhersagen von Positionen auf der Erde mittels GPS verstehen wenige Menschen detailliert; u.a. benötigt man Mathematische und physikalische Kenntnisse zu: Keplersche Gesetze, Sphärische Trigonometrie, Lineare Algebra, Relativitätstheorie, Quantenmechanik diverse technische Kenntnisse zum Bau und Betrieb von Satelliten, Senden und Empfangen von elektromagnetischer Strahlung etc. Äußere Faktoren (z.b. multipathing) führen zu ungenauen Positionsvorhersagen, die heute z.b. von Uber mithilfe von Machine Learning verbessert werden Wird GPS nicht als Hexenwerk betrachtet, nur weil scheinbar kein lernendes Programm / Optimierung eingesetzt wurde? Oder aufgrund von Erfahrungen? Abb. 23 Seite 21

22 Quellen zu den verwendeten Abbildungen Abb. 1: Abb. 2: Abb. 3: Abb. 4: Abb. 5: Abb. 6: Abb. 7: Abb. 8: Abb. 9: Abb. 10: Abb. 11: Abb. 12: Abb. 13: Abb. 14: Abb. 15: Abb. 16: Abb. 17: Abb. 18: Abb. 19: Abb. 20: Abb. 21: Abb. 22: /t_preview/b_rgb:191919,c_limit,f_jpg,h_630,q_90,w_630/v /production/designs/ _0.jpg Abb. 23: Seite 22

23 Kontakt Vielen Dank für Ihre Aufmerksamkeit! Dr. Stefano Signoriello Telefon: +49 (0) 9131 / Telefax: +49 (0) 9131 / Am Bauhof 9 D Bubenreuth Seite 23

24