Bring your own Schufa!

Transkript

1 Bring your own Schufa!

2 Jan Schweda Senior Softwareengineer Web &

3 Ziele des Vortrags Die Möglichkeiten von maschinellem Lernen aufzeigen. Azure Machine Learning als Dienst vorstellen. Die Schritte zum Erstellen und Veröffentlichen von Experimenten zeigen. Data Science oder BI-Experten erschaffen. Diskussionen über Datenschutz und Ethik führen.

4 Agenda Was ist Machine Learning? Was brauche ich, um mit ML zu beginnen? Wie erstelle ich ein Experiment? Und jetzt?

5 Was ist Machine Learning?

6 Definition Machine Learning The goal of machine learning is to program computers to use example data or past experience to solve a given problem. Introduction to Machine Learning, 3rd Edition, MIT Press

7 Wofür brauche ich ML? Prädiktive Analysen Überwachtes Lernen (supervised learning) Erlernen einer Funktion aus gegebenen Daten (incl. der Ergebnisse) Klassifizierung und Gruppierung Nicht Überwachtes Lernen (unsupervised learning) Clustering-Verfahren Die Daten werden in mehrere Kategorien eingeteilt Kategorien werden selbständig ermittelt

8 Was ist Azure ML? Azure ML Verwalteter Cloud Service Keine zusätzliche Software notwendig Keine eigene Hardware notwendig ML Studio IDE für Machine Learning Experimente als Datenflussdiagramme Drag und Drop Editor für Experimente R und Python Unterstützung

9 Was brauche ich, um mit ML zu beginnen? Azure-Grundlagen

10 Azure-Portal manage.windowsazure.net

11 Azure Storage Account

12 Machine Learning Workspace

13 Wie erstelle ich ein Experiment?

14 Daten für ein Experiment Zeile: Ein Datensatz Spalte: Eine Eigenschaft des Datensatzes Das Model wird aus vorhandenen Daten erstellt Ein gutes Model braucht Erfahrung und Ausdauer

15 Unsere Daten Adult Census Income Binary Classification dataset Ca. 32K Datensätze age workclass fnlwgt education Self-empnot-inc Marriedciv-spouse Bachelors Private HS-grad 9 Self-empnot-inc Marriedciv-spouse HS-grad 9 educationnum maritalstatus occupation relationship race sex capital-loss capitalgain hours-perweek nativecountry Nevermarried 39 State-gov Bachelors 13 Admclerical Not-infamily United- White Male States Execmanagerial United- Husband White Male States Handlerscleaners Not-infamily United- White Male States Marriedciv-spouse 53 Private th 7 Handlerscleaners United- Husband Black Male States income <=50K <=50K <=50K <=50K Marriedciv-spouse 28 Private Bachelors 13 Profspecialty Wife Black Female <=50K Execmanagerial United- Husband White Male States >50K Nevermarried 31 Private Masters 14 Profspecialty Not-infamily United- White Female States >50K

16 Daten importieren Ein neues oder vorgegebenes Dataset hinzufügen. Ein neues Experiment starten. Die Daten per DnD hinzufügen. Daten im ML Studio visualisieren.

17 Daten aufbereiten Daten müssen aufbereitet werden, bevor sie analysiert werden. Nicht relevante Spalten entfernen Auf fehlende Werte reagieren age workclass fnlwgt education Self-empnot-inc Marriedciv-spouse Bachelors Private HS-grad 9 Self-empnot-inc Marriedciv-spouse HS-grad 9 educationnum maritalstatus occupation relationship race sex capital-loss capitalgain hours-perweek nativecountry Nevermarried 39 State-gov Bachelors 13 Admclerical Not-infamily United- White Male States Execmanagerial United- Husband White Male States Handlerscleaners Not-infamily United- White Male States Marriedciv-spouse 53 Private th 7 Handlerscleaners United- Husband Black Male States income <=50K <=50K <=50K <=50K Marriedciv-spouse 28 Private Bachelors 13 Profspecialty Wife Black Female <=50K Execmanagerial United- Husband White Male States >50K Nevermarried 31 Private Masters 14 Profspecialty Not-infamily United- White Female States >50K

18 Das Model vorbereiten Ein Model muss trainiert und validiert werden. Die Daten werden dafür auf zwei Töpfe verteilt. Ein Algorithmus zum Trainieren wird ausgewählt.

19 Algorithmen Entscheidungsbäume Künstliche neuronale Netze

20 Das Model trainieren und auswerten Das trainierte Model muss mit Daten bewertet werden. Die Ergebnisse der Bewertung: Accuracy: richtig klassifizierte Fälle Recall: richtig positiv klassifizierte Fälle Precision: Rate der richtig positiv klassifizierte Fälle F-Score: kombination aus Accuracy, Recall und Precision AUC: Fläche unter der Kurve

21 Und jetzt?

22 Ein Experiment als Dienst veröffentlichen

23 Was kostet ML?

24 Fazit Der Start mit ML ist sehr einfach. Die Kosten für ML sind überschaubar.

25 Vielen Dank