Predictive Analytics im Public Sector

Transkript

1 Predictive Analytics im Public Sector DI Dr. Renate Pazourek Bundesrechenzentrum GmbH Digital Advisory - Artificial Intelligence Seite 1

2 Künstliche Intelligenz Was ist darunter zu verstehen? Katze? Betrug? Ja/nein (0-100%) Input Antworten Seite 2 R2-D2 and C3PO ( Data- Mining Machine- Learning

3 Künstliche Intelligenz Starke vs. schwache KI Starke KI > Ziel ist die gleichen intellektuellen Fertigkeiten von Menschen zu erlangen oder zu übertreffen > Handelt aus eigenem Antrieb und flexibel > Das was wir aus Science Fiction kennen Bis jetzt nicht realisiert Schwache KI > Konkrete Anwendungsprobleme > Simulation intelligenten Verhaltens mit Mitteln der Mathematik und der Informatik > System ist in der Lage sich selbst zu optimieren > Lernt aus vorhandenen Daten, aber kein tieferes Verständnis für die Problemlösung Predictive Analytics KI die bereits eingesetzt wird Seite 3

4 Künstliche Intelligenz Arten der Analytik Input Strukturierte Daten Unstrukturierte Daten Machine Learning Entscheidungsbäume Regressionen Predictive Analytics Modeling Knowledge Discovery Machine Learning Bilderkennung Neuronale Netze Vorhersagen Erkenntnisse Seite 4 Visualisierung Monitoring Deskriptive Analysen

5 Vorgehensmodell 10. Evaluierung der Ergebnisse 1. Übersetzung der Problemstellung 2. Datenextraktion 9. Einsatz der Data-Mining Experte Fachexperte 3. Datenexploration 8. Beurteilung der Datenexperte 4. Datenbereinigung 7. Modellierung 5. Datenaufbereitung 6. Modelldatenerstellung

6 Startphase 1. Übersetzung der Problemstellung 10. Beurteilung der Ergebnisse 2. Datenextraktion 1. Übersetzung der Problemstellung 9. Einsatz der 3. Datenexploration Was ist das Ziel? > Zielvorgaben > Hintergründe der Anforderung > Was soll fachlich erreicht werden 8. Beurteilung der 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung 4. Datenbereinigung Detaillierte Anforderungen > Welche Daten sind relevant? > Anforderungen an Modell Sollen Ausreißer gefunden werden oder der generelle Trend Projektorganisation und Projektplanung Klare Rollen und Zusammenarbeit aller Beteiligten + regelmäßige Meetings Datenexpertise Data- Scientist Fachexpertise

7 Datengrundlage 10. Beurteilung der Ergebnisse 1. Übersetzung der Problemstellung 2. Datenextraktion 2. Datenextraktion 3. Datenexploration 9. Einsatz der 3. Datenexploration Detaillierte Anforderungen > Welche Daten sind relevant? > Dürfen die Daten verwendet werden (DSVGO)? > Wie lange dauert es die Daten zu bekommen? Datenexploration > Enthalten die Daten die gewünschten Informationen? > Datenqualität (Spalten vertauscht, Anzahl Missings, )? > Sind historische Daten zum Lernen vorhanden? Wurden die Daten nachträglich überschrieben? 8. Beurteilung der 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung 4. Datenbereinigung ID Account_nr Account_2 Invoice amount , , ,01 264, Kontostand oder doch Kontonummer? Brutto oder netto?

8 Datenaufbereitung 1. Übersetzung der Problemstellung 10. Beurteilung der Ergebnisse 2. Datenextraktion 4. Datenbereinigung 5. Datenaufbereitung 9. Einsatz der 3. Datenexploration Datenbereinigung und -aufbereitung > Eindeutige fachliche Keys Ev. Entity Matching notwendig > Verschneidungen von Tabellen (Achtung, dürfen Daten gemeinsam verwendet werden DSGVO!) > Aggregation auf relevante Informationen > Fachliche Überprüfung! 8. Beurteilung der 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung 4. Datenbereinigung Metadatenmanagement > Wenn vorhanden, Informationen von Quelltabellen übernehmen, ansonsten Metadaten selbst erheben Arbeit zahlt sich aus!

9 Predictive Analytics Begriffsbestimmungen Predictive Analytics > Teildisziplin von Advanced Analytics > Ermöglicht die Erstellung von Wahrscheinlichkeitsaussagen über zukünftige Ereignisse > Verwendet Methoden aus mehreren Disziplinen: Artificial Intelligence, Statistik, Data Mining, Machine Learning Supervised Learning > Ein Datensatz mit richtigen Antworten liegt vor Unsupervised Learning > Der Datensatz beinhaltet keine Antworten auf unsere Fragen uy/32-reasons-a-data-science-projectwill-fail-4d4c169e7497 > Der Algorithmus erstellt ein Modell, das für neue Datensätze Prognosen erstellt > Der Algorithmus versucht Muster und Strukturen in Daten zu erkennen Seite 9

10 Supervised Learning: Wiener Liegenschaften Problembeschreibung Ziel: Vorhersage des Preis pro m² für eine Liegenschaft. Problemstellung: Liegenschaftstransaktionen Wiens Beispiele für Inputvariablen: Koordinaten Transaktionsdatum Baujahr Bezirk Nutzen: Preis einer Liegenschaft vorhersagen, wo dieser noch unbekannt ist. Seite 10

11 Supervised Learning: Wiener Liegenschaften Erklärung von Modellierungsvorgehen Trainings- & Validierungsdaten (mit Zielvariable) Daten über Wiener Liegenschaften Zufällige Teilung der Daten Modellbildung Anwendung auf neue Daten (Scoring) Testdaten (mit Zielvariable) Seite 11

12 Supervised Learning: Wiener Liegenschaften Regressionsbeispiel Inzersdorf Stephansplatz Floridsdorf Ziel: Vorhersage des Preises pro m² aufgrund des Breitengrades einer Liegenschaft. Inputvariable: Breitengrad der Liegenschaft Zielvariable: Preis pro m² der Liegenschaft Seite 12

13 Supervised Learning: Wiener Liegenschaften Regressionsbeispiel Inzersdorf Stephansplatz Floridsdorf Durchschnittliche Abweichung Training Test Ziel: Vorhersage des Preises pro m² aufgrund des Breitengrades einer Liegenschaft. Inputvariable: Breitengrad der Liegenschaft Zielvariable: Preis pro m² der Liegenschaft Seite 13

14 Supervised Learning: Wiener Liegenschaften Regressionsbeispiel Inzersdorf Stephansplatz Floridsdorf Durchschnittliche Abweichung Training Test Ziel: Vorhersage des Preises pro m² aufgrund des Breitengrades einer Liegenschaft. Inputvariable: Breitengrad der Liegenschaft Zielvariable: Preis pro m² der Liegenschaft Seite 14

15 Supervised Learning: Wiener Liegenschaften Regressionsbeispiel Inzersdorf Stephansplatz Floridsdorf Durchschnittliche Abweichung Training Test Ziel: Vorhersage des Preises pro m² aufgrund des Breitengrades einer Liegenschaft. Inputvariable: Breitengrad der Liegenschaft Zielvariable: Preis pro m² der Liegenschaft Seite 15

16 Supervised Learning: Wiener Liegenschaften Regressionsbeispiel Inzersdorf Stephansplatz Floridsdorf Durchschnittliche Abweichung Training Test Underfitting Overfitting Ziel: Vorhersage des Preises pro m² aufgrund des Breitengrades einer Liegenschaft. Inputvariable: Breitengrad der Liegenschaft Zielvariable: Preis pro m² der Liegenschaft Seite 16

17 Modellierung 1. Übersetzung der Problemstellung 10. Beurteilung der Ergebnisse 2. Datenextraktion 6. Modelldatenerstellung 7. Modellierung 9. Einsatz der 3. Datenexploration Erstellung Modelldatensatz > Identifikation relevanter Variablen > Qualitätssicherung (Inkonsistente Daten vs. Datenqualitätsprobleme) 8. Beurteilung der 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung 4. Datenbereinigung Einteilung der Datensätze > Trainings- und Testdaten > Scoringmenge Modellierung > Manchmal einfache ausreichend und leichter zu verstehen (Entscheidungsbaum, Regression, ) > Vergleich unterschiedlicher (Random Forest, Neuronales Netz) > Manchmal auch Mischung aus Modell und Expertenregel sinnvoll Use Case: Fallauswahl für Prüfungen im BMF* Heterogenität der Daten (Inhalt) > Hunderttausende Betriebe > 86 Industriezweige > Sowohl Einpersonenbetriebe als auch multinationale Konzerne Vergleichbarkeit > Bildung homogener Gruppen und Erstellung von n je Gruppe > Herstellung einer Vergleichbarkeit mittels Anpassung der Daten je Industriesparte und Unternehmensgröße *Zusammenarbeit mit PACC im BMF

18 Verwendung der 1. Übersetzung der Problemstellung 10. Beurteilung der Ergebnisse 2. Datenextraktion 8. Beurteilung der 9. Einsatz der 9. Einsatz der 3. Datenexploration Vergleich von n > Statistischer Vergleich > Welche Variablen sind relevant Ist das fachlich nachvollziehbar? > Manchmal kein Modell möglich oder notwendig Regeln aus Expertenwissen als Ergänzung Gefahr von Fehlentscheidungen > Falsche Annahmen bei der Modellierung Z.B. Einsatz von Normalverteilungen für heavy-tailed distribution (vergl. Mietsätze, Finanzdaten) > Daten nicht vollständig > Interpretation des Ergebnisses oft individuell notwendig 8. Beurteilung der 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung 4. Datenbereinigung Personalmanagement: Bewerbervorauswahl* Algorithmus basierend auf Ausbildung, Berufserfahrung, Wohnort, Persönlichkeitstests Manchmal nicht offensichtlich diskriminierend Korrelation und Kausalität Personen mit langem Anfahrtsweg kündigen statistisch früher diskriminiert ärmere Bevölkerung Verstärkung von Vorurteilen Wenn nicht aus unabhängigen Daten gelernt wird, sondern aus Daten von bisherigem Auswahlprozess *Konrad Lischka, Anita Klingel: Wenn Maschinen Menschen bewerten Arbeitspapier, Bertelsmann Stiftung, 2017

19 Evaluierung 1. Übersetzung der Problemstellung 10. Beurteilung der Ergebnisse 2. Datenextraktion 10. Evaluierung der Ergebnisse 9. Einsatz der 3. Datenexploration Unabhängige und fortlaufende Evaluierung (Monitoring) 8. Beurteilung der 4. Datenbereinigung > Regelmäßige Evaluierung (am Besten nicht vom Entwicklerteam) > Unabhängige Evaluierung um frühzeitig Probleme zu erkennen > Evaluierung für verschiedene Gruppen 7. Modellierung 6. Modelldatenerstellung 5. Datenaufbereitung Evaluierungsergebnisse als Ausgangsbasis für Weiterentwicklungen!

20 Predictive Analytics Beispiele Bilderkennung > Unstrukturierte Daten > Z.B. Neuronales Netz > Viele, kategorisierte Bilder notwendig zum Trainieren Textmining > Unstrukturierte Daten > Z.B. sentiment analysis, topic modeling Betrugsbekämpfung > Meist strukturierte Daten > Z.B. Regression, Random Forest, Expertenregeln > Viele Lernfälle verbessern das Modell Pensionsprognosen > Strukturierte Daten > Simulationsmodell > Verhalten basiert auf Annahmen für die Zukunft Seite 20

21 Predictive Analytics Chancen und Risiken Effizienz > Analyse großer Datenmengen möglich > Schnelle Berechnung von z.b. Risikoindikatoren > Unterstützung von Entscheidungsträgern Fehlerhafte Datenbasis > Modell lernt auch aus Fehlern > Unvollständige Daten können das Ergebnis verzerren Analyse komplexer Datenmengen > Komplizierte Zusammenhänge, die manuell nicht erfasst werden können > Selbstlernende erkennen neue Muster Schlechte Modellwahl > Modell passt nicht zu Fragestellung > Modell ist nicht nachvollziehbar (woher kommt hohes Risiko?) Objektivität > Gleicher Algorithmus für alle Fälle > Nicht personen- und tagesformabhängig Verstärkende Feedbackschleife > Z.B. Modell lernt aus diskriminierenden Daten > Durch flächendeckende Anwendung und erneutem Lernen, Verstärkung der Diskriminierung Seite 21

22 Anwendungsfelder in der öffentlichen Verwaltung Umwelt Vermeidung von Steuerbetrug Anti-Terror IT Cyberattacken Pensionsprognosen Effizienzsteigerung durch Optimierung Medizinische Diagnostik Katastrophenprävention location intelligence Seite 22

23 Herzlichen Dank für Ihre Aufmerksamkeit. Renate Pazourek