IHRE DATEN SIND GOLD WERT!

Transkript

1 IHRE DATEN SIND GOLD WERT! DATENQUALITÄT ALS GRUNDLAGE FÜR AUSSAGEKRÄFTIGE RESULTATE EPA LEP ANWENDERKONFERENZ / 19. NOVEMBER 2015 / JÜRG DIETRICH

2 Statistik Predictive Analytics Data Mining Big Data Data Science Statistik dient zur Analyse von bekannten Hypothesen wird auf strukturierten Daten angewandt Data Science dient zur Erforschung von unbekannten Hypothesen sucht die Nadel im Heuhaufen

3 Data Science ist polyvalent Am Beispiel meiner bisherigen beruflichen Laufbahn: / Institut für Datenanalyse und Prozessdesign ZHAW Analyse von Umweltdaten / tecdata AG Buhlergroup Analyse von Industriellen Prozessen 2014 heute / AXA-Winterthur Versicherungen Analyse von Kundenbedürfnissen

4 Was kann Data Science? (am Beispiel der Industrie) Data Science extrahiert wertvolles Wissen und Optimierungspotential aus Daten der Industrie! Quantitative Untersuchung von vorhandenen Hypothesen Systematische Aufdeckung von bisher unbekannten Zusammenhängen Entdeckung von Mustern und Trends in grossen Datensammlungen Identifikation von optimierungs-relevanten Prozessgrössen Identifikation von optimalen Prozess- und Steuerungszuständen Das bringt Nutzen! Wissen Effizienz Robuste Prozesse Stabile und hohe Qualität Reduktion von Kosten

5 Daten sind die Rohstoffe von Data Science Produktionsdaten Materialdaten Labordaten Umgebungsdaten Prozessüberwachungsdaten konsolidierte Datenbasis schlechte Rohstoffe sind auch mit den besten Methoden und Köpfen nicht zu korrigieren!

6 Datenherkunft Quelle 1: Laborversuch Vorteile: Versuchsplan kann umgesetzt werden Gezielte Szenarien und Bedingungen können simuliert werden Hohe Variabilität kann erzeugt werden Systematische und lückenlose Datenerfassung Nachteile: Zeitaufwändig und teuer Teilweise sind reale Bedingungen (Rohstoffe, etc.) nicht zu simulieren Laborbedingungen weichen von der Realität ab

7 Datenherkunft Quelle 2: realer laufender Prozess Vorteile: Reale Bedingungen Keine zusätzlichen Kosten Nachteile: Wenig Variabilität wegen konstanter Prozessführung Lückenhafte Daten Mögliche substanzielle Änderungen am Prozess

8 Anspruch an die Daten 1. relevant Relevante Parameter müssen gemessen werden 2. repräsentativ Die Daten müssen repräsentativ für den Prozess sein 3. rückverfolgbar Die Qualitätsdaten müssen mit allen anderen Prozessschritten verknüpfbar sein 4. digital Die Daten müssen maschinenlesbar zur Verfügung stehen 5. vollständig Die Daten sollten möglichst wenige Lücken aufweisen 6. korrekt Die Daten sollten fehlerfrei sein Ausreisser sind dabei kein Problem Systematische Fehler dagegen schon

9 Vorverarbeitung der Daten Datenqualität beginnt bei der Datenerfassung, endet aber nicht dort Die Datenvorverarbeitung hat die genau gleiche Wichtigkeit wie die Erfassung Data Preprocessing Collect Clean Link Transform die Aufbereitung und Verknüpfung von Datenquellen gehören zum Handwerk eines Data Scientist, genauso wie die Analyse

10 Datenzuordnung Prozessdaten können oftmals nicht eindeutig den Qualitätsdaten zugeordnet werden Zeitverzug Kennzahl Kennzahl Kennzahl Kennzahl Eine Berücksichtigung von Zeitverzügen, wie auch geeignete statistische Kennzahlen erhöhen den Informationsgehalt der Analyse-Daten signifikant

11 Arbeitsaufwand Datenqualität vs. Analysen Datenqualität Analysen Wichtigkeit und Potential Die Datenaufbereitung beansprucht 70% der Ressourcen eines Datenanalyse-Projekts.

12 Herzlichen Dank! Jürg Dietrich CH 9000 St.Gallen