DB Hackday Datenqualität von ausgewählten Open Data Quellen und Möglichkeiten zur Verbesserung

Transkript

1 Hier bitte vollflächig Titelbild einfügen ODER Diesen Text und Begrenzungslinie unten mit einem weissen Kasten überdecken. Titel: Zweite Zeile Orange+ fett formatieren! Bild immer bis zu den Kanten führen mm1 Consulting & Management, Stuttgart/Aichwald DB Hackday Datenqualität von ausgewählten Open Data Quellen und Möglichkeiten zur Verbesserung v0.2 Dr. Michael Eble

2 Agenda A B Datenqualität von ausgewählten Open Data Quellen Überblick zum aktuellen Stand Möglichkeiten zur Verbesserung der Datenqualität Diskussionsgrundlage für Prozess und Tooling 2

3 Überblick zum Status bzw. zum Verbessern der Qualität von ausgewählten Open Data Quellen der Deutschen Bahn Erste Einschätzungen zum aktuellen Stand bzw. zum Verbessern der Datenqualität Vollständigkeit (Completeness) Richtigkeit (Accuracy) Gültigkeit (Validity) Genauigkeit (Precision) Zeitbezug (Timeliness) Einzigartigkeit (Uniqueness) Verlässlichkeit (Reliability) 1 Aufzugdaten Datensätze 2 Bahnsteigdaten Datensätze 3 Betriebsstellen Datensätze 4 Haltestellen Datensätze Ca. 29% der Werte fehlen Ca. 37% der Werte fehlen Türen sind bei 15 Aufzügen höher als die Kabinen Inkonsistente Firmennamen bei Herstellern In XLSX: Falsche Datentypen bei 17 Attributen Keine histor. Daten Wirtschaftseinheit vs. Bahnhofsnummer vs. Bf. Nr. für Verbindung mit anderen Datenquellen 5 Reisezentren 459 Datensätze Bisher nicht ausgewertet 6 Stationsdaten Datensätze Bisher nicht ausgewertet Basis: CSV bzw. XLSX von data.deutschebahn.com; Stand: Mai 2016; Data Quality Assessment in Anlehnung an Even et al. (2005) und Piprani et al. (2008), soweit mit gegebenen Ressourcen machbar Kriterium voll erfüllt Kriterium teilw. erfüllt Kriterium erst eingeschr. erfüllt 3

4 Möglichkeiten zur Verbesserung der Datenqualität: Diskussionsgrundlage für Prozess und Tooling DB Open Data Packages DB Open Data Repository Daten Metadaten + + Code A B Extensions Commits Tracking dieser beiden Arten, um Änderungen an Struktur und Inhalten transparent und nutzbar zu machen Beispiel github.com/datasets Zu klären? Anbindung des Repositorys an die SAP-Systeme der Deutschen Bahn? DB Open Data Process Veröffentlichen eines Datensets in Version 1.0 durch die DB Nutzen/Editieren des Datensets durch Community Zurückspielen von veränderten Daten an die DB Qualitätssicherung bei Major Changes durch die DB Veröffentlichen einer Version 1.1 4

5

6 Backup 6

7 Erste Bewertung der Datenqualität basiert auf sieben Kriterien mit jeweils spezifischen Indikatoren 1 Ausgangslage: Rohdaten 4 Datenquellen im Mai 2016 als Ausgangspunkte genutzt: Aufzugdaten, Bahnsteigdaten, Betriebsstellen & Haltestellen Rohdaten lagen im Open Data Portal der Deutschen Bahn als CSV- und XLSX-Dateien vor (1) Vollständigkeit (2) Richtigkeit (3) Gültigkeit (4) Genauigkeit 7 Kriterien für Datenqualität (5) Zeitbezug (6) Einzigartigkeit (7) Verlässlichkeit Details siehe nächste Seite 2 Formalisieren der Kriterien pro Datenquelle Kriterien soweit wie möglich formalisiert isv Maximalwert/Zielwert pro Kriterium ist 1 Beispiel Vollständigkeit foreach record { m if isempty Zelle m, return 0, else (return 1) m=1 m } Aggregieren & Visualisieren der Ergebnisse Ergebnisse pro Kriterium und Datenquelle in Ergebnistabelle zusammengefasst Aggregierten Ergebnisse als Heatmap visualisiert Bsp./Erklärungen ergänzt Die angewendete Methode kann nur eine erste Indikation für die Datenqualität geben und erfordert für eine tiefere Analyse insb. des Kriteriums der Richtigkeit entsprechendes Fachexpertenwissen. 7

8 Sieben Kriterien helfen beim systematischen Bestimmen und Verbessern der Qualität von Rohdaten 1. Vollständigkeit Grad zu dem die Attribute/ Merkmale eines Datensatzes einen erforderlichen Wert haben: Sind die Daten vollständig? 2. Richtigkeit Grad der Übereinstimmung zwischen einer Menge von Werten und der entspr. Mengen korrekter Werte: Sie die Daten richtig? 3. Gültigkeit Grad der Übereinstimmung der Werte mit den zugrundeliegenden Konzepten der realen Welt: Repräsentieren die Daten reale Sachverhalte? 4. Genauigkeit Grad der Exaktheit der Werte innerhalb der definierten Grenzen und Ziele der realen Welt: Sind die Daten hinreichend präzise? 5. Zeitbezug Grad der Rechtzeitigkeit und des Zeitbezugs mit dem Daten bereitgestellt werden: Sind die Daten rechtzeitig und mit Zeitbezug verfügbar? 6. Einzigartigkeit Grad zu dem die möglichen Werte auf eine Menge von eindeutigen Werten eingeschränkt sind: Ist jeder Wert der einzige seiner Art? 7. Verlässlichkeit Grad zu dem Daten Verbindung mit anderen Quellen zulassen: Können Daten versch. Quellen über gleiche Attribute kontextualisiert werden? Beispiel für einen Check der Gültigkeit bei Daten über Aufzüge: Überprüfe für jede Zeile, ob die angegebene Türhöhe größer ist als die angegebene Kabinenhöhe Data Quality Assessment in Anlehnung an Even et al. (2005) und Piprani et al. (2008) 8