Motivation: Datenqualitätsprobleme in der Praxis (1/2) Mars Climate Orbiter. Chinesische Botschaft in Belgrad

Transkript

1 Datenqualität mit dem DataFlux dfpower Studio 8.1 Tobias Jansen Zaferna-Hütte, 4. Januar 2009 Motivation: Datenqualitätsprobleme in der Praxis (1/2) Mars Climate Orbiter Nasa Marssonde Mars Climate Orbiter verglühte 1999 in der Mars-Atmosphäre Grund: Entfernungsfehler durch fehlerhafte Verwendung von Maßeinheiten Chinesische Botschaft in Belgrad Irrtümliche Bombardierung der chinesischen Botschaft in Belgrad durch die NATO (1999) unter Verlust von drei Menschenleben Grund: falsche bzw. veraltete Adressangabe 1 Datenqualität

2 Motivation: Datenqualitätsprobleme in der Praxis (2/2) Paint Bull Nicht zustellbare Werbepakete kosten 10$ Grund: für Werbezwecke eingekaufte Kundendaten waren zu 50% fehlerhaft Datenqualitätskosten 50% 50% Unternehmensumsatz 88% Data Warehouse Projektkosten 12% schlechte Datenqualität verursacht Kosten zwischen acht und zwölf Prozent des Unternehmensumsatzes Kosten für Datenqualitätsmaßnahmen stellen 50% der Data Warehouse Projektkosten 2 Datenqualität Agenda Dimensionen Datenqualität (DQ) Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität

3 Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität D a t e n q u a l i t ä t Begriffsdefinitionen (1/3) Definition (Computerwissenschaften): Folge maschinell verarbeitbarer Zeichen In der Klassischen Informatik: keine semantische Bedeutung des Begriffs Information im Folgenden keine Unterscheidung zwischen Daten und Informationen 5 Datenqualität

4 D a t e n q u a l i t ä t Begriffsdefinitionen (2/3) Lateinisch qualitas Beschaffenheit DIN : Gesamtheit von Merkmalen (und Merkmalswerten) einer Einheit bezüglich ihrer Eignung, festgelegte und vorausgesetzte Erfordernisse zu erfüllen. (vgl. [Qua08]) 6 Datenqualität D a t e n q u a l i t ä t Begriffsdefinitionen (3/3) Auch hier: synonyme Verwendung der Begriffe Datenqualität und Informationsqualität Datenqualität ist die Gesamtheit der Ausprägungen von Qualitätsmerkmalen eines Datenbestandes bezüglich dessen Eignung, festgelegte und vorausgesetzte Erfordernisse zu erfüllen. (vgl. [GW08, S. 89]) 7 Datenqualität

5 Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität Dimensionen (1/2) Existenz verschiedener Dimensionen bzw. Attribute Weit verbreiteter Ansatz von Wang/Strong Überschneidungsfreiheit Klare Strukturierung Beruht auf empirischer Studie Notwendiges einheitliches Vokabular Gesamtqualität nur durch ausreichende Qualität der einzelnen Dimensionen 15 Dimensionen 4 Kategorien 9 Datenqualität

6 Dimensionen (2/2) Quelle: Vgl. [Deu07, S. 6] 10 Datenqualität Agenda Datenqualität Dimensionen Datenqualitätsmanagement Metriken Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität

7 Datenqualitätsmanagement Verbesserung der Datenqualität ist ein komplexer Prozess, der vom gesamten Unternehmen zu tragen ist Zur Steuerung ist ein Prozess nötig Datenqualitätsmanagement Ganzheitliches Datenqualitätsmanagement-Modell: Total Data Quality Management (TDQM) Projektinitiierung Definition der Anforderungen Messung der vorhandenen Datenqualität ( Datenqualitätsmetriken) Analyse der Fehlerursachen ( Datenqualitätsmängel) Verbesserung der Datenqualität ( Datenbereinigung) Permanente Überwachung 12 Datenqualität Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität

8 Datenqualitätsmetriken Metriken allgemein Ökonomische Betrachtung unter Kosten-Nutzen-Aspekten Identifikation von Handlungsbedarfen Vergleich durch konkrete numerische Werte Datenqualitätsmetriken Sinnvolle Kennzahlen nicht für alle Attribute/Dimensionen Hauptsächlich in der Literatur diskutiert: Vollständigkeit Fehlerfreiheit Konsistenz Aktualität Vergleich verschiedener Datenquellen durch Skalierung und Gewichtung verschiedener Metriken zu einem Gesamtqualitätswert 14 Datenqualität Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität

9 Datenqualitätsmängel (1/2) Klassifikation nach Rahm/Do Quelle: Vgl. [Nau07, S. 28; RD00, S. 5] 16 Datenqualität Datenqualitätsmängel (2/2) Mögliche Fehlerarten und Fehlerquellen nach Wolf Fehlerarten Fehlerquellen Erhebung Interpretation Speicherung Prozess Anwender Programmierung Kunde Eingabe Verarbeitung Ausgabe Quelle: Vgl. [Wei08, S. 229 ff.] 17 Datenqualität

10 Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität Datenbereinigung Datenbereinigung ist eine Möglichkeit die Datenqualität zu verbessern Engl. data clean(s)ing bzw. data scrubbing Umfasst verschiedene Methoden zur Entfernung und Korrektur von Fehlern in Datenbanken Mögliche Aktivitäten sind z.b. Korrektur von Formatierungen (z.b. Datumswerte) Standardisierung/Normierung (z.b. Telefonnummern und Titel) Strukturierung (z.b. Auftrennung von Namen in Titel, Vor- und Nachname) Korrektur fehlerhafter Daten (z.b. Adressdaten) Identifikation und Bereinigung von Dubletten 19 Datenqualität

11 Agenda Datenqualität (DQ) Dimensionen Datenqualitätsmanagement DQ-Metriken DQ-Mängel Bereinigung Profile Architect Match dfpower Studio Datenqualität DataFlux dfpower Studio 8.1 Navigator 21 Datenqualität

12 DataFlux dfpower Studio 8.1 DataFlux Methodologie 22 Datenqualität Tool: Profile Configurator DataFlux dfpower Studio 8.1 Data Profiling Durchführung einer Data Profiling Aufgabe Auswahl Datenfelder und Datenquellen Auswahl anzuwendender Metriken Speichern und Ausführen des Jobs Analyse der ermittelten Ergebnisse mit dem Profile Viewer 23 Datenqualität

13 Tool: Profile Viewer DataFlux dfpower Studio 8.1 Data Profiling Analyse der mit dem Profile Configurator erzeugten Reports: Column Profiling Frequency Distribution Pattern Frequency Distribution 24 Datenqualität Tool: Architect Allgemeine Durchführung Auswahl einer Datenquelle Auswahl einer Sequenz von Operationen Auswahl der Ausgabeart Beispiel-Operationen Parsing Gender Analysis Standardization DataFlux dfpower Studio 8.1 Quality 25 Datenqualität

14 Tool: Match Durchführung des Matchings Zuordnung von Attributen zu Matchdefinitionen Einstellung eines Sensibilitätswerte Wahl der Ausgabeart/Aktion DataFlux dfpower Studio 8.1 Integration 26 Datenqualität Tool: Profile Viewer Auditing Historische Analyse der Metriken Jobstart: Option Append to Report nötig DataFlux dfpower Studio 8.1 Monitoring 27 Datenqualität

15 Tool: Profile Configurator Alerts DataFlux dfpower Studio 8.1 Monitoring Hohe Erstellungsfrequenz verhindert manuelle Prüfung Kritischer Wert durch Regelkonfigurator festzulegen Warnung per 28 Datenqualität Fazit Datenqualität Operative und monetäre Konsequenzen Fehlentscheidungen Bereinigung nicht immer zweckmäßig Datenqualitätstools dfpower Studio Breite Palette an Funktionen Intuitive Bedienung Tools unterstützen alle Phasen des Datenqualitätsprozesses Ständig andauernder Prozess Datenqualität selbst ist nicht Endziel Dient dem übergeordneten Unternehmensziel 29 Datenqualität

16 Quellen [Deu07] Deutsche Gesellschaft für Informations- und Datenqualität e.v.: IQ- Definition. Abrufdatum: 9. November [GW08] Gebauer, Marcus; Windheuser, Ulrich: Strukturierte Datenanalyse, Profiling und Geschäftsregeln. In: Daten- und Informationsqualität - Auf dem Weg zur Information Excellence. 2008, S [Nau07] Naumann, Felix: Datenqualität, Informatik-Spektrum, 30 (1), S , [RD00] Rahm, Erhard; Do, Hong Hai: Data Cleaning: Problems and Current Approaches, Bulletin of the Technical Committee on Data Engineering, 23 (4), S. 3-13, [Qua08] quality-datenbank: Qualität. Abrufdatum: 31. Oktober Datenqualität