Problemfeld Datenqualität. Wo kann IT helfen?

Transkript

1 10. Zittauer Umweltsymposium St. Marienthal in Ostritz, 21. April 2009 Problemfeld Datenqualität Wo kann IT helfen? Prof. Dr. -Ing. Axel Toll Hochschule für Technik und Wirtschaft Dresden Fakultät Informatik/Mathematik

2 Agenda Einleitende Beispiele Strukturierte Daten Unstrukturierte Daten Zusammenfassung 2

3 Drei Beipiele Nach mehr als 9 Monaten Flugzeit verlor die NASA ihren Mars Climate Orbiter im September Grund: fehlende Übersetzung englischer nach metrischer Maßeinheiten in der Navigationssoftware [Isbell & Savage: (Zugriff am ) 9 Bergmänner wurden in einer Kohlemine in Western Pensylvania für 3 Tage durch einen Wassereinbruch aus einem alten Querstollen eingesperrt. Grund: unvollständig aktualisiertes und veraltetes Kartenmaterial [Mining Safety and Health Administration 2003: (Zugriff am ) Der vor 450 Jahren verstorbene deutsche Rechenmeister Adam Ries soll Rundfunk- und Fernsehgebühren bezahlen. Die Gebühreneinzugszentrale Köln (GEZ) habe einen entsprechenden Bescheid im Oktober 2008 an Herrn Adam Ries verschickt. Grund: Fehler in den Stammdaten [ Adam-Ries.html] (Zugriff am ) ) 3

4 Klassifikation von Datenfehlern bei strukturierten Daten Datenfehler einzelne Datenquelle integrierte Datenquelle Modellebene Datenebene Modellebene Datenebene unzulässiger Wert Eindeutigkeit verletzt Referentielle Integrität verletzt fehlender Wert Schreibfehler falscher Wert eingebettete Werte falsche Zuordnung widersprüchliche h Werte Duplikate/ Redundanzen strukturelle Heterogenität Namenskonflikte widersprüchliche Werte unterschiedliche Repräsentationen unterschiedliche Einheiten it unterschiedliche Genauigkeit unterschiedliche Aggregationsebenen [Rahm, E., Do, H. -H H.: Data cleaning; IEEE Data Eng. Bull. 23 (4), (2000)] 4

5 Datenfehler bei einer einzelnen Datenquelle Eindeutigkeit verletzt Widersprüchliche Werte durch Einbettung widersprüchliche Werte K_ID Name Geb.datum Alter Famst. PLZ Ort 1112 Fuchs, Reinecke v Waldhausen l Baumstadt 1113 Elster, Diebische g Baumstadt 1114 Reinecke Fuchs v Wiesenhausen fehlender Wert Duplikat unzulässiger Wert 5

6 Datenablage im Datenbanksystem Internet GRANT REVOKE RULE CHECK PRIMARY KEY ASSERT FOREIGN KEY NOT NULL UNIQUE DOMAIN TRIGGER STORED PROC besitzt bewährte Funktionen für Integritätssicherung und Zugriffsschutz Datenbankbetriebssystem y verfügbar seit SQL86 / SQL 89 aktuell SQL2003 6

7 Datenmodellierung Problem der Realwelt fachliche Aufgabe ERM semantisches Datenmodell Hierarchisches Relationales Objektrelationales Datenmodell Datenmodell Datenmodell logisches Datenmodell Hierarchisches DBMS Relationales DBMS Relationales DBMS mit OR-Features physisches Datenmodell 7

8 Entity-Relationship-Modellierung (ERM) Beispiel: Projektbearbeitung Projekt wird bearbeitet leitet Mitarbeiter Fach- und IT- Kompetenz hat Teilprojekte Projekt m B e a r b e i t u n g wird bearbeitet m Mitarbeiter 8

9 ERM zum Beispiel Projektbearbeitung Kunde 1 gibt in Auftrag c m Projekt hat Teilprojekt m c cm wird bearbeitet wird geleitet Programmierer m 1 Mitarbeiter is-a DB-Spezialist mc Systemanalytiker y benutzt m PKW [nach Gräfe,Toll: Script zur Vorlesung Datenbanksysteme I (SS 2009)] 9

10 Überführung des ERM in Relationen sechs Regeln: Kardinalität Typ Zahl der Relationen 1 : 1 obligatorsich 1 1 : c einseitig konditional 2 c : c beidseitig konditional 3 1 : m ; c : m einseitig obligatorisch oder konditional 1 : mc ; c : mc ein- oder zweiseitig konditional 3 m : m ; m : mc obligatorisch oder ein- oder 3 mc : mc zweiseitig konditional 2 Formale Transformation 10

11 Relationen im Beispiel Projektbearbeitung Mitarbeiter Bearbeitung Projekt Teilprojekt Mitarbeiternummer Name, Vorname Ort Geburtsdatum Grundgehalt Einsatzgebiet Mitarbeiternummer Projektnummer Plananteil Istanteil Projektnummer Kurzbezeichnung Budget Termin Kundennummer Leiternummer ProjektnummerO ProjektnummerU Benutzung PKW Mitarbeiternummer Kennzeichen Datum Kilometer Kennzeichen Typ Baujahr Programmierer DB-Spezialist Systemanalytiker Mitarbeiternummer Programmiersprache Mitarbeiternummer Datenbanksysteme Mitarbeiternummer Lehrgang Formale Syntax CREATE TABLE Projekt (Projektnummer VARCHAR(5) CONSTRAINT PK_ Projekt PRIMARY KEY, Kurzbezeichnung VARCHAR(50) NOT NULL, Termin DATETIME NOT NULL CONSTRAINT CK_Termin CHECK (Termin >= GetDate()), Kundennummer VARCHAR(10) NOT NULL, Leiternummer VARCHAR(5) NOT NULL, CONSTRAINT FK_Projekt_Kundennummer FOREIGN KEY (Kundennummer) REFERENCES Kunden(Kundennummer), CONSTRAINT FK_Projekt_Leiternummer FOREIGN KEY (Leiternummer) REFERENCES Mitarbeiter(Mitarbeiternummer)) 11

12 Normalisierung nach Codd Regelwerk zur schrittweisen Zerlegung großer Relationen: eato e Ziel: Beseitigung von Anomalien Bildung der 1. bis 3. Normalform [Codd, 1970] Mitnr Name Beruf Gehalt Projnr Projbez Anteil Abtnr Abtbez 111 Bauer Organ Statistik 0,2 2 Organisation 111 Bauer Organ PPS 0,5 2 Organisation 123 Meier Inform Statistik 0,5 1 EDV 123 Meier Inform PPS 0,5 1 EDV 130 Keil Math Statistik 1,0 2 Organisation 133 Frei Inform MIS 1,0 1 EDV MiPro Projekt Mitnr Projnr Anteil Projnr Projbez ,2 31 Statistik ,5 35 PPS ,5 36 MIS , , ,0 Mitarbeiter2 Mitnr Name Beruf Gehalt Abtnr Abtbez 111 Bauer Organ Organisatio n 123 Meier Inform EDV 130 Keil Math Organisatio n 133 Frei Inform EDV 12

13 Lösungsvorschlag für das Eingangbeispiel Nutzersicht K_ID Name Geb.datum Alter Famst. PLZ Ort 1112 Fuchs, Reinecke v Waldhausen 1116 Kluge, Uhu l Baumstadt 1113 Elster, Diebische g Baumstadt DBMS Trigger View K_ID Name Vorname GebDatum FamSt PLZ 1112 Fuchs Reinecke v Elster Diebische g Kluge Uhu l PLZ Ort Waldhausen Baumstadt 13

14 Datenmodellierung Problem der Realwelt IT-Unterstützung fachliche Aufgabe ERM Fachkompetenz semantisches Datenmodell Hierarchisches Relationales Objektrelationales Datenmodell Datenmodell Datenmodell logisches Datenmodell Hierarchisches DBMS Relationales DBMS Relationales DBMS mit OR-Features physisches Datenmodell 14

15 Klassifikation von Datenfehlern bei strukturierten Daten Datenfehler einzelne Datenquelle integrierte Datenquelle Modellebene Datenebene Modellebene Datenebene unzulässiger Wert Eindeutigkeit verletzt Referentielle Integrität verletzt fehlender Wert Schreibfehler falscher Wert eingebettete Werte falsche Zuordnung widersprüchliche h Werte Duplikate/ Redundanzen strukturelle Heterogenität Namenskonflikte widersprüchliche Werte unterschiedliche Repräsentationen unterschiedliche Einheiten it unterschiedliche Genauigkeit unterschiedliche Aggregationsebenen [Rahm, E., Do, H. -H H.: Data cleaning; IEEE Data Eng. Bull. 23 (4), (2000)] 15

16 Typische Aufgaben bei der Integration Zusätzlich zu Fehlerquellen der einzelnen Datenquelle (Widersprüche, Duplikate, ): Systemintegration verschiedener Vorsysteme (ERP, DBMS, ) Integration verschiedener Hersteller Schemaintegration (Struktur, Typ und Format) Datenintegration (Inhalt der Datenfelder) Synonyme beseitigen Daten transformieren Homonyme beseitigen Widersprüche, Duplikate, behandeln Maßeinheiten anpassen Beispiel: i Feldname = Kunden_ID Informationssystem Wert = Typ = longint Bestell-DB SAP R3 Feldname = Besteller_ID Feldname = Service_ID Typ = NUMC (8) Service-DB Typ = INT (sequence-basiert) Wert = Oracle 11g Wert =

17 ETL: Extraktion, Transformation und Laden Anwendung eines ETL-Tools zur Datenübernahme aus einem ERP-System 17

18 Maßnahmen zur Verbesserung der Datenqualität proaktiv Ziel: ursachenorientierte Sicherung und Verbesserung der Datenqualität reaktiv Ziel: symptomorientierte Sicherung und Verbesserung der Datenqualität Maßnahmen: Ursachenanalyse und -behebung / Prävention Verbesserung des Datenmodells Standardisierung von Begrifflichkeiten Maßnahmen: Data Cleaning Datentransformation t ti Datenbereinigung Duplikatbehandlung Anreicherung Datenkategorien: Datenkategorien: strukturiert strukturiert semistrukturiert semistrukturiert unstrukturiert 18

19 Schritte bei unstrukturierten Daten Vorbereiten der Daten Definition der Qualitätsanforderung Pragmatik Ziele und Interessen der Nutzer an den Daten Wertanalyse Semantik: inhaltliche Bedeutung der Daten oft schwer definierbar Transformation Datenübernahme IT-Unterstützung Fachkompetenz Semiotik: Lehre der Zeichen und Symbole Syntax Zeichen Zeichen Benutzer/ Situation Pragmatik Bedeutung Semantik 19

20 Beispiel 1: Auswertung eines Datenbestandes von Onlinebewerbungen Qualitätsanforderungen: Verwendung der Daten für statistische ti ti Auswertungen in Klassen keine Auswertungen auf der Ebene einzelner Datensätze 20

21 Beispiel: Datenbestand von Onlinebewerbungen (1) Analyse des Datenbestandes Identifizierung von Datenfehlern durch Methoden der Statistik und des Data Mining. Ableitung von Regeln / Mustern Attribut: Personenalter Verwendung von Kennzahlen der deskriptiven und robusten Statistik Normalverteilung: - Datenfehler vor allem am Rand der Verteilung - 95% der Datenwerte max. Abweichung vom Mittelwert um 2 Sigma Datensätze Minimum Maximum Spannweite Median Mittelwert Standardabweichung ,09 203,834 21

22 Beispiel: Datenbestand von Onlinebewerbungen (2) Winsoring Einfluss von Ausreißern minimieren durch Winsorisierung 2ơ +/ arith. Mittelwert Wertebereich der winsorisierten Datenreihe: [16; 65] 22

23 Beispiel: Datenbestand von Onlinebewerbungen (3) Reaktive Datenqualitätsverbesserung Anreicherung Duplikatzusammenführung Bereinigung Löschung Auswahl über Umfang und Nutzungseinschränkung Verwendungszweck der Imputation betroffenen Datensätze Beispiel: quantitatives Attribut Personenalter Imputation des Mittelwertes Mini- Maxi- Spann- Mittel- Standard- mum mum weite Median wert abweichung unbereinigt ,09 203,834 bereinigt ,09 9,585 23

24 Beispiel 2: Adressabgleich auf Briefköpfen Qualitätsanforderungen: Zustellung von Briefen nur an real existierende Adressen möglichst hohe Rate an automatischer Fehlerkorrektur kt 24

25 Beispiel: Adressabgleich (1) Fehlertypen bei der Wiedergabe von Ziffernfolgen Fehlertyp Verwechseln einer Ziffer Vertauschen benachbarter Ziffern Vertauschen einer Ziffer mit der Übernächsten Zwillingsfehler Phonetische Fehler Sprung-Zwillingsfehler Übrige (zufällige) Fehler Beispiel Relative Häufigkeit 79,0 % 10,2 % 0,8 % 0,6 % 0,5 % 0,3 % 8,6 % Ähnlichkeiten zwischen gekürzten und vollständigen Straßennamen Straße gekürzte Straße Ähnlichkeit Johannes R. Becher Str. Johann Sebastian Bach Str. J. R. Becher Str. Bach Str. 43,1 % 40,9 %... 25

26 Datenbank mit allen real existierenden Adressen Beispiel Adressabgleich (2) Friedrich-List-Platz Dresden Hauptstraße Kurort Oybin Auszug Adresse i Theodor-Körner-Allee Zittau Th.-Körner Alle Zittau PLZ i Ort i Straße i PLZ' Ort' Straße' Entscheidung mittels Neuronalem Netz: Wie groß ist die Gesamtähnlichkeit des Paares i? Rangliste aller Adresse Erstellen eines Vergleichsvektors: PLZ' - PLZ i Ort' - Ort i Straße' - Straße i absteigend geordnet nach Gesamtähnlichkeit gegebene, eventuell fehlerhafte h ft Adresse 26

27 Systemarchitektur Eingabe einer eventuell fehlerhaften Adresse Beispiel Adressabgleich (3) Suche nach ähnlichen n-maliger Durchlauf des Neuronalen Netzes; Auswahl der Adresse mit der höchsten h Adressen Ausgabe eines Gesamtähnlichkeit; in der Eignungsgrades Abgleich der Datenbank für jedes Tripel Hausnummer PLZ' Ort' Straße' Nach- arbeit Fuzzy- Suche xn n FPLZ* FOrt* FStraße* Hausnr.' Hausnr.' 27

28 Datenqualitätsmerkmale nach Wang und Strong Intrisische Merkmale (kontextunabhängig) Glaubhaftigkeit Genauigkeit Objektivität Kontextuelle Merkmale (kontextabhängig) g) Mehrwert Relevanz Zeitnähe Vollständigkeit Präsentationsmerkmale Interpretierbarkeit Verständlichkeit Konsistenz Zugriffsmerkmal Verfügbarkeit Sicherheit Zugriffsschutz [Wang, R.Y., Strong D.M.: Beyond accuracy: What data quality means to data consumers; J. Manage. Inf. Syst. 12(4), 5-34 (1996)] 28

29 Sichtweisen auf das Problemfeld Datenqualität Informationssytem Semiotik Datenqualitätsmerkmal nach Wang und Strong Fachliche Ebene Pragmatik Kontextuelle Merkmale Logische Ebene Semantik Intrisische Merkmale (kontextunabhängig) t Präsentations- merkmale Physische h Ebene Syntax Zugriffsmerkmal IT-Unterstützung Fachkompetenz 29

30 Vielen Dank für Ihre Aufmerksamkeit 30