Datenwertintegration / Informationsqualität

Transkript

1 / Dr. Armin Roth arminroth.de Dr. Armin Roth (arminroth.de) II Datenintegration / 18

2 Agenda 1 Datenwertintegration Datenreinigung Dr. Armin Roth (arminroth.de) II Datenintegration / 18

3 Datenreinigung Datenintegration [NL06] Wenn Daten in gemeinsamem Schema vorliegen: weitere Probleme Datenfehler: Formatfehler (z.b. Datumsformate), Inkonsistenzen (z.b. PLZ und Ortsname) Duplikate: Dasselbe Realweltobjekt mehrmals repräsentiert (in mehreren Quellen), Ziel: homogene, konsolidierte Sicht Qualität: weitere Kriterien wie z.b. Glaubwürdigkeit, Relevanz, Aktualität Vollständigkeit: Alle relevanten Realweltobjekte? Alle Attribute mit Werten befüllt? Dr. Armin Roth (arminroth.de) II Datenintegration / 18

4 Datenfehler [NL06, RD00] Datenreinigung Datenfehler Einzelne Datenquelle Integrierte Datenquellen Schemaebene Datenebene Schemaebene Datenebene Unzulässiger Wert Attributabhängigkeit verletzt Eindeutigkeit verletzt Referenzielle Integrität verletzt Fehlende Werte Schreibfehler Falsche Werte Falsche Referenz Kryptische Werte Eingebettete Werte Falsche Zuordnung Widersprüchliche Werte Transpositionen Duplikate Strukturelle Heterogenität Semantische Heterogenität Schematische Heterogenität Widersprüchliche Werte Unterschiedliche Repräsentationen Unterschiedliche Einheiten Unterschiedliche Genauigkeit Unterschiedliche Aggregationsebenen Duplikate Datenkonflikte Dr. Armin Roth (arminroth.de) II Datenintegration / 18

5 Datenreinigung Entstehung von Datenfehlern [NL06] Dateneingabe und Erfassung (z.b. Dummy-Werte, Falschangaben von Kunden) Alterung (z.b. Adressdaten bei Umzug) Transformation (z.b. falsche oder veraltete Wechselkurse, semantische Heterogenität von korrespondierenden Schemaelementen) Integration (z.b. Konflikte zwischen Duplikaten) Dr. Armin Roth (arminroth.de) II Datenintegration / 18

6 Datenreinigung Auswirkungen von Datenfehlern [NL06] Wahrnehmung einer Organisation durch Kunden und Öffentlichkeit: Falsche Preisangaben in Systemen des Einzelhandels kosten Konsumenten in USA jährlich 2,5 Milliarden Dollar. Finanzamt der USA konnte Barschecks mit Steuerrückerstattungen aufgrund fehlerhafter Adressangaben nicht zustellen. 2004: in USA von Massensendungen durchschnittlich aufgrund von Fehlern in Adressen unzustellbar Dr. Armin Roth (arminroth.de) II Datenintegration / 18

7 Datenreinigung Auswirkungen von Datenfehlern [NL06] Wahrnehmung einer Organisation durch Kunden und Öffentlichkeit: Falsche Preisangaben in Systemen des Einzelhandels kosten Konsumenten in USA jährlich 2,5 Milliarden Dollar. Finanzamt der USA konnte Barschecks mit Steuerrückerstattungen aufgrund fehlerhafter Adressangaben nicht zustellen. 2004: in USA von Massensendungen durchschnittlich aufgrund von Fehlern in Adressen unzustellbar Qualität von Unternehmensdaten wichtiger Erfolgsfaktor garbage-ingarbage-out-prinzip (z.b. bei Data Warehouse) hohe Kosten für Beseitigung von Datenfehlern Dr. Armin Roth (arminroth.de) II Datenintegration / 18

8 Datenreinigung Auswirkungen von Datenfehlern [NL06] Wahrnehmung einer Organisation durch Kunden und Öffentlichkeit: Falsche Preisangaben in Systemen des Einzelhandels kosten Konsumenten in USA jährlich 2,5 Milliarden Dollar. Finanzamt der USA konnte Barschecks mit Steuerrückerstattungen aufgrund fehlerhafter Adressangaben nicht zustellen. 2004: in USA von Massensendungen durchschnittlich aufgrund von Fehlern in Adressen unzustellbar Qualität von Unternehmensdaten wichtiger Erfolgsfaktor garbage-ingarbage-out-prinzip (z.b. bei Data Warehouse) hohe Kosten für Beseitigung von Datenfehlern Datenfehler sind unvermeidlich: Fehlerhäufigkeit abhängig vom Vermeidungaufwand Dr. Armin Roth (arminroth.de) II Datenintegration / 18

9 Datenreinigung Umgang mit Fehlern [NL06] Profiling: Statistiken Musteranalyse (z.b. bei Telefonnummern) Assessment Bedingungen, die Daten erfüllen sollen Messung, wie gut diese Bedingungen erfüllt sind Maßnahmen zur Fehlerbehebung Monitoring (in regelmäßigen Abständen) Dr. Armin Roth (arminroth.de) II Datenintegration / 18

10 Data Scrubbing [NL06] Datenreinigung einfache Fehler, die nur einzelne Datensätze betreffen Normalisierung Schreibweise: Rechtschreibprüfung, stemming Adressen Formate, z.b. für Telefonnummern, Datumsangaben, Geldbeträge (Regeln zur automatischen Transformation in Standardformate in kommerziellen Produkten) Konvertierung mit Konvertierungsfunktionen Fehlende Werte und Ausreißer Profiling-Werkzeug erkennt lückenhafte Datenwertverteilungen (z.b. keine Kunden in Köln) Erfahrungswerte Ausreißer: Erwartungswerte, modellbasierte Ausreißererkennung Referenztabellen: einheitliche Schreibweise, Konsistenzprüfung (z.b. Ortsnamen, Bankverbindungen, Handelsregister) Dr. Armin Roth (arminroth.de) II Datenintegration / 18

11 Agenda Datenwertintegration 1 Datenwertintegration Datenreinigung Dr. Armin Roth (arminroth.de) II Datenintegration / 18

12 Datenqualität in IIS Integrierte Informationssysteme besonders anfällig für Qualitätsprobleme Probleme akkumulieren Qualität der Ursprungsdaten (Eingabe, Fremdfirmen,... ) Qualität der Quellsysteme (Konsistenz, Constraints, Fehler,... ) Qualität der Integrationsprozesse (Parsen, Transformieren, Mappings) Probleme treten erst bei integrierter Sicht zu Tage Dr. Armin Roth (arminroth.de) II Datenintegration / 18

13 Kosten schlechter Datenqualität Unternehmensberatung A.T. Kearny: 25%-40% der operativen Kosten entstehen durch schlechte Datenqualität. Data Warehouse Institute: Industrie und Verwaltung in den USA verlieren jährlich 600 Milliarden USD SAS Studie: Nur 18% der deutschen Betriebe vertrauen ihren Daten 80% aller Krankenhaus Datensätze enthalten Fehler. Hmmm... Dr. Armin Roth (arminroth.de) II Datenintegration / 18

14 Definition (IQ) IQ := Even though quality cannot be defined, you know what it is. Robert Pirsig Dr. Armin Roth (arminroth.de) II Datenintegration / 18

15 Content-based IQ Criteria [WS96] Accuracy: is the extent to which data is correct, reliable, and certified free of error Completeness: is the extent to which data is not missing and is of sufficient breadth, depth, and scope for the task at hand Documentation: is the amount and usefulness of documents with metadata Interpretability: is the extent to which data is in appropriate languages, symbols, and units, and the definitions are clear Relevancy (or relevance): is the extent to which data is applicable and helpful for the task at hand. Reliability: is the degree to which the user can trust the information Value-Added: is the extent to which data is beneficial and provides advantages from its use Dr. Armin Roth (arminroth.de) II Datenintegration / 18

16 Technical IQ Criteria [WS96]... concern software and hardware Accessibility (or availability): is the extent to which data are available or easily and quickly receivable Latency: is the amount of time in seconds from issuing the query until the first data item reaches the user Price (cost effectiveness): is the amount of money a user has to pay for a query cost of collecting appropriate data reasonable? Response time: measures the delay in seconds between submission of a query by the user and reception of the complete response from the IS Security: is the extent to which access to data is restricted appropriately to maintain its security Timeliness: is the extent to which the age of the data is appropriate for the task at hand Dr. Armin Roth (arminroth.de) II Datenintegration / 18

17 Intellectual IQ Criteria [WS96]... concern subjective aspects Believability: is the extent to which data is regarded as true, real, and credible Objectivity: is the extent to which data is unbiased, unprejudiced, and impartial Reputation: is the extent to which data is trusted or highly regarded in terms of its source or content Dr. Armin Roth (arminroth.de) II Datenintegration / 18

18 Instantiation-related IQ Criteria [WS96]... concern the presentation of retrieved data Amount of data: is the extent to which the quantity or volume of available data is appropriate Representational conciseness: is the extent to which data is compactly represented without being overwhelming Representational consistency: is the extent to which data is always represented in the same format and are compatible with previous data Understandability (ease of understanding): is the extent to which data are clear without ambiguity and easily comprehended Verifiability (traceability): is the extent to which data are well documented, verifiable, and easily attributed to a source Dr. Armin Roth (arminroth.de) II Datenintegration / 18

19 A New Optimization Paradigm Many Changes DBMS Cost criteria Cost model Optimization algorithm Integrated IS Quality criteria Quality model Optimization algorithm + Information integration Dr. Armin Roth (arminroth.de) II Datenintegration / 18

20 Literatur Datenwertintegration [NL06] [RD00] Felix Naumann and Ulf Leser. Informationsintegration. dpunkt.verlag, In German. Erhard Rahm and Hong-Hai Do. Data cleaning: Problems and current approaches. IEEE Data Engineering Bulletin, 23(4), [WS96] R. Y. Wang and D. M. Strong. Beyond accuracy: What data quality means to data consumers. Journal on Management of Information Systems, 12(4):5 34, Dr. Armin Roth (arminroth.de) II Datenintegration / 18