Datenwertintegration / Informationsqualität

Transkript

1 / Fabian Panse Fabian Panse II Datenintegration / 18

2 Datenreinigung Datenintegration [NL06] Wenn Daten in gemeinsamem Schema vorliegen: weitere Probleme Datenfehler: Formatfehler (z.b. Datumsformate), Inkonsistenzen (z.b. PLZ und Ortsname) Duplikate: Dasselbe Realweltobjekt mehrmals repräsentiert (in mehreren Quellen), Ziel: homogene, konsolidierte Sicht Qualität: weitere Kriterien wie z.b. Glaubwürdigkeit, Relevanz, Aktualität Vollständigkeit: Alle relevanten Realweltobjekte? Alle Attribute mit Werten befüllt? Fabian Panse II Datenintegration / 18

3 Datenreinigung Datenfehler [NL06, RD00] Datenfehler Einzelne Datenquelle Integrierte Datenquellen Schemaebene Datenebene Schemaebene Datenebene Unzulässiger Wert Attributabhängigkeit verletzt Eindeutigkeit verletzt Referenzielle Integrität verletzt Fehlende Werte Schreibfehler Falsche Werte Falsche Referenz Kryptische Werte Eingebettete Werte Falsche Zuordnung Widersprüchliche Werte Transpositionen Duplikate Strukturelle Heterogenität Semantische Heterogenität Schematische Heterogenität Widersprüchliche Werte Unterschiedliche Repräsentationen Unterschiedliche Einheiten Unterschiedliche Genauigkeit Unterschiedliche Aggregationsebenen Duplikate Datenkonflikte Fabian Panse II Datenintegration / 18

4 Datenreinigung Entstehung von Datenfehlern [NL06] Dateneingabe und Erfassung (z.b. Dummy-Werte, Falschangaben von Kunden) Alterung (z.b. Adressdaten bei Umzug) Transformation (z.b. falsche oder veraltete Wechselkurse, semantische Heterogenität von korrespondierenden Schemaelementen) Integration (z.b. Konflikte zwischen Duplikaten) Fabian Panse II Datenintegration / 18

5 Datenreinigung Auswirkungen von Datenfehlern [NL06] Wahrnehmung einer Organisation durch Kunden und Öffentlichkeit: Falsche Preisangaben in Systemen des Einzelhandels kosten Konsumenten in USA jährlich 2,5 Milliarden Dollar. Finanzamt der USA konnte Barschecks mit Steuerrückerstattungen aufgrund fehlerhafter Adressangaben nicht zustellen. 2004: in USA von Massensendungen durchschnittlich aufgrund von Fehlern in Adressen unzustellbar Qualität von Unternehmensdaten wichtiger Erfolgsfaktor garbage-in garbage-out-prinzip (z.b. bei Data Warehouse) hohe Kosten für Beseitigung von Datenfehlern Datenfehler sind unvermeidlich: Fehlerhäufigkeit abhängig vom Vermeidungaufwand Fabian Panse II Datenintegration / 18

6 Datenreinigung Umgang mit Fehlern [NL06] Profiling: Statistiken Musteranalyse (z.b. bei Telefonnummern) Assessment Bedingungen, die Daten erfüllen sollen Messung, wie gut diese Bedingungen erfüllt sind Maßnahmen zur Fehlerbehebung Monitoring (in regelmäßigen Abständen) Fabian Panse II Datenintegration / 18

7 Datenreinigung Data Scrubbing [NL06] einfache Fehler, die nur einzelne Datensätze betreffen Normalisierung Schreibweise: Rechtschreibprüfung, stemming Adressen Formate, z.b. für Telefonnummern, Datumsangaben, Geldbeträge (Regeln zur automatischen Transformation in Standardformate in kommerziellen Produkten) Konvertierung mit Konvertierungsfunktionen Fehlende Werte und Ausreißer Profiling-Werkzeug erkennt lückenhafte Datenwertverteilungen (z.b. keine Kunden in Köln) Erfahrungswerte Ausreißer: Erwartungswerte, modellbasierte Ausreißererkennung Referenztabellen: einheitliche Schreibweise, Konsistenzprüfung (z.b. Ortsnamen, Bankverbindungen, Handelsregister) Fabian Panse II Datenintegration / 18

8 Agenda 1 Datenwertintegration Datenreinigung Fabian Panse II Datenintegration / 18

9 Datenqualität in IIS Integrierte Informationssysteme besonders anfällig für Qualitätsprobleme Probleme akkumulieren Qualität der Ursprungsdaten (Eingabe, Fremdfirmen,... ) Qualität der Quellsysteme (Konsistenz, Constraints, Fehler,... ) Qualität der Integrationsprozesse (Parsen, Transformieren, Mappings) Probleme treten erst bei integrierter Sicht zu Tage Fabian Panse II Datenintegration / 18

10 Kosten schlechter Datenqualität Unternehmensberatung A.T. Kearny: 25%-40% der operativen Kosten entstehen durch schlechte Datenqualität. Data Warehouse Institute: Industrie und Verwaltung in den USA verlieren jährlich 600 Milliarden USD SAS Studie: Nur 18% der deutschen Betriebe vertrauen ihren Daten 80% aller Krankenhaus Datensätze enthalten Fehler. Hmmm... Fabian Panse II Datenintegration / 18

11 Definition (IQ) IQ := Even though quality cannot be defined, you know what it is. Robert Pirsig Fabian Panse II Datenintegration / 18

12 Content-based IQ Criteria [WS96] Accuracy: is the extent to which data is correct, reliable, and certified free of error Completeness: is the extent to which data is not missing and is of sufficient breadth, depth, and scope for the task at hand Documentation: is the amount and usefulness of documents with metadata Interpretability: is the extent to which data is in appropriate languages, symbols, and units, and the definitions are clear Relevancy (or relevance): is the extent to which data is applicable and helpful for the task at hand. Reliability: is the degree to which the user can trust the information Value-Added: is the extent to which data is beneficial and provides advantages from its use Fabian Panse II Datenintegration / 18

13 Technical IQ Criteria [WS96]... concern software and hardware Accessibility (or availability): is the extent to which data are available or easily and quickly receivable Latency: is the amount of time in seconds from issuing the query until the first data item reaches the user Price (cost effectiveness): is the amount of money a user has to pay for a query cost of collecting appropriate data reasonable? Response time: measures the delay in seconds between submission of a query by the user and reception of the complete response from the IS Security: is the extent to which access to data is restricted appropriately to maintain its security Timeliness: is the extent to which the age of the data is appropriate for the task at hand Fabian Panse II Datenintegration / 18

14 Intellectual IQ Criteria [WS96]... concern subjective aspects Believability: is the extent to which data is regarded as true, real, and credible Objectivity: is the extent to which data is unbiased, unprejudiced, and impartial Reputation: is the extent to which data is trusted or highly regarded in terms of its source or content Fabian Panse II Datenintegration / 18

15 Instantiation-related IQ Criteria [WS96]... concern the presentation of retrieved data Amount of data: is the extent to which the quantity or volume of available data is appropriate Representational conciseness: is the extent to which data is compactly represented without being overwhelming Representational consistency: is the extent to which data is always represented in the same format and are compatible with previous data Understandability (ease of understanding): is the extent to which data are clear without ambiguity and easily comprehended Verifiability (traceability): is the extent to which data are well documented, verifiable, and easily attributed to a source Fabian Panse II Datenintegration / 18

16 A New Optimization Paradigm Many Changes DBMS Cost criteria Cost model Optimization algorithm Integrated IS Quality criteria Quality model Optimization algorithm + Information integration Fabian Panse II Datenintegration / 18

17 Literatur [NL06] [RD00] Felix Naumann and Ulf Leser. Informationsintegration. dpunkt.verlag, In German. Erhard Rahm and Hong-Hai Do. Data cleaning: Problems and current approaches. IEEE Data Engineering Bulletin, 23(4), [WS96] Richard Y. Wang and Diane M. Strong. Beyond accuracy: What data quality means to data consumers. Journal on Management of Information Systems, 12(4), Fabian Panse II Datenintegration / 18