A Framework for Planing and Controlling Data Quality in Data-Warehouse-Systems

Transkript

1 A Framework for Planing and Controlling Data Quality in Data-Warehouse-Systems Slide 2 Überblick Data-Warehouse-Systeme und Datenqualität Datenqualitätsmanagement Datenqualität Modell zur Qualitätsplanung und -lenkung Mängel bisheriger Forschungsansätze Zusammenfassung / Offene Fragen

2 BERICHT 'EINNAHMEN UND AUSGABEN' BERICHT 'EINNAHMEN UND AUSGABEN' Slide 3 Data-Warehouse-Basissystem Datenquellen Datenbank Transformationskomponente End-User- Werkzeuge External s(call Center, Non relationa l other DB 2 Net ORACL E Slide 4 Metadaten-Verwaltung External Operative Data Sources Non relational other DB 2 Net Transformation Metadaten-Verwaltung Component (Koordinationssystem) ORACLE End-User-Tools s(call Center,

3 BERICHT 'EINNAHMEN UND AUSGABEN' Slide 5 DQ ein Hauptproblem in Data-Warehouse-Systemen Folgende Aspekte werden als problematisch eingeschätzt: (% der erhaltenen Antworten) 100% 80% 60% 52% 70% 78% 83% 40% 20% 0% Aktualität der Daten Auffinden von Dubletten Rückkopplung von Datenqualitätssicherungsmassnahmen in die operativen Systeme Identifizierung von semantisch inkorrekten Feldinhalten Ergebnisse einer CC DWS-Umfrage 1999 Für nahezu alle Unternehmen stellt die Sicherstellung der Datenqualität beim Data Warehousing eine Herausforderung dar Semantik und die Rückkopplung in die operativen Systemen sind problematisch Slide 6 Problemfelder im DW-Basissystem Daten- Interpretation Integration unterschiedlicher op. Systeme Anwendung / Interpretation der Daten Daten- Transfer Daten- Erfassung Operative Data Sources Transformation Component End-User-Tools External Non relational Net ORACLE DB 2 other s(call Center, Zusätzlicher Aufwand Reduzierte Akzeptanz / Nutzung Mangelnde Entscheidungen

4 Operative Data Sources External Net ORACLE DB 2 other Non relational s(call Center, Transformation Component End-User-Tools BERICHT 'EINNAHMEN UND AUSGABEN' Operative Data Sources External Net ORACLE DB 2 other Non relational s(call Center, Transformation Component End-User-Tools BERICHT 'EINNAHMEN UND AUSGABEN' Slide 7 Datenqualitätsmanagement Informationsprozesse Informationsbedarf Informationsversorgung Definition von Anforderungen an die Daten Qualitätsmessung Datenqualitätsmanagement Organisationsstruktur (Rollen und Verantwortlichkeiten) Ablauforganisation Standards, Normen und Richtlinien Methoden, Techniken, Werkzeuge Ursachen Identifikation und Umsetzung von Verbesserungsmassnahmen Analyse Erscheinungsformen (Mängel) Auswirkungen Analyse Slide 8 Datenqualität / Sichtweisen (entsprechend Garvin 1984) Anwenderbez. Ansatz: Qualität wird durch den Produktnutzer festgelegt. Qualitative Produkte dienen dem Zweck der Benutzung durch den Kunden während des Gebrauchs. Designqualität Prozessqualität Wie gut werden die Bedarfe durch eine Produktspezifikation erfüllt? Produktbasierte Ansatz: Materielle Produkteigenschaften bestimmen die Qualität eines Produktes (inhärente Eigenschaft des Produktes) Wie gut stimmt das aktuelle Produkt mir der vorgegebene Spezifikation überein? Prozessbez. Ansatz: Qualität bedeutet die Einhaltung von Spezifikationen und die Abwesenheit von Fehlern Qualitätsplanung Qualitätslenkung Informationsbedarfe Daten und Funktionen des DWH-Systems Datenversorgung Wertbezogene Ansatz: Stellt Qualität i. S. v. Nutzen in Bezug zu den Kosten Der transzendente Ansatz kennzeichnet Qualität als angeborene Einzigartigkeit oder Superlative (eher abstrakt philosophisches Verständnis)

5 Slide 9 Ansätze in der Literatur (Beispiele) Autor and Jahr der Publikation Augustin / Reminger 1990 Morris et al Redmann 1996 Miller 1996 Wang / Strong 1996 Davenport 1997 Ballou et al Kahn / Strong 1998 Rittberger 1999 English 1999 Huang et al Jarke et al Anwendungskontext Management Information Systems Management Datenbanken / Informationssysteme Informationssysteme Datenbanken / Informationssysteme Informationsmanagement Data-Warehouse-Systeme Informationssysteme Informationsanbieter Data-Warehouse-Systeme Knowledge Management Data-Warehouse-Systeme Häufig für einen spezifischen Anwendungskontext Unterschiedliche Definitionsansätze (IQ / DQ) und -sichtweisen (Meist eine anwendungsbez. Sichtweise) Allgemein: Genauigkeit, Konsistenz, Vollständigkeit, Relevanz, Objektivität, Zugriff, Zeitlicher Bezug (Aber häufig keine empirische Überprüfung) Meist werden keine Beziehungen zwischen den Kriterien berücksichtigt Meist keine Messung / Operationalisierung der Kriterien (Qualitätsindikatoren) [Siehe auch Eppler/Wittig 2000] Slide 10 Datenqualitätskriterien für DWH-Systeme Datenqualität Interpretierbarkeit Glaubwürdigkeit Syntax Semantik Datenquelle Vollständigkeit Versionskontrolle Aliases Nützlichkeit Zugriffsmöglichkeit Widerspruchsfreiheit Relevanz Datennutzung Systemverfügbarkeit Genauigkeit Zeitlicher Bezug Transaktionsverfügbarkeit Zuverlässigkeit Aktualität der Quelle Nicht-Volatilität Zugriffsrechte (privileges) Aktualität des DWH [Jarke / Vassiliou 1997; DWQ-Projekt]

6 Slide 11 Modell zur Qualitätsplanung und -lenkung Qualitätsplanung Anwendungsbezogene DQ-Anforderungen Anspruchsgruppen Aufgaben / Zweck Anspruchsniveaus für Datenqualität Datenqualitätsmodell Datenqualität Qualitätseigenschaft Beziehungsstruktur Spezifikation Festlegung von Soll-Werten Prozessmerkmal Produktmerkmale Qualitätslenkung Messverfahren / - techniken Input Datenfluss Prozess Output Tätigkeit A Tätigkeit B Tätigkeit C Vergleich mit Ist-Werten: Auswahl von geeigneten Messverfahren und -techniken Kenngrösse Kenngrösse Slide 12 Mängel bisheriger Forschungsansätze (1) Erfassung (bzw. Modellierung) von Datenqualitätsanforderungen (Qualitätsplanung) Bisher wenig Beachtung Erweiterung des ER-Modellierung (Wang et al.) Basierend auf dem Goal-Question-Metric-Ansatz (Jarke et al.) Quality Function Deployment (Kundenanforderungen~Qualitätskriterien) (Redman) Nur grobe Vorgehensweise Keine Aussage über die generelle Zielgrössen (?) oder deren Ermittlung (Aufgaben- und Anspruchsgruppenspezifisch?) Kein Bezug zwischen den Qualitätsvorgaben und deren Messung Wie könne Datenqualitätsanforderungen erfasst und beschrieben werden?

7 Slide 13 Mängel bisheriger Forschungsansätze (2) Produktbezogene Messverfahren (Qualitätslenkung) Beruhen auf der Zuordnung von Werten zu bestimmten Qualitätskriterien Häufig basierend auf Fragebogen (subjektiv) oder bezogen auf auf datenbankspez Aspekte (Integritätsbedingungen) Wenig Kombination verschiedener Messverfahren Messverfahren sind lediglich beschrieben und wenig konkret ausgestaltet Bislang wenig berücksichtigt. Prozessbezogene Messverfahren (Qualitätslenkung) Kenntnis der Eingangsdatenqualität und der transformationsspezifischen Eigenschaften problematisch Ermittlung der DQ in Abhängigkeit der vorgenommenen Datentransformationen Wie kann Datenqualität in Data-Warehouse-Systemen gemessen werden? Slide 14 Mängel bisheriger Forschungsansätze (3) Integration in die Metadaten-Verwaltung Repräsentation in einem Metamodell für DWH-Systeme (Jarke et al.) Quality Goal Quality Question Measuring Agent Quality Measurement Nicht primär am Datenfluss und den Datentransformationsprozessen orientiert. Die Messung findet anhand von Entitäten und Relationen statt. (Produktkriterien) Sowohl im Common Warehouse Metamodel (CWM) als auch in Produkten nicht berücksichtigt. Wie kann die Qualitätsplanung und -lenkung in die Metadaten-Verwaltung integriert werden?

8 Slide 15 Zusammenfassung / Offene Fragen Datenqualität eines der wichtigsten Probleme beim Data Warehousing Unterschiedliche Qualitätssichtweisen Unterscheidung zwischen Design- und Prozessqualität Kombination verschiedener Messtechniken (Produktmerkmale / Prozessmerkmale) Wie kann Datenqualität in Data-Warehouse-Systemen geplant, spezifiziert und gemessen werden? Welche Anforderungen haben Endbenutzer an die Daten (Datenqualität?, anwendergruppenund aufgabenbezogene Anspruchsniveaus)? Wie können die Qualitätsanforderungen in Qualitätsvorgaben transformiert werden? Wie können die Qualitätsvorgaben gemessen werden (Messpunkte, Messzeitpunkte sowie Messtechniken)? Wie kann die Qualitätsplanung und Qualitätslenkung innerhalb eines DWH-Systems berücksichtigt werden (Integration in die Metadaten-Verwaltung)?