Datenqualität erfolgreich steuern

Transkript

1 Edition TDWI Datenqualität erfolgreich steuern Praxislösungen für Business-Intelligence-Projekte von Detlef Apel, Wolfgang Behme, Rüdiger Eberlein, Christian Merighi 3., überarbeitete und erweiterte Auflage dpunkt.verlag GmbH Heidelberg 2015 Verlag C.H. Beck im Internet: ISBN Zu Leseprobe schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG

2 xiii Teil I 1 1 Datenqualität Daten Qualität Datenqualität Datenqualitätsmanagement Zusammenfassung Ausprägungen und Ursachen schlechterdatenqualität Geschäftstreiber Ausprägungen schlechter Datenqualität Ursachen schlechter Datenqualität Beispiel: Finanzdienstleister Empfehlungen Auswirkungen schlechter Datenqualität Datenqualitätskosten Gesetzliche Anforderungen Business-Case-Betrachtungen Empfehlungen Organisation Aufbauorganisation Ablauforganisation Empfehlungen

3 xiv 5 Referenzarchitektur für Business-Intelligence-Anwendungen Referenzarchitektur Datenquellen und Datenströme Datenintegration Datenhaltung Informationsbereitstellung Anwender und Rollen Operative Anwendungen und Prozesse Querschnittsprozesse Problemstellen und Lösungsansätze hinsichtlich der Datenqualität Datenquellen Datenintegration Datenhaltung Informationsbereitstellung Architektur für Datenqualitätsmanagement Serviceorientierte Architektur Master Data Management Architektur Umsetzung Empfehlungen Big Data Definitionen von Big Data Fachlich-datenbezogene Sicht Gartner-Sicht Technisch-infrastrukturelle Sicht Bedeutung der Datenqualität bei Big Data Herausforderung externe Daten Herausforderung unstrukturierte Daten Herausforderung Geschwindigkeit Herausforderung Volumen Empfehlungen Kennzahlen zur Messung der Datenqualität Anwendungsmöglichkeiten von Kennzahlen Messpunkte für Datenqualität DQ-Metriken Kennzahlen für ausgewählte Datenqualitätskriterien Kennzahlenbaum Kennzahlenformular Empfehlungen

4 xv Teil II Verbesserung der Datenqualität imquellsystem Vorbeugung vor neuen Datenqualitätsproblemen Empfehlungen Data Profiling Data-Profiling-Prozess Schritt 1: Integration der Daten Schritt 2: Analyse der integrierten Daten Schritt 3: Darstellung der Ergebnisse Schritt 4: Fachliche Bewertung der Ergebnisse Zusammensetzung des Data-Profiling-Teams Vorgehensweise beim Data Profiling Data-Profiling-Verfahren zur Analyse von Attributen Standardanalysen auf Attributebene Analyse der Attribute mit Geschäftsregeln Data-Profiling-Verfahren zur Analyse von Datensätzen Analyse auf Schlüsselattribute Analyse auf abgeleitete Werte Analyse von Datensätzen mit Geschäftsregeln Data-Profiling-Verfahren zur Analyse von Tabellen Analyse von Tabellen auf referenzielle Abhängigkeiten Analyse von Tabellen mit Geschäftsregeln Empfehlungen Erfolgreiche Datenvalidierung und -filterung Validierung auf vier Ebenen Filterung fehlerhafter Daten Validierung bei Extraktion oder Laden Arten der Datenvalidierung Erstellung der Validierungsregeln und Speicherung der Ergebnisse Empfehlungen Standardisierung und Bereinigung Standardisierung Datenbereinigung Standardisierung und Bereinigung im ETL-Prozess Verfahren für nicht zu bereinigende Daten Empfehlungen

5 xvi 12 Datenanreicherung Wirtschaftsinformationen Geografische Informationen Soziodemografische Informationen Haushaltsbildung Standards zur Klassifizierung von Waren und Dienstleistungen Branchenklassifizierung Empfehlungen Verbesserung der Datenqualität in der Bereitstellung und Visualisierung Bereitstellung der Daten Visualisierung der Information Empfehlungen Wertschöpfung durch Metadaten Metadaten: Begriff und Strukturierung Metadatenarchitekturen Metadatenmanagement Metadatenkategorien Probleme bei der Erstellung: Motivation und Aktualität Nutzung von Metadaten Empfehlungen Data Quality Monitoring DQ-Planung DQ-Assessment DQ-Phasenkonzepte Methoden Verantwortlichkeiten Empfehlungen Produktauswahl und -integration Anbieter und Produkte Auswahlkriterien im Überblick Funktionale Kriterien Integration Einbeziehung der Fachbereiche Sprachen und Länder Einbindung in DQM-Prozesse Empfehlungen

6 xvii Teil III Datenqualitätsmanagement in einer Studie Analyse des Istzustands Entwurf des Sollkonzepts Bewertung Umsetzungsplanung Empfehlungen Datenqualitätsmanagement in der Spezifikation Spezifikation der Schnittstellen Definition der Rollen in der Datenorganisation Festlegung der Datenqualitätsziele Bezeichnung und Definition der Objekte Festlegung der Geschäftsregeln Messung der Qualität von Definitionen und Geschäftsregeln Data Profiling in der Spezifikation Entwurf des Systems Empfehlungen Datenqualitätsmaßnahmen in der Konstruktionsphase Übertragung der Datenqualitätsziele Konventionen und Richtlinien Entwurf des Systems Erstellung eines Prototypen Empfehlungen Steuerung der Datenqualität in der Realisierung Einhaltung der Konventionen, Richtlinien und Konzepte Data Profiling in der Realisierung Einbindung der Datenverantwortlichen und Benutzer Realisierung der Datenqualitätsmaßnahmen Durchführung von Tests Empfehlungen Steuerung der Datenqualität im Betrieb Monitoring und Berichtswesen Ausbildung Empfehlungen

7 xviii Anhang 355 Abkürzungen 357 Literatur 359 Index 367