DATENQUALITÄT ERFOLGREICH STEUERN detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI
DATENQUALITÄT ERFOLGREICH STEUERN PRAXISLÖSUNGEN FÜR BUSINESS-INTELLIGENCE- PROJEKTE detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI 2., vollständig überarbeitete und erweiterte Auflage
Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autoren und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autoren und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Informationen der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden. 2010 SIGS DATACOM GmbH Im Vertrieb des Carl Hanser Verlags München, Wien Fachlektorat: Prof. Dr. Peter Chamoni, Marcus Pilz Lektorat und Korrektorat: Kirsten Skacel, Lektorat Rotstift Projektmanagement: Sabine Baumgartner Coverconcept: Marc Müller-Bremer, www.rebranding.de, München Coverrealisierung: Stephan Rönigk Layout und Satz: Roman Bold & Black, Köln Datenbelichtung, Druck und Bindung: Media-Print Informationstechnologie GmbH, Paderborn Printed in Germany ISBN: 978-3-446-42501-9
Inhalt Seite Vorwort...9 Einleitung...11 I. Theorie I.1 Datenqualität...16 I.1.1 Daten...16 I.1.2 Qualität...17 I.1.3 Datenqualität...19 I.1.4 Datenqualitätsmanagement...24 I.1.5 Zusammenfassung...28 I.2 Ausprägungen und Ursachen schlechter Datenqualität...29 I.2.1 Geschäftstreiber...29 I.2.2 Ausprägungen schlechter Datenqualität...32 I.2.3 Ursachen schlechter Datenqualität...34 I.2.4 Beispiel: Finanzdienstleister...39 I.2.5 Zusammenfassung...41 I.3 Auswirkungen schlechter Datenqualität...42 I.3.1 Datenqualitätskosten...42 I.3.2 Gesetzliche Anforderungen...47 I.3.3 Zusammenfassung...51 I.4 Organisation...52 I.4.1 Aufbauorganisation...52 I.4.2 Ablauforganisation...60 I.4.3 Empfehlungen...63 I.5 Referenzarchitektur für Business-Intelligence-Anwendungen...65 I.5.1 Referenzarchitektur...65 I.5.2 Problemstellen und Lösungsansätze hinsichtlich der Datenqualität...69 I.5.3 Architektur für Datenqualitätsmanagement...73 I.5.4 Serviceorientierte Architektur...75 I.5.5 Master Data Management...76 I.6 Kennzahlen zur Messung der Datenqualität...81 I.6.1 Anwendungsmöglichkeiten von Kennzahlen...82 I.6.2 Messpunkte für Datenqualität...84 I.6.3 DQ-Metriken...87 I.6.4 Beispiele für Kennzahlen je Datenqualitätskriterium...89 I.6.5 Kennzahlenbaum...91 I.6.6 DQ-Assessment...92
Inhalt I.6.7 I.6.8 I.6.9 I.6.10 DQ-Planung...95 DQ-Projekte...96 Kennzahlenformular...96 Zusammenfassung...97 II. Technische Umsetzung Einleitung...100 II.1 II.2 II.3 II.4 II.5 Verbesserung der Datenqualität im Quellsystem...103 II.1.1 Vorbeugung vor neuen Datenqualitätsproblemen...103 II.1.2 Empfehlungen...108 Data Profiling...110 II.2.1 Data-Profiling-Prozess...111 II.2.2 Zusammensetzung des Data-Profiling-Teams...113 II.2.3 Data-Profiling-Verfahren...114 II.2.4 Empfehlungen...147 Erfolgreiche Datenvalidierung und -filterung...149 II.3.1 Validierung auf vier Ebenen...149 II.3.2 Filterung fehlerhafter Daten...149 II.3.3 Validierung bei Extraktion oder Laden...153 II.3.4 Arten der Datenvalidierung...155 II.3.5 Erstellung der Validierungsregeln und Speicherung der Ergebnisse...157 II.3.6 Empfehlungen...158 Standardisierung und Bereinigung...159 II.4.1 Standardisierung...159 II.4.2 Datenbereinigung...161 II.4.3 Standardisierung und Bereinigung im ETL-Prozess...183 II.4.4 Verfahren für nicht zu bereinigende Daten...184 II.4.5 Empfehlungen...184 Datenanreicherung...185 II.5.1 Wirtschaftsinformationen...185 II.5.2 Geografische Informationen...187 II.5.3 Soziodemografische Informationen...189 II.5.4 Haushaltsbildung...189 II.5.5 Standards zur Klassifizierung von Waren und Dienstleis tungen...191 II.5.6 Branchen-Klassifizierung...194 II.5.7 Empfehlungen...196
Inhalt II.6 Verbesserung der Datenqualität in der Bereitstellung und Visualisierung...197 II.6.1 Bereitstellung der Daten...197 II.6.2 Visualisierung der Information...198 II.6.3 Empfehlungen...213 III. II.7 II.8 II.9 Projektpraxis Wertschöpfung durch Metadaten...214 II.7.1 Metadaten: Begriff und Strukturierung...214 II.7.2 Metadaten-Architekturen...216 II.7.3 Metadaten-Management...218 II.7.4 Metadaten-Kategorien...220 II.7.5 Probleme bei der Erstellung: Motivation und Aktualität...224 II.7.6 Nutzung von Metadaten...224 II.7.7 Empfehlungen...226 Data Quality Monitoring...227 II.8.1 DQ-Messung und -Analyse...227 II.8.2 Methoden...229 II.8.3 Visualisierung...231 II.8.4 Benachrichtigung und Aktionen...235 II.8.5 Verantwortlichkeiten...235 II.8.6 Zusammenfassung...235 Produktauswahl und -integration...236 II.9.1 Anbieter und Produkte...236 II.9.2 Auswahlkriterien im Überblick...237 II.9.3 Funktionale Kriterien...238 II.9.4 Integration...241 II.9.5 Einbeziehung der Fachbereiche...242 II.9.6 Sprachen und Länder...243 II.9.7 Einbindung in DQM-Prozesse...243 II.9.8 Empfehlungen...243 Einleitung...246 III.1 Datenqualitätsmanagement in einer Studie...250 III.1.1 Analyse des Ist-Zustands...250 III.1.2 Entwurf des Soll-Konzepts...259 III.1.3 Bewertung...264 III.1.4 Umsetzungsplanung...264 III.1.5 Empfehlungen...264
Inhalt III.2 Datenqualitätsmanagement in der Spezifikation...265 III.2.1 Spezifikation der Schnittstellen...265 III.2.2 Definition der Rollen in der Datenorganisation...266 III.2.3 Festlegung der Datenqualitätsziele...267 III.2.4 Bezeichnung und Definition der Objekte...270 III.2.5 Festlegung der Geschäftsregeln...272 III.2.6 Messung der Qualität von Definitionen und Geschäftsregeln...273 III.2.7 Data Profiling in der Spezifikation...273 III.2.8 Entwurf des Systems...274 III.2.9 Empfehlungen...277 III.3 Datenqualitätsmaßnahmen in der Konstruktionsphase...278 III.3.1 Übertragung der Datenqualitätsziele...278 III.3.2 Konventionen und Richtlinien...278 III.3.3 Entwurf des Systems...279 III.3.4 Erstellung eines Prototypen...285 III.3.5 Empfehlungen...285 III.4 Steuerung der Datenqualität in der Realisierung...286 III.4.1 Einhaltung der Konventionen, Richtlinien und Konzepte...286 III.4.2 Data Profiling in der Realisierung...286 III.4.3 Einbindung der Datenverantwortlichen und Benutzer...287 III.4.4 Realisierung der Datenqualitätsmaßnahmen...288 III.4.5 Durchführung von Tests...289 III.4.6 Empfehlungen...289 III.5 Steuerung der Datenqualität im Betrieb...290 III.5.1 Monitoring und Berichtswesen...290 III.5.2 Ausbildung...292 III.5.3 Empfehlungen...292 Anhang Die Autoren...294 Abkürzungen...296 Literaturverzeichnis...297 Register...302
Vorwort Vorwort zur 2. Auflage Die positive Resonanz auf die 1. Auflage und einige inhaltliche Erweiterungswünsche der Autoren haben zu einer schnellen 2. Auflage des vorliegenden Bandes über Datenqualitätsmanagement geführt. Neben kleinen Korrekturen wurden einige Passagen wie z. B. die Abhandlung über Metadaten oder Standardisierung vollständig überarbeitet. Die umfangreichste Ergänzung liegt sicherlich in der Hinzufügung einer konkreten Fallstudie in Buchteil III, was das Werk für BI-Projekte nun noch interessanter macht. Es freut mich, dass der Erfolg der 1. Auflage die Autoren motiviert hat, sofort wieder zur Tastatur zu greifen und ihr profundes Fachwissen zusammenzutragen. Hierfür gebührt mein Dank den Herren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi. Auch die Begleitung des Verlags muss positiv hervorgehoben werden, denn ohne Frau Sabine Baumgartner wäre die schnelle Veröffentlichung der 2. Auflage nicht möglich gewesen. Den Leserinnen und Lesern lege ich die wesentlich erweiterte Version noch mehr ans Herz und hoffe, dass die Ausführungen zur Steuerung der Datenqualität in den Unternehmen Anklang finden. Univ.-Prof. Dr. Peter Chamoni Vorwort zur 1. Auflage Das Thema Datenqualität hat eine hohe Relevanz in allen Einsatzgebieten der Informationsverarbeitung. Seit vielen Jahren ist die Problematik verfälschter, unzutreffender oder fehlender Daten und der daraus abgeleiteten Informationen ein großes Hindernis bei der Bearbeitung täglicher Aufgaben, und dies sowohl in Geschäftsprozessen wie auch in technischen Abläufen. Noch gravierender können Fehleinschätzungen oder Fehlinterpretationen bei strategischen Unternehmensentscheidungen ausfallen, wenn die zugrunde liegende Informationsbasis eine schlechte Datenqualität aufweist. Eine Vielzahl von Beispielen belegt die fatalen Folgen von betrieblichen Fehlentscheidungen oder technischem Systemversagen, die der mangelnden Datenqualität zuzuschreiben sind. Hierbei sind es weniger die Defizite der automatisierten Verarbeitungsprozesse, sondern vielmehr die Unachtsamkeit oder fehlende Voraussicht der agierenden Menschen, die mit der Erfassung, Beschreibung, Verwaltung und Auswertung der Daten betraut sind. Damit kann die Bewältigung der Problematik um die Datenqualität in den Gesamtkontext des Qualitätsmanagements gesetzt werden. Weder theoretische noch praktische Ansätze lösen das Problem bisher befriedigend. Wissenschaftliche Ansätze analysieren das Phänomen der Qualitätsdefizite, weisen auf idealtypische Verhaltensmuster oder Verfahren der Qualitätssicherung hin und sind bestenfalls Referenz für die Einführung von umfassenden Qualitätssicherungsmaßnahmen. Im Gegensatz dazu greifen die praxisorientierten Problemlösungen nicht selten nur lokal und bekämpfen die Folgen, nicht die Ursachen der Datenqualitätsprobleme. Die vorliegende Publikation setzt hier an, um die theoretischen Erkenntnisse mit den aus der Praxis erwachsenen Problemen der Datenqualität in Einklang zu bringen. Der spezielle Fokus liegt in der Betrachtung der Bereitstellung entscheidungsrelevanter Information für das Management. Dieser komplexe Prozess der Akquisition, Speicherung und Aufbereitung
10 Vorwort von Führungsinformationen basiert auf der Sammlung und Verdichtung von Fakten, die das Berichtswesen stützen und situationsbedingt zur Entscheidung beitragen. Die Begriffe Data Warehousing und Business Intelligence beschreiben diese Prozesse und Systemarchitekturen. Ausgehend von den anspruchsvollen Aufgaben der präzisen, nachvollziehbaren und korrekten Berichterstattung, der tiefen Analyse betriebswirtschaftlicher Zusammenhänge und der anschließenden Entscheidungsunterstützung für zukünftige Handlungen, bietet das Buch profunde und praxisorientierte Einsichten zur Lösung der Datenqualitätsprobleme in BI-Anwendungen. Hierin ist auch der spezielle Wert der Publikation zu sehen, denn für den Einsatzbereich Business Intelligence mit seinen spezifischen Problemfeldern gibt es bisher kaum praxisorientierte Anleitungen, welche die Projektarbeit in Fragen der Datenqualität so kompetent begleiten können. Dieser erste Band Datenqualität erfolgreich steuern stellt den Auftakt für eine neue Buchreihe dar. Im Sinne dieser Buchreihe ist das Werk als Leitfaden für DWH-/BI-Projektverantwortliche konzipiert, um eine direkte Umsetzbarkeit aus dem dargebotenen Praxiswissen zu ermöglichen. Die Ausführungen gliedern sich in drei Teile, die den Leser zuerst mit der Grundproblematik und den Begriffen der Datenqualität vertraut machen, ihm dann Prozesse, Verfahren und Werkzeuge für die technische Umsetzung des Datenqualitätsmanagements unterbreiten, um anschließend Hinweise aus der Projektpraxis für die eigene unternehmensindividuelle Umsetzung zu geben. Ein aus meiner Sicht sehr gelungenes Werk, da die Autoren es verstanden haben, das Themenfeld fundiert und anschaulich zu beschreiben und konkrete Handlungsempfehlungen für den Projektalltag zu geben. Gemeinsam mit Markus Pilz hatte ich die Freude, bei der Entstehung des Manuskripts Pate zu stehen und an der einen oder anderen Stelle mit fachlichen Hinweisen auszuhelfen. Die Autoren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi sind allesamt ausgewiesene Kenner der Materie, da sie seit vielen Jahren in BI-Projekten mit dem Thema Datenqualität konfrontiert sind und damit einen Einblick in die Best Practice sichern. Jeder von ihnen ist stark durch die tägliche Projektarbeit belastet, sodass ich meine Hochachtung für die nebenher geleistete gemeinschaftliche Manuskripterstellung zolle. Speziell als Vorsitzender des TDWI Germany e. V. freut es mich, dass mit diesem ersten Buch bei tdwipress realisiert wurde, was wir uns immer gewünscht haben: Best Practice von Praktikern für Praktiker. Mein besonderer Dank gilt allen Mitarbeitern des Verlags und an erster Stelle Frau Sabine Baumgartner, die mit stets freundlichem Ton und hohem Unterstützungsgrad die Anfertigung der Manuskriptseiten und Bearbeitung durch das Fachlektorat unermüdlich einforderte. Ich hoffe, dass interessierte Führungskräfte und Mitarbeiter in Anwenderunternehmen sowie Berater und Softwareentwickler die hilfreichen Tipps und Tricks aus diesem Buch beim Aufbau und Betrieb von BI-Anwendungen nutzen. Nicht zuletzt Lehrende und Lernende an Hochschulen mögen das Werk in den Kanon der einschlägigen Literatur aufnehmen. Univ.-Prof. Dr. Peter Chamoni
11 Einleitung Nach Schätzungen 1 verursacht schlechte Datenqualität in Unternehmen Verluste in Höhe von bis zu 25 Prozent des operativen Gewinns. Aufgrund der zunehmenden Integration von IT in die Geschäftsprozesse der Unternehmen sowie der Anforderungen hinsichtlich Compliance nimmt die Bedeutung von Datenqualität nochmals erheblich zu. Die Hoffnung vieler Unternehmen auf Lösung der Datenqualitätsproblematik durch die Einführung von Standard-Software für Enterprise Resource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM) u. a. schwindet und macht endlich Platz für wirksame Maßnahmen. Im Mittelpunkt dieses Buches steht die Vermittlung langjähriger Erfahrungen aus BI-Projekten mit Datenqualitätsmanagement-Aktivitäten bei Unternehmen unterschiedlicher Branchen. Neben der anwender- und praxisorientierten Darstellung der verschiedenen Bereiche von Datenqualitätsmanagement (DQM) werden die Best Practices und Lessons Learned dargestellt, sodass der Leser eigene Projekte in diesem Umfeld erfolgreich durchführen kann. Generell werden Daten über eine Benutzerschnittstelle erfasst oder durch Geschäftslogik von IT-Systemen erzeugt. Meistens fließen die Daten weiter in andere IT-Systeme und werden dabei transformiert. Ein Datenfluss kann viele Stationen haben. Das Data Warehouse ist häufig nur die Endstation solcher Datenflüsse. Werden fehlerhafte Daten nicht erkannt und behandelt, führen sie im Verlauf des Datenflusses zu Folgefehlern, die sich leicht zu größeren Problemen aufschaukeln können. Es liegt also auf der Hand, ein Datenqualitätsmanagement möglichst frühzeitig im Datenfluss anzusetzen. Nachhaltiges Datenqualitätsmanagement ist daher idealerweise eine unternehmensweite Aktivität, die ggf. vom BI-Vorhaben angestoßen werden muss. In den meisten Unternehmen kommen fehlerhafte Daten erst im Data Warehouse ans Licht. Das liegt daran, dass dort alle Daten in Gänze und verdichtet betrachtet werden, während beim Datenzugriff durch operative Systeme nur einige Felder in dem einen oder anderen Datensatz zutage treten. Schlechte Datenqualität lässt sich im Data Warehouse nicht verbergen. Allerdings ist es oft genau diese schlechte Datenqualität, welche die Akzeptanz der BI-Anwendung durch den Endanwender in den Fachbereichen verhindert und häufig direkt zum Misserfolg des mit dem Data Warehouse verbundenen Vorhabens führt. Wer will schon wichtige geschäftliche Entscheidungen auf fehlerhafte Daten stützen? Da lässt es sich noch besser aus dem Bauch heraus entscheiden. Dieses Buch hat nicht den Anspruch eines unternehmensweiten Datenqualitätsmanagements, sondern fokussiert auf den Bereich Business Intelligence, wo der Schmerz mit fehlerhaften Daten am größten ist. Unter Business Intelligence (BI) wird ein integrierter, unternehmensspezifischer, IT-basierter Gesamtansatz zur Unterstützung betrieblicher Entscheidungen verstanden. Business Intelligence ist der Prozess, der Daten in Informationen und weiter in Wissen umwandelt. 2 Unternehmensentscheidungen und Prognosen stützen sich auf dieses Wissen und führen zu geschäftlichem Mehrwert. Business Intelligence kommt sowohl zur Unterstützung strategischer Entscheidungen als auch im operativen Bereich zum Einsatz. 1 Vgl. Crosby 1979, S. 15; Juran 1988, S. 1. Definition von Howard Dresner, Gartner 1989.
12 Einleitung Business Intelligence umfasst ein breites Spektrum an Anwendungen und Technologien und ist der Oberbegriff für Data Warehousing, Data Mining, Online Analytical Processing und Analytische Anwendungen. Im weiteren Sinne umfasst Business Intelligence auch die Erschließung unstrukturierter Daten mittels Content- und Dokumenten-Management. Letztgenannte Bereiche sind jedoch nicht Gegenstand dieses Buches. Betrachtet wird lediglich die Business Intelligence im engeren Sinn, also auf strukturierte Daten bezogen. Reporting, Analyse, Data Mining Data Warehouse Strukturierte Daten Endanwender der Fachbereiche Business Intelligence Portal Abb. E.1: Grobe Architektur für Business Intelligence Knowledge-Management Content-, Dokumenten- Management Unstrukturierte Daten Das Data Warehouse ist eine konsolidierte Datenhaltung zur Unterstützung von Reporting und Analyse. Ein Data Warehouse ist eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen. 3 Das Buch gliedert sich in drei Teile. Im ersten Teil wird beschrieben, was Datenqualitätsmanagement ausmacht. Der zweite Teil befasst sich mit der Umsetzung und stellt insbesondere technische Hilfsmittel dar. Im dritten Teil wird erklärt, wie man Verfahren, Methoden, Organisation und Werkzeuge des Datenqualitätsmanagements in der Praxis einsetzt. Zu Beginn des ersten Teils werden die wesentlichen Begriffe im Zusammenhang mit Datenqualitätsmanagement definiert. In Kapitel 2 wird erklärt, woran sich schlechte Datenqualität festmacht und wo die Ursachen dafür liegen. Im 3. Kapitel wird dargelegt, warum es sich lohnt, ein Datenqualitätsmanagement aufzusetzen. Im 4. Kapitel werden die organisatorischen Belange in Bezug auf die Datenqualität ausführlich geschildert. Die Architektur Vgl. Inmon 1996.
Einleitung 13 für Business-Intelligence-Anwendungen wird unter dem Blickwinkel der Datenqualität in Kapitel 5 betrachtet. Das 6. Kapitel beschreibt, wie sich Datenqualität messen lässt. Im zweiten Teil des Buches werden wichtige Prinzipien der technischen Umsetzung des Datenqualitätsmanagements beschrieben. Dabei werden die Werkzeuge zur Unterstützung des Datenqualitätsmanagements betrachtet, angefangen beim Metadaten-Management über Data Profiling, die Validierung, Bereinigung und Anreicherung von Daten bis hin zur fortlaufenden Überwachung der Datenqualität. Anschließend wird auf die Integration der Werkzeuge in die Anwendungslandschaft der jeweiligen IT-Umgebung eingegangen. Am Ende dieses Buchteils werden Kriterien zur Produktauswahl aufgeführt. Der dritte und letzte Teil des Buches bildet Datenqualitätsmanagement auf das Vorgehen in BI-Projekten ab. Dabei werden die einzelnen Phasen eines BI-Projekts von der Vorstudie über Spezifikation, Design und Umsetzung bis zum Betrieb im Unternehmen betrachtet. Für jede Projektphase werden die jeweils einzusetzenden Elemente des Datenqualitätsmanagements benannt, die im zweiten Teil des Buches beschrieben wurden. Somit bietet der dritte Buchteil für Projektverantwortliche eine unverzichtbare Hilfestellung zur erfolgreichen Durchführung von Projekten.