Datenqualität Erfolgreich Steuern downloaded from by on February 9, For personal use only.

Transkript

1

2 DATENQUALITÄT ERFOLGREICH STEUERN detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI

3

4 DATENQUALITÄT ERFOLGREICH STEUERN PRAXISLÖSUNGEN FÜR BUSINESS-INTELLIGENCE- PROJEKTE detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI 2., vollständig überarbeitete und erweiterte Auflage

5 Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autoren und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autoren und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Informationen der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden SIGS DATACOM GmbH Im Vertrieb des Carl Hanser Verlags München, Wien Fachlektorat: Prof. Dr. Peter Chamoni, Marcus Pilz Lektorat und Korrektorat: Kirsten Skacel, Lektorat Rotstift Projektmanagement: Sabine Baumgartner Coverconcept: Marc Müller-Bremer, München Coverrealisierung: Stephan Rönigk Layout und Satz: Roman Bold & Black, Köln Datenbelichtung, Druck und Bindung: Media-Print Informationstechnologie GmbH, Paderborn Printed in Germany ISBN:

6 Inhalt Seite Vorwort...9 Einleitung...11 I. Theorie I.1 Datenqualität...16 I.1.1 Daten...16 I.1.2 Qualität...17 I.1.3 Datenqualität...19 I.1.4 Datenqualitätsmanagement...24 I.1.5 Zusammenfassung...28 I.2 Ausprägungen und Ursachen schlechter Datenqualität...29 I.2.1 Geschäftstreiber...29 I.2.2 Ausprägungen schlechter Datenqualität...32 I.2.3 Ursachen schlechter Datenqualität...34 I.2.4 Beispiel: Finanzdienstleister...39 I.2.5 Zusammenfassung...41 I.3 Auswirkungen schlechter Datenqualität...42 I.3.1 Datenqualitätskosten...42 I.3.2 Gesetzliche Anforderungen...47 I.3.3 Zusammenfassung...51 I.4 Organisation...52 I.4.1 Aufbauorganisation...52 I.4.2 Ablauforganisation...60 I.4.3 Empfehlungen...63 I.5 Referenzarchitektur für Business-Intelligence-Anwendungen...65 I.5.1 Referenzarchitektur...65 I.5.2 Problemstellen und Lösungsansätze hinsichtlich der Datenqualität...69 I.5.3 Architektur für Datenqualitätsmanagement...73 I.5.4 Serviceorientierte Architektur...75 I.5.5 Master Data Management...76 I.6 Kennzahlen zur Messung der Datenqualität...81 I.6.1 Anwendungsmöglichkeiten von Kennzahlen...82 I.6.2 Messpunkte für Datenqualität...84 I.6.3 DQ-Metriken...87 I.6.4 Beispiele für Kennzahlen je Datenqualitätskriterium...89 I.6.5 Kennzahlenbaum...91 I.6.6 DQ-Assessment...92

7 Inhalt I.6.7 I.6.8 I.6.9 I.6.10 DQ-Planung...95 DQ-Projekte...96 Kennzahlenformular...96 Zusammenfassung...97 II. Technische Umsetzung Einleitung II.1 II.2 II.3 II.4 II.5 Verbesserung der Datenqualität im Quellsystem II.1.1 Vorbeugung vor neuen Datenqualitätsproblemen II.1.2 Empfehlungen Data Profiling II.2.1 Data-Profiling-Prozess II.2.2 Zusammensetzung des Data-Profiling-Teams II.2.3 Data-Profiling-Verfahren II.2.4 Empfehlungen Erfolgreiche Datenvalidierung und -filterung II.3.1 Validierung auf vier Ebenen II.3.2 Filterung fehlerhafter Daten II.3.3 Validierung bei Extraktion oder Laden II.3.4 Arten der Datenvalidierung II.3.5 Erstellung der Validierungsregeln und Speicherung der Ergebnisse II.3.6 Empfehlungen Standardisierung und Bereinigung II.4.1 Standardisierung II.4.2 Datenbereinigung II.4.3 Standardisierung und Bereinigung im ETL-Prozess II.4.4 Verfahren für nicht zu bereinigende Daten II.4.5 Empfehlungen Datenanreicherung II.5.1 Wirtschaftsinformationen II.5.2 Geografische Informationen II.5.3 Soziodemografische Informationen II.5.4 Haushaltsbildung II.5.5 Standards zur Klassifizierung von Waren und Dienstleis tungen II.5.6 Branchen-Klassifizierung II.5.7 Empfehlungen...196

8 Inhalt II.6 Verbesserung der Datenqualität in der Bereitstellung und Visualisierung II.6.1 Bereitstellung der Daten II.6.2 Visualisierung der Information II.6.3 Empfehlungen III. II.7 II.8 II.9 Projektpraxis Wertschöpfung durch Metadaten II.7.1 Metadaten: Begriff und Strukturierung II.7.2 Metadaten-Architekturen II.7.3 Metadaten-Management II.7.4 Metadaten-Kategorien II.7.5 Probleme bei der Erstellung: Motivation und Aktualität II.7.6 Nutzung von Metadaten II.7.7 Empfehlungen Data Quality Monitoring II.8.1 DQ-Messung und -Analyse II.8.2 Methoden II.8.3 Visualisierung II.8.4 Benachrichtigung und Aktionen II.8.5 Verantwortlichkeiten II.8.6 Zusammenfassung Produktauswahl und -integration II.9.1 Anbieter und Produkte II.9.2 Auswahlkriterien im Überblick II.9.3 Funktionale Kriterien II.9.4 Integration II.9.5 Einbeziehung der Fachbereiche II.9.6 Sprachen und Länder II.9.7 Einbindung in DQM-Prozesse II.9.8 Empfehlungen Einleitung III.1 Datenqualitätsmanagement in einer Studie III.1.1 Analyse des Ist-Zustands III.1.2 Entwurf des Soll-Konzepts III.1.3 Bewertung III.1.4 Umsetzungsplanung III.1.5 Empfehlungen...264

9 Inhalt III.2 Datenqualitätsmanagement in der Spezifikation III.2.1 Spezifikation der Schnittstellen III.2.2 Definition der Rollen in der Datenorganisation III.2.3 Festlegung der Datenqualitätsziele III.2.4 Bezeichnung und Definition der Objekte III.2.5 Festlegung der Geschäftsregeln III.2.6 Messung der Qualität von Definitionen und Geschäftsregeln III.2.7 Data Profiling in der Spezifikation III.2.8 Entwurf des Systems III.2.9 Empfehlungen III.3 Datenqualitätsmaßnahmen in der Konstruktionsphase III.3.1 Übertragung der Datenqualitätsziele III.3.2 Konventionen und Richtlinien III.3.3 Entwurf des Systems III.3.4 Erstellung eines Prototypen III.3.5 Empfehlungen III.4 Steuerung der Datenqualität in der Realisierung III.4.1 Einhaltung der Konventionen, Richtlinien und Konzepte III.4.2 Data Profiling in der Realisierung III.4.3 Einbindung der Datenverantwortlichen und Benutzer III.4.4 Realisierung der Datenqualitätsmaßnahmen III.4.5 Durchführung von Tests III.4.6 Empfehlungen III.5 Steuerung der Datenqualität im Betrieb III.5.1 Monitoring und Berichtswesen III.5.2 Ausbildung III.5.3 Empfehlungen Anhang Die Autoren Abkürzungen Literaturverzeichnis Register...302

10 Vorwort Vorwort zur 2. Auflage Die positive Resonanz auf die 1. Auflage und einige inhaltliche Erweiterungswünsche der Autoren haben zu einer schnellen 2. Auflage des vorliegenden Bandes über Datenqualitätsmanagement geführt. Neben kleinen Korrekturen wurden einige Passagen wie z. B. die Abhandlung über Metadaten oder Standardisierung vollständig überarbeitet. Die umfangreichste Ergänzung liegt sicherlich in der Hinzufügung einer konkreten Fallstudie in Buchteil III, was das Werk für BI-Projekte nun noch interessanter macht. Es freut mich, dass der Erfolg der 1. Auflage die Autoren motiviert hat, sofort wieder zur Tastatur zu greifen und ihr profundes Fachwissen zusammenzutragen. Hierfür gebührt mein Dank den Herren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi. Auch die Begleitung des Verlags muss positiv hervorgehoben werden, denn ohne Frau Sabine Baumgartner wäre die schnelle Veröffentlichung der 2. Auflage nicht möglich gewesen. Den Leserinnen und Lesern lege ich die wesentlich erweiterte Version noch mehr ans Herz und hoffe, dass die Ausführungen zur Steuerung der Datenqualität in den Unternehmen Anklang finden. Univ.-Prof. Dr. Peter Chamoni Vorwort zur 1. Auflage Das Thema Datenqualität hat eine hohe Relevanz in allen Einsatzgebieten der Informationsverarbeitung. Seit vielen Jahren ist die Problematik verfälschter, unzutreffender oder fehlender Daten und der daraus abgeleiteten Informationen ein großes Hindernis bei der Bearbeitung täglicher Aufgaben, und dies sowohl in Geschäftsprozessen wie auch in technischen Abläufen. Noch gravierender können Fehleinschätzungen oder Fehlinterpretationen bei strategischen Unternehmensentscheidungen ausfallen, wenn die zugrunde liegende Informationsbasis eine schlechte Datenqualität aufweist. Eine Vielzahl von Beispielen belegt die fatalen Folgen von betrieblichen Fehlentscheidungen oder technischem Systemversagen, die der mangelnden Datenqualität zuzuschreiben sind. Hierbei sind es weniger die Defizite der automatisierten Verarbeitungsprozesse, sondern vielmehr die Unachtsamkeit oder fehlende Voraussicht der agierenden Menschen, die mit der Erfassung, Beschreibung, Verwaltung und Auswertung der Daten betraut sind. Damit kann die Bewältigung der Problematik um die Datenqualität in den Gesamtkontext des Qualitätsmanagements gesetzt werden. Weder theoretische noch praktische Ansätze lösen das Problem bisher befriedigend. Wissenschaftliche Ansätze analysieren das Phänomen der Qualitätsdefizite, weisen auf idealtypische Verhaltensmuster oder Verfahren der Qualitätssicherung hin und sind bestenfalls Referenz für die Einführung von umfassenden Qualitätssicherungsmaßnahmen. Im Gegensatz dazu greifen die praxisorientierten Problemlösungen nicht selten nur lokal und bekämpfen die Folgen, nicht die Ursachen der Datenqualitätsprobleme. Die vorliegende Publikation setzt hier an, um die theoretischen Erkenntnisse mit den aus der Praxis erwachsenen Problemen der Datenqualität in Einklang zu bringen. Der spezielle Fokus liegt in der Betrachtung der Bereitstellung entscheidungsrelevanter Information für das Management. Dieser komplexe Prozess der Akquisition, Speicherung und Aufbereitung

11 10 Vorwort von Führungsinformationen basiert auf der Sammlung und Verdichtung von Fakten, die das Berichtswesen stützen und situationsbedingt zur Entscheidung beitragen. Die Begriffe Data Warehousing und Business Intelligence beschreiben diese Prozesse und Systemarchitekturen. Ausgehend von den anspruchsvollen Aufgaben der präzisen, nachvollziehbaren und korrekten Berichterstattung, der tiefen Analyse betriebswirtschaftlicher Zusammenhänge und der anschließenden Entscheidungsunterstützung für zukünftige Handlungen, bietet das Buch profunde und praxisorientierte Einsichten zur Lösung der Datenqualitätsprobleme in BI-Anwendungen. Hierin ist auch der spezielle Wert der Publikation zu sehen, denn für den Einsatzbereich Business Intelligence mit seinen spezifischen Problemfeldern gibt es bisher kaum praxisorientierte Anleitungen, welche die Projektarbeit in Fragen der Datenqualität so kompetent begleiten können. Dieser erste Band Datenqualität erfolgreich steuern stellt den Auftakt für eine neue Buchreihe dar. Im Sinne dieser Buchreihe ist das Werk als Leitfaden für DWH-/BI-Projektverantwortliche konzipiert, um eine direkte Umsetzbarkeit aus dem dargebotenen Praxiswissen zu ermöglichen. Die Ausführungen gliedern sich in drei Teile, die den Leser zuerst mit der Grundproblematik und den Begriffen der Datenqualität vertraut machen, ihm dann Prozesse, Verfahren und Werkzeuge für die technische Umsetzung des Datenqualitätsmanagements unterbreiten, um anschließend Hinweise aus der Projektpraxis für die eigene unternehmensindividuelle Umsetzung zu geben. Ein aus meiner Sicht sehr gelungenes Werk, da die Autoren es verstanden haben, das Themenfeld fundiert und anschaulich zu beschreiben und konkrete Handlungsempfehlungen für den Projektalltag zu geben. Gemeinsam mit Markus Pilz hatte ich die Freude, bei der Entstehung des Manuskripts Pate zu stehen und an der einen oder anderen Stelle mit fachlichen Hinweisen auszuhelfen. Die Autoren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi sind allesamt ausgewiesene Kenner der Materie, da sie seit vielen Jahren in BI-Projekten mit dem Thema Datenqualität konfrontiert sind und damit einen Einblick in die Best Practice sichern. Jeder von ihnen ist stark durch die tägliche Projektarbeit belastet, sodass ich meine Hochachtung für die nebenher geleistete gemeinschaftliche Manuskripterstellung zolle. Speziell als Vorsitzender des TDWI Germany e. V. freut es mich, dass mit diesem ersten Buch bei tdwipress realisiert wurde, was wir uns immer gewünscht haben: Best Practice von Praktikern für Praktiker. Mein besonderer Dank gilt allen Mitarbeitern des Verlags und an erster Stelle Frau Sabine Baumgartner, die mit stets freundlichem Ton und hohem Unterstützungsgrad die Anfertigung der Manuskriptseiten und Bearbeitung durch das Fachlektorat unermüdlich einforderte. Ich hoffe, dass interessierte Führungskräfte und Mitarbeiter in Anwenderunternehmen sowie Berater und Softwareentwickler die hilfreichen Tipps und Tricks aus diesem Buch beim Aufbau und Betrieb von BI-Anwendungen nutzen. Nicht zuletzt Lehrende und Lernende an Hochschulen mögen das Werk in den Kanon der einschlägigen Literatur aufnehmen. Univ.-Prof. Dr. Peter Chamoni

12 11 Einleitung Nach Schätzungen 1 verursacht schlechte Datenqualität in Unternehmen Verluste in Höhe von bis zu 25 Prozent des operativen Gewinns. Aufgrund der zunehmenden Integration von IT in die Geschäftsprozesse der Unternehmen sowie der Anforderungen hinsichtlich Compliance nimmt die Bedeutung von Datenqualität nochmals erheblich zu. Die Hoffnung vieler Unternehmen auf Lösung der Datenqualitätsproblematik durch die Einführung von Standard-Software für Enterprise Resource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM) u. a. schwindet und macht endlich Platz für wirksame Maßnahmen. Im Mittelpunkt dieses Buches steht die Vermittlung langjähriger Erfahrungen aus BI-Projekten mit Datenqualitätsmanagement-Aktivitäten bei Unternehmen unterschiedlicher Branchen. Neben der anwender- und praxisorientierten Darstellung der verschiedenen Bereiche von Datenqualitätsmanagement (DQM) werden die Best Practices und Lessons Learned dargestellt, sodass der Leser eigene Projekte in diesem Umfeld erfolgreich durchführen kann. Generell werden Daten über eine Benutzerschnittstelle erfasst oder durch Geschäftslogik von IT-Systemen erzeugt. Meistens fließen die Daten weiter in andere IT-Systeme und werden dabei transformiert. Ein Datenfluss kann viele Stationen haben. Das Data Warehouse ist häufig nur die Endstation solcher Datenflüsse. Werden fehlerhafte Daten nicht erkannt und behandelt, führen sie im Verlauf des Datenflusses zu Folgefehlern, die sich leicht zu größeren Problemen aufschaukeln können. Es liegt also auf der Hand, ein Datenqualitätsmanagement möglichst frühzeitig im Datenfluss anzusetzen. Nachhaltiges Datenqualitätsmanagement ist daher idealerweise eine unternehmensweite Aktivität, die ggf. vom BI-Vorhaben angestoßen werden muss. In den meisten Unternehmen kommen fehlerhafte Daten erst im Data Warehouse ans Licht. Das liegt daran, dass dort alle Daten in Gänze und verdichtet betrachtet werden, während beim Datenzugriff durch operative Systeme nur einige Felder in dem einen oder anderen Datensatz zutage treten. Schlechte Datenqualität lässt sich im Data Warehouse nicht verbergen. Allerdings ist es oft genau diese schlechte Datenqualität, welche die Akzeptanz der BI-Anwendung durch den Endanwender in den Fachbereichen verhindert und häufig direkt zum Misserfolg des mit dem Data Warehouse verbundenen Vorhabens führt. Wer will schon wichtige geschäftliche Entscheidungen auf fehlerhafte Daten stützen? Da lässt es sich noch besser aus dem Bauch heraus entscheiden. Dieses Buch hat nicht den Anspruch eines unternehmensweiten Datenqualitätsmanagements, sondern fokussiert auf den Bereich Business Intelligence, wo der Schmerz mit fehlerhaften Daten am größten ist. Unter Business Intelligence (BI) wird ein integrierter, unternehmensspezifischer, IT-basierter Gesamtansatz zur Unterstützung betrieblicher Entscheidungen verstanden. Business Intelligence ist der Prozess, der Daten in Informationen und weiter in Wissen umwandelt. 2 Unternehmensentscheidungen und Prognosen stützen sich auf dieses Wissen und führen zu geschäftlichem Mehrwert. Business Intelligence kommt sowohl zur Unterstützung strategischer Entscheidungen als auch im operativen Bereich zum Einsatz. 1 Vgl. Crosby 1979, S. 15; Juran 1988, S. 1. Definition von Howard Dresner, Gartner 1989.

13 12 Einleitung Business Intelligence umfasst ein breites Spektrum an Anwendungen und Technologien und ist der Oberbegriff für Data Warehousing, Data Mining, Online Analytical Processing und Analytische Anwendungen. Im weiteren Sinne umfasst Business Intelligence auch die Erschließung unstrukturierter Daten mittels Content- und Dokumenten-Management. Letztgenannte Bereiche sind jedoch nicht Gegenstand dieses Buches. Betrachtet wird lediglich die Business Intelligence im engeren Sinn, also auf strukturierte Daten bezogen. Reporting, Analyse, Data Mining Data Warehouse Strukturierte Daten Endanwender der Fachbereiche Business Intelligence Portal Abb. E.1: Grobe Architektur für Business Intelligence Knowledge-Management Content-, Dokumenten- Management Unstrukturierte Daten Das Data Warehouse ist eine konsolidierte Datenhaltung zur Unterstützung von Reporting und Analyse. Ein Data Warehouse ist eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen. 3 Das Buch gliedert sich in drei Teile. Im ersten Teil wird beschrieben, was Datenqualitätsmanagement ausmacht. Der zweite Teil befasst sich mit der Umsetzung und stellt insbesondere technische Hilfsmittel dar. Im dritten Teil wird erklärt, wie man Verfahren, Methoden, Organisation und Werkzeuge des Datenqualitätsmanagements in der Praxis einsetzt. Zu Beginn des ersten Teils werden die wesentlichen Begriffe im Zusammenhang mit Datenqualitätsmanagement definiert. In Kapitel 2 wird erklärt, woran sich schlechte Datenqualität festmacht und wo die Ursachen dafür liegen. Im 3. Kapitel wird dargelegt, warum es sich lohnt, ein Datenqualitätsmanagement aufzusetzen. Im 4. Kapitel werden die organisatorischen Belange in Bezug auf die Datenqualität ausführlich geschildert. Die Architektur Vgl. Inmon 1996.

14 Einleitung 13 für Business-Intelligence-Anwendungen wird unter dem Blickwinkel der Datenqualität in Kapitel 5 betrachtet. Das 6. Kapitel beschreibt, wie sich Datenqualität messen lässt. Im zweiten Teil des Buches werden wichtige Prinzipien der technischen Umsetzung des Datenqualitätsmanagements beschrieben. Dabei werden die Werkzeuge zur Unterstützung des Datenqualitätsmanagements betrachtet, angefangen beim Metadaten-Management über Data Profiling, die Validierung, Bereinigung und Anreicherung von Daten bis hin zur fortlaufenden Überwachung der Datenqualität. Anschließend wird auf die Integration der Werkzeuge in die Anwendungslandschaft der jeweiligen IT-Umgebung eingegangen. Am Ende dieses Buchteils werden Kriterien zur Produktauswahl aufgeführt. Der dritte und letzte Teil des Buches bildet Datenqualitätsmanagement auf das Vorgehen in BI-Projekten ab. Dabei werden die einzelnen Phasen eines BI-Projekts von der Vorstudie über Spezifikation, Design und Umsetzung bis zum Betrieb im Unternehmen betrachtet. Für jede Projektphase werden die jeweils einzusetzenden Elemente des Datenqualitätsmanagements benannt, die im zweiten Teil des Buches beschrieben wurden. Somit bietet der dritte Buchteil für Projektverantwortliche eine unverzichtbare Hilfestellung zur erfolgreichen Durchführung von Projekten.