DATENQUALITÄT ERFOLGREICH STEUERN. detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI

Transkript

1

2 DATENQUALITÄT ERFOLGREICH STEUERN detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI

3 DATENQUALITÄT ERFOLGREICH STEUERN PRAXISLÖSUNGEN FÜR BUSINESS-INTELLIGENCE- PROJEKTE detlef APEL wolfgang BEHME rüdiger EBERLEIN christian MERIGHI 2., vollständig überarbeitete und erweiterte Auflage

4 Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autoren und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autoren und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Informationen der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden SIGS DATACOM GmbH Im Vertrieb des Carl Hanser Verlags München, Wien Fachlektorat: Prof. Dr. Peter Chamoni, Marcus Pilz Lektorat und Korrektorat: Kirsten Skacel, Lektorat Rotstift Projektmanagement: Sabine Baumgartner Coverconcept: Marc Müller-Bremer, München Coverrealisierung: Stephan Rönigk Layout und Satz: Roman Bold & Black, Köln Datenbelichtung, Druck und Bindung: Media-Print Informationstechnologie GmbH, Paderborn Printed in Germany ISBN:

5 Inhalt I. Theorie Seite Vorwort...9 Einleitung...11 I.1 Datenqualität...16 I.1.1 Daten...16 I.1.2 Qualität...17 I.1.3 Datenqualität...19 I.1.4 Datenqualitätsmanagement...24 I.1.5 Zusammenfassung...28 I.2 Ausprägungen und Ursachen schlechter Datenqualität...29 I.2.1 Geschäftstreiber...29 I.2.2 Ausprägungen schlechter Datenqualität...32 I.2.3 Ursachen schlechter Datenqualität...34 I.2.4 Beispiel: Finanzdienstleister...39 I.2.5 Zusammenfassung...41 I.3 Auswirkungen schlechter Datenqualität...42 I.3.1 Datenqualitätskosten...42 I.3.2 Gesetzliche Anforderungen...47 I.3.3 Zusammenfassung...51 I.4 Organisation...52 I.4.1 Aufbauorganisation...52 I.4.2 Ablauforganisation...60 I.4.3 Empfehlungen...63 I.5 Referenzarchitektur für Business-Intelligence-Anwendungen...65 I.5.1 Referenzarchitektur...65 I.5.2 Problemstellen und Lösungsansätze hinsichtlich der Datenqualität...69 I.5.3 Architektur für Datenqualitätsmanagement...73 I.5.4 Serviceorientierte Architektur...75 I.5.5 Master Data Management...76 I.6 Kennzahlen zur Messung der Datenqualität...81 I.6.1 Anwendungsmöglichkeiten von Kennzahlen...82 I.6.2 Messpunkte für Datenqualität...84 I.6.3 DQ-Metriken...87 I.6.4 Beispiele für Kennzahlen je Datenqualitätskriterium...89 I.6.5 Kennzahlenbaum...91 I.6.6 DQ-Assessment...92

6 Inhalt I.6.7 I.6.8 I.6.9 I.6.10 DQ-Planung...95 DQ-Projekte...96 Kennzahlenformular...96 Zusammenfassung...97 II. Technische Umsetzung Einleitung II.1 II.2 II.3 II.4 II.5 Verbesserung der Datenqualität im Quellsystem II.1.1 Vorbeugung vor neuen Datenqualitätsproblemen II.1.2 Empfehlungen Data Profiling II.2.1 Data-Profiling-Prozess II.2.2 Zusammensetzung des Data-Profiling-Teams II.2.3 Data-Profiling-Verfahren II.2.4 Empfehlungen Erfolgreiche Datenvalidierung und -filterung II.3.1 Validierung auf vier Ebenen II.3.2 Filterung fehlerhafter Daten II.3.3 Validierung bei Extraktion oder Laden II.3.4 Arten der Datenvalidierung II.3.5 Erstellung der Validierungsregeln und Speicherung der Ergebnisse II.3.6 Empfehlungen Standardisierung und Bereinigung II.4.1 Standardisierung II.4.2 Datenbereinigung II.4.3 Standardisierung und Bereinigung im ETL-Prozess II.4.4 Verfahren für nicht zu bereinigende Daten II.4.5 Empfehlungen Datenanreicherung II.5.1 Wirtschaftsinformationen II.5.2 Geografische Informationen II.5.3 Soziodemografische Informationen II.5.4 Haushaltsbildung II.5.5 Standards zur Klassifizierung von Waren und Dienstleis tungen II.5.6 Branchen-Klassifizierung II.5.7 Empfehlungen...196

7 Inhalt II.6 II.7 II.8 II.9 Verbesserung der Datenqualität in der Bereitstellung und Visualisierung II.6.1 Bereitstellung der Daten II.6.2 Visualisierung der Information II.6.3 Empfehlungen Wertschöpfung durch Metadaten II.7.1 Metadaten: Begriff und Strukturierung II.7.2 Metadaten-Architekturen II.7.3 Metadaten-Management II.7.4 Metadaten-Kategorien II.7.5 Probleme bei der Erstellung: Motivation und Aktualität II.7.6 Nutzung von Metadaten II.7.7 Empfehlungen Data Quality Monitoring II.8.1 DQ-Messung und -Analyse II.8.2 Methoden II.8.3 Visualisierung II.8.4 Benachrichtigung und Aktionen II.8.5 Verantwortlichkeiten II.8.6 Zusammenfassung Produktauswahl und -integration II.9.1 Anbieter und Produkte II.9.2 Auswahlkriterien im Überblick II.9.3 Funktionale Kriterien II.9.4 Integration II.9.5 Einbeziehung der Fachbereiche II.9.6 Sprachen und Länder II.9.7 Einbindung in DQM-Prozesse II.9.8 Empfehlungen III. Projektpraxis III.1 Einleitung Datenqualitätsmanagement in einer Studie III.1.1 Analyse des Ist-Zustands III.1.2 Entwurf des Soll-Konzepts III.1.3 Bewertung III.1.4 Umsetzungsplanung III.1.5 Empfehlungen...264

8 Inhalt III.2 Datenqualitätsmanagement in der Spezifikation III.2.1 Spezifikation der Schnittstellen III.2.2 Definition der Rollen in der Datenorganisation III.2.3 Festlegung der Datenqualitätsziele III.2.4 Bezeichnung und Definition der Objekte III.2.5 Festlegung der Geschäftsregeln III.2.6 Messung der Qualität von Definitionen und Geschäftsregeln III.2.7 Data Profiling in der Spezifikation III.2.8 Entwurf des Systems III.2.9 Empfehlungen III.3 Datenqualitätsmaßnahmen in der Konstruktionsphase III.3.1 Übertragung der Datenqualitätsziele III.3.2 Konventionen und Richtlinien III.3.3 Entwurf des Systems III.3.4 Erstellung eines Prototypen III.3.5 Empfehlungen III.4 Steuerung der Datenqualität in der Realisierung III.4.1 Einhaltung der Konventionen, Richtlinien und Konzepte III.4.2 Data Profiling in der Realisierung III.4.3 Einbindung der Datenverantwortlichen und Benutzer III.4.4 Realisierung der Datenqualitätsmaßnahmen III.4.5 Durchführung von Tests III.4.6 Empfehlungen III.5 Steuerung der Datenqualität im Betrieb III.5.1 Monitoring und Berichtswesen III.5.2 Ausbildung III.5.3 Empfehlungen Anhang Die Autoren Abkürzungen Literaturverzeichnis Register...302

9 Vorwort Vorwort zur 2. Auflage Die positive Resonanz auf die 1. Auflage und einige inhaltliche Erweiterungswünsche der Autoren haben zu einer schnellen 2. Auflage des vorliegenden Bandes über Datenqualitätsmanagement geführt. Neben kleinen Korrekturen wurden einige Passagen wie z. B. die Abhandlung über Metadaten oder Standardisierung vollständig überarbeitet. Die umfangreichste Ergänzung liegt sicherlich in der Hinzufügung einer konkreten Fallstudie in Buchteil III, was das Werk für BI-Projekte nun noch interessanter macht. Es freut mich, dass der Erfolg der 1. Auflage die Autoren motiviert hat, sofort wieder zur Tastatur zu greifen und ihr profundes Fachwissen zusammenzutragen. Hierfür gebührt mein Dank den Herren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi. Auch die Begleitung des Verlags muss positiv hervorgehoben werden, denn ohne Frau Sabine Baumgartner wäre die schnelle Veröffentlichung der 2. Auflage nicht möglich gewesen. Den Leserinnen und Lesern lege ich die wesentlich erweiterte Version noch mehr ans Herz und hoffe, dass die Ausführungen zur Steuerung der Datenqualität in den Unternehmen Anklang finden. Univ.-Prof. Dr. Peter Chamoni Vorwort zur 1. Auflage Das Thema Datenqualität hat eine hohe Relevanz in allen Einsatzgebieten der Informationsverarbeitung. Seit vielen Jahren ist die Problematik verfälschter, unzutreffender oder fehlender Daten und der daraus abgeleiteten Informationen ein großes Hindernis bei der Bearbeitung täglicher Aufgaben, und dies sowohl in Geschäftsprozessen wie auch in technischen Abläufen. Noch gravierender können Fehleinschätzungen oder Fehlinterpretationen bei strategischen Unternehmensentscheidungen ausfallen, wenn die zugrunde liegende Informationsbasis eine schlechte Datenqualität aufweist. Eine Vielzahl von Beispielen belegt die fatalen Folgen von betrieblichen Fehlentscheidungen oder technischem Systemversagen, die der mangelnden Datenqualität zuzuschreiben sind. Hierbei sind es weniger die Defizite der automatisierten Verarbeitungsprozesse, sondern vielmehr die Unachtsamkeit oder fehlende Voraussicht der agierenden Menschen, die mit der Erfassung, Beschreibung, Verwaltung und Auswertung der Daten betraut sind. Damit kann die Bewältigung der Problematik um die Datenqualität in den Gesamtkontext des Qualitätsmanagements gesetzt werden. Weder theoretische noch praktische Ansätze lösen das Problem bisher befriedigend. Wissenschaftliche Ansätze analysieren das Phänomen der Qualitätsdefizite, weisen auf idealtypische Verhaltensmuster oder Verfahren der Qualitätssicherung hin und sind bestenfalls Referenz für die Einführung von umfassenden Qualitätssicherungsmaßnahmen. Im Gegensatz dazu greifen die praxisorientierten Problemlösungen nicht selten nur lokal und bekämpfen die Folgen, nicht die Ursachen der Datenqualitätsprobleme. Die vorliegende Publikation setzt hier an, um die theoretischen Erkenntnisse mit den aus der Praxis erwachsenen Problemen der Datenqualität in Einklang zu bringen. Der spezielle Fokus liegt in der Betrachtung der Bereitstellung entscheidungsrelevanter Information für das Management. Dieser komplexe Prozess der Akquisition, Speicherung und Aufbereitung

10 10 Vorwort von Führungsinformationen basiert auf der Sammlung und Verdichtung von Fakten, die das Berichtswesen stützen und situationsbedingt zur Entscheidung beitragen. Die Begriffe Data Warehousing und Business Intelligence beschreiben diese Prozesse und Systemarchitekturen. Ausgehend von den anspruchsvollen Aufgaben der präzisen, nachvollziehbaren und korrekten Berichterstattung, der tiefen Analyse betriebswirtschaftlicher Zusammenhänge und der anschließenden Entscheidungsunterstützung für zukünftige Handlungen, bietet das Buch profunde und praxisorientierte Einsichten zur Lösung der Datenqualitätsprobleme in BI-Anwendungen. Hierin ist auch der spezielle Wert der Publikation zu sehen, denn für den Einsatzbereich Business Intelligence mit seinen spezifischen Problemfeldern gibt es bisher kaum praxisorientierte Anleitungen, welche die Projektarbeit in Fragen der Datenqualität so kompetent begleiten können. Dieser erste Band Datenqualität erfolgreich steuern stellt den Auftakt für eine neue Buchreihe dar. Im Sinne dieser Buchreihe ist das Werk als Leitfaden für DWH-/BI-Projektverantwortliche konzipiert, um eine direkte Umsetzbarkeit aus dem dargebotenen Praxiswissen zu ermöglichen. Die Ausführungen gliedern sich in drei Teile, die den Leser zuerst mit der Grundproblematik und den Begriffen der Datenqualität vertraut machen, ihm dann Prozesse, Verfahren und Werkzeuge für die technische Umsetzung des Datenqualitätsmanagements unterbreiten, um anschließend Hinweise aus der Projektpraxis für die eigene unternehmensindividuelle Umsetzung zu geben. Ein aus meiner Sicht sehr gelungenes Werk, da die Autoren es verstanden haben, das Themenfeld fundiert und anschaulich zu beschreiben und konkrete Handlungsempfehlungen für den Projektalltag zu geben. Gemeinsam mit Markus Pilz hatte ich die Freude, bei der Entstehung des Manuskripts Pate zu stehen und an der einen oder anderen Stelle mit fachlichen Hinweisen auszuhelfen. Die Autoren Detlef Apel, Dr. Wolfgang Behme, Rüdiger Eberlein und Christian Merighi sind allesamt ausgewiesene Kenner der Materie, da sie seit vielen Jahren in BI-Projekten mit dem Thema Datenqualität konfrontiert sind und damit einen Einblick in die Best Practice sichern. Jeder von ihnen ist stark durch die tägliche Projektarbeit belastet, sodass ich meine Hochachtung für die nebenher geleistete gemeinschaftliche Manuskripterstellung zolle. Speziell als Vorsitzender des TDWI Germany e. V. freut es mich, dass mit diesem ersten Buch bei tdwipress realisiert wurde, was wir uns immer gewünscht haben: Best Practice von Praktikern für Praktiker. Mein besonderer Dank gilt allen Mitarbeitern des Verlags und an erster Stelle Frau Sabine Baumgartner, die mit stets freundlichem Ton und hohem Unterstützungsgrad die Anfertigung der Manuskriptseiten und Bearbeitung durch das Fachlektorat unermüdlich einforderte. Ich hoffe, dass interessierte Führungskräfte und Mitarbeiter in Anwenderunternehmen sowie Berater und Softwareentwickler die hilfreichen Tipps und Tricks aus diesem Buch beim Aufbau und Betrieb von BI-Anwendungen nutzen. Nicht zuletzt Lehrende und Lernende an Hochschulen mögen das Werk in den Kanon der einschlägigen Literatur aufnehmen. Univ.-Prof. Dr. Peter Chamoni

11 11 Einleitung Nach Schätzungen 1 verursacht schlechte Datenqualität in Unternehmen Verluste in Höhe von bis zu 25 Prozent des operativen Gewinns. Aufgrund der zunehmenden Integration von IT in die Geschäftsprozesse der Unternehmen sowie der Anforderungen hinsichtlich Compliance nimmt die Bedeutung von Datenqualität nochmals erheblich zu. Die Hoffnung vieler Unternehmen auf Lösung der Datenqualitätsproblematik durch die Einführung von Standard-Software für Enterprise Resource Planning (ERP), Customer Relationship Management (CRM), Supply Chain Management (SCM) u. a. schwindet und macht endlich Platz für wirksame Maßnahmen. Im Mittelpunkt dieses Buches steht die Vermittlung langjähriger Erfahrungen aus BI-Projekten mit Datenqualitätsmanagement-Aktivitäten bei Unternehmen unterschiedlicher Branchen. Neben der anwender- und praxisorientierten Darstellung der verschiedenen Bereiche von Datenqualitätsmanagement (DQM) werden die Best Practices und Lessons Learned dargestellt, sodass der Leser eigene Projekte in diesem Umfeld erfolgreich durchführen kann. Generell werden Daten über eine Benutzerschnittstelle erfasst oder durch Geschäftslogik von IT-Systemen erzeugt. Meistens fließen die Daten weiter in andere IT-Systeme und werden dabei transformiert. Ein Datenfluss kann viele Stationen haben. Das Data Warehouse ist häufig nur die Endstation solcher Datenflüsse. Werden fehlerhafte Daten nicht erkannt und behandelt, führen sie im Verlauf des Datenflusses zu Folgefehlern, die sich leicht zu größeren Problemen aufschaukeln können. Es liegt also auf der Hand, ein Datenqualitätsmanagement möglichst frühzeitig im Datenfluss anzusetzen. Nachhaltiges Datenqualitätsmanagement ist daher idealerweise eine unternehmensweite Aktivität, die ggf. vom BI-Vorhaben angestoßen werden muss. In den meisten Unternehmen kommen fehlerhafte Daten erst im Data Warehouse ans Licht. Das liegt daran, dass dort alle Daten in Gänze und verdichtet betrachtet werden, während beim Datenzugriff durch operative Systeme nur einige Felder in dem einen oder anderen Datensatz zutage treten. Schlechte Datenqualität lässt sich im Data Warehouse nicht verbergen. Allerdings ist es oft genau diese schlechte Datenqualität, welche die Akzeptanz der BI-Anwendung durch den Endanwender in den Fachbereichen verhindert und häufig direkt zum Misserfolg des mit dem Data Warehouse verbundenen Vorhabens führt. Wer will schon wichtige geschäftliche Entscheidungen auf fehlerhafte Daten stützen? Da lässt es sich noch besser aus dem Bauch heraus entscheiden. Dieses Buch hat nicht den Anspruch eines unternehmensweiten Datenqualitätsmanagements, sondern fokussiert auf den Bereich Business Intelligence, wo der Schmerz mit fehlerhaften Daten am größten ist. Unter Business Intelligence (BI) wird ein integrierter, unternehmensspezifischer, IT-basierter Gesamtansatz zur Unterstützung betrieblicher Entscheidungen verstanden. Business Intelligence ist der Prozess, der Daten in Informationen und weiter in Wissen umwandelt. 2 Unternehmensentscheidungen und Prognosen stützen sich auf dieses Wissen und führen zu geschäftlichem Mehrwert. Business Intelligence kommt sowohl zur Unterstützung strategischer Entscheidungen als auch im operativen Bereich zum Einsatz. 1 Vgl. Crosby 1979, S. 15; Juran 1988, S. 1. Definition von Howard Dresner, Gartner 1989.

12 12 Einleitung Business Intelligence umfasst ein breites Spektrum an Anwendungen und Technologien und ist der Oberbegriff für Data Warehousing, Data Mining, Online Analytical Processing und Analytische Anwendungen. Im weiteren Sinne umfasst Business Intelligence auch die Erschließung unstrukturierter Daten mittels Content- und Dokumenten-Management. Letztgenannte Bereiche sind jedoch nicht Gegenstand dieses Buches. Betrachtet wird lediglich die Business Intelligence im engeren Sinn, also auf strukturierte Daten bezogen. Endanwender der Fachbereiche Business Intelligence Portal Reporting, Analyse, Data Mining Knowledge-Management Data Warehouse Content-, Dokumenten- Management Strukturierte Daten Unstrukturierte Daten Abb. E.1: Grobe Architektur für Business Intelligence Das Data Warehouse ist eine konsolidierte Datenhaltung zur Unterstützung von Reporting und Analyse. Ein Data Warehouse ist eine themenorientierte, integrierte, chronologisierte und persistente Sammlung von Daten, um das Management bei seinen Entscheidungsprozessen zu unterstützen. 3 Das Buch gliedert sich in drei Teile. Im ersten Teil wird beschrieben, was Datenqualitätsmanagement ausmacht. Der zweite Teil befasst sich mit der Umsetzung und stellt insbesondere technische Hilfsmittel dar. Im dritten Teil wird erklärt, wie man Verfahren, Methoden, Organisation und Werkzeuge des Datenqualitätsmanagements in der Praxis einsetzt. Zu Beginn des ersten Teils werden die wesentlichen Begriffe im Zusammenhang mit Datenqualitätsmanagement definiert. In Kapitel 2 wird erklärt, woran sich schlechte Datenqualität festmacht und wo die Ursachen dafür liegen. Im 3. Kapitel wird dargelegt, warum es sich lohnt, ein Datenqualitätsmanagement aufzusetzen. Im 4. Kapitel werden die organisatorischen Belange in Bezug auf die Datenqualität ausführlich geschildert. Die Architektur Vgl. Inmon 1996.

13 Einleitung 13 für Business-Intelligence-Anwendungen wird unter dem Blickwinkel der Datenqualität in Kapitel 5 betrachtet. Das 6. Kapitel beschreibt, wie sich Datenqualität messen lässt. Im zweiten Teil des Buches werden wichtige Prinzipien der technischen Umsetzung des Datenqualitätsmanagements beschrieben. Dabei werden die Werkzeuge zur Unterstützung des Datenqualitätsmanagements betrachtet, angefangen beim Metadaten-Management über Data Profiling, die Validierung, Bereinigung und Anreicherung von Daten bis hin zur fortlaufenden Überwachung der Datenqualität. Anschließend wird auf die Integration der Werkzeuge in die Anwendungslandschaft der jeweiligen IT-Umgebung eingegangen. Am Ende dieses Buchteils werden Kriterien zur Produktauswahl aufgeführt. Der dritte und letzte Teil des Buches bildet Datenqualitätsmanagement auf das Vorgehen in BI-Projekten ab. Dabei werden die einzelnen Phasen eines BI-Projekts von der Vorstudie über Spezifikation, Design und Umsetzung bis zum Betrieb im Unternehmen betrachtet. Für jede Projektphase werden die jeweils einzusetzenden Elemente des Datenqualitätsmanagements benannt, die im zweiten Teil des Buches beschrieben wurden. Somit bietet der dritte Buchteil für Projektverantwortliche eine unverzichtbare Hilfestellung zur erfolgreichen Durchführung von Projekten.

14 I.1 Datenqualität I.2 Ausprägungen und Ursachen schlechter Datenqualität I.3 Auswirkungen schlechter Datenqualität I.4 Organisation I. Referenzarchitektur für Business-Intelligence-Anwendungen I.6 Kennzahlen zur Messung der Datenqualität

15 I. Theorie

16 16 Theorie I.1 Datenqualität Der Begriff Datenqualität ist sehr stark subjektiv geprägt. Sowohl bei der Befragung von Fachleuten als auch in der Literatur erhält man zu diesem Thema sehr unterschiedliche Antworten. Viele Autoren gehen in Ermangelung einer einheitlichen Definition daher auf die beiden Grundbestandteile des Begriffs zurück und definieren sowohl Daten als auch Qualität allgemein und folgen damit Larry English, einem der Pioniere auf dem Gebiet der Datenqualität: The best way to look at information quality is to look at what quality means in the general marketplace and then translate what quality means for information. 1 In diesem Kapitel werden zunächst die grundlegenden Begriffe Daten und Qualität und daraus abgeleitet der Begriff Datenqualität erläutert. Nach einer ausführlichen Beschreibung der Eigenschaften wird auf unterschiedliche Taxonomien eingegangen. Den Abschluss des Kapitels bildet das Thema Datenqualitätsmanagement. I.1.1 Daten Die aktuelle Situation in den Unternehmen ist durch eine steigende Datenflut gekennzeichnet. Beispielsweise fallen durch die Vernetzung von Scannerkassen in Supermärkten oder die Speicherung von Verbindungsdaten in der Telekommunikationsbranche große Datenmengen an. Dieser Trend wird durch neue Entwicklungen wie Radio Frequency Identification (RFID) noch verstärkt. Nach Schätzungen der Gartner-Gruppe würde die Einzelhandelskette Wal-Mart täglich Daten im Umfang von 7 Terabyte generieren, wenn alle Artikel mit RFID- Marken versehen würden. 2 Daten allein haben jedoch begrenzten Wert, erst in einem sinnvollen Kontext werden daraus unternehmensrelevante Informationen. Bisher gibt es keine einheitliche Definition des Begriffs Daten. Den meisten Definitionen ist jedoch gemein, dass sie Daten nicht getrennt, sondern im Zusammenhang mit Information und Wissen betrachten, weil sich die Begriffe jeweils ergänzen. 3 Zumeist findet eine Hierarchisierung statt, deren unterstes Glied die Daten darstellen. Hierbei wird häufig die Semiotik als Strukturierungshilfe (Syntaktik Semantik Pragmatik) genutzt, die die allgemeine Lehre von den Zeichen, Zeichensystemen und Zeichenprozessen in das Gebiet der Informatik überträgt. Information Semantik Bedeutung von Zeichenfolgen Daten Syntaktik Struktur von Zeichenfolgen Wissen Pragmatik Verwendung von Zeichenfolgen Abb. I.1.1: Semiotisches Dreieck 4 1 Vgl. English 1999, S.15ff. Vgl. Raskino/Fenn/Linden Vgl. English 1999, S.18 ; Helfert 2002, S. 13; Müller 2000, S. 5ff. u. a. 4 In Anlehnung an Hinrichs 2002, S. 27.

17 Datenqualität 17 Auf syntaktischer Ebene werden lediglich die Zeichen sowie ihre mathematisch-statistischen Beziehungen untereinander (z. B. relative Häufigkeit innerhalb bestimmter Grundstrukturen) untersucht, ohne dabei auf die Bedeutung der Zeichen einzugehen. Diese maschinenlesbaren Zeichenfolgen (Daten) bilden somit die Informationen der realen Welt ab. Wird den Daten Bedeutung hinzugefügt, gelangt man auf die semantische Ebene, d. h. die Daten werden in einem bestimmten Kontext gesehen und man spricht von Information. Auf der pragmatischen Ebene steht der direkte Benutzer (Interpreter) im Mittelpunkt der Untersuchungen, d. h. hier spielt die Wirkung von Information auf die sie verarbeitenden Verwender (Menschen, Maschinen) eine wichtige Rolle. Somit kommt die pragmatische Ebene der Wirklichkeit am nächsten, indem sie sich über die ersten zwei Ebenen hinausgehend noch mit Fragen der jeweiligen Absicht und des Wertes für den einzelnen Benutzer befasst. Erst dann wird aus der Information Wissen. Aus Gründen der besseren Lesbarkeit bezieht sich in den nachfolgenden Kapiteln dieses Buches der Begriff Datenqualität sowohl auf die Qualität der Daten als auch auf die Qualität der Informationen. I.1.2 Qualität Der Begriff Qualität stammt aus dem Lateinischen qualitas und bedeutet Eigenschaft oder Beschaffenheit. Ursprünglich weder positiv noch negativ belegt, wird der Begriff in der Umgangssprache automatisch als positiv angesehen. Die Suche nach einer einheitlichen Definition führt zu einer Vielzahl von Definitions- und Interpretationsversuchen. Eine allgemein akzeptierte Begriffsbeschreibung ist die DIN-Norm Danach ist die Qualität die Gesamtheit von Eigenschaften und Merkmalen eines Produktes oder einer Tätigkeit, die sich auf deren Eignung zur Erfüllung festgelegter oder vorausgesetzter Erfordernisse beziehen. 5 Einer der ersten Systematisierungsansätze geht auf Garvin 6 zurück, der fünf generelle Qualitätsvorstellungen unterscheidet: Produktorientierter Ansatz Anwenderorientierter Ansatz Prozessorientierter Ansatz Wertbezogener Ansatz Transzendenter Ansatz Die produktbezogene Sicht entspricht einem objektiven Qualitätsbegriff, weil Qualität als eine messbare, genau spezifizierbare Größe, die das Produkt beschreibt, gesehen wird. Qualität stellt dabei eine objektive Größe dar, die unabhängig von subjektiven Wahrnehmungen bestimmt werden kann, d. h. dieser Ansatz bezieht sich nur auf das Endprodukt, unabhängig von den Kunden (Benutzern). Qualitätsdifferenzen lassen sich damit auf die Unterschiede in den Produkteigenschaften zurückführen. Der kunden- oder anwenderbezogene Ansatz hingegen definiert die Qualität eines Produkts über den Produktnutzer, und somit entscheidet ausschließlich der Kunde, inwieweit das Produkt Vgl. DI DI Vgl. Garvin 1984, 14, S. 40ff.

18 18 Theorie der geforderten Qualität entspricht (subjektive Beurteilung des Kunden). In die amerikanische Literatur hat dieser Ansatz Eingang über die Definition fitness for purpose oder fit for use gefunden. Dabei können verschiedene Endbenutzer unterschiedliche Bedürfnisse haben, sodass die Qualität des gleichen Produkts unterschiedlich bewertet werden kann. Beim Herstellungsbezug (prozessorientierter Ansatz) wird angenommen, dass Qualität dann entsteht, wenn der Herstellungsprozess optimal und kontrolliert verläuft und alle Vorgaben (Produktspezifikationen) eingehalten werden. Abweichungen von dem definierten Prozess werden als Qualitätsverlust angesehen. Der wertbezogene Ansatz betrachtet Qualität unter Kostengesichtspunkten. Ein Produkt ist dann von hoher Qualität, wenn die Kosten und die empfangene Leistung in einem akzeptablen Verhältnis stehen. Der transzendente Ansatz kennzeichnet Qualität als vorgegebene Vortrefflichkeit, Einzigartigkeit oder Superlativ. Qualität wird als Synonym für hohe Standards und Ansprüche angesehen. Dieser Grundgedanke setzt ein philosophisches Verständnis voraus, das davon ausgeht, dass Qualität nicht messbar, sondern nur erfahrbar ist. Dieser Ansatz ist für den hier zu betrachtenden Kontext von Business Intelligence nicht geeignet. Auch wenn die hier beschriebenen Ansätze für die Fertigungsindustrie entwickelt wurden, lassen sie sich ohne Weiteres auf den Bereich der Datenqualität übertragen, wie die folgenden Analogien zeigen. 7 Ein Datenverarbeitungsprozess kann auch als Herstellungsprozess im Sinne der Fertigungsindustrie gesehen werden. Die Datenquellen (Lieferanten), die die Rohdaten (Rohmaterialien) bereitstellen, bilden den Ausgangspunkt der Wertschöpfungskette. Sie werden im Zuge der Integration/Transformation (Produktionsprozess) bearbeitet. Das Ergebnis des Prozesses sind die Datenprodukte, die den Datenbeziehern (Kunden) zu Auswertungszwecken zur Verfügung gestellt werden. Industrielle Fertigung Kunden Data Warehousing Datennutzer Produkte Produktion/Veredelung Rohstoffe Qualitätsmanagement Datenprodukte Produktion/Veredelung Rohstoffe Lieferanten Lieferanten Abb. I.1.2: Analogie zwischen industrieller Fertigung und Datenverarbeitung (Data Warehousing) 8 Vgl. Wang/Ziad/Lee 2001, S. 3f. In Anlehnung an Grimmer/Hinrichs 2001, 001, S. 72..

19 Datenqualität 19 Der wesentliche Unterschied liegt im Betrachtungsgegenstand sowie dessen Qualitätsmerkmalen. Im industriellen Fertigungsprozess werden physische Produkte erstellt, die Merkmale wie Haltbarkeit, Länge und Gewicht aufweisen. Im dargestellten Kontext der Datenverarbeitung entspricht das Produkt einem bestimmten Ausschnitt des Datenbestands, auch als Datenprodukt (gleichbedeutend mit einem Datensatz) bezeichnet. Zur Bestimmung der Qualität wird einem Produkt eine Menge von Merkmalen zugeordnet. Ein Merkmal ist dabei eine Eigenschaft, die zur Unterscheidung von Produkten in qualitativer oder quantitativer Hinsicht herangezogen werden kann. 9 Während in der Industrie der Qualitätsbegriff seit Jahrzehnten einen wichtigen Platz einnimmt, taucht der Begriff Datenqualität erst Mitte der 1990er-Jahre vermehrt auf. Die Vorgaben zu Datenqualität liegen damit in ihrer Entwicklung hinter den im Kontext der industriellen Fertigung entwickelten Standards hinsichtlich Qualität deutlich zurück. I.1.3 Datenqualität Es gilt nun, aus den obigen allgemeinen Daten- und Qualitätsdefinitionen den Begriff der Datenqualität abzuleiten. Helfert hat die in der Literatur vorhandenen Ansätze zur Definition von Datenqualität untersucht und einander gegenübergestellt. 10 Das Ergebnis dieser Untersuchung zeigt, dass der Anwender das Qualitätsniveau festlegt und damit im Kontext der Datenverarbeitung ausschließlich der anwenderorientierte Ansatz 11 sinnvoll ist. Datenqualität wird daher nach Würthele definiert als mehrdimensionales Maß für die Eignung von Daten, den an ihre Erfassung/Generierung gebundenen Zweck zu erfüllen. Diese Eignung kann sich über die Zeit ändern, wenn sich die Bedürfnisse ändern. 12 Diese Definition macht deutlich, dass die Qualität von Daten vom Zeitpunkt der Betrachtung sowie von dem zu diesem Zeitpunkt an die Daten gestellten Anspruchsniveau abhängt. Um die Datenqualität letztendlich messbar zu machen, bedarf es objektiver Merkmale (auch Qualitätskriterien genannt), die den Daten (Datenprodukten) zugeordnet werden. Diese werden dabei aufgrund der praktischen Erfahrungen intuitiv definiert, auf Basis von Literaturrecherchen erstellt oder anhand von empirischen Untersuchungen zusammengestellt. 13 Die Qualitätskriterien müssen messbar sein, damit der jeweilige Erfüllungsgrad durch den Datennutzer ermittelt werden kann. In der Praxis wird es einen hundertprozentigen Erfüllungsgrad der Kriterien nicht geben, vielmehr sind jeweils applikations- oder kundenbezogene Anspruchsniveaus (Sollwerte) zu definieren, an denen die Datenqualität gemessen wird. Beispielsweise gelten für Quartals- oder Jahresbilanzen im Bankenbereich, die kurzfristig nach Ablauf des jeweiligen Zeitraums an die Aufsichtsbehörden übermittelt werden, sehr hohe Ansprüche an die Genauigkeit und Aktualität. Dagegen sind bei Auswertungen zum Kundenverhalten geringere Anspruchsniveaus akzeptabel. Vgl. Behme 2002, S Vgl. Helfert 2002, S. 69ff. 11 Vgl. Müller 2000, 000, S. 15; 1; English 1, 1999, S. 52ff. ff. 12 Vgl. Würthele 2003, S Vgl. Helfert 2002, 00, S. 69..

20 20 Theorie Tabelle I.1.1 zeigt eine Übersicht über häufig genannte Datenqualitätskriterien (DQ-Kriterien) in alphabetischer Reihenfolge. 14 Aktualität Allgemeingültigkeit Alter Änderungshäufigkeit Aufbereitungsgrad Bedeutung Benutzbarkeit Bestätigungsgrad Bestimmtheit Detailliertheit Effizienz Eindeutigkeit Fehlerfreiheit Flexibilität Ganzheit Geltungsdauer Genauigkeit Glaubwürdigkeit Gültigkeit Handhabbarkeit Integrität Informationsgrad Klarheit Kompaktheit Konsistenz Konstanz Korrektheit eutralität Objektivität Operationalität Performanz Portabilität Präzision Problemadäquatheit Prognosegehalt Quantifizierbarkeit Rechtzeitigkeit Redundanzfreiheit Referenzielle Integrität Relevanz Robustheit Seltenheit Sicherheit Signifikanz Testbarkeit Unabhängigkeit Überprüfbarkeit Verdichtungsgrad Verfügbarkeit Verlässlichkeit Verschlüsselungsgrad Verständlichkeit Vollständigkeit Wahrheitsgehalt Wiederverwendbarkeit Wirkungsdauer Zeitbezug Zeitnähe Zugänglichkeit Zuverlässigkeit Tab. I.1.1: Liste möglicher Datenqualitätskriterien Im Folgenden wird lediglich auf eine Auswahl der vorgestellten Qualitätskriterien näher eingegangen, da die Liste zum Teil Doppelungen enthält sowie nicht alle Kriterien als besonders geeignet erscheinen: 15 Datenqualitätskriterien Korrektheit Fehlerfreiheit Konsistenz Zuverlässigkeit achvollziehbarkeit Definition Die Attributwerte eines Datensatzes (im Data Warehouse) entsprechen denen der modellierten Entitäten der realen Welt, d. h. die Daten stimmen mit der Realität überein. Die Attributwerte eines Datensatzes weisen keine logischen Widersprüche untereinander oder zu anderen Datensätzen auf. Inkonsistente Daten innerhalb der operativen Systeme führen zu massiven Glaubwürdigkeitsproblemen in den analytischen Systemen. Die Attributwerte sind vertrauenswürdig, d. h. die Entstehung der Daten ist nachvollziehbar. Insbesondere bei externen Daten ist auf die Zuverlässigkeit der Quellen zu achten. Aber auch innerhalb des Data Warehouse müssen die verschiedenen Transformationen der Daten nachvollziehbar sein. Dies beginnt bei der Erfassung der Daten und geht bis zur Erstellung der Berichte in den analytischen Systemen. 14 In Anlehnung an Helfert/Herrmann/Strauch 2001, 001, S Vgl. Hinrichs 2002, 00, S. 30f.; 0f.; Zeh 2009, 00, S. 45f. 4f.