Datenqualität erfolgreich managen

Transkript

1 Consultants Intelligence Business White Paper Datenqualität erfolgreich managen Datenqualität ist essenziell. Sie ist der Schlüssel zur Akzeptanz von IT-Lösungen. Und: Schlechte Daten sind teuer. Unternehmen, die das erkannt haben, ergreifen oft im Zusammenhang mit Data-Governance-Projekten zentrale Initiativen, um eine hohe Datenqualität zu gewährleisten. Allerdings nicht zum Nulltarif, wie uns Kurt Häusermann und Marcus Pilz im nachfolgenden Text näher erläutern. Kurt Häusermann ist Consultant bei BI Consultants GmbH in Zürich und arbeitet seit mehr als 20 Jahren im Data Management, Analytik und Business Intelligence Bereich. Marcus Pilz ist Mitglied im Vorstand des Data Warehousing Institute. Er arbeitet seit nahezu 20 Jahren als Projektleiter im BI-Umfeld. Er ist erfahrener Sprecher bei internationalen BI-Symposien und Fachbeirat sowie Gutachter der Fachzeitschrift BI-Spektrum. Verfälschte, unvollständige und inkonsistente Daten und daraus abgeleitete Informationen führen zu Problemen in Geschäftsprozessen, in denen diese Daten verwendet werden. Ungültige Daten verzögern die tägliche Arbeit und verursachen zusätzlichen Aufwand und damit Kosten. Beruhen strategische Entscheidungen auf einer ungenügenden Datenbasis infolge mangelnder Datenqualität, kann dies für ein Unternehmen kritisch werden. Weiter steigt die Bedeutung der Datenqualität durch die zunehmenden Anforderungen im Bereich der Compliance. Der negative Einfluss schlechter Datenqualität auf Unternehmen wurde in verschiedenen Studien erforscht. Gemäss Thomas Redman, einem bekannten Fachmann für Datenqualität, schmälert die schlechte Datenqualität den operativen Gewinn um 8 bis 12 Prozent (Redman, 1996). Die Folgen schlechter Datenqualität in den Unternehmen sind aber oft unklar, werden nicht quantifiziert und von den Managern oft als normal cost of doing business (English, 1999) akzeptiert. Oft fallen fehlerhafte Daten im operativen System erst gar nicht als Fehler auf, da die Datenfehler im Geschäftsprozess eine untergeordnete Bedeutung haben. Wenn die Daten aber später in ein Data Warehouse überführt und analysiert werden, zeigt sich die schlechte Datenqualität sofort. In den Reports tauchen dann Kategorien auf, die offensichtlich so nicht existieren dürften oder die mehrfach mit unterschiedlichen Bezeichnungen vorhanden sind. Die Folge: falsche Aggregation der Daten. Solche Probleme verschlechtern die Akzeptanz bei den Anwendern in den Fachabteilungen, die wichtige geschäftliche Entscheidungen nicht auf fehlerhafte Daten abstützen möchten. Laisser-faire bei der Datenqualität verursacht damit ernst zu nehmende direkte und indirekte ein Unternehmen. 1

2 2 Kosten der Datenqualität Prof. Martin Eppler und Markus Helfert, beide von der Uni St. Gallen, haben 2004 ein Kostenmodell für die Datenqualität erarbeitet (siehe Abb. unten). Sie bestimmen zunächst die Kosten, welche durch die schlechte Datenqualität verursacht werden. Dazu gehören direkte Kosten, etwa die Verifikation der Daten, die Korrektur ungültiger Daten und deren Folgen, Kosten, weil beispielsweise Kataloge die Kunden wegen falscher Adressen nicht erreichen und indirekte Kosten, etwa Aufwendungen infolge falscher Entscheidungen, nicht wahrgenommener Chancen, Imageverlust oder Unzufriedenheit bei den Kunden wegen falscher Lieferung. Anschließend bestimmen sie die Kosten zur Verbesserung beziehungsweise zur Sicherstellung einer ausreichenden Datenqualität. Dazu gehören die Präventions-, die Entdeckungs- und Korrekturkosten. Zu den Präventionskosten gehören Maßnahmen, die nötig sind, damit weniger Fehler entstehen, etwa Verbesserung der Dateneingabe durch Plausibilitätstests, dokumentierte Standards, bessere Ausbildung des Personals oder bessere Koordination von Teilprozessen. Zu den Entdeckungskosten gehören die Maßnahmen, die zur Entdeckung von bereits bestehenden Fehlern in den Daten durchgeführt werden, etwa die Analyse der bestehenden Datenbanken mithilfe von Regeln, um ungültige oder inkonsistente Daten zu finden. Die Korrekturkosten beinhalten alle Maßnahmen, die nötig sind, um die aufgefundenen Fehler in den Datenbanken zu korrigieren. Kosten der Datenqualität Kosten schlechter Datenqualität die Verbesserung der Datenqualität Direkte Kosten Indirekte Kosten Präventions - kosten Entdeckungs - kosten Korrekturkosten die Verifikation der Daten Imageverlust Schulungskosten Fehleranalyse Planung der Korrekturen die Korrektur falscher Daten Kosten falscher Entscheidungen und Aktionen Datenmonitoringkosten Fehlerreportung Durchführung der Korrekturen Kompensations - kosten Abschreibung von Investitionen Standards Eppler, Helfert: A Framework for the Classification of Data Quality Costs and an Analysis of their Progression Nun können die geschätzten die Verbesserung und Sicherstellung der Datenqualität den die schlechte Datenqualität gegenübergestellt werden. Die Aufgabe besteht nun darin, ein Optimum zu finden, sodass die Kosten schlechter Datenqualität reduziert werden, dass aber die Kosten zur Hebung der Datenqualität auch nicht zu stark zu Buche schlagen.

3 3 Die Suche nach der optimalen Datenqualität Die Grafik zeigt, dass es ein Optimum für die Datenqualität gibt, das in der Praxis gefunden werden muss. Wichtig an der Grafik ist, dass eine zu hohe Veranschlagung der Datenqualität zu höheren Kosten führen kann. Als Begründung für höhere Datenqualität gelten aber nicht nur ökonomische Gründe. Um Compliance zu erreichen kann ein Aufwand nötig sein, der weit über dem Optimum liegen kann, der aber trotzdem realisiert werden muss. Letztlich gilt für die Datenqualität die bekannte Kurzformel von Joseph Juran, Fitness for use : Die Qualität muss dem Zweck der Anwendung genügen. Qualität und damit auch Datenqualität ist somit immer auf die Anforderungen auszurichten. Dies gilt auch für die bereits angeführten Gründe für die Datenqualität. Eppler, Helfert: A Framework for the Classification of Data Quality Costs and an Analysis of their Progression Ursachen schlechter Datenqualität Schlechte Datenqualität beginnt bei der ersten Erfassung der Daten. Daten werden falsch eingegeben und vom System nicht oder unvollständig geprüft. Die Personen, welche die Daten erfassen, sind zu wenig ausgebildet und es existieren häufig keine oder nur rudimentäre Standards für die Eingabe. Weiter fehlt das Problembewusstsein für die Tragweite von Datenfehlern, weil die Personen nicht verstehen, wozu die Daten später verwendet werden. Ein Rechnungsbetrag mag wichtig erscheinen, aber welche Bedeutung haben beispielsweise Abteilungsnamen. Dies zeigt sich erst viel später im Reporting, von dem diese Personen meist nichts erfahren. Hier fehlt in der Praxis oft ein Feedback-Loop, in dem die dateneingebenden Personen über Datenfehler informiert werden. Bei Systemen, deren Eingabe weniger strukturiert ist, bestehen bei der Dateneingabe Unklarheiten und Fehlinterpretationen. Da Geschäftsprozesse sich ändern, die operativen Systeme aber nicht immer synchron angepasst werden können, werden Felder der Einfachheit halber anderweitig verwendet, sodass der operative Betrieb aufrechterhalten bleibt. Vergessen wird dabei, welche Auswirkungen diese Praxis später in den Folgesystemen und im Data Warehouse haben kann. Weitere Quellen schlechter Datenqualität liegen bei der ungenügenden Datenarchitektur der operativen Systeme. Diese sind oft autonom entstanden und beinhalten unterschiedliche

4 4 Sichtweisen auf das Unternehmen. Die daraus folgende Datenrepräsentation ist unterschiedlich, was die Integration außerordentlich erschweren kann. Wurde ein Applikationssystem bereits früher einmal migriert, besteht eine gute Chance, dass Migrationsfehler vorliegen, die bisher im operativen Betrieb nie bemerkt worden sind. Schließlich besteht bei der Integration von Datenbeständen die Gefahr, dass die Dateninhalte zu ungenau definiert sind oder dass die erstellte Dokumentation nicht mehr dem aktuellen Stand entspricht. In solchen Fällen werden Daten zusammengeführt, die eine andere Semantik haben, was zu einer systematischen Verfälschung der Daten führen kann. Auch können bei der Integration gewisse Datenbestände vergessen werden. Fehlende Daten von Auslandsfilialen oder Tochtergesellschaften können dazu führen, dass die Aggregationen auf Unternehmensebene falsch berechnet werden. Datenqualitätskriterien Bevor man die Datenqualität verbessert, sollte man die Kriterien herausarbeiten, nach denen Qualität gemessen wird. Richard Wang, der am MIT seit über 20 Jahren Forschung über Datenqualität betreibt, hat in seinem breit rezipierten Artikel Beyond accuracy: What data quality means to data consumers (1996) darauf hingewiesen, dass es bei der Datenqualität nicht nur um die Richtigkeit und Fehlerfreiheit von Daten geht, sondern dass Datenqualität auch andere Kriterien umfasst. Die meisten Autoren gehen dabei von einer umfassenden Sicht eines Fachanwenders aus. Die Aspekte, die für einen Anwender von Bedeutung sind, sollen alle als Kriterien definiert werden. Datenqualitätskriterium (Auswahl) Korrektheit Fehlerfreiheit Konsistenz Vollständigkeit (Attributebene) Aktualität Relevanz Verständlichkeit Eindeutigkeit Definition Die Attributwerte eines Datensatzes entsprechen denen der modellierten Entitäten der realen Welt, d.h. die Daten stimmen mit der Realität überein. Die Attributwerte eines Datensatzes weisen keine logischen Widersprüche untereinander oder zu anderen Datensätzen auf. Die Attributwerte eines Datensatzes sind mit Werten belegt, die semantisch vom Wert NULL, bzw. 0 oder Blank abweichen. Alle Datensätze entsprechen jeweils dem aktuellen Zustand der modellierten Welt und sind nicht veraltet. Die Daten bilden die tatsächlichen Eigenschaften des Objektes zeitnah ab. Der Informationsgehalt einer Datensatzmenge bezüglich eines definierten Anwendungskontextes deckt sich mit dem Informationsbedarf einer Anfrage. Die Datensätze stimmen in ihrer Begrifflichkeit und ihrer Struktur mit den Vorstellungen des Fachbereichs überein. Ein Datensatz ist eindeutig interpretierbar. Die vorhandenen Metadaten müssen die Semantik des Datensatzes festschreiben. Welche Kriterien für ein bestimmtes Vorhaben sinnvoll sind und wie die Kriteri-

5 5 en gemessen werden sollen, hängt von den konkreten Zielen ab. Wichtig ist, dass sich die Qualitätskriterien nach den Zielsetzungen richten und nicht nach dem, was ein bestimmtes Tool kann. Verbesserung der Datenqualität Grundsätzlich kann davon ausgegangen werden, dass operative Systeme bestehen, die dauernd einen Anteil fehlerhafter Daten produzieren. Weiter liegt in dispositiven Datenbanken bereits ein Mehrfaches an Informationen vor, die teilweise fehlerbehaftet sind. Eine Strategie zur Hebung der Datenqualität hat an beiden Bereichen anzusetzen. Einerseits muss verhindert werden, dass ständig weitere fehlerhafte Daten anfallen, andererseits müssen bestehende Daten in der Datenbank entweder dort korrigiert oder in einem Schritt vor dem Eintrag ins Data Warehouse bereinigt werden. In Projekten hat sich gezeigt, dass die Verantwortung für die Daten nicht genügend geregelt ist. Die Schaffung expliziter Verantwortlichkeiten für die Datenquellen ist ein wichtiger erster Schritt bei Datenqualitätsprojekten. Zudem ist es sinnvoll, die Funktion des Datenstewards einzuführen. Da Datenqualität ohne genaue Beschreibung der Semantik der Daten nicht gemessen werden kann, gehört eine Prüfung der Metadaten und eine Prüfung der Übereinstimmung zwischen Metadaten und der effektiven Nutzung zu den Standardvorbereitungen eines DQ-Vorhabens. Nun können Kriterien bestimmt werden, die für das Vorhaben von Bedeutung sind, und Qualitätsregeln definiert werden, denen die Daten genügen müssen. Dies betrifft in erster Linie die Vollständigkeit, Korrektheit und Konsistenz der Daten. Wichtiges Verfahren hierzu ist Data Profiling. Hierbei handelt es sich um eine systematische Methodik, Daten weitgehend automatisiert zu analysieren und fachlich zu bewerten, um korrigierende Maßnahmen durchführen zu können. Idealerweise wird Data Profiling zu Beginn eines Projektes oder generell asynchron zu Data-Warehouse-Prozessen in einer eigenen Hardware-Infrastruktur durchgeführt. Hierbei werden komplette Datenbestände in eine separate Umgebung extrahiert, da Data Profiling aufgrund großer Daten-Volumina laufzeitbelastend ist und für die Analysen konsistente Datenbestände über einen längeren Zeitraum gehalten werden müssen. Moderne Werkzeuge unterstützen bei der Analyse Data-Profiling-Teams, die aus kleinen Gruppen von ca. drei Personen bestehen und interdisziplinär IT- und Fachabteilungsspezialisten umfassen sollten. Die Analyse besteht zunächst aus einer Aufbereitung der Ergebnisse, um diese in Workshops fachlich zu bewerten und in Form von Business Rules festzuhalten. Als Ergebnis des Profiling-Prozesses erhält der Anwender eine Liste möglicher Problemfelder in den zu verwendenden Daten und kann bewerten, ob eine Korrektur der Probleme erfolgen und welcher Aufwand hierfür eingeplant werden muss. Auf dem Markt ist eine Vielzahl von Data-Profiling-Werkzeugen erhältlich. Diese können alternativ zu eigenen Entwicklungen eingesetzt werden und bieten den Vorteil, schnell einsetzbar zu sein, viele Datenformate zu unter-

6 6 stützen und konsistente Ergebnisse zu liefern. Eigenentwicklungen ihrerseits bieten den Vorteil, dass sie in ETL-Prozesse besser integriert werden können: Profiling-Prüfroutinen sollten nämlich so gestaltet sein, dass sie zu einem späteren Zeitpunkt im ETL-Prozess für ein kontinuierliches Data Qualitity Monitoring wiederverwendet werden können. Hierbei werden die Profiling-Methoden und -Sollzustände in Metadaten gespeichert und die ETL-Prozesse um Prüf- und Freigabeprozesse erweitert. Im laufenden Betrieb ist dadurch eine Zeitreihenanalyse zur Prognose von Satzzahlen oder Wertebereichen möglich. Meldeketten an die Datenqualitäts- oder Fachverantwortlichen können etwa mit SMS oder realisiert werden, um zeitnahe Klärungen oder Korrekturen zu veranlassen und Fehlerläufe zu vermeiden. Literatur Apel, D. et al.: Datenqualität erfolgreich steuern. Hanser, München, 2009 English, L.: Improving Data Warehouse and Business Information Quality: Methods for Reducing Costs and Increasing Profits. Wiley, New York,1999 Eppler, M. and M. Helfert: A Framework for the Classifi cation of Data Quality Costs and an Analysis of their Progression. Research/publication/2004/EpplerHelfert_ICIQ2004.pdf Lee, Y.W. et al.: Journey to Data Quality. The MIT Press, Cambridge, 2006 Redman, T.: Data Quality for the Information Age. Artech, Boston, 1996 Redman, T.: Data Quality: The Field Guide. Digital Press, Boston, 2001 BI Consultants GmbH Hadlaubstrasse 124 CH Zürich Switzerland tel mob info@bi-consultants.ch