Datenqualitätsmetrik für Informationsprozesse

Transkript

1 DISS. ETH Nr Datenqualitätsmetrik für Informationsprozesse ABHANDLUNG zur Erlangung des Titels DOKTOR DER WISSENSCHAFTEN (Dr. sc. der ETH Zürich) EIDGENÖSSISCHEN TECHNISCHEN HOCHSCHULE ZÜRICH vorgelegt von Volker Gerhard Würthele Diplom Informatiker (Universität Stuttgart) geboren am 17. August 1969 Angenommen auf Antrag von: Prof. Dr. CA. Zehnder Referent Prof. Dr. M. Norrie Korreferentin 2003

2

3 3 Vorwort Alles, was überhaupt gedacht werden kann, kann klar gedacht werden. Alles, was sich aus sprechen lässt, lässt sich klar aussprechen. Wittgenstein1 Man sollte es zumindest versuchen. Falls es mir ansatzweise gelungen sein sollte, so gilt der Dank dafür vor allem meinen Korrekturlesern. Die vorliegende Arbeit ist das Ergebnis einer viele Jahre dauernden Beschäftigung mit Fragen der Datenqualität in grossen Bank unternehmen, zuerst bei der Westdeutschen Landsbank (WestLB AG, Düsseldorf), danach bei der UBS AG (Zürich). Erst viele praktische Erfahrungen in unterschiedlichen Bankbe reichen führten schliesslich zu einem systematischen Ansatz für eine Datenqualitätsmetrik. Dabei haben mir sehr viele Menschen geholfen. Besonderer Dank gilt Ulrich Stingl und FranzJosef Kurpicz, beide noch immer für die WestLB tätig. Ihre Anregungen sind bereits in Vorarbeiten für die Universität Stuttgart eingeflossen, von ihnen stammen aber auch konstruktive Beiträge für die vorliegende Ar beit. Ich danke Dr. Peter Janes, von Anfang an mein Mentor dieser Arbeit bei der UBS AG, für seine Unterstützung und Martin Kunzi für wiederholtes Korrekturlesen. Den Herren Martin Becker und Dr. Michael Wolf danke ich für die Möglichkeit, im Projekt Daten qualitätsanalyse im Kreditrisikomanagement" mitzuarbeiten und dieses in den Praxisteil dieser Arbeit einzubringen. Den Kollegen Markus Serena, Martin Stöckli und Peter Thut danke ich für die Anregung, Schwellenwerte in die Metrik einfliessen zu lassen. Die Pra xisnähe des der Metrik zugrunde gelegten Modells hat sich dadurch stark erhöht. Ganz speziell bedanken möchte ich mich bei Dr. Urs Matter, Unternehmensberater für die UBS AG, für seine Unterstützung, insbesondere für die sorgfältige Prüfung der mathema tischen Passagen. Schliesslich möchte ich mich bei meinen Professoren an der ETH Zürich bedanken. Durch Frau Prof. Dr. Moira Norrie sind Überlegungen zu modernen objektorientierten Methoden in die Arbeit eingeflossen. Prof. Dr. Carl August Zehnder hat diese Arbeit persönlich mit grossem Einsatz betreut. Er verstand es immer wieder, die Fokussierung der Arbeit und die Abgrenzung zu Randthe men kritisch, aber konstruktiv zu hinterfragen. Gleichzeitig unterstützte er die Neuausrich tung der Notation und später den Wechsel des Praxisbeispiels. Den relativ spät getroffenen Entscheid, eine Simulation in die Arbeit zu integrieren, wurde durch Prof. getragen; sie bereichert diese Arbeit stark. Zehnder mit Ohne Prof. Zehnders seltene Kombination aus Akribie und Flexibilität wäre diese Arbeit so nicht zustande gekommen. Volker Würthele, 1. August 2003 ^löö, 4.116]

4 4 INHALTSVERZEICHNIS Inhaltsverzeichnis Vorwort 3 Inhaltsverzeichnis 4 Zusammenfassung 9 Abstract 10 1 Einleitung Datenqualität Terminologie Gliederung der Arbeit 13 1 Taxonomie der Datenqualität 13 2 Begriffe im Bereich der Datenqualität Begriffe in der Literatur Ein konsistentes Begriffssystem Gesamtmodell: Daten, Information und Wissen Begriffsdefinitionen Datenqualität in Prozessen Der Qualitätsbaum 24 3 Dimensionen der Datenqualität Modellabhängigkeit Zeitabhängigkeit Das Datenqualitätsradar Technikqualität Schwierige Sichtbarkeit: Das Eisbergmodell Variantenreichtum am Beispiel objektorientierter Modellierung Technikqualität umfasst viele Aspekte Qualitätsmerkmal Stabilität 41

5 INHALTSVERZEICHNIS Qualitätsmerkmal Adaptabilität Qualitätsmerkmal Architektur 42 II Prozessmodell und Metrik 45 4 Prozessmodell Anforderungen an das Prozessmodell Die Basisnotation Der Gesamtprozess und Datenflüsse zwischen Subprozessen Alternativen und der Pfadbegriff Dekomposition in Subprozesse Datenqualitätsangaben in Prozessen Modell der Verarbeitung Gestaltungsrichtlinien für Graphen Modellierung vom Generellen ins Detail (Topdown) Natürliche Leseweise übernehmen Übersichtlichkeit und Komplexität Transparenz durch Swimlanes" Erweiterte Notation für komplexe Prozesse Vorbemerkung zur grafischen Notation Detaillierungen und Wiederverwendbarkeit von Subprozessen Erweiterte grafische Symbole Daten, Signale und Eingangswarteschlangen Trigger, Datenspreizung und synchronisation Quellen, Senken und Datenbanken Entscheidungen und resultierende Ereignisse Erweiterte beschreibende Elemente Normalisierung (Erweiterte Notation nach Basisnotation) Normalisierung von Signalen und Bereitstellungsdaten Normalisierung von Triggern, Spreizungen und Synchronisation Normalisierung von Schleifen 77

6 6 INHALTSVERZEICHNIS Normalisierung von Quellen, Senken und Datenbanken Normalisierung von Entscheidungen mit Ereignissen Zusammenfassung der Normalisierungen 78 5 Die Datenqualitätsmetrik Die Aggregationsaufgabe Berechnung der Pfaddurchlaufwahrscheinlichkeiten Durchlaufzeiten Aggregation der Datenqualität Einige Simulationen Simulationen zum einführenden Beispiel Ein Beispiel mit nichtlinearer QFunktion Erweiterung um Schwellenwerte Erweiterung um fehlerabhängige Pfaddurchlaufwahrscheinlichkeiten Betrachtung zur Fehlernivellierung 100 III Von Einzelmessungen zum Metriksystem Messverfahren Generelles Vorgehen Schätzung Vorgehen Zur Qualitätsdimension Vollständigkeit" Zur Qualitätsdimension Korrektheit" Zu Qualitätsdimensionen mit weichen Faktoren Echte Messung Messung mit Datenqualitätsindikatoren DataMining 118

7 INHALTSVERZEICHNIS 7 7 Aggregation zum Metriksystem Aggregationsmethodik Vorgehensweise bei der Anwendung der Metrik 123 IV Praktische Anwendung Praxisbeispiel UBS Ein Prozessmodell aus dem Kreditrisikomanagement Ein Beispiel aus dem zentralen ITInventar der UBS Ergebnis und Ausblick 140 Anhänge 142 A Checklisten und Fragebögen 142 A.l Ein Bewertungsbogen von Dritten [69] 142 A.2 Eigene Checklisten 143 B Die Simulationsumgebung 155 C InternetVerweise 157 Abbildungsverzeichnis 158 Literatur 161 Lebenslauf 172

8

9 9 Zusammenfassung Der Begriff Datenqualität taucht erst seit ca vermehrt in Literatur und Praxis auf, ist also ein relativ junger Begriff der Informatik. Dabei fällt auf, dass der Begriff meist ungenau oder gar nicht definiert wird. Diese Arbeit liefert eine Taxonomie der Datenqualität, welche auch schlecht quantifizier bare weiche Faktoren, die Zeitabhängigkeit der Qualität sowie Effekte der Modellbildung berücksichtigt. Als Novum und wichtiges Arbeitsergebnis entstand das Datenqualitätsra dar, welches eine so bis dato noch nicht gekannte Übersicht zum Thema Datenqualität liefert. Ausgehend vom Datenqualitätsradar wurde eine Notation zur Modellierung von Datenqua litätsprozessen erarbeitet und ein Metriksystem entworfen, welches es erlaubt, die Daten qualität messbar zu machen. Datenqualität wird hierbei nicht nur als ein reines Informatik Thema, sondern eingebettet in das Organisationssystem verstanden. Manche Dimensionen der Datenqualität können quantitativ gemessen werden. Im vorlie genden Metriksystem werden die entsprechenden Qualitätszahlen subprozessweise unter sucht und ausgewertet. Aber auch die weichen Dimensionen der Datenqualität fliessen in dieses Metriksystem ein; gemessene Werte werden mit Werten ergänzt, welche durch Experten mit Hilfe von Checklisten geschätzt werden. Das in dieser Arbeit vorgestellte Metriksystem ist das erste so umfassende System zur Beurteilung der Datenqualität. Das erarbeitete Modell berücksichtigt Datenqualitätsverbesserungen, die in den Daten qualitätsprozessen vorkommen können und erlaubt es sogar, Schwellenwerte und von der Datenqualität gesteuerte Teilprozesse zu modellieren. Dabei entstand eine übersichtliche grafische Notation, eine kompakte textuelle Notation und eine Simulationsumgebung. Die implementierte Simulationsumgebung erlaubt es, die Fehlerfortpflanzung von Daten qualitätsproblemen zu modellieren. Die Gespräche mit Experten der UBS AG haben ge zeigt, dass der Begriff der Fehlerfortpflanzung im Finanzdienstleistungsbereich bisher we nig bekannt ist, inzwischen aber grosses Interesse der Praktiker geweckt hat.

10 10 Abstract The term "data quality" first appeared in both the literature and practice around 1995, making it a relatively new area in computer science. Surprisingly, the term is often not defined at all, and where this has been attempted, the result is inaccurate in most cases. This thesis provides a taxonomy for data quality. It also takes nonquantifiable soft factors, dependencies between quality and time and effects that arise from modelling into account. A data quality radar chart is introduced which provides a novel overview of all aspects of data quality. Based on the data quality radar, a notation for modelling data quality processes was developed. This new notation then led to a metering system enabling data quality to be measured. The concept of data quality is not treated as a mere computer science issue, but rather is seen in the much larger context of a corporate organisation and its internal processes. Some dimensions of data quality can be quantified. The metering system at hand exami nes the corresponding quality figures on subprocess level and evaluates them. The soft dimensions of data quality also belong to the metering system. Quantified values are sup plemented by values that were put forward by experts in this field, supported by checklists for their estimation. The metering system in this thesis is the first allembracing system to fathom data quality. The model presented here also considers data quality improvements that can be achie ved within the processes of an organisation. The model even allows threshold values and qualitydriven subprocesses to be specified. The deliverables include a concise graphi cal notation, a compact textual notation and a simulation environment, which was also developed in the context of this work. The implemented simulation programs allow the propagation of errors due to data quality problems to be modelled. Interviews with experts from UBS have shown that the concept of error propagation is hardly known in the sector of financial services, but produced substantial interest.

11 sind etwa 11 1 Einleitung 1.1 Datenqualität Daten haben in der Datenverarbeitung eine zentrale Bedeutung Grossere betriebliche In formatikanwendungen sind heute kaum noch ohne Datenbankunterstutzung denkbar, und ganze Zweige der Industrie, aber auch weite Teile der in den letzten Jahren immer starker expandierenden Dienstleistungsbranchen (z B Finanzdienstleister oder die Versicherungs branche), arbeiten so intensiv mit Daten, dass man sagen kann, die Daten haben in vielen Bereichen die Rolle eines zentralen Produktionsmitteis eingenommen Gerade in Bran chen, deren Produkte immateriell sind im Bereiche der Banken und Versicherungen sich die Produkte der Konkurrenten sehr ähnlich Wer im Wettbewerb bestehen und sich von den Mitbewerbern positiv unterscheiden will, muss durch die Qualität der insgesamt vom Kunden wahrgenommenen Dienstleistung, speziell aber durch die Quali tät, mit der die Dienstleitungskomponenten (Bankprodukte) dargestellt und gehandhabt werden, ansprechen, also durch die Datenquahtat in diesen Branchen einen immensen Stellenwert Die Datenqualitat hat deshalb gerade Es kann davon ausgegangen werden, dass dieser Stellenwert mit steigender Globalisierung der betroffenen Markte und steigendem Wettbewerbsdruck in Zukunft noch weiter an Bedeutung gewinnen wird Wahrend in der Industrie der Qualitatsbegriff eine traditionell wichtige Bedeutung hat, liegt hier der tertiäre Wirtschaftssektor insgesamt, aber insbesondere die noch junge" In formatikbranche, deutlich hinter den Qualitatsstandards der industriellen Fertigung zurück Fur die Softwareentwicklung gibt es ren des Software Engineering ausreichende Grundlagen, Bewusstsem fur Qualität der Software zu schaffen insbesondere auf Grund der Methoden und Verfah um bei den Informatikern ein Qualitatsstandards, Tools, Vorgehens weisen usw sind vorhanden und praktisch erprobt, ähnlich wie in der Industrie wurden Verfahren zur Qualitätssicherung eingeführt Fur den Soitw&reBetrieb, der in der Praxis eines Betriebes einen Gesamtprozess mit meh reren Informatiksystemen in ablauforgamsatorischen Prozessen umfasst, fühlen sich die Informatiker meist nicht verantwortlich, ebenso wenig fur die verarbeiteten und gespei cherten Daten Sie treten erst wieder an, wenn eine Wartung von Programmen notwendig wird Wartung tritt aber typischerweise erst bei gefundenen Fehlern oder neuen Anfor derungen2 an die Anwendung ein Fehler werden aber oft erst spat entdeckt und über verschiedene Arbeitsschritte im Gesamtprozess hinweg weitergereicht Fachlich fehlerhaf te Angaben, die technisch plausibel sind, lassen im laufenden Betrieb die Datenquahtat schlechter werden, obwohl alle Einzelsysteme fehlerfrei funktionieren Dass das Thema Datenquahtat sehr wichtig ist, wurde mittlerweile allgemein erkannt Aus Literatur und Praxis zusammengetragene Fakten belegen, dass eine schlechte Datenquah tat immense Kosten3 verursacht Besonders unangenehm sind die monetär nicht exakt quantifizierbaren Kosten, die entstehen, wenn auf der Basis einer schlechten Datenlage falsche Entscheidungen getroffen werden Ist die Qualität der zugrunde liegenden Daten schlecht, so liefern die Auswertungen ein Zerrbild der tatsächlichen Situation und die nachfolgenden Entscheidungen können falsche operationale, oder schlimmer, falsche stra tegische Massnahmen zur Folge haben Demnach hangt der Unternehmenserfolg einer guten Datenquahtat ab mit von 2 in der Praxis vielfach Erweiterungen der Funktionalität oder Verbesserungen der Ergonomie 3Vgl [41],[43], einige Beispiele folgen in 2 1

12 12 1 EINLEITUNG Der Begriff Datenquahtat" ist ein relativ neuer Begriff und der Verbesserung der Daten quahtat wird heute in der Praxis eine hohe Bedeutung beigemessen. Exakte Definitionen oder gar eine Metrik, welche es erlaubt, die unternehmensweite Datenquahtat messbar zu machen, fehlen bisher jedoch völlig.4 Leider erweist es sich aber als sehr schwierig, eine Grosse verbessern zu wollen, die man bisher nicht messen oder gar nicht einmal hinreichend definieren konnte. Im Rahmen der Vorarbeiten zu dieser Arbeit beim Datenqualitatsbeauftragten der West deutschen Landesbank (WestLB AG) hat sich gezeigt, dass Datenquahtat im Kontext des Gesamtprozesses des betrachteten Betriebes zu sehen ist. Nicht ein einzelnes Informatik System, sondern das Zusammenspiel vieler Einzelsysteme, Schnittstellen und teilweise auch manueller Tätigkeiten innerhalb der Unternehmensprozesse beeinflussen im Zusammen spiel die Datenquahtat. Das Ziel dieser Arbeit ist es, ein Metriksystem fur Datenquahtat in Informationsprozessen zu erstellen. Als Anwendungsbeispiel dient die Finanzdienstleistungsbranche5, eine Aus weitung auf andere Anwendungsgebiete ware möglich, Arbeit. ist aber nicht Bestandteil dieser Durch das hier erarbeitete Metriksystem lasst tikprozesse gewinnen und Datenquahtat quantifizierbar6 machen. sich Transparenz über komplexe Informa Zum einen kann damit der IstZustand hinsichtlich Datenquahtat analysiert werden, um mögliche Handlungsbedarfe abzuleiten. Zum anderen können damit kurz, mittel oder langfristig geplante Veränderungen be trachtet und deren Auswirkungen auf die Datenquahtat simuliert werden. Damit kann das Metriksystem auch als Managementinstrument eingesetzt werden, um bestmögliche operationelle (und zu einem gewissen Grade sogar strategische) Entscheidungen zu treffen. 1.2 Terminologie Bevor in Kapitel 2 die fur diese Arbeit zentralen Begriffe definiert werden, seien hier einige Begriffe kurz umrissen. Ein Informatiksystem ist ein technisches Hilfsmittel, mit welchem Informatikbenutzer oder Informatikfachleute arbeiten. Informatiksysteme arbeiten mit digitalisierten Daten. Daten werden als auf einem geeigneten Medium gespeicherte Fakten betrachtet. Informatiksyste me können Daten verarbeiten (und aus Eingangsdaten neue Ergebnisdaten der Verarbei tung erzeugen), dem Benutzer präsentieren oder beides (das ist der Regelfall). Interpretiert der Benutzer Daten des Informatiksystems, so abstrahiert er Information aus den Daten. Integriert der Benutzer diese neue Information in sein Wissen, wird diese Information 4Vorhandene Ansätze sind Datenbankenfokussiert, beziehen sich auf ein einzelnes Informatiksystem oder einen einzelnen Datenherstellungsprozess, die grundsatzliche Bedeutung von Prozessen wurde in [145], [15] und [89] erkannt Bei Datenabfragen aus heterogenen verteilten DatenbankSystemen stehen noch Implementierungsfragen, nicht Datenqualitatsfragen im Vordergrund (Vgl [139]) 5Fur die Metrik selbst wurden keine branchenspezifischen Einschränkungen zugrunde gelegt, hier ist eine Übertragung auf beliebige Informatikprozesse, ja überhaupt auf beliebige Prozesse, möglich Die hier vor gestellten Checklisten, Beispiele und Arbeitsmaterialien sind jedoch auf den Fmanzdienstleistungsbereich ausgerichtet 6vgl [46, S 2] Management has no mcentivce to change the status quo until they understand and feel the pam of the cost of nonquality information "

13 1 3 Gliederung der Arbeit 13 zu seinem persönlichen Wissenszuwachs In Unternehmen können Informatiksysteme in Arbeitsablaufe, auch Geschaftsprozesse oder im Folgenden kurz Prozesse genannt, einge bunden sein Prozesse können in kleinere Abschnitte, sogenannte Subprozesse, detailliert werden Prozesse, die einen Wissenszuwachs beim Benutzer auslosen7, werden als Infor mationsprozesse bezeichnet Die Datenquahtat ist der Grad der Eignung von Daten, den an ihre Erfassung oder Generierung gebundenen Zweck zu erfüllen Die Effektivität (und in vielen Fallen die Wertschopfung) eines Informationsprozesses ist stark von der Datenquahtat der betroffenen Daten abhangig 1.3 Gliederung der Arbeit Diese Arbeit hat drei Schwerpunkte Sie beginnt mit dem Ordnen einer Vielzahl von Be griffen, die im Zusammenhang mit Datenquahtat verwendet werden Zum zweiten folgt die Auswahl/Erstellung einer geeigneten Notation zur Prozessmodelherung im dritten Schwerpunkt dieser Arbeit zu erstellende Metriksystem unterstutzen Sie soll das Gewünscht wird grundsätzlich eine einfache, berechenbare, deskriptive Metrik Nun sind aber viele Dimensionen der Datenquahtat per se qualitativer Natur und daher numerisch kaum fassbar Eine Metrik, die ganz auf diese weichen" Faktoren der Datenquahtat ver zichtet, kann jedoch in der Praxis nicht tauglich sein und damit der Anforderung nach Relevanz (die noch hoher zu gewichten ist als die Forderung nach Einfachheit) nicht ge recht werden Statt einer einfachen Metrik ist deshalb ein Metriksystem notwendig, in welches einerseits messbare, andererseits aber auch bloss schatzbare Grossen emfhessen Aus diesem Grunde wurde im Rahmen dieser Dissertation ein Metriksystem entwickelt, welches eine geschätzte Metrik als Subsystem enthalt In den Kapiteln 2 und 3 wird zunächst eine Taxonomie8 fur Datenquahtat entwickelt Hier werden verschiedene Dimensionen der Datenquahtat unterschieden und erläutert Im Kapitel 4 wird das Prozessmodell, insbesondere die grafische Notation, definiert Kapitel 5 definiert die Datenquahtatsmetrik über dem in Kapitel 4 definierten Prozessmo dell auf einer einzelnen Dimension der Datenquahtat Im Kapitel 6 ist beschrieben, wie die Datenquahtat auf den im Rahmen des Prozessmodells atomar angesehenen Subprozessen effektiv gemessen, respektive geschätzt wird Hierfür können Arbeitsmaterialien, vor allem Checklisten, verwendet werden Das Kapitel 7 beschreibt schliesslich die Aggregation aller Dimensionen der Datenquahtat in einen fur das Gesamtsystem geltenden, globalen Datenquahtatsbegriff Eine Erprobung der im Rahmen dieser Arbeit entwickelten Notation zur Prozessmodelhe rung sowie des Metriksystems im Praxisumfeld der schweizerischen Grossbank UBS runden diese Arbeit ab (Kapitel 8) Verschiedene Arbeitsmaterialien, die im Rahmen dieser Arbeit zusammengetragen und erstellt wurden, sind als Fundus im Anhang A zusammengestellt 7Dann passt der in dieser Arbeit zu Informatiksystem" synonym verwendete Begriff ITSystem" be sonders gut (Information Technology System) 8Taxonomie gemeint als sinnvolle Gliederung eines Wissensgebietes taxonomy (IEEE Std [9] A scheme that partitions a body of knowledge and defines the relationship among the pieces It is used for classifying and understanding the body of knowledge " [76]

14 anders das ohne Daten 14 2 BEGRIFFE IM BEREICH DER DATENQ DALITA T 2 Begriffe im Bereich der Datenqualität 2.1 Begriffe in der Literatur Bei der Datenquahtat handelt es sich um einen zusammengesetzten Begriff und Qualität. Fur sich genommen gibt es fur diese beiden Teilbegriffe sehr viele Definitionen in der Literatur. Der Gesamtaspekt der Datenquahtat und damit die Verbindung beider Begriffe ist aber relativ neu und bisher wenig definiert. Der Begriff Datum" geht auf das lateinische dare (datum, gegeben kument) zurück. am..." fur ein Do Der Plural Daten" (in Englisch data") wird seit Jahrzehnten viel allgemeiner verstanden im Sinne von Angaben jeder Art (Messungen, Aufzeichnungen, Wert...) Fakten [17],[56] definiert. und meistens als Im deutschen Sprachgebrauch kommt der Singular von Daten in dieser Bedeutung nicht vor (Datum wird nur kalendarisch als Zeitpunkt verwendet), und man muss sich mit Begriffen wie Datenelement" behelfen, wenn ein einzelner Datenwert bzw. dessen Wertauspragung gemeint ist. In der Literatur werden Daten oft als Ergebnisse von Messung oder Beobachtung [32],[157] definiert und repräsentieren Eigenschaften von Entitaten der Realität [25] in Informatik systemen. Qualität Fur den Begriff Qualität existieren sehr viele Definitionen. Der Begriff Qualität kommt ebenfalls aus dem Lateinischen quahtas und bedeutet Eigenschaft oder Beschaffenheit; er ist zunächst weder positiv noch negativ belegt.9 Im Weiteren gibt es sehr viele spezifische Definitionen, etwa aus dem Bereich der industriellen Fertigung, wo häufig die reziproke Abweichung eines Prüflings von einem Ideal als Qualitatsmass fur die vorausgegangene Fertigung des Prüflings definiert wird10 (geringe Abweichung hohe Qualität). Wo Definitionen zur Datenquahtat in der Literatur fehlen oder vage sind, werden vielfach statt genauer Definitionen einfach Beispiele aufgeführt. Entgegen zur umgangssprachlich positiven Belegung des Qualitatsbegriffes tauchen Beispiele zur Datenquahtat teratur fast durchweg als in der Li NegativBeispiele" auf. Die Beispiele der Literatur, von denen nachstehend einige aufgeführt sind, zeigen einerseits, Praxis mit hohen Kosten verbunden ist. dass schlechte Datenquahtat in der Zum anderen zeigen die Beispiele, dass auch wei che Faktoren (wie Vertrauenswürdigkeit) eine Rolle in der Praxis spielen genauer definiert werden: dass sie A telecommunication company suffered a loss of 3 million dollar in their bill collections along with customer complaints. The company suspected poor information quality might have contributed to the problem of not sending out bills to all customers." [69, S.2] 9Auch eine sehr schlechte Qualität stellt eine Ausprägung von Qualität dar stellt man automatisch eine gute Qualität und benutzt den Begriff nur positiv belegt Umgangssprachlich unter 10In der Informatik ist nicht die Fertigung einer Kopie möglichst nahe am Ideal das Problem, da die Produkte der Informatik immateriell und digital sind zu erstellen, so dass identisch ist als bei materiellen Industrieprodukten Es ist möglich, mit kleinem Aufwand exakte Kopien Duplikat mit dem Original

15 2.1 Begriffe in der Literatur 15 The U.S. Army lost confidence in using some of their wellguarded logistic information for decision making and operations." [69, S.l] A data error within a bank allowed 300 creditworthy customers to receive mortgage default notices." [12, S.7 ff] A marketing organization sends multiple response pieces to the same individual (through the failure to attain integrity). A six percent redundancy in each mailing costs the company hundreds of thousands of dollars over the course of a year." [12, S.7 ff] A global chemical company stopped their data warehousing project upon recognizing that the inconsistent representation of information was tarshing their global business operati on." [69, S.l] Online customers submit false information in Web forms to protect their privacy." [41] In the U.S. alone, false credit card applications accounted for more than $41 million in lost revenue in 1999." [41] Call center operators take short cuts, entering default or fake values in tracking systems to increase call turnover rates." [41] A consumer product company lost track of trends in product reorders from their retailers. Their computer order system showed no technical problems." [69, S.l] An eyewear company lost its market share and incurred significant rework on their pro ducts and services." [69, S.l] Datenqualität: Im Zusammenhang mit Datenqualität stellen die Qualitätsdefinitionen aus der Literatur meist die Gebrauchsqualität11 in den Vordergrund. Eine hohe Datenqualität wird heute in der Literatur vielfach als teuer" und gegenüber dem Management als schwer zu rechtfertigen angesehen: Die umfassende und dauerhaf te Verbesserung der Datenqualität eines Unternehmens ist ein umfangreiches Vorhaben. Auf der anderen Seite ist für Entscheidungsträger der Nutzen der verbesserten Datenqua lität oft nicht transparent, so dass Investitionen in diesen Bereichen nur zögerlich getätigt werden." [120, S.17] Definitionen zur Datenqualität und zum bezüglich Qualitätsüberlegungen ähnlich gelager ten Begriff Informationsqualität" sind aber noch relativ wenig verbreitet. Data quality is consistently meeting knowledge worker's expectations." [44] n Fitness for Use" (Juran), Conformance to requirements" (Philip Crosby), Eine Dienstleistung oder ein Produkt, welches die Erwartungen des Kunden übertrifft" Business). (University of Chicago, Graduate School of

16 16 2 BEGRIFFE IM BEREICH DER DATENQUALITAT Nach [44] lässt sich Datenqualität in drei Komponenten untergliedern: DatendefinitionsQualität (Qualität der Datenspezifikation auf Basis der Business Rules) DateninhaltsQualität (Korrektheit der Datenwerte content quality", Vollständig keit, Eindeutigkeit, Fehlerfreiheit) PräsentationQualität (Daten angemessen rasch in geeigneter Aufbereitung unter angemessenem Aufwand zur Verfügung stellen) Informationsqualität (1): Larry English unterscheidet eine inhärente und eine pragmatische Informationsqualität [45]. Unter inhärenter Informationsqualität versteht er die Korrektheit der Information, unter pragmatischer Informationsqualität deren korrekte Darstellung. Für die Dimensionen von Informationsqualität finden sich in der Literatur unterschied liche Angaben. Häufig finden sich diese fünf: Genauigkeit, Vollständigkeit, Konsistenz, Verfügbarkeit und Aktualität. Die Genauigkeit" wird fast überall genannt. Definition, was Genauigkeit bedeutet, fehlt. Das zeigen diese drei Beispiele: Eine exakte Genauigkeit: the correctness of the output information" [92] Genauigkeit: the recorded value is in conformity with the actual value" [13] Accuracy: Accuracy is the inverse of error. An error is a discrepancy between the encoded and the actual value of a particular attribute for a given entity." [137, S.3] Informationsqualität (2): Huang nennt [69, S. 33ff] drei Ansätze, wie Informationsqualität definiert werden kann: Intuitiv (intuitive), systemseitig (system) und empirisch (empirical). Intuitiv" bedeutet, dass Wertungen der Informationsqualität von Erfahrungen oder in tuitiven Auffassungen einzelner Individuen festgelegt werden. Veränderung Modellierung und Messung Abbildung 1: Wissen als Informationsqualität aus Daten

17 eine der 2.1 Begriffe in der Literatur 17 Systemseitig" wird so verstanden, dass die Definition direkt am Herstellungsprozess der Informationen festgemacht wird. Das System bzw. der Prozess wird nicht als Black Box" angesehen, sondern Systemdesign und Datenerzeugung werden einer Prüfung unterzogen. Das System soll einen Zusammenhang aus der realen Welt repräsentieren, d.h. eine Infor mation wird mit einem zugehörigen realen Sachverhalt verglichen. Unter Empirisch" verstehen die Autoren, dass die dem Kunden gelieferten Daten an der Erwartungshaltung des Kunden gemessen werden. Dies kann durch Kundenbefragungen erfolgen. Positiv ist bei diesem Ansatz, dass der Kunde einbezogen wird. Negativ ist, dass so kein harter Beweis über die Richtigkeit von Daten möglich ist. Einige empirische Untersuchungen zur Datenqualität sind auch in [29], [132] und [148] zu finden; typische Qualitätsmängel sind demnach mehrfach vorkommende, inkonsistente, unvollständige und inkompatible Daten, auch zu viele Informationen" werden als Pro blemfeld empfunden, d.h. eine zu grosse Quantität von Informationen wird offenbar auch problematisch. Im Weiteren fehlen oft Rechnerressourcen zur Auswertung von Informa tionen, Berechtigungskonzepte sind ungeeignet und Daten nicht aktuell verfügbar oder Abfragen zu umständlich. Huang et al [69, S. 43ff] legen folgende 4 Kategorien fest, die diese Ergebnisse recht gut zusammenfassen : Kategorisierung von Datenqualität, Wissen der Organisation ([69]): intrinsische (intrinsic) Informationsqualität: Genauigkeit, Objektivität, Glaubwürdig keit, Reputation12 kontextuelle (contextual) Informationsqualität: Relevanz, Mehrwert für den Nutzer, Verfügbarkeit, Vollständigkeit, Umfang der Information repräsentative (representative) Informationsqualität: Interpretierbarkeit, Verständ lichkeit, korrekte Repräsentation, konsistente Repräsentation Zugreifbarkeit (accessibility): Zugriff und Sicherheit Datenqualitätsprobleme werden auch in Designprobleme (es werden nicht die eigentlich benötigten Daten produziert), Implementierungsprobleme (Programmfehler) und Anwen dungsprobleme (unzureichende Schulung) gegliedert [69, S.15]. Aus dem Total Quality Ma nagement (Deming, vgl. [37]) leiten die Autoren einen TDQM Cycle (Total Data Quality Management Cycle) her [69, S.16] und kommen zum Schluss, das Wissen einer Organisa tion im Umfeld der Datenqualität in folgende Kategorien zu unterteilen: KnowWhat: Faktisches Wissen über das Geschäftsumfeld KnowHow: Prozedurales Wissen, wie etwas zu tun ist KnowWhy: Axiomatisches Wissen und die Erfahrung des Managements Arbeitspraxis zugrunde liegende Annahmen Besonders interessant ist hierbei, dass der gute Ruf" einer Information als Qualitätskriterium ange geben wird keine Qualität. [69] Information, von der man keine gute Qualität erwartet, hat für die Autoren überhaupt

18 18 2 BEGRIFFE IM BEREICH DER DATENQ DALITA T Damit schaffen die Autoren einen fliessenden Übergang zu den Themengebieten der be triebswirtschaftlichen Organisation und des Wissensmanagements im Allgemeinen. Was im Buch als Datenqualitätsverbesserungsmassnahmen begonnen wurde, gipfelt in der Her ausbildung und Pflege der Kernkompetenz des Unternehmens. Zusammenfassung In der Literatur sind verschiedene Aspekte der Datenqualität definiert. Breit etablierte, einheitliche Definitionen fehlen, d.h. Begriffe werden uneinheitlich und auf völlig unter schiedlichen Abstraktionsebenen verwendet. Verbreitet sind Leitfäden, wie Qualitätsteams etabliert und ein Qualitätsdenken durch Schulungs und Motivationsmassnahmen bei den Mitarbeitern etabliert werden kann. Da mit spiegelt die Literatur zutreffend wieder, dass Qualität namentlich auch von wei chen Faktoren wie dem Können und Willen der in den Prozessen beteiligten Mitarbeiter abhängt. In der Literatur zu Data Warehouse"Konzepten bildet die Datenqualität ein wichtiges Randthema, und oft wird die schlechte Datenqualität als Auslöser für den Aufbau des Da ta Warehouse angegeben. Umfassende Anleitungen, wie in einer verteilten ITLandschaft Datenqualität sichergestellt werden kann, fehlen aber bzw. sie beschränken sich auf Replikationskonzepte vom Data Warehouse auf die übrigen Systeme. Gemäss [43] scheitern sogar die meisten Data WarehouseProjekte an der schlechten Datenqualität. 2.2 Ein konsistentes Begriffssystem Die für die vorliegende Arbeit im Folgenden formulierten Definitionen zur Datenquali tät gehen davon aus, dass es Prozesse gibt, in deren Kontext mit den Daten gearbeitet wird. Es kann sich um ein sehr einfaches (geschlossenes autonomes System) oder aber um ein komplexes Prozessmodell handeln. Die Daten fliessen zwischen Teilprozessen. tätsbegriffe, die nicht direkt zur Datenqualität gehören, eine Rolle spielen, werden im Folgenden ebenfalls einbezogen. Quali aber im Umfeld dieses Modells Gesamtmodell: Daten, Information und Wissen Als Grundlage dienen hier die Definitionen aus [122], die erweitert werden; die im Rahmen dieser Arbeit verwendeten Definitionen gliedern sich in folgendes erweitertes Schema nach Schucan [122, S.66] ein:

19 2.2 Ein konsistentes Begriffssystem 19 Wissen Information Metrik gespeicherte Daten Modellierung flüchtige Daten Bezug Realwelt Daten wird zu Bezug Abbildung 2: Übersicht der wichtigsten Begriffe der Definition Daten sind vorerst wahrgenommene konkrete Strukturen der realen Welt; sie sind das Roh material für die Informationsbildung. Durch aktuelle Auswahl und Interpretation der Da ten können aus Daten Informationen werden, d.h. es findet eine erste Ebene der Abstrakti on statt. Bei weiterer Abstraktion werden Informationen zu noch abstrakteren Strukturen, dem Wissen, aggregiert (Information Wissenszuwachs). Das ursprüngliche Schema aus [122] wird hier um die Aspekte der Modellierung und der Speicherung erweitert. Information kann sowohl aus gespeicherten Daten als auch aus flüchtigen Daten heraus gewonnen werden. Gespeicherte Daten setzen ein implizites Modell voraus. Die in dieser Arbeit erstellte Metrik für Datenqualität bezieht sich nur auf nichtflüchtige, d.h. während des betrachteten Prozesses stabile und gespeicherte Daten (vgl. nachfolgende Definition gespeicherte Daten"). Es ist zu erwähnen, dass Informationen und Wissen Aktionen bei den jeweiligen Perso nen auslösen, die Veränderungen in der realen Welt anstossen. Das Schema wird dann insgesamt zu einem Kreislauf, er soll als äussere Schleife des Schemas bezeichnet werden. Im oberen Teil des Schemas (Abbildung 2), bei den gespeicherten Daten, ist ein weiterer Kreislauf möglich: Gespeicherte Daten werden verarbeitet, optional zu Information und Wissen, oder werden zunächst ohne Einfluss auf die Realität einfach wieder gespeichert. Dieser Kreislauf soll als innere Schleife des Schemas bezeichnet werden. Für die Nomenklatur von Daten kann nun unterschieden werden, ob die Daten durch die äussere Schleife im Informatiksystem neu eingegangen (Rohdaten) oder durch Iteration der inneren Schleife verändert wurden (verarbeitete Daten).

20 nicht 20 2 BEGRIFFE IM BEREICH DER DATENQ DALITA T Rohdaten sind somit aus der Realität hervorgegangene und nach Durchfuhrung des Mo dellierungsschrittes gespeicherte Daten. Es findet keine weitere Transformation der Daten statt, die nicht Bestandteil des Modellierungsschrittes ist. Verarbeitete Daten sind somit Daten, die nach Verarbeitung durch ein Informatiksystem gespeichert wurden. Noch weiter entfernt" vom Original sind Statistikdaten; das sind konzentrierte verarbeite te Daten, die keine eindeutige Zuordnung mehr zu den der Verarbeitung zugrunde gelegten verarbeiteten Daten oder Rohdaten zulassen. Diese sowie weitere Begriffe, genden naher erläutert.13 die im Laufe dieser Arbeit benutzt werden, werden im Fol Begriffsdefinitionen Def. 1: Realwelt: Welt der konkreten oder abstrakten Strukturen der Realität (entspricht den Strukturen" in [122]). Def. 2: Daten: Werte zur Abbildung eines Ausschnitts der Realwelt nach An wendung eines Messverfahrens, dieses kann auch künstliche oder natürli che sensorische Wahrnehmung, z.b. Beobachtung, sein.14 Def. 3: gespeicherte Daten: Daten, die auf einem hinreichend nichtßüchtigen15 Medium gespeichert16 sind. Def. 4: Datenelement: Einzelwert (in Englisch data item"),17 meistens Zahl oder Wert aus einem bestimmten Wertebereich. Die Definition des Da tenelements erfolgt unabhängig von der späteren physischen Präsen tation als Feld" oder Wert" in der Datenbank. Def. 5: Information: Auswahl und Interpretationen von Daten zu einem be stimmten Zeitpunkt für einen Empfänger.18 13Spater nur in einem Kapitel benotigte Defitionen werden jeweils dort eingefügt Hier stehen alle Defini tionen von kapitelubergreifender Bedeutung mit Ausnahme der Modellierung, ihr ist ein eigener Abschnitt (3 1) gewidmet 14Praziser definiert [122] Daten als Symbole (gemessene Teilmenge von identifizierenden Signalen eines Objekts) oder Symbolkombinationen, mit denen Sachverhalte in einem relevanten Wahrnehmungsbereich dargestellt werden können 15Hinreichend mchtfluchtig bedeutet, dass sie die Speicherung zumindest wahrend der maximalen Durchlaufzeit des auf höchster Ebene definierten Gesamtprozesses besteht 16Speichern bedeutet hier das Schreiben der Daten auf ein Speichermedium dergestalt, dass eine spatere Reproduktion der gespeicherten Daten garantiert und verlustfrei möglich ist Im Arbeitsspeicher eines Computers abgelegte Daten sind als fluchtig anzusehen Ebenso sind implizite Daten, z B die Stockwerk Nummer in einer in Hardware realisierten FahrstuhlSteuerung (technisch über einen bestimmten Zustand der Schaltung codiert), keine gespeicherten Daten Auch das in den Köpfen der Mitarbeiter gespeicherte Wissen und das gesprochene Wort erfüllen die Kriterien an gespeicherte Daten nicht 17Nicht zu verwechseln mit dem kleinsten Element der physikalischen Speicherung in einer Datenbank (Bit, bzw je nach Implementierung Byte) 18Die Unterscheidung des Singulars (Information) vom Plural (Informationen) ist sprachlich nicht ein deutig Im Englischen gibt es fur diesen Begriff Unterscheidung zwischen Singular und Plural wie auch fur den Begriff Daten einmal eine