Fakultät für Mathematik und Wirtschaftswissenschaften. Institut für Angewandte Informationsverarbeitung. Datenmanagement

Transkript

1

2 Fakultät für Mathematik und Wirtschaftswissenschaften Institut für Angewandte Informationsverarbeitung Datenmanagement (Beschaffung und Speicherung, Analyse, Präsentation) Vorlesungsbegleiter im Sommersemester 2012 Dr. Norbert Heidenbluth Dieser Vorlesungsbegleiter ist urheberrechtlich geschützt. Eine Weiterverbreitung auch auf elektronischem Weg ist ausdrücklich untersagt! Der Druck dieses Vorlesungsbegleiters wurde aus Studiengebühren finanziert!

3 ii

4 Inhaltsverzeichnis Vorwort 1 1 Einführung Die Begriffe Daten und Information Was sind Daten? Was sind Informationen? Was ist Datenmanagement? Der Daten-Lebenszyklus Die Organisation DAMA International Zum roten Faden dieser Vorlesung Was behandeln wir in der Vorlesung und in diesem Skript? Und was machen wir in den Übungen? Warum sollte ich diese Vorlesung hören? Zur Bedeutung dieses Skripts Begriffe und Funktionen des Datenmanagements Die sechs Datenschichten Metadaten Referenzdaten Unternehmensstrukturdaten Transaktionsstrukturdaten Transaktionsaktivitätsdaten Transaktions-Protokolldaten Ein Beispiel aus dem Studienalltag Die zehn Funktionen des Datenmanagements Data Governance Data Architecture Management Datenentwicklung Datenbankbetrieb Datensicherheits-Management Reference and Master Data Management (MDM) Data Warehousing and Business Intelligence Management Document- and Content Management Meta Data Management Data Quality Management Big Data Ein Fazit zu diesem Kapitel Business Intelligence und Data-Warehouse-Systeme Ein Überblick über Business Intelligence Zum Begriff Intelligence Was ist Business Intelligence iii

5 iv INHALTSVERZEICHNIS Die drei Phasen in BI-Maßnahmen Die verschiedenen Facetten der Business Intelligence Vom BI-Prozess zu Data Warehouse-Systemen Data-Warehouse-Systeme Die erste Definition des Begriffs Data-Warehouse Data-Warehouse vs. Data-Warehouse-System Das mit Data-Warehouse-Systemen verfolgte Ziel Die Referenzarchitektur eines Data-Warehouse-Systems Der Data-Warehouse-Prozess Der ETL-Prozess Data Marts Das Datawarehouse als Single Point Of Truth (SPOT) Der Data-Warehouse-Prozess und Business Intelligence Data Warehouse Ein Fazit zu diesem Kapitel Datenanalyse Grundbegriffe OLAP OLTP und OLAP Die 12 Regeln nach Codd und die FASMI-Regeln Das multidimensionale Datenmodell Die OLAP-Operationen Das Sternschema und das Schneeflockenschema Wissenserkennung in Datenbanken (KDD) Der Begriff KDD Anwendungsgebiete des KDD Die neun Stufen des KDD nach Fayyad Data Mining Motivation: Warenkorbanalyse Die Facetten des Data Mining Das Erlernen von Assoziationsregeln: Frequent Pattern Mining Der Apriori-Algorithmus Der FP-Growth-Algorithmus Abschließende Betrachtungen zum Frequent Pattern Mining Eine weitere Facette des Data Minings: Klassifikation Die übrigen Facetten des Data Mining Der Begriff Maschinelles Lernen (Machine (Based) Learning) Data Mining in der Praxis Ein Fazit zu diesem Kapitel Datenqualität und deren Management (DQM) Verschiedene Versuche, Datenqualität zu definieren Definition via Anforderungen: Qualitätskriterien Definition via Kategorisierung Definition durch die ISO Definition anhand der Wortbestandteile Daten und Qualität Definition via Design- und Ausführungsqualität Eine Bemerkung zum Begriff Informationsqualität Ansätze zur Messung der Datenqualität Messung im ökonomisch orientierten Datenqualitätsmanagementsystem: Der Ansatz von Heinrich und Klier Messung im metadatenbasierten Datenqualitätsmanagementsystem: Der Ansatz von Helfert

6 INHALTSVERZEICHNIS v Die kennzahlenbasierte Messung: Der Ansatz von Apel, Behme, Eberlein und Merighi Die prozessorientierte Messung: Der Ansatz von Würthele Die AIMQ-Methode Datenmanagement vs. Datenqualitätsmanagement Exkurs: Datenmanagement, Datenqualität und Solvency II Eine kleine Einführung in Solvency II Die europäische Aufsichtsbehörde EIOPA Data Governance unter Solvency II Der Datenbegriff in Solvency II Solvency II: Standards für die Datenqualität Datenqualitätsmanagement unter Solvency II XBRL Schlussbemerkugen zum Exkurs zu Solvency II Ein Fazit zu diesem Kapitel Datenaustausch Datenaustausch via Dateien CSV-Dateien Das Windows INI-Format JSON XML Weitere Formate Direkter Datenaustausch Anbindung an Datenbanken mit ODBC ODBC in Microsoft Access ODBC in Word JDBC Perl-DBI Datenaustausch via XML XML XML Schemata XSL Transformationen XPath Umgang mit XML-Dateien in Excel Umgang mit XML-Dateien in Access XBRL oder: XML trifft auf Solvency II Ein Fazit zu diesem Kapitel Fortgeschrittene Themen in DBMS Fortgeschrittene Themen in MySQL Sichten (Views) Stored Procedures und Stored Functions Trigger Die Analogien in Microsoft Access Views in Access Stored Procedures in Access: VBA Trigger in Access: Datenmakros Ein Fazit zu diesem Kapitel

7 vi INHALTSVERZEICHNIS 8 Datenvisualisierung und Datenpräsentation Datenvisualisierung Das Quartett von Anscombe Typische Fehler in Diagrammen Datenpräsentation Zur Motivation Die acht psychologischen Prinzipien für effektive Grafiken Schlusswort 231 Anhang 231 A Einblenden der Entwicklertools 233 A.1 Vorgehen in Office A.2 Vorgehen in Office B Noch ein Austauschformat: INI-Dateien 237 Abkürzungsverzeichnis 239 Abbildungsverzeichnis 243 Tabellenverzeichnis 245 Literaturverzeichnis 245 Index 249

8 Vorwort Willkommen zur Vorlesung Datenmanagement! Das vorliegende Skript begleitet die Vorlesung Datenmanagement im Sommersemester Es ist überaus erfreulich, dass diese Veranstaltung, die vor genau einem Jahr Premiere hatte, eine solch große Nachfrage erfuhr, dass sie auch in diesem Jahr wieder angeboten werden kann. Wenn Sie sich für diese Vorlesung entschieden haben, dann nehmen Sie an Version 2.0 teil: einige der Inhalte des letzten Jahres sind gewichen, um anderen Inhalten Raum (und vor allem Zeit) zu geben. Die zahlreichen Anregungen sowie das Seminar, das im vergangenen Wintersemester als Fortsetzung und Weiterführung der Vorlesung diente, haben diejenigen Stellen aufgezeigt, an denen eine inhaltliche Vertiefung gewünscht war, und diesem Wunsch möchte ich nun in der zweiten Auflage gerne entsprechen. Auf der anderen Seite gab es Abschnitte, die für das Verständnis der historischen Entwicklung zwar interessant, für die heutige Praxis jedoch nicht mehr relevant sind. Diese wurden deshalb herausgenommen. Somit ist das vorliegende Skript sowie die gesamte Vorlesung auch ein Produkt des offenen Austausches zwischen den Hörerinnen und Hörern des vergangenen Jahres und mir. Für einen solchen Austausch bin ich auch in diesem Semester wieder jederzeit offen und möchte an dieser Stelle dazu ermutigen, mir jedwedes Feedback zur Vorlesung und zum Skript zukommen zu lassen. Dies gilt insbesondere, falls sich der Fehlerteufel an der ein oder anderen Stelle dieses Skriptes eingeschlichen haben sollte. Trotz aller Überarbeitung: das mit dieser Vorlesung verfolgte Ziel ist das gleiche geblieben. Es liegt darin, denjenigen, die bei uns in der Vergangenheit Grundkenntnisse in relationalen Datenbanken und (My)SQL erworben haben, eine interessante auf diesen Kenntnissen aufbauende Fortsetzung anbieten zu können. Die Vorlesung richtet sich damit an Studierende der Mathematischen Biometrie, der (Wirtschafts-)Mathematik sowie der Wirtschaftswissenschaften. Wie sich der rote Faden der Vorlesung gestaltet, erklären wir ausführlich in der Einführung (siehe Abschnitte 1.3ff. ab Seite 10). Ich wünsche allen viel Interesse und Spass an dieser Veranstaltung. Ulm, im April 2012 Norbert Heidenbluth 1

9 10 KAPITEL 1. EINFÜHRUNG 1.3 Zum roten Faden dieser Vorlesung Was behandeln wir in der Vorlesung und in diesem Skript? Wie so oft sagt auch bei dieser Frage ein Bild mehr als viele Worte. Deshalb fasst Abbildung 1.5 den roten Faden das Big Picture unserer Veranstaltung und die Zusammenhänge der darin vermittelten Themen anschaulich zusammen. Der Inhalt der Abbildung kann wie folgt erläutert werden: Abbildung 1.5: Das Big Picture der Business Intelligence und unserer Vorlesung Es ist klar, dass wir uns in der Vorlesung zunächst mit dem Begriff Datenmanagement bzw. dessen zehn Funktionen (nach dem Verständnis der DAMA) beschäftigen. Dies wird der Inhalt von Kapitel 2 sein. Darin lernen wir auch die sechs Kategorien ( Schichten ) von Daten kennen. Mit Kapitel 3 beginnen dann die Themenbereiche, die namensgebend für die vier Untertitel unserer Vorlesung sind: zunächst Beschaffung und Speicherung, denn wir werden den Prozess der Datenbeschaffung innerhalb eines Unternehmens beleuchten. Dabei geht es nicht um die Frage, wie das Unternehmen überhaupt an Daten gelangt, sondern wie diese Daten aus betriebswirtschaftlicher (organisatorischer) Sicht so verfügbar gemacht (beschafft und gespeichert) werden können, dass sie den betrieblichen Entscheidungsträgern, die sie benötigen, gut zugänglich sind. Diese Thematik führt uns sehr schnell zum Data Warehousing, und damit befinden wir uns inmitten des Bereiches Business Intelligence (BI). Eine thematische Einordnung von BI, typischen BI-Maßnahmen und eine Beleuchtung des BI-Prozesses stellen wir Kapitel 3 voran.

10 1.3. ZUM ROTEN FADEN DIESER VORLESUNG 11 Ein Bestandteil von BI-Maßnahmen ist das Gebiet der Datenanalyse, dem wir uns in Kapitel 4 nähern. Zunächst lernen wir den Begriff OLAP kennen und betreten danach das spannende Feld der Wissenserkennung in Datenbanken und des Data Minings. Wir geben einen thematischen Überblick über die Aufgaben, mit denen sich das Data Mining beschäftigt und lernen anhand von zwei dieser Aufgaben die formale Problemstellung sowie etablierte Lösungsverfahren (Algorithmen) kennen. Die in Kapitel 4 vorgestellten Analysen liefern nur dann brauchbare Ergebnisse, wenn die Ausgangsdaten von guter Qualität sind. Im Unterschied zu materiellen Dingen unseres täglichen Lebens ist es aber gar nicht so einfach, einen Qualitätsbegriff für Daten zu definieren und erst recht nicht, Kriterien und Möglichkeiten für die Bewertung (Messbarkeit) der Datenqualität zu etablieren. In diesem Kontext unternommene Ansätze stellen wir in Kapitel 5 vor. Die Notwendigkeit zum Umgang mit Datenqualität ergibt sich einerseits aus betriebsinternen Anforderungen, mitunter aber andererseits auch aus der branchenspezifischen Gesetzgebung. Ein Beispiel aus der Sphäre der Versicherungswirtschaft ist in diesem Zusammenhang das EU-Projekt Solvency II, das wir als Praxisbeispiel intensiv im zweiten Abschnitt von Kapitel 5 im Hinblick auf dessen Vorschriften zur Datenqualität besprechen werden. Die Datenübertragung zwischen verschiedenen Systemen oder gar zwischen verschiedenen Organisationen bzw. Unternehmen erfordert es, sich Gedanken über das technische Vorgehen beim Datenaustausch zu machen. Entweder muss ein Datenaustausch-Format gefunden werden, mit dessen Hilfe die Übertragung gelingt, oder es erfolgt ein unmittelbarer Austausch, der wiederum nur auf Basis von standardisierten Protokollen erfolgen kann. Mit Fragestellungen wie diesen beschäftigen wir uns in Kapitel 6 und lernen dort in der Praxis etablierte Formate und Verfahren kennen. Immer wieder begegnen wir im Rahmen unserer Veranstaltung den aus anderen Vorlesungen als bekannt vorausgesetzten Themenbereichen relationale Datenbanken und SQL. Wir gönnen uns in Kapitel 7 den Luxus, einige fortgeschrittene Themen rund um SQL bzw. MySQL vorzustellen und darüberhinaus zu demonstrieren, in welcher Form sie ebenfalls im Datenbanktool Microsoft Access zur Verfügung stehen. In Kapitel 8 behandeln wir dann schließlich den vierten Untertitel unserer Vorlesung: die Visualisierung und die Präsentation von Daten. Dabei werden wir einerseits erlernen, auf was es bei der Visualisierung von Daten ankommt (Welche Fehler werden immer wieder gemacht? Worin liegen die Ursachen? Wie lassen sie sich vermeiden?). Andererseits geben wir einen kleinen Schnupperkurs in die hohe Schule der Präsentationskunst, denn ob an der Uni oder im späteren Berufsalltag: immer wieder sind wir gefordert, Sachverhalte und Informationen zu präsentieren, und ein solides Wissen über die Gestaltung der Folien 5 sowie über den dramaturgischen Aufbau eines Vortrags kann mitunter entscheidend für die persönliche Karriere sein Und was machen wir in den Übungen? Die Übungen sollen vor allem einen praktischen Einblick in die Welt der Business Intelligence und des Data Minings geben. Deshalb flankieren wir die theoretischen Inhalte der Vorlesung durch praxisnahe Übungen. Die Praxisnähe manifestiert sich dadurch, dass entsprechende Tools vorgestellt werden und diese im Rahmen der Übungsaufgaben verwendet werden sollen. Der Markt der einschlägigen BI-Tools ist von mehreren Anbietern und Optionen geprägt. Einige Werkzeuge sind sehr teuer, andere können kostenfrei als OpenSource-Tools verwendet werden. 5 besser: der PowerPoint-Präsentation

11 12 KAPITEL 1. EINFÜHRUNG Je nach Gegebenheit werden wir mal mit einer OpenSource-Lösung arbeiten, mal mit einer kommerziellen Software (von Microsoft). Letztere ist zwar grundsätzlich nur käuflich zu erwerben, steht Angehörigen der Universität Ulm zum Zwecke des Einsatzes in Forschng und Lehre jedoch kostenfrei zur Verfügung. Die Kapitel über den Datenaustausch und über die fortgeschrittenen Themen in MySQL und Microsoft Access liefern viele Anregungen für Praxisbeispiele, die wir in den Übungen dann umsetzen werden. Auch für Microsoft Access gilt, dass diese Software (als einziger Bestandteil des Office-Paketes) für Studierende und Lehrende an unserer Universität kostenfrei bezogen werden kann. Die Ausgestaltung der Übungen zur Vorlesungseinheit über die Visualisierung und Präsentation von Daten vereinbaren wir gemeinsam zu Beginn der Vorlesung Warum sollte ich diese Vorlesung hören? Die Vorlesung sowie die begleitenden Übungen sind insbesondere danach konzipiert, den starken Praxisbezug der behandelten Themen für die betriebliche Wirklichkeit zu betonen. Der Besuch dieser Vorlesung sollte deshalb jede(n) Teilnehmer(in) mit einem soliden Wissen über die vielfältigen Facetten des Datenmanagements ausstatten. Zusammen mit dem über die Übungen erlernten Praxiswissen sollte somit jede(r) seinen/ihren Marktwert für den Einstieg in den Berufsalltag steigern können, und die Erfahrung der Teilnehmer des letzten Jahres bestätigen erfreulicherweise, dass wir mit diesem Ansatz auf dem richtigen Weg sind Zur Bedeutung dieses Skripts Dieses Skript ist in manchen theoretischen Dingen recht ausführlich, geht über andere theoretische Dinge eher hinweg, verweist mitunter auf weiterführende Vorlesungen bzw. Literatur und stellt insbesondere zu Microsoft Office und dem Microsoft SQL Server nur wenig Informationen bereit. Die Intention dieses Skripts ist es, den Besuch der Vorlesung zu unterstützen, nicht jedoch, ihn zu ersetzen. Die in diesem Skript ausformulierten Inhalte sind also ggf. um die in der Vorlesung und in den Übungen vermittelten Informationen zu ergänzen. Dies gilt insbesondere für das letzte Kapitel rund um die Datenvisualisierung und -präsentation, denn zu dieser Themeneinheit hält das Skript nur Stichworte bereit und verzichtet auf eine Ausformulierung. Ferner wurde bewusst darauf verzichtet, die im Rahmen der Vorlesung bzw. der begleitenden Übungen vorgestellten Tools (z.b. Pentaho Suite, Microsoft SQL Server / Analysis Services usw.) in diesem Skript zu erläutern. Angesichts der Tatsache, dass zu diesen Tools Bücher im Umfang von mehr als Seiten sowie unzählige Tutorials und Erläuterungen auf Webseiten existieren, sollte klar sein, dass weder die Vorlesung und schon gar nicht das Skript eine hinreichende Informationsquelle für diese komplexen Werkzeuge sein können. Und mit der gleichen Begründung erhebt das Skript auch keinesfalls den Anspruch, eine Anleitung für Microsoft Access oder MySQL zu sein obwohl diese Programme Eingang in das Skript gefunden haben. Das diesbezügliche Wissen wird über die entsprechenden Praxisvorführungen im Rahmen der Übungen vermittelt werden. Mit anderen Worten:

12 1.3. ZUM ROTEN FADEN DIESER VORLESUNG 13 Trotz eines Umfangs von weit mehr als 200 Seiten erhebt dieses Skript nicht den Anspruch, den Besuch der Vorlesung und/oder der Übungen verzichtbar zu machen! Ergänzende Materialien zur Vorlesung, zu den Übungen und zum Skript werden im Laufe der Veranstaltung auf der vorlesungsbegleitenden Homepage bzw. im SLC-Download-Bereich zur Verfügung gestellt. An dieser Stelle sei nochmals an die bereits im Vorwort artikulierte Einladung erinnert, Anregungen und Wünsche zu diesem Skript sowie vor allem die gefundenen Fehler zu melden. Auch diese werden über die Homepage kommuniziert, so dass ein gelegentlicher Blick auf die Rubrik Errata empfohlen sei. Die Homepage zur Vorlesung kann über die folgende URL erreicht werden: Eine bequeme Möglichkeit, diese Vorlesungshomepage zu erreichen, bietet auch der nachstehende QR-Code: Abbildung 1.6: QR-Code der URL der Vorlesungshomepage Wir bemühen uns in diesem Skript sowie in der Vorlesung, neben den deutschen Fachbegriffen auch immer die englischen Begriffe zu nennen. Viele Vokabeln der IT und natürlich auch viele im Datenmangement haben ihren Ursprung in der englischen Sprache, und somit existieren für viele etablierte Begriffe keine oder zumindest keine guten deutschen Übersetzungen. Falls aber doch, so hoffen wir, durch die Nennung der englischen Originalbegriffe die notwendige sprachliche Sicherheit für das Studium weiterführender Fachliteratur zu erwerben sowie eine fachliche Diskussion im internationalen Team bzw. auf internationalem Parkett bestehen zu können. Jetzt, wo alle grundsätzlichen Fragen geklärt sind, können wir also mit dem eigentlichen Inhalt starten. Noch einmal wünsche ich uns allen ein großes Interesse und viel Freude an den behandelten Themen.