Die Reihe Xpert.press vermittelt Professionals in den Bereichen Softwareentwicklung, Internettechnologie und IT-Management aktuell und kompetent

Transkript

1

2 Die Reihe Xpert.press vermittelt Professionals in den Bereichen Softwareentwicklung, Internettechnologie und IT-Management aktuell und kompetent relevantes Fachwissen über Technologien und Produkte zur Entwicklung und Anwendung moderner Informationstechnologien.

3 Kiumars Farkisch Data-Warehouse-Systeme kompakt Aufbau, Architektur, Grundfunktionen 123

4 Dr. Kiumars Farkisch Wiesbadener Str Berlin Deutschland ISSN ISBN e-isbn DOI / Springer Heidelberg Dordrecht London New York Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Springer-Verlag Berlin Heidelberg 2011 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Einbandentwurf: KünkelLopka GmbH, Heidelberg Gedruckt auf säurefreiem Papier Springer ist Teil der Fachverlagsgruppe Springer Science+Business Media (

5 Vorwort Ein wesentlicher Grund für den Erfolg und die Aktualität der Thematik der Data- Warehouse-Systeme besteht ohne Zweifel zum einen in den rasant und ständig wachsenden Datenmengen; zum anderen ermöglicht es der technische Fortschritt mittels größerer Rechen- und Speicherkapazitäten immer schneller größere Datenmengen zu verarbeiten. Data-Warehouse-Systeme stellen multidimensionale Daten samt der Navigationsräume zur Verfügung, die die Grundlagen etwaiger Analysen und Auswertungen, Simulationen, Berichte und Prognosen auf Basis diverser Methoden und Modelle bilden. Durch das Data-Warehouse-System können die Barrieren der heterogenen und verteilten Daten und Datenbestände überwunden werden, sodass eine einheitliche unternehmensweite konsistente Datenbasis definiert und bereitgestellt werden kann. Angesichts der Aktualität und der Wichtigkeit des Themas erscheint es mir als besonders sinnvoll, eine Abhandlung des komplexen Themas des Data-Warehouse- Systems aus einem Guss in einer klaren verständlichen Sprache anzubieten, die das Wesentliche kompakt, vollständig und fachkundig beschreibt. Das vorliegende Buch stellt das Data-Warehouse-Konzept dar, indem die Definitionen und Beschreibungen grundlegender Konzepte betrachtet und erläutert werden. Hierbei werden die charakteristischen Eigenschaften des Data-Warehouse- Konzepts, wie multidimensionale Datenmodellierung, Klassenhierarchien, Kennzahlen, Views auf Data-Cubes sowie die unterschiedlichen Speicherkonzepte der Star-, Snowflake- und Galaxie- Datenmodelle erläutert. Das Buch beleuchtet die Architektur, den Aufbau und die Optimierungsmaßnahmen zur Steuerung der Performance und die Funktionen des OLAM (Online Analytical Data Mining). Es gibt einen detaillierten Überblick über den ETL-Prozess, stellt die besondere Rolle der Metadaten heraus und diskutiert die aktuellen Entwicklungen. v

6 This is Blank Page Integra vi

7 Inhaltsverzeichnis 1 Einleitung Terminologie und Definition Data Warehouse Data-Warehouse-System Data Warehousing Herkunft des Data Warehousing Multidimensionale Datenmodellierung Dimension Klassifikationsschema einer Dimension Klassifikationshierarchie Fakten Kennzahlen Datenwürfel Grundlagen von OLAP ROLAP Star-Schema und Snowflake-Schema Snowflake-Schema Versus Star-Schema Mischformen Galaxie MOLAP und multidimensionale Datenbanken HOLAP Client-OLAP Datenanalyse, Navigation anhand multidimensionaler Funktionen und Operatoren Anfrage und Zugriff auf multidimensionale StrukturenundSQL-Operatoren CubeundRollup Metadaten Common Warehouse Metamodell vii

8 viii Inhaltsverzeichnis 7 Eigenschaften von Data-Warehouse-Systemen Data-Warehouse-System Versus OLTP: Datensicht Data-Warehouse-System Versus OLTP: Anfragesicht Data-Warehouse-System Versus OLTP: Anwendersicht Aufbau und Architektur eines Data-Warehouse-Systems Anforderungen an ein Data-Warehouse-System Die Referenzarchitektur Datenextraktion, Datentransformation unddatenintegration Extraktion(Extraction) Transformation Ladephase (Load) Die Architektur eines Data-Warehouse-Systems Datenhaltung und Datenspeicherung Optimierung IndizesundIndexstrukturen Eindimensionale Indexstrukturen Multidimensionale Indexstrukturen Die Bitmap-Indizierungstechniken Standard-Bitmap-Index Partitionierung Views und materialisierte Views Gültige Ersetzung AktualisierungmaterialisierteViews Weitere Optimierungsmaßnahmen Spezielle Hardware Parallelisierung und parallele Datenverarbeitung Hauptspeicherdatenbanken (In-Memory Database) Realtime Data-Warehouse-Systeme Anforderungen an ein Echtzeit-Data-Warehouse-System Data Mining Mustertypen Klassifikation Clusterbildung (Clustering) Anforderungen an Clustering Assoziation DerApriori-Algorithmus Literaturverzeichnis Sachverzeichnis

9 Abbildungsverzeichnis 2.1 Aktivitäten beim Data Warehousing Allgemeine Architektur föderierter Datenbanksysteme Dreidimensionaler Würfel als multidimensionales Modell Parallele Koordinatentechnik zur Visualisierung multidimensionaler Datenstrukturen Beispiele für Dimensionen mit einfachen Hierarchien BeispielfüreineDimensionmitparallelenHierarchien Ausschnitt der Ausprägungen der Dimension Ort Dreidimensionaler Würfel mit Klassifikationsschemata und-hierarchien Exemplarische Veranschaulichung der leeren Zellen Allgemeines Star-Schema Dimension- und Faktentabellen in einem Star-Schema Multidimensionales Star-Schema des Kaufauftrags Snowflake-Schema des Kaufauftrags Multifaktentabellen oder Galaxie-Schema Veranschaulichung dünnbesetzter (Daten) Würfel IndexderKoordinaten Illustration der Anwendung vom Slice-Operator Illustration der Anwendung des Dice-Operators Schichten des Common Warehouse Metamodells Referenzarchitektur für ein Data-Warehouse-System Schritte im ETL-Prozess Erweiterte Architektur für ein Data-Warehouse-System mit Data Mart Unabhängige und abhängige Data Marts Übersicht der multidimensionalen Anfragetypen BeispielfüreinenR-Baum Schematische Darstellung horizontaler und vertikaler Partitionierung Ein Aggregationsgitter Der Prozess des Knowledge Discovery in Databases ix

10 x Abbildungsverzeichnis 11.2 Einfaches Beispiel eines Klassifikationsbaums zur Risikobewertung Beispiele für Klassifizierungsverfahren Dendrogramm des hierarchischen Clusterings

11 Tabellenverzeichnis 7.1 Vergleich unterschiedlicher Daten der Systeme Vergleich unterschiedlicher Merkmale der Anfragen Vergleich typischer Anwender der Systeme Beispiel für die Relation,Kundenauftrag Standard-Bitmap-Index mit zwei Bitmap-Vektoren Standard-Bitmap-Index mit vier Bitmap-Vektoren Die Relation,Kundenauftrag mit sechs erzeugten Bitmap-Vektoren Bitweise konjunktive Verknüpfung von Bitmap-Vektoren AusschnittauseinerWarenkorbtabelle Data Mining Methoden im Überblick xi