Datenbanktechnologie für Data-Warehouse-Systeme

Transkript

1 Wolfgang Lehner Datenbanktechnologie für Data-Warehouse-Systeme Konzepte und Methoden dpunkt.verlag

2 Einleitung 1 Betriebswirtschaftlicher Ursprung des Data Warehousing... 2 Statistischer Ursprung des Data Warehousing... 5 Föderativer Ursprung des Data Warehousing... 7 Definition eines Data-Warehouse-Systems... 9 Ziel und Aufbau des Buches Aufbau von Data-Warehouse-Systemen 15 Eigenschaften eines Data-Warehouse-Systems Abgrenzung aus der Perspektive der Anwendung Abgrenzung aus der Perspektive der Datenhaltung Abgrenzung aus der Perspektive des Entwicklungsprozesses Zusammenfassung Architektur eines Data-Warehouse-Systems Bestandteile eines Data-Warehouse-Systems Konfigurationen eines Data-Warehouse-Systems Data-Warehouse-System als Mittel der Integration Integration durch Nutzung der Quellsysteme Integration durch Datenextraktion und Transformation Schritte der Integration in einem Data-Warehouse-System Zusammenfassung... 37

3 Ix Inhaltsverzeichnis Data-Warehouse-Systeme als Analyseplattform Aufbereitung der Datenbasen Nutzung der Data-Warehouse-Datenbasen Metadatenverwaltung in Data-Warehouse-Systemen Aufgaben und Rolle der Metadatenverwaltung Ebene der Metamodellierung Basiskonzepte des CWM-Standards Zusammenfassung Multidimensionale Datenmodellierung in Data-Warehouse-Systemen 53 Gründe multidimensionaler Modellierung Motivation multidimensionaler Modellierung Übersicht auswertungsorientierter Modellierungsansätze Theorie der funktionalen Abhängigkeit Graphbasierte Modellierungsansätze Grundlegende Graphstruktur Erweiterungen durch neue Knotentypen Knoten zur Modellierung der Abstraktion Grundlagen der multidimensionalen Datenmodellierung Dimensionshierarchien Fakten, Kennzahlen und Datenwürfel Summierbarkeit im multidimensionalen Datenmodell Zusammenfassung Zugriff auf multidimensionale Strukturen Multidimensionale Operatoren zur Navigation Die multidimensionale Anfragesprache MDX Die XML-basierte Anfragespezifikation XML Analysis Zusammenfassung... 82

4 . Xi Relationale Strukturen und SQL-Operatoren 83 Das TPC-H/R-Szenario Relationales Star- und Snowflake-Schemamuster Das Muster der Star-Queries Auswertungsschritte einer Star-Query Gruppierungen Aggregationsfunktionen Erweiterte Abbildungstechniken Abbildung klassenspezifischer Attribute Unbalancierte Hierarchien Irreguläre Hierarchien Mehrfachgruppierungen Gruppierungsmengen Multidimensionale Gruppierung Hierarchische multidimensionale Gruppierung Partielle multidimensionale Gruppierung Zusammenfassung Spezifikation sequenzbasierter Operationen Konzept der attributlokalen und tupelbasierten Aggregation Attributlokale Partitionierung Sequenzorientierte Analysen Bildung dynamischer Fenster Wechselwirkung mit Mehrfachgruppierungen Zusammenfassung Fazit der relationalen Abbildung

5 lxii Inhaltsverzeichnis Aufbau integrierter Datenbestände 123 Daten- und Schemaintegration Überblick der Daten- und Schemaintegrationsproblematik Techniken der Schemaintegration Phasen der Datenbereinigung Wahrung und Bewertung der Datenqualität Extraktion aus Quellsystemen Eigenschaften der Quellsysteme Zugriff auf heterogene Datenquellen Export und Import Externe Tabellen, Tabellenfunktionen und Kapselung Datenübernahmeprozess in einem Data-Warehouse-System Explizite Datenübernahme Datenübernahme durch Replikation Zusammenfassung Aufbau konsistenter Datenbestände 161 Konsistenz in Data-Warehouse-Systemen Konsistenzebenen in einem Data-Warehouse-System Konsistenzgrade in einem Data-Warehouse-System Zusammenfassung Rekonstruktion global konsistenter Zustände Aktualisierung einzelner Relationen Aktualisierung zusammengesetzter Relationen Gegenseitige Konsistenz Auswahl von Hilfssichten

6 Asynchrone Aktualisierung Propagierung durch Vorwärts- und Kompensationsanfragen Bestimmung zeitabhängiger Nettoänderungen Beispiel zur Bestimmung zeitabhängiger Nettoänderungen Algorithmus der asynchronen Aktualisierung Nebenläufige Aktualisierungen Externe Kompensation Lokale Kompensation des Fehlerterms durch verzögerte Änderungsermittlung Lokale Kompensation des Fehlerterms durch iterative Änderungsermittlung Zusammenfassung Aufbau auswertungsbezogener Datenbestände 199 Unterstützung durch logische Zugriffspfade Rahmenmodell Partitionierung von Datenbeständen Explizite relationale Repräsentation materialisierter Summendaten Implizite relationale Abbildung von Summendaten Zusammenfassung Voraussetzungen für materialisierte Summendaten Theorie der Ableitbarkeit Analyse des Problemraums Zusammenfassung Auswahl materialisierter Summendaten Einflussfaktoren und Kostenmodell Statische Auswahlalgorithmen Auswahlverfahren unter Berücksichtigung von Aktualisierungskosten Dynamische Ansätze zur Auswahl von Summendaten Zusammenfassung

7 7.4 Pflege materialisierter Summendaten Überblick über Aktualisierungsalternativen Vollständige Aktualisierung von Summendaten Inkrementelle Aktualisierung von Summendaten Zusammenfassung Fazit über den Aufbau analyseorientierter Datenbanken Optimierung von Data-Warehouse-Anfragen Grundlegende Methoden der Anfrageverarbeitung Abstrakte Sicht auf die Anfrageverarbeitung Interndarstellung einer SQL-Anfrage Logische Optimierung Physische Optimierung Zusammenfassung Nutzung materialisierter Summendaten Realisierungskonzepte des Gruppierungsoperators Sortierungsbasierte Realisierung einer einfachen Gruppierung Sortierungsbasierte Realisierung von OLAP-Funktionen Realisierungskonzepte komplexer Gruppierungsanweisungen über direkte Ableitbarkeit Auflösung komplexer Gruppierungsweisungen durch Gruppierung über Konstanten Optimierung komplexer Gruppierungsanweisungen für dünnbesetzte Datenräume Realisierungskonzepte der Scan-Operation Einsatz klassischer baumstrukturierter Indexverfahren Bitmap-Indexstrukturen Multidimensionale Indexstrukturen für Aggregate Zusammenfassung

8 A A.l A.2 A.3 A.4 A.5 A. 6 Realisierung der Verbundoperation Nutzung von Indexstrukturen für den Verbundoperator Star-Join-Verbundstrategie Realisierungsalternativen der Verbundstrategie bei Partitionen und Parallelität Zusammenfassung Fazit und Anwendungsrichtlinien Leistungsmessung Leistungsoptimierung Zusammenfassung und Ausblick 333 Anhang: Aufbau des TPC-H-Szenarios 335 Das TPC-H-Schema im Überblick Schemadefinition Spezifikation der Primär-/Fremdschlüsselbeziehungen Definition von Hilfssichten Ladeskript der Datenbank für IBM DB2 V Aktivieren der Integritätsbedingungen Abbildungsverzeichnis Tabellenverzeichnis Literaturverzeichnis Stich Wortverzeichnis