Data-Warehouse-Systeme

Transkript

1 Data-Warehouse-Systeme Architektur, Entwicklung, Anwendung von Andreas Bauer, Holger Günzel 3., überarb. u. aktualis. Aufl. Data-Warehouse-Systeme Bauer / Günzel schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG dpunkt.verlag 2008 Verlag C.H. Beck im Internet: ISBN

2 xi Teil I Architektur 1 1 Abgrenzung und Einordnung Begriffliche Einordnung Definitionen Abgrenzung von transaktionalen Systemen Historie des Themenbereichs Einordnung und Abgrenzung von Business Intelligence Anwendungsbereiche Informationsorientierte Anwendungen Analyseorientierte Anwendungen Planungsorientierte Anwendungen Kampagnenorientierte Anwendungen Einführung in das Beispiel Star*Kauf Überblick über das Buch Referenzarchitektur Aspekte einer Referenzarchitektur Referenzmodell für die Architektur von Data-Warehouse-Systemen Beschreibung der Referenzarchitektur Data-Warehouse-Manager Datenquelle Bestimmung der Datenquellen Datenqualität Klassifikation der Quelldaten Monitor Arbeitsbereich

3 xii 2.6 Extraktionskomponente Transformationskomponente Ladekomponente Basisdatenbank Charakterisierung, Aufgaben und Abgrenzung Aktualisierungsalternativen der Basisdatenbank Qualität der Daten in der Basisdatenbank Data Warehouse Unterstützung des Ladeprozesses Unterstützung des Analyseprozesses Data Marts Verteilung des Data Warehouse Analyse Darstellungsformen Funktionalität Realisierung Plattformen Repositorium Metadatenmanager Zusammenfassung Phasen des Data Warehousing Monitoring Realisierungen des Monitoring Monitoring-Techniken Extraktionsphase Transformationsphase Datenintegration Bereinigung Ladephase Exkurs: Realtime Data-Warehouse-Systeme Analysephase Data Access Online Analytical Processing (OLAP) Data Mining Zusammenfassung

4 xiii 4 Physische Architektur Speicherarchitekturen für das Data Warehouse und die Basisdatenbank Architektur eines Datenbankverwaltungssystems Speichermodelle für Daten Schichtenarchitekturen Einschichtenarchitektur Zweischichtenarchitektur Dreischichtenarchitektur N-Schichtenarchitektur Webbasierte Architektur Middleware Normen und Spezifikationen Middleware-Systeme Common Object Request Broker Architecture (CORBA) Webservices Distributed Component Object Model (DCOM) NET Java 2 Enterprise Edition Schnittstellen Klassifikation von Schnittstellen Techniken und Standards Datenaustauschformate Anfragesprache MDX Sicherheit Netzwerksicherheit Benutzeridentifikation und Authentifizierung Auditing Autorisierung und Zugriffskontrolle Zusammenfassung Teil II Entwicklung Das multidimensionale Datenmodell Konzeptuelle Modellierung Verschiedene Vorgehensweisen zur Definition einer Methodik Vorstellung verschiedener Designnotationen

5 xiv 5.2 Logische Modellierung Notwendigkeit der Formalisierung des multidimensionalen Modells Struktur des multidimensionalen Datenmodells Fehlende Werte in Würfelzellen (Nullwerte) Operatoren des multidimensionalen Modells Weitere Ansätze zur Formalisierung Grenzen und Erweiterungen des multidimensionalen Datenmodells Unterstützung von Veränderungen Zeitaspekte Aspekte der Klassifikationsveränderungen Aspekte der Schemaänderung Zusammenfassung Umsetzung des multidimensionalen Datenmodells Relationale Speicherung Abbildungsmöglichkeiten auf Relationen Relationale Umsetzung multidimensionaler Anfragen Relationale Versionierungs- und Evolutionsaspekte Multidimensionale Speicherung Datenstrukturen Speicherung multidimensionaler Daten Dateneingabe Grenzen der multidimensionalen Datenhaltung Hybride Speicherung: Hybrides OLAP (HOLAP) Realisierung der Zugriffskontrolle Zugriffskontrollanforderungen Relationale Realisierung Multidimensionale Realisierung Inferenzen und Trackerangriffe Realisierungskonzepte Zusammenfassung Optimierung Anfragen im multidimensionalen Modell Indexstrukturen Klassifikation der Indexstrukturen Eindimensionale Baumindexstrukturen Mehrdimensionale Baumindexstrukturen Bitmap-Indizes Vergleich der Indizierungstechniken

6 xv 7.3 Partitionierung Horizontale Partitionierung Vertikale Partitionierung Mini-Dimensionen als Spezialfall vertikaler Partitionierung Partitionierungssteuerung Multidimensional Clustering Relationale Optimierung von Star-Joins Einsatz materialisierter Sichten Verwendung materialisierter Sichten Bestimmung des Auswertekontextes für Aggregatanfragen Statische Auswahl materialisierter Sichten Dynamische Auswahl materialisierter Sichten Aktualisierung materialisierter Sichten Optimierung eines multidimensionalen Datenbanksystems Partitionierung Speicherung der Zellen Datenblockindizierung Zusammenfassung Metadaten Metadaten und Metamodelle beim Data Warehousing Metadatenmanagement Metadatenmanagementsystem Metadaten-Warehouse Anforderungen an ein Metadatenmanagementsystem Architektur Repositorium- und Metadatenaustauschstandards Data-Warehouse-Metadatenschemata Eine Klassifikation für Metadaten Standards und Referenzmodelle Entwurf eines Schemas zur Verwaltung von Data-Warehouse-Metadaten Funktionale Aspekte Personen, Organisation und Aufgaben Business-Metadaten Abstraktionsstufen Zusammenfassung

7 xvi Teil III Anwendung Vorgehensweise beim Aufbau eines Data-Warehouse-Systems Data-Warehouse-Strategie IT-Strategie Data-Warehouse-Strategie Rolle des Data Warehouse innerhalb der IT-Strategie Reifegradmodell Ableitung der Data-Warehouse-Architektur Data-Warehouse-Rahmenwerk als gesamtheitliche Vorgabe Umgang mit mehreren Data-Warehouse-Systemen Architekturüberlegungen in der Praxis Umgebungen im Hinblick auf Entwicklung, Test, Produktion und Wartung Data-Warehouse-Vorgehensweise Grundsätzliche Überlegungen zum Projektvorgehen Phasenkonzept Vorgehensweisen bei der Einführung Machbarkeitsbetrachtung zum Data Warehousing Analysephase Designphase Implementierungsphase Zusammenfassung Das Data-Warehouse-Projekt Data-Warehouse-Projektorganisation Projektrollen und Projektsteuerung Projektteam und Rollenverständnis Kommunikation Konfliktmanagement Qualitätssicherung Dokumentation Softwareauswahl Nutzen und Notwendigkeit der Produktauswahl Klassifikation der Produkte anhand der Referenzarchitektur Vorgehensweise zur Produktauswahl Allgemeine Kriterien für die Produktauswahl Kriterien für Datenbeschaffungswerkzeuge Kriterien für OLAP-Produkte

8 xvii 10.3 Hardwareauswahl Auswahlbestimmende Faktoren Datenspeicherung Archivspeichermedien Multiprozessorsysteme Fehlertoleranz als Planungsziel Flaschenhälse und Fallstricke Backup-Strategien und Notfallpläne Erfolgsfaktoren beim Aufbau eines Data-Warehouse-Systems Institutionelle Aufgaben des Projektmanagements: Projektorganisation Funktionale Aufgaben des Projektmanagements: Projektabwicklung Empfehlungen für ein Data-Warehouse-Projekt Wirtschaftlichkeitsbetrachtungen Kostenbetrachtung Nutzenbetrachtung Zusammenfassung Betrieb und Weiterentwicklung eines Data-Warehouse-Systems Administration Anforderungen und resultierende Aufgaben Organisationsformen für Entwicklung und Betrieb Rolle des Repositoriums Datenbeschaffungsprozess Performanz-Tuning von Data-Warehouse-Systemen Der Performanz-Tuning-Prozess Maßnahmen aus Sicht des Informationsmanagements Maßnahmen aus Sicht des Datenbankdesigns Maßnahmen aus Sicht der Applikationsumgebung Maßnahmen aus Sicht der Datenbankzugriffe Maßnahmen aus Sicht der Datenbankkonfiguration Maßnahmen aus Sicht des Betriebssystems Maßnahmen aus Sicht des Netzwerks Maßnahmen aus Sicht des Hardwaresystems Multicore-Architekturen Analyseprozess Schere zwischen Systemleistung und Anwendererwartungen Anwenderbetreuung

9 xviii 11.5 Sicherungsmanagement Backup und Recovery Entsorgung von Daten Datenbank- und Systemverfügbarkeit Phasen eines Recovery-Plans Zusammenfassung Praxisbeispiele Öffentliche Verwaltung Die Bundesagentur für Arbeit Data Warehousing in der öffentlichen Arbeitsverwaltung Fazit Data Warehousing in der Versicherung Risikomanagement auf Basis eines Data-Warehouse- Systems in einem Versicherungskonzern Fazit Panelorientierte Marktforschung Die GfK-Gruppe und die GfK Marketing Services GmbH & Co. KG Data Warehousing in der panelorientierten Marktforschung Fazit Chemie und Pharma Das Unternehmen Merck KGaA Konzernweites Monitoring von ERP-Prozessen in einem Verbund von Data-Warehouse-Systemen Fazit Zusammenfassung Anhang 559 A Abkürzungen 561 B Glossar 565 C Autorenverzeichnis 571 D Autorenzuordnung 581 E Literatur und Webreferenzen 585 Stichwortverzeichnis 619