Data-Warehouse-Systeme

Transkript

1 Andreas Bauer Holger Günzel (Hrsg.) Data-Warehouse-Systeme Architektur» Entwicklung Anwendung Гв dpunkt.verlag

2 Inhaltsverzeichnis A Architektur 1 1 Abgrenzung und Einordnung Begriffliche Einordnung Definitionen Abgrenzung von transaktionalen Systemen Historie des Themenbereichs Anwendungsbereiche Informationsorientierte Anwendungen Analyseorientierte Anwendungen Planungsorientierte Anwendungen Kampagnenorientierte Anwendungen Beispielhaftes Projekt Überblick über das Buch 28 2 Referenzarchitektur Aspekte einer Referenzarchitektur Referenzmodell für die Architektur von Data-Warehouse-Systemen Beschreibung der Referenzarchitektur Data-Warehouse-Manager Datenquelle Bestimmung der Datenquellen Datenqualität Klassifikation der Quelldaten Monitor Arbeitsbereich Extraktionskomponente Transformationskomponente Ladekomponente Basisdatenbank Charakterisierung, Aufgaben und Abgrenzung Aktualisierungsalternativen der Basisdatenbank Qualität der Daten in der Basisdatenbank Data Warehouse Unterstützung des Ladeprozesses Unterstützung des Analyseprozesses Data Marts - Verteilung des Data Warehouse 58

3 viii Inhaltsverzeichnis 2.11 Analyse Darstellungsformen Funktionalität Realisierung Plattformen Repositorium Metadatenmanager Zusammenfassung 71 3 Phasen des Data Warehousing Monitoring Realisierungen des Monitoring Monitoring-Techniken Extraktionsphase Transformationsphase Datenintegration Bereinigung Ladephase Analysephase Data Access Online Analytical Processing (OLAP) Data Mining Zusammenfassung Physische Architektur Speicherarchitekturen für das Data Warehouse Architektur eines Datenbankverwaltungssystems Speichermodelle für Daten Schichtenarchitekturen Einschichtenarchitektur Zweischichtenarchitektur Dreischichtenarchitektur N-Schichtenarchitektur Web-basierte Architektur Middleware Normen und Spezifikationen Middleware-Systeme Common Object Request Broker Architecture (CORBA) Distributed Component Object Model (DCOM) Schnittstellen Klassifikation von Schnittstellen Techniken und Standards Datenaustauschformate Sicherheit Kommunikationssicherheit Benutzeridentifikation und Authentifizierung Auditing Zugriffskontrolle Zusammenfassung 147

4 Inhaltsverzeichnis "ьп В Entwicklung Das multidimensionale Datenmodell Exkurs: Modell und Schema Konzeptuelle Modellierung Verschiedene Vorgehensweisen zur Definition einer Methodik Vorstellung verschiedener Designnotationen Logische Modellierung Notwendigkeit der Formalisierung des multidimensionalen Modells Struktur des multidimensionalen Datenmodells Fehlende Werte in Würfelzellen (Nullwerte) Operatoren des multidimensionalen Modells Weitere Ansätze zur Formalisierung Grenzen und Erweiterungen des multidimensionalen Datenmodells Unterstützung von Veränderungen Zeitaspekte Aspekte der Klassifikationsveränderungen Aspekte der Schemaänderung Zusammenfassung Umsetzung des multidimensionalen Datenmodells Relationale Speicherung Abbildungsmöglichkeiten auf Relationen Relationale Umsetzung multidimensionaler Anfragen Relationale Versionierungs- und Evolutionsaspekte Multidimensionale Speicherung Datenstrukturen Speicherung multidimensionaler Daten Dateneingabe Grenzen der multidimensionalen Datenhaltung Hybride Speicherung: Hybrides OLAP (HOLAP) Realisierung der Zugriffskontrolle Zugriffskontrollanforderungen Realisierungskonzepte Zusammenfassung Optimierung Anfragen im multidimensionalen Modell Indexstrukturen Klassifikation der Indexstrukturen Eindimensionale Baumindexstrukturen Mehrdimensionale Baumindexstrukturen Bitmap-Indizes Vergleich der Indizierungstechniken Partitionierung Horizontale Partitionierung Vertikale Partitionierung Mini-Dimensionen als Spezialfall vertikaler Partitionierung Partitionierungssteuerung 279

5 пг Inhaltsverzeichnis 7.4 Relationale Optimierung von Star-Joins Einsatz materialisierter Sichten Verwendung materialisierter Sichten Bestimmung des Auswertekontextes für Aggregatanfragen Statische Auswahl materialisierter Sichten Dynamische Auswahl materialisierter Sichten Aktualisierung materialisierter Sichten Optimierung eines multidimensionalen Datenbanksystems Partitionierung Speicherung der Zellen Datenblockindizierung Zusammenfassung Metadaten Die Rolle von Metadaten beim Data Warehousing Metadatenmanagement Anforderungen an Data-Warehouse-Repositorien Repositorium- und Metadatenaustauschstandards Data-Warehouse-Metadatenschemata Eine Klassifikation für Metadaten Standards und Referenzmodelle Entwurf eines Schemas zur Verwaltung von Data-Warehouse-Metadaten Funktionale Aspekte Personen, Organisation und Aufgaben Business-Metadaten Abstraktionsstufen Zusammenfassung 345 С Anwendung Aufbau eines Data-Warehouse-Systems Data-Warehouse-Strategie Strategiefindung Machbarkeitsbetrachtung zum Data Warehousing Festlegung der Architektur Vorgehensweisen bei der Einführung Data-Warehouse-Projektorganisation Projektrollen und Projektsteuerung Projektteam und Rollenverständnis Kommunikation Konfliktmanagement Qualitätssicherung Dokumentation Data-Warehouse-Projektphasen Phasenkonzept Analysephase Designphase Implementierungsphase 384

6 Inhaltsverzeichnis xi 9.4 Softwareauswahl Nutzen und Notwendigkeit der Produktauswahl Klassifikation der Produkte anhand der Referenzarchitektur Vorgehensweise Allgemeine Kriterien für die Produktauswahl Kriterien für Datenbeschaffungswerkzeuge Kriterien für OLAP-Produkte Hardwareauswahl Auswahlbestimmende Faktoren Datenspeicherung Archivspeichermedien Multiprozessorsysteme Fehlertoleranz als Planungsziel Flaschenhälse und Fallstricke Backup-Strategien und Notfallpläne Erfolgsfaktoren beim Aufbau eines Data Warehouse Institutionelle Aufgaben des Projektmanagements: Projekt organisation Funktionale Aufgaben des Projektmanagements: Projektabwicklung Empfehlungen für ein Data-Warehouse-Projekt Wirtschaftlichkeitsbetrachtungen Kostenbetrachtung Nutzenbetrachtung Zusammenfassung Betrieb eines Data-Warehouse-Systems Administration Anforderungen und resultierende Aufgaben Organisationsformen für den Betrieb Iterativer Datenbeschaffungsprozess Performanz-Tuning von Data-Warehouse-Systemen Der Performanz-Tuning-Prozess Maßnahmen aus Sicht des Informationsmanagements Maßnahmen aus Sicht des Datenbankdesigns Maßnahmen aus Sicht der Applikationsumgebung Maßnahmen aus Sicht der Datenbankanfragen Maßnahmen aus Sicht der Datenbankkonfiguration Maßnahmen aus Sicht des Betriebssystems Maßnahmen aus Sicht des Netzwerks Maßnahmen aus Sicht des Hardwaresystems Analyseprozess Schere zwischen Systemleistung und Anwendererwartungen Anwenderbetreuung Tips und Tricks im Umgang mit Anwendern Rolle des Repositoriums 464

7 xii Inhaltsverzeichnis 10.6 Sicherungsmanagement Backup und Recovery Entsorgung von Daten Datenbank- und Systemverfügbarkeit Phasen eines Recovery-Plans Zusammenfassung Praxisbeispiele Data Warehousing in der Gesundheitsberichterstattung Das Epidemiologische Krebsregister Niedersachsen (EKN) Unterstützung umweltbezogener epidemiologischer Forschung durch modernes Data Warehousing Fazit Praxisbeispiel aus dem Verlagswesen Vorstellung des Axel Springer Verlages Das Data-Warehouse-Projekt im Anzeigenbereich Fazit Panelorientierte Marktforschung Das Unternehmen GfK AG und die GfK Marketing Services GmbH Data Warehousing in der panelorientierten Marktforschung Fazit Grundlagenforschung: Geowissenschaften Das ICDP-Projekt und sein Träger Data Warehousing in den Geowissenschaften Fazit Chemie: Distribution von Produktdaten Das Unternehmen Merck KGaA Data Warehousing für Produktdaten Fazit Zusammenfassung 509 A Abkürzungen 511 В Glossar 515 С Autorenverzeichnis 521 D Autorenzuordnung 531 E Literatur und Web-Referenzen 535 F Stichwortverzeichnis 565