Data-Wa re house-systeme

Transkript

1 P Andreas Bauer + Holger Günzel (Hrsg.) Data-Wa re house-systeme Architektur Entwicklung Anwendung 2., überarbeitete und aktualisierte Auflage dpun kt.verlag

2 I n ha I t sve rzeic h n is Teil I Architektur 1 Abgrenzung und Einordnung 5 Begriffliche Einordnung Definitionen... 7 Abgrenzung von transaktionalen Systemen... 8 Historie des Themenbereichs Anwendungsbereiche Informationsorientierte Anwendungen Analyseorientierte Anwendungen Planungsorientierte Anwendungen Kampagnenorientierte Anwendungen Einführung in das Beispiel Star *Kauf Überblick über das Buch Referenzarchitektur 31 Aspekte einer Referenzarchitektur Referenzmodell für die Architektur von Data-Warehouse-Systemen Beschreibung der Referenzarchitektur Data-Warehouse-Manager Datenquelle Bestimmung der Datenquellen Datenqualität Klassifikation der Quelldaten Monitor Arbeitsbereich Extraktionskomponente Transformationskomponente... 50

3 Ix Inhaltsverzeichnis Ladekomponente Basisdatenbank Charakterisierung. Aufgaben und Abgrenzung Aktualisierungsalternativen der Basisdatenbank Qualität der Daten in des Basisdatenbank Data Warehouse Unterstützung des Ladeprozesses Unterstützung des Analyseprozesses Data Marts - Verteilung des Data Warehouse Analyse Darstellungsformen Funktionalität Realisierung Plattformen Repositorium Metadatenmanager Zusammenfassung Phasen des Data Warehousing 75 Monitoring Realisierungen des Monitoring Monitoring-Techniken Extraktionsphase Transformationsphase Datenintegration Bereinigung Ladephase Analysephase Data Access Online Analytical Processing (OLAP) Data Mining Zusammenfassung Physische Architektur 119 Speicherarchitekturen für das Data Warehouse und die Basisdatenbank Architektur eines Datenbankverwaltungssystems Speichermodelle für Daten

4 Inhaltsverzeichnis Schichtenarchitekturen Einschichtenarchitektur Zweischichtenarchitektur Dreischichtenarchitektur N-Schichtenarchitektur Web-basierte Architektur Middleware Normen und Spezifikationen Middleware-Systeme Common Object Request Broker Architecture (CORBA) Web-Services Distributed Component Object Model (DCOM) NET Java 2 Enterprise Edition Schnittstellen Klassifikation von Schnittstellen Techniken und Standards Datenaustauschformate Sicherheit Kommunikationssicherheit Benutzeridentifikation und Authentifizierung Auditing Zugriffskontrolle Zusammenfassung Teil II Entwicklung Das multidimensionale Datenmodell Konzeptuelle Modellierung Verschiedene Vorgehensweisen zur Definition einer Methodik Vorstellung verschiedener Designnotationen Logische Modellierung Notwendigkeit der Formalisierung des multidirnensionalen Modells Struktur des multidimensionalen Datenmodells Fehlende Werte in Würfelzellen (Nullwerte) Operatoren des multidimensionalen Modells Weitere Ansätze zur Forrnalisierung Grenzen und Erweiterungen des multidimensionalen Datenmodells

5 (xii Inhaltsverzeichnis Unterstützung von Veränderungen Zeitaspekte Aspekte der Klassifikationsveränderungen Aspekte der Schemaänderung Zusammenfassung Umsetzung des multidimensionalen Datenmodells 201 Relationale Speicherung Abbildungsmöglichkeiten auf Relationen Relationale Umsetzung multidimensionaler Anfragen Relationale Versionierungs- und Evolutionsaspekte Multidimensionale Speicherung Datenstrukturen Speicherung multidimensionaler Daten Dateneingabe Grenzen der multidimensionalen Datenhaltung Hybride Speicherung: Hybrides OLAP (HOLAP) Realisierung der Zugriffskontrolle Zugriffskontrollanforderungen Realisierungskonzepte Zusammenfassung Optimierung 253 Anfragen im multidimensionalen Modell Indexstrukturen Klassifikation der Indexstrukturen Eindimensionale Baumindexstrukturen Mehrdimensionale Baumindexstrukturen Bitmap-Indizes Vergleich der Indizierungstechniken Partitionierung Horizontale Partitionierung Vertikale Partitionierung Mini-Dimensionen als Spezialfall vertikaler Partitionierung Partitionierungssteuerung Relationale Optimierung von Star-Joins

6 Inhaltsverzeichnis Einsatz materialisierter Sichten Verwendung materialisierter Sichten Bestimmung des Auswertekontextes für Aggregatanfragen Statische Auswahl materialisierter Sichten Dynamische Auswahl materialisierter Sichten Aktualisierung materialisierter Sichten Optimierung eines multidimensionalen Datenbanksystems Partitionierung Speicherung der Zellen Datenblockindizierung Zusammenfassung Metadaten Die Rolle von Metadaten beim Data Warehousing Metadatenmanagement Anforderungen an Data-Warehouse-Repositorien Repositorium- und Metadatenaustauschstandards Data-Warehouse-Metadatenschemata Eine Klassifikation für Metadaten Standards und Referenzmodelle Entwurf eines Schemas zur Verwaltung von Data-Warehouse-Metadaten Funktionale Aspekte Personen, Organisation und Aufgaben Business-Metadaten Abstraktionsstufen Zusammenfassung Teil 111 Anwendung Vorgehensweise beim Aufbau eines Data-Warehouse-Systems Data-Warehouse-Strategie IT-Strategie Data-Warehouse-Strategie Rolle des Data Warehousing innerhalb der IT-Strategie Ableitung der Data-Warehouse-Architektur Data-Warehouse-Rahmenwerk als gesamtheitliche Vorgabe Umgang mit mehreren Data-Warehouse-Systemen Architekturüberlegungen in der Praxis Umgebungen im Hinblick auf Entwicklung, Test, Produktion und Wartung

7 E Inhaltsverzeichnis 9.3 Data-Warehouse-Vorgehensweise Phasenkonzept Vorgehensweisen bei der Einführung Machbarkeitsbetrachtung zum Data Warehousing Analysephase Designphase Implementierungsphase Zusammenfassung Das Data-Warehouse-Projekt Data-Warehouse-Projektorganisation Projektrollen und Projektsteuerung Projektteam und Rollenverständnis Kommunikation Konfliktmanagement Qualitätssicherung Dokumentation Softwareauswahl Nutzen und Notwendigkeit der Produktauswahl Klassifikation der Produkte anhand der Referenzarchitektur Vorgehensweise zur Produktauswahl Allgemeine Kriterien für die Produktauswahl Kriterien für Datenbeschaffungswerkzeuge Kriterien für OLAP-Produkte Hardwareauswahl Auswahlbestimmende Faktoren Datenspeicherung Archivspeichermedien Multiprozessorsysteme Fehlertoleranz als Planungsziel Flaschenhälse und Fallstricke Backup-Strategien und Notfallpläne Erfolgsfaktoren beim Aufbau eines Data-Warehouse-Systems Institutionelle Aufgaben des Projektmanagements: Projektorganisation Funktionale Aufgaben des Projektmanagements: Projektabwicklung Empfehlungen für ein Data-Warehouse-Projekt Wirtschaftlichkeitsbetrachtungen Kostenbetrachtung Nutzenbetrachtung Zusaßhmenfassung

8 Inhaltsverzeichnis Betrieb eines Data-Warehousedystems 439 Administration Anforderungen und resultierende Aufgaben Organisationsformen für den Betrieb Iterativer Datenbeschaffungsprozess Performanz-Tuning von Data-Warehouse-Systemen Der Performanz-Tuning-Prozess Maßnahmen aus Sicht des Informationsmanagements Maßnahmen aus Sicht des Datenbankdesigns Maßnahmen aus Sicht der Applikationsumgebung Maßnahmen aus Sicht der Datenbankzugriffe Maßnahmen aus Sicht der Datenbankkonfiguration Maßnahmen aus Sicht des Betriebssystems Maßnahmen aus Sicht des Netzwerks Maßnahmen aus Sicht des Hardwaresystems Analyseprozess Schere zwischen Systemleistung und Anwendererwartungen Anwenderbetreuung Tipps und Tricks im Umgang mit Anwendern Rolle des Repositoriums Sicherungsmanagement Backup und Recovery Entsorgung von Daten Datenbank- und Systemverfügbarkeit Phasen eines Recovery-Plans Zusammenfassung Praxisbeispiele Data Warehousing in der Gesundheitsberichterstattung Das Epidemiologische Krebsregister Niedersachsen (EKN) Unterstützung umweltbezogener epidemiologischer Forschung durch modernes Data Warehousing Fazit Praxisbeispiel aus dem Verlagswesen Vorstellung des Axel Springer Verlags Das Data-Warehouse-Projekt im Anzeigenbereich Fazit

9 Inhaltsverzeichnis 12.3 Panelorientierte Marktforschung Das Unternehmen GfK AG und die GfK Marketing Services GmbH Data Warehousing in der panelorientierten Marktforschung Fazit Grundlagenforschung: Geowissenschaften Data Warehousing in den Geowissenschaften Das ICDP-Projekt und sein Träger Fazit Chemie: Distribution von Produktdaten Das Unternehmen Merck KGaA Data Warehousing für Produktdaten Fazit Zusammenfassung Anhang 519 A Abkürzungen 521 B Glossar 525 C Autorenverzeichnis 531 D Autorenzuordnung 541 E Literatur und Web-Referenzen Stichwortverzeichnis