Data-Warehouse- Systeme

Transkript

1 Andreas Bauer Holger Günzel (Hrsg.) Data-Warehouse- Systeme Architektur Entwicklung Anwendung 3., überarbeitete und aktualisierte Auflage HOCHSCHULE LIECHTENSTEIN Bibliothek dpunkt.verlag

2 Inhaltsverzeichnis ' rv,, ; &i r ; >"'. '.'!. Teil I Architektur 1 Abgrenzung und Einordnung S 1.1 Begriffliche Einordnung Definitionen Abgrenzung von transaktionalen Systemen Historie des Themenbereichs Einordnung und Abgrenzung von Business Intelligence Anwendungsbereiche t-säft^b«*'^-^*.»!*.*^«?**^* Informationsorientierte Anwendungen Analyseorientierte Anwendungen Planungsorientierte Anwendungen Kampagnenorientierte Anwendungen Einführung in das Beispiel Star*Kauf Überblick über das Buch 28 2 Referenzarchitektur Aspekte einer Referenzarchitektur Referenzmodell für die Architektur von Data-Warehouse-Systemen Beschreibung der Referenzarchitektur Data-Warehouse-Manager Datenquelle Bestimmung der Datenquellen,to* ib1 «i*«^...^^ Datenqualität Klassifikation der Quelldaten Monitor Arbeitsbereich 50

3 xü Inhaltsverzeichnis 2.6 Extraktionskomponente Transformationskomponente Ladekomponente Basisdatenbank Charakterisierung, Aufgaben und Abgrenzung Aktualisierungsalternativen der Basisdatenbank Qualität der Daten in der Basisdatenbank Data Warehouse Unterstützung des Ladeprozesses Unterstützung des Analyseprozesses Data Marts - Verteilung des Data Warehouse Analyse Darstellungsformen Funktionalität Realisierung Plattformen Repositorium Metadatenmanager Zusammenfassung 77 3 Phasen des Data Warehousing Monitoring Realisierungen des Monitoring Monitoring-Techniken Extraktionsphase Transformationsphase Datenintegration Bereinigung Ladephase Exkurs: Realtime Data-War ehouse-systeme Analysephase Data Access Online Analytical Processing (OLAP) Data Mining Zusammenfassung 124 '. * - i. > '>.(.'- Pf-. ^t.^ii-a f? ri :«'. ''-'? >i?h i V

4 Inhaltsverzeichnis xlli_ 4 Physische Architektur - ">. : Speicherarchitekturen für das Data Warehouse und die ' Basisdatenbank Architektur eines Datenbankverwaltungssystems Speichermodelle für Daten Schichtenarchitekturen Einschichtenarchitektur Zweischichtenarchitektur Dreischichtenarchitektur N-Schichtenarchitektur Webbasierte Architektur Middleware Normen und Spezifikationen Middleware-Systeme Common Object Request Broker Archkecture (CORBA) Webservices Distributed Component Object Model (DCOM) NET Java 2 Enterprise Edition Schnittstellen Klassifikation von Schnittstellen Techniken und Standards Datenaustauschformate Anfragesprache MDX Sicherheit... g.».,.,,.»...,«. -^4,*,,».*_.»', «,-*H^ui^t.-*^.?,**,,*^*.?!.«u-* Netzwerksicherheit Benutzeridentifikation und Authentifizierung Auditing Autorisierung und Zugriffskontrolle Zusammenfassung * m,.,,,. 168 Teil II Entwicklung 5 Das multidimensionale Datenmodell Konzeptuelle Modellierung Verschiedene Vorgehensweisen zur Definition einer Methodik Vorstellung verschiedener Designnotationen 177

5 xlv Inhaltsverzeichnis 5.2 Logische Modellierung Notwendigkeit der Formalisierung des,,.,-. ^r, nr <,, > l multidimensionalen Modells 1^7. _ Struktur des multidimensionalen Datenmodells 188 i Fehlende Werte in Würfelzellen (Nullwerte) Operatoren des multidimensionalen Modells 193 iui Weitere Ansätze zur Formalisierung 197 '' r Grenzen und Erweiterungen des multidimensionalen ' Datenmodells Unterstützung von Veränderungen 200 7Jj Zeitaspekte Aspekte der Kl assifikations Veränderungen Aspekte der Schemaänderung Zusammenfassung Umsetzung des multidimensionalen Datenmodells Relationale Speicherung Abbildungsmöglichkeiten auf Relationen 214 -'* Relationale Umsetzung multidimensionaler Anfragen ^ * * Relationale Versionierungs- und Evolutionsaspekte Multidimensionale Speicherung Datenstrukturen Speicherung multidimensionaler Daten 247 ;' " Dateneingabe Grenzen der multidimensionalen Datenhaltung Hybride Speicherung: Hybrides OLAP (HOLAP) Realisierung der Zugriffskontrolle Zugriffskontrollanforderungen Relationale Realisierung Multidimensionale Realisierung Inferenzen und Trackerangriffe Realisierungskonzepte Zusammenfassung Optimierung Anfragen im multidimensionalen Modell Indexstrukturen Klassifikation der Indexstrukturen Eindimensionale Baumindexstrukturen 274 * Mehrdimensionale Baumindexstrukturen Bitmap-Indizes Vergleich der Indizierungstechniken 290

6 Inhaltsverzeichnis 7.3 Partitionierung ^^^ Horizontale Partitionierung Vertikale Partitionierung Mini-Dimensionen als Spezialfall vertikaler Partitionierung Partitionierungssteuerung Multidimensional Clustering Relationale Optimierung von Star-Joins Einsatz materialisierter Sichten Verwendung materialisierter Sichten Bestimmung des Auswertekontextes für Aggregatanfragen Statische Auswahl materialisierter Sichten Dynamische Auswahl materialisierter Sichten Aktualisierung materialisierter Sichten Optimierung eines multidimensionalen Datenbanksystems Partitionierung Speicherung der Zellen Datenblockindizierung Zusammenfassung Metadaten ; _, Metadaten und Metamodelle beim Data Warehousing Metadatenmanagement Metadatenmanagementsystem - Metadaten-Warehouse Anforderungen an ein Metadatenmanagementsystem Architektur Repositorium- und Metadatenaustauschstandards Data-Warehouse-Metadatenschemata Eine Klassifikation für Metadaten Standards und Referenzmodelle. - f # *tt^-eijw * Entwurf eines Schemas zur Verwaltung von Data-Warehouse-Metadaten Funktionale Aspekte Personen, Organisation und Aufgaben V*Ö~U*.** Business-Metadaten Abstraktionsstufen Zusammenfassung 370

7 Inhaltsverzeichnis Teil III Anwendung 9 Vorgehensweise beim Aufbau eines Data-Warehouse-Systems Data-Warehouse-Strategie IT-Strategie Data-Warehouse-Strategie Rolle des Data Warehouse innerhalb der IT-Strategie Reifegradmodell Ableitung der Data-Warehouse-Architektur : Data-Warehouse-Rahmenwerk als gesamtheitliche Vorgabe Umgang mit mehreren Data-Warehouse-Systemen Architekturüberlegungen in der Praxis Umgebungen im Hinblick auf Entwicklung, Test, Produktion und Wartung Data-Warehouse-Vorgehensweise Grundsätzliche Überlegungen zum Projektvorgehen Phasenkonzept Vorgehensweisen bei der Einführung Machbarkeitsbetrachtung zum Data Warehousing Analysephase Designphase Implementierungsphase... *-«-.***. v Zusammenfassung Das Data-Warehouse-Projekt Data-Warehouse-Projektorganisation Projektrollen und Projektsteuerung Projektteam und Rollenverständnis Kommunikation Konfliktmanagement Qualitätssicherung Dokumentation Softwareaus wähl Nutzen und Notwendigkeit der Produktauswahl Klassifikation der Produkte anhand der Referenzarchitektur 433 ** Vorgehensweise zur Produktauswahl 436 ii Allgemeine Kriterien für die Produktauswahl Kriterien für DatenbeschaffungsWerkzeuge Kriterien für OLAP-Produkte 448

8 Inhaltsverzeichnis xvii f 10.3 Hardwareauswahl Auswahlbestimmende Faktoren Datenspeicherung Archivspeichermedien Multiprozessorsysteme Fehlertoleranz als Planungsziel Flaschenhälse und Fallstricke Backup-Strategien und Notfallpläne Erfolgsfaktoren beim Aufbau eines Data-Warehouse-Systems Institutionelle Aufgaben des Projektmanagements: Projektorganisation Funktionale Aufgaben des Projektmanagements: Projektabwicklung Empfehlungen für ein Data-Warehouse-Projekt WirtschaftlichkeitsBetrachtungen Kostenbetrachtung Nutzenbetrachtung Zusammenfassung Betrieb und Weiterentwicklung eines Data-Warehouse-Systems Administration Anforderungen und resultierende Aufgaben Organisationsformen für Entwicklung und Betrieb Rolle des Repositoriums Datenbeschaffungsprozess Performanz-Tuning von Data-Warehouse-Systemen Der Performanz-Tuning-Prozess Maßnahmen aus Sicht des Informationsmanagements Maßnahmen aus Sicht des Datenbankdesigns Maßnahmen aus Sicht der Applikationsumgebung Maßnahmen aus Sicht der Datenbankzugriffe Maßnahmen aus Sicht der Datenbankkonfiguration Maßnahmen aus Sicht des Betriebssystems Maßnahmen aus Sicht des Netzwerks Maßnahmen aus Sicht des Hardwaresystems Multicore-Architekturen Analyseprozess Schere zwischen Systemleistung und Anwendererwartungen Anwenderbetreuung 515

9 xviü Inhaltsverzeichnis 11.5 Sicherungsmanagement 517 f Backup und Recovery 517 ' ; > Entsorgung von Daten ' 519 '- T Datenbank- und Systemverfügbarkeit Phasen eines Recovery-Plans Zusammenfassung Praxisbeispiele :, 1:,,. 1, J Öffentliche Verwaltung Die Bundesagentur für Arbeit 526 t.it Data Warehousing in der öffentlichen Arbeitsverwaltung Fazit Data Warehousing in der Versicherung Risikomanagement auf Basis eines Data-Warehouse- Systems in einem Versicherungskonzern Fazit Panelorientierte Marktforschung Die GfK-Gruppe und die GfK Marketing Services GmbH & Co. KG 542 ;>. 'r Data Warehousing in der panelorientierten Marktforschung Fazit Chemie und Pharma Das Unternehmen Merck KGaA 548 rv: J Konzernweites Monitoring von ERP-Prozessen in ^' «.j, einem Verbund von Data-Warehouse-Systemen : Fazit Zusammenfassung f. i^.** 557 nnang A Abkürzungen Glossar Autorenverzeichnis > Autorenzuordnung E Literatur und Webreferenzen Stichwortverzeichnis, I » 619