Data Warehouse Technologien

Transkript

1 mitp Professional Data Warehouse Technologien von Veit Köppen, Gunter Saake, Kai-Uwe Sattler 2. Auflage 2014 Data Warehouse Technologien Köppen / Saake / Sattler schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG Thematische Gliederung: Datenbankmodelle, Datenbanktheorien mitp/bhv 2014 Verlag C.H. Beck im Internet: ISBN

2 Architekturprinzipien von Data-Warehouse-Systemen Datenstrukturen und Algorithmen Anwendungsfeld Business Intelligence Aus dem Inhalt: Data Warehousing Architekturkonzepte Extraktion, Transformation und Laden Datenqualität Business Intelligence Modellierung Multidimensionales Modell Relationale Umsetzung Star- und Snowflake- Schema Slowly Changing Dimensions Speicher- und Indexstrukturen ROLAP und MOLAP Partitionierung Row Stores, Column Stores und In-Memory Bitmap-Indexe Mehrdimensionale Indexstrukturen Data Warehouse: Anfragen und Verarbeitung OLAP-Anfrageoperatoren SQL-Operatoren im Data Warehouse Anfrageplanung Materialisierte Sichten Dieses Lehrbuch behandelt Konzepte und Techniken von Data-Warehouse-Systemen, die eine wesentliche Komponente in betrieblichen Entscheidungsprozessen darstellen. Im Mittelpunkt stehen dabei Architekturprinzipien sowie die Umsetzung des multidimensionalen Datenwürfels als zentrale Komponente des Data Warehouse. Die Zusammenführung der Daten aus verschiedenen betrieblichen und externen Quellen spielt eine ebenso wichtige Rolle wie Datenstrukturen und Algorithmen für die Realisierung von Speicher- und Indexstrukturen. Die Navigation im Datenwürfel und die Anfrageverarbeitung sowie Anwendungen aus dem Themenfeld Business Intelligence geben einen Einblick in den Umgang mit dem Data Warehouse. Detailliert werden sowohl der Aufbau als auch die Nutzung von Data-Warehouse-Systemen beleuchtet. Dabei stehen Modellierungskonzepte und die Thematik der multidimensionalen Anfragen im Vordergrund. Zudem werden Interna wichtiger Systemlösungen von Oracle, IBM und Microsoft anhand zahlreicher Beispiele erläutert. Das Buch fokussiert auf relationale Umsetzungsstrategien des Data Warehouse. Es ist daher empfehlenswert, sich ebenfalls mit den Grundlagenwerken Datenbanken - Konzepte und Sprachen sowie Datenbanken Implementierungstechniken auseinanderzusetzen; sie erlauben es dem Leser, die Konzepte aus Datenbanken für das Data Warehouse leichter zu transferieren. Das Buch ist geeignet für Studierende der Informatik oder verwandter Fächer im Masterbereich und bietet gleichzeitig auch dem Anwender bzw. Entwickler vertiefende Hintergrundinformationen zu aktuellen Data-Warehouse-Technologien. Die Autoren lehren und forschen im Bereich Datenbanken und Informationssysteme sowie Business Intelligence Veit Köppen und Gunter Saake an der Universität Magdeburg und Kai-Uwe Sattler an der TU Ilmenau. Außerdem bei mitp: ISBN ISBN ISBN Köppen Saake Sattler Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler 2. Auflage ISBN ISBN (D) 29,99 Data Warehouse Technologien _umschlag.indd :14:50

3 Inhaltsverzeichnis Inhaltsverzeichnis ix 1 Einführung in Data-Warehouse-Systeme Anwendungsszenario Getränkemarkt OLTP versus OLAP OLAP- versus OLTP-Transaktionen Vergleich von OLTP und OLAP Abgrenzung: DBMS-Techniken Charakteristika und Begriffe Big Data und Data Warehousing Aufbau des Buches Vertiefende Literatur Übungen Architektur Anforderungen Grobe Übersicht über Data-Warehouse-Systeme Anforderungen an die Architektur Die 12 OLAP-Regeln nach Codd Die FASMI-Anforderungen Datenfluss in einem Data-Warehouse-System Phasen des Data Warehousing Datenquellen Datenbereinigungsbereich Extraktionskomponenten Transformationskomponenten Ladekomponente Basisdatenbank Befüllen Der Datenwürfel ix

4 Data Marts Das Data Warehouse Referenzarchitektur Data-Warehouse-Manager Monitore Repository Metadaten-Manager Diskussion der kompletten Referenzarchitektur Architektur des Data Warehouse Rolle der Data Marts Abhängige Data Marts: Nabe und Speiche Unabhängige Data Marts Föderierte und virtuelle Datenwürfel Data-Warehouse-Architektur in der Praxis Ein Multi-Schichten-Architekturansatz Vertiefende Literatur Übungen Modellierung von Data Warehouses Das multidimensionale Datenmodell Grundbegriffe Dimensionen Fakten und Kennzahlen Schema des multidimensionalen Datenwürfels Konzeptuelle Modellierung Das ME/R-Modell ADAPT Relationale Umsetzung Prinzip der relationalen Abbildung Snowflake-Schema Star-Schema Vergleich von Snowflake- und Star-Schema Fact-Constellation-Schema und Galaxie-Schema Alternative Modellierung von Klassifikationshierarchien Vermeidung von Semantikverlusten Slowly Changing Dimensions Berichtsanforderungen im Data Warehouse Typdefinitionen nach Kimball Realisierungen im Data Warehouse Vertiefende Literatur Übungen x Inhaltsverzeichnis

5 4 Extraktions-, Transformations- und Ladeprozess Qualitätsaspekte Der Datenbereinigungsprozess Duplikaterkennung Vergleichsfunktionen Beheben von Datenkonflikten Der ETL-Prozess Die Extraktionsphase Extraktionstechniken Methode des Differential Snapshot Die Transformationsphase Daten- und Schemakonflikte Mappings im Transformationsschritt Die Ladephase Verwendung des Oracle SQL-Loader Multi-Table-Insert Alternativer Ansatz: ELT Vertiefende Literatur Übungen Anfragen an Data-Warehouse-Datenbanken Einführung und Anforderungen OLAP-Operationen SQL-Operationen für das Data Warehouse Relationale Umsetzung multidimensionaler Anfragen CUBE und ROLLUP OLAP-Funktionen in SQL: MDX Vertiefende Literatur Übungen Speicherung Speicherung des Datenwürfels: Array vs. Relationen Relationale Implementierung ROLAP Implementierung als Array MOLAP Vergleich ROLAP und MOLAP-Speicherung Hybride Speicherung HOLAP Alternative Speicherungsformen Partitionierung Partitionierung in relationalen Datenbanken Partitionierung in Data Warehouses Partitionierung von Datenwürfeln xi

6 6.3 Spaltenorientierte Datenhaltung Basisideen der spaltenorientierten Datenhaltung Operationen und Anfragen in spaltenorientierter Datenhaltung Speichervarianten in spaltenorientierter Datenhaltung Hauptspeicherdatenbanken Was sind Hauptspeicherdatenbanken? Technologien aktueller Hauptspeicherdatenbanken Komprimierung von Daten Delta-Relationen Vertiefende Literatur Übungen Indexstrukturen Klassifikation von Indexstrukturen B-Bäume und Varianten Der B + -Baum Degenerierte B-Bäume Ordnungsabhängigkeit in B-Bäumen B + -Baum-Tricks: Oversized Index B + -Baum-Tricks: Berechnete Indexe Bitmap-Indexe Prinzip von Bitmap-Indexen Bitmap-Index: Realisierung Standard-Bitmap-Index Mehrkomponenten-Bitmap-Index Bereichskodierter Bitmap-Index Mehrkomponenten-bereichskodierter Bitmap-Index Intervallkodierte Indexierung Auswahl von Bitmap-Indexstrukturen Verbundindexe Prinzip des Verbundindex Bitmap-Verbundindex Mehrdimensionale Indexstrukturen Grid-File Mehrdimensionales Hashen MDH KdB-Baum R-Bäume Varianten von R-Bäumen Der UB-Baum Indexierung von Hierarchien Kodierung von Hierarchien Mehrdimensionales hierarchisches Clustering xii Inhaltsverzeichnis

7 7.7 Vertiefende Literatur Übungen Anfrageverarbeitung und materialisierte Sichten Anfrageplanung Überblick Star-Join-Optimierung Berechnung des CUBE-Operators Materialisierte Sichten Anfragebeantwortung mit materialisierten Sichten Auswahl materialisierter Sichten Aktualisierung materialisierter Sichten Materialisierte Sichten in aktuellen DBMS Vertiefende Literatur Übungen Business-Intelligence-Anwendungen Business Intelligence Begriffsklärung Knowledge Discovery Datenanalyse Reporting Balanced Scorecard Navigation im Datenwürfel für Ad-hoc-Reporting Data Mining im BI-Umfeld Warenkorbanalyse Kunden-Clustering Klassifikationsverfahren Zeitreihenanalyse & Prognose Data Mining Extensions Vertiefende Literatur Übungen Abbildungsverzeichnis 304 Tabellenverzeichnis 310 Sachindex 312 Literaturverzeichnis 319 xiii