Data Warehouse Grundlagen

Transkript

1 Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015

2 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen oder eingetragene Warenzeichen der jeweiligen Firmen und beziehen sich auf Eintragungen in den USA oder USA-Warenzeichen. Weitere Logos und Produkt- oder Handelsnamen sind eingetragene Warenzeichen oder Warenzeichen der jeweiligen Unternehmen. Kein Teil dieser Dokumentation darf ohne vorherige schriftliche Genehmigung der weitergegeben oder benutzt werden. Die besitzt folgende Geschäftsstellen Adressen der Westernmauer D Paderborn Tel.: (+49) / An der alten Ziegelei 5 D Münster Tel.: (+49) / Welser Straße 9 D Gersthofen Tel.: (+49) / Kreuzberger Ring 13 D Wiesbaden Tel.: (+49) / Wikingerstraße D Köln Tel.: (+49) / Internet: [email protected] Seite 2 Version: 2.10

3 Inhaltsverzeichnis 1 Einführung Geschichtliches Motivation Hintergrund Ist-Situation Modernes Informationssystem Was ist ein Data Warehouse? Multiple Datenquellen Unternehmensspezifisch skalierbar Universelle Abfragen möglich Hochleistungsplattform für Reporting Analysen (Vergangenheit/Zukunft) Ziele Gründe für ein separates DWH Abgrenzung zu OLTP Abgrenzung zu OLTP-Anfragen Abgrenzung zu OLTP-Daten Abgrenzung zu OLTP-Anwender Abgrenzung zu OLTP - Zusammenfassung Definition Definition nach Inmon Themenorientierung Integrierte Datenbasis Persistente Datenbasis Chronologisierte Daten Anwendungsgebiete Multidimensionales Datenmodell Überblick Normalisierung Überblick Normalisierung von Daten Redundanzen Normalform Normalform Normalform Normalform Zusammenfassung Normalformen Kennzahlen Additive Kennzahlen Semi-Additive Kennzahlen Nicht-Additive Kennzahlen Dimensionen Eigenschaften von Dimensionen Einfache Hierarchie Parallele Hierarchie Aufbau Dimensionstabelle Beispiel Beispiel Junk Dimension Junk Dimension Beispiel Fakten- und Dimensionstabellen Aufbau Faktentabelle Varianten von Fakten Ereignis Fakt Snapshot Fakt Beispiel Faktentabelle DWH Datenmodelle Version: 2.10 Seite 3

4 2.6.1 Starschema Vor- und Nachteile Abfragen im Starschema Snow Flake Schema Schematische Darstellung Vorteile Nachteile Abfragen im Snow Flake Schema Mischformen Galaxy Schema - Überblick Slowly Changing Dimensions Slowly Changing Dimension Anwendungsbereiche Slowly Changing Dimensions - Fachlicher Schlüssel Typ 1 keine Historierung Typ 2 Historisierung Typ 2 Ablaufprinzip Typ 2 Beispiel Typ 3 Teilweise Historisierung Designprozess Überblick Beispiel Grundlagen der Architektur Überblick Architekturschichten Schematischer Aufbau ETL-Tools Staging Area Landing Area Cleansing Area Metadaten Core Data Warehouse Data Marts Überblick Extraktarten Vorteile Data Mart Arten Abhängige Data Marts Unabhängige Data Marts Virtuelle Data Marts Entwurf eines Data Warehouse Systems Vorgehensmodell Modellierungsschritte Analyse des Informationssystems / Anforderungsanalyse Informationsbedarfsanalyse Analysemodell / Prozessmodell Objektmodell Konzeptioneller Entwurf Beispiel MERM Diagramm Logischer Entwurf Technische Implementierung Test Softwareauswahl Auswahlkriterien Marktrecherche Bewertung der Auswahl Kosten der Software Speicherstrukturen Seite 4 Version: 2.10

5 5.1 Überblick ROLAP MOLAP HOLAP DOLAP Multidimensional Expressions (MDX) Befüllung Überblick ETL-Tool Monitoring Quellsystem Überblick Triggerbasiert Replikationsbasiert Zeitstempelbasierte Monitoringstrategie Log-basierte Monitoringstrategie Snapshot-basierte Monitoringstrategie Extraktionsstrategien Staging Area Überblick Ausprägungen Cleansing Area Transformation Ursache von fehlerhaften Daten Überblick Filterung Überblick Klassen Beispiele Harmonisierung Aggregation Anreicherung Laden Data Mart Deploymentprozess Deploymentprozess Aufbau der Testdatenbank Deploymentprozess ETL Prozesse Entwickeln Deploymentprozess Testen Deploymentprozess Deployment auf Produktion Multidimensionale Operatoren OLAP Operatoren Standard Operatoren Bewegen im Multidimensionalen Datenmodell Pivotierung/Rotation Roll-up/Drill-down Beispiel Drill Across Drill Through Slice/Dice Slice Dice Split / Merge Beispiel Reporting Frontend Tools Verteilung der Anwender Dashboard Statische Reports Version: 2.10 Seite 5

6 8.5 Dynamische Berichte Ad-Hoc Berichte Data Mining Auswahl Reporting Tool Datenbankoptimierung Überblick Laden von Daten Überblick Einzelsatzverarbeitung Lade Tool Beispiel Oracle Beispiel DB Beispiel Informix Partitionierung Überblick Range Partitionierung List Partitionierung Hash Partitionierung Komprimierung Datenbank Caches Blockgröße Seitengröße Reservierter Freiplatz bei der Tabellenerstellung Referenzielle Integrität Materialisierte Sichten und Tabellen Merge Anweisung Beispiel Parallelisierung Spaltenorientierte Speicherung und In-Memory-Funktionalität Überblick Beispiel Oracle Beispiel DB Hardwareoptimierungen Big Data Größe ist relativ Potential Wirkprinzipien Die 3 V s Velocity (Geschwindigkeit) Volume (Datenmengen) Variety (Vielfalt) Big Data ist nicht nur ein Tool Big Data in Aktion Übungen / Lösungen Übungen Normalisierung von Daten Multidimensionales Datenmodell Snowflakeschema Befüllung Lösungen Normalisierung von Daten Multidimensionales Datenmodell Snowflakeschema Befüllung Anhang- ETL Tools Anhang- Reporting Tools Seite 6 Version: 2.10