DataVault Ein Leben zwischen 3NF und Star. DOAG Konferenz Nürnberg 2013 Michael Klose November 2013

Transkript

1 DataVault Ein Leben zwischen 3NF und Star DOAG Konferenz Nürnberg 2013 Michael Klose November 2013 CGI Group Inc. 2013

2 Agenda Definition und Positionierung Grundlagen der Data Vault Modellierung Modellierungsbeispiele Anwendungsbeispiel Fazit 2

3 DataVault Definition und Positionierung

4 Was ist Data Vault? Author: Dan Linstedt The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business. It is a hybrid approach encompassing the best of breed between 3rd normal form (3NF) and star schema. The design is flexible, scalable, consistent and adaptable to the needs of the enterprise. It is a data model that is architected specifically to meet the needs of today s Enterprise Data Warehouse. No. 4

5 Wo kommt DataVault zum Einsatz? Transaktion Data Warehouse Analyse Datenfluss No. 5

6 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Minimierung Datenvolumen und Redundanz Eigenschaften nur einmal gespeichert Gruppierung über Eindeutige Schlüssel Kurze Schlüssel zur Speicherplatz- und Datensatzlängenreduzierung Datentrennung nach Aktualisierungsfrequenz No. 6

7 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Zone Station Journey Client Line Ticket Ticket Type Normalisierte Modellierung(3NF) Reduzierung der Abfragekomplexität Daten nach Business Anforderung gruppiert Identifizierung von Reporting Kennzahlen und Dimensionen Identifizierung der Granularitäts- und Historisierungsanforderungen Reduzierung von komplexen Joins No. 7

8 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Zone Station Journey Client Line Ticket Ticket Type Normalisierte Modellierung (3NF) Single Source of Facts Wartbarkeit für große Datenvolumen Historisierte Speicherung aller Daten; Nachvollziehbar und Revisionssicher Konsistent, Integriert und Quellenunabhängig Balance zwischen Lade- und Abfrageperformance Erweiterbar und Agil für Veränderungen Calendar Line Route Zone Station Dimensionale Modellierung No. 8

9 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Line Calendar Line Zone Station Journey Ticket Normalisiert Route Client Ticket Type Hybrid Zone Station Normalisierte Modellierung (3NF) Dimensional Dimensionale Modellierung No. 9

10 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Line Sat Calendar Line Station Hub Link Hub Route Zone Journey Client Ticket Ticket Type Sat Link Hub Sat Zone Station Normalisierte Modellierung (3NF) Data Vault Modellierung Dimensionale Modellierung No. 10

11 DataVault Grundlagen Data Vault Modellierung

12 Data Vault Komponenten Data Vault besteht primär aus drei Komponenten: Hubs repräsentieren die Business Keys (Geschäftsobjekte) Links stellen die Beziehungen zwischen den Hubs dar Satellites enthalten alle Detailinformationen für Hubs und Links Die Hubs und Links formen das Skelett des Modells, während die Satelliten alle beschreibenden Details hinzufügen No. 12

13 Data Vault Separierung der Typen Detailinformationen S S S H S S H L H L S Business Key Beziehung L S S H Komplette Separierung der drei Typen Hub, Link, Sat No. 13

14 Was ist ein Hub? Eigenschaften eines Business Key: Ein Business Key basiert auf identifizierbaren Geschäftsobjekten Ein Business Key ist eindeutig Ein Business Key ändert sich nicht und ist normalerweise auf dem Quellsystem nicht veränderbar Mindestanforderungen an einen HUB: Primary Key: Künstlicher Schlüssel (DWH) Business Key: Eindeutiger Schlüssel (Quelle) Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) Primary_Key Business_Key Load_DTS Record_Source No. 14

15 Was ist ein Link? Eigenschaften eines LINK: Ein Link basiert auf identifizierbaren Beziehungen zwischen Geschäftsobjekten, z.b. Business Events oder Transaktionen Ein Link sollte sich im Laufe der Zeit nicht ändern. Er ist definiert über einen Fakt der genau zu diesem Zeitpunkt passiert Mindestanforderungen an einen Link: Primary Key: Künstlicher Schlüssel (DWH) Foreign Key 1: Fremdschlüssel auf Hub 1 Foreign Key 2: Fremdschlüssel auf Hub 2 Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) Primary_Key Foreign_Key_1 Foreign_Key_2 Load_DTS Record_Source No. 15

16 Was ist ein Satellit? Eigenschaften eines SAT: Ein Satellit beinhaltet Attribute welche das Geschäftsobjekt oder die Geschäftsbeziehung näher beschreiben Ein Satellit bezieht sich nur auf genau EINEN Hub oder Link und besitzt nur einen Foreign Key Mindestanforderungen an einen Satelliten: Foreign Key: Fremdschlüssel auf Hub oder Link Attribute 1.n: Attribute Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) Foreign_Key Attribute 1...n Load_DTS Record_Source No. 16

17 DataVault Modellierungsbeispiele

18 DataVault Anwendungsbeispiel Faster Development

19 Faster Development: Oracle Data Integrator Speziell angepasste CGI Knowledge Module für HUB, LINK, SAT Reine INSERT-Strategie: Automatische Delta Ermittlung Compliance: Automatisierte vollständige Historisierung Einheitliche Entwicklung: Technische Attribute werden automatisch gemappt Entwickler muss nur Attribute mappen und keine Logik implementieren 19

20 Faster Development Informatica Power Center Mapping Generierung für Data Vault HUB, LINK, SAT Mapping Templates basierend auf Mapping Architect for Visio Deltaerkennung Versionierung Insert Strategie Technische Attribute XML Parameter Generator für Zuordnungen über Data Lineage Metadaten Generierung der Mappings 20

21 DataVault Fazit

22 Data Vault Vorteile gegenüber Normalform & Star Bestehende Tabellenstruktur muss nicht angepasst werden Hinzufügen neuer Satelliten Tabelle 1 Änderung von Objektbeziehungen erfordert keine Tabellenstrukturänderung Neue Link Tabelle oder Zuordnung 2 Neue Datensätze in Satelliten und Links, Idealerweise reine Insert Strategie Implizites setzen Gültigkeitsdatum 3 Nachvollziehbarkeit von Änderungen und Vorhalten der Origialdaten Business Data Vault 4 Abhängigkeiten und Parallelisierung beim ETL Prozess einfach abbildbar Ladereihenfolge: Hubs, Links, Satelliten 5 Leicht Erweiterbarkeit / Anpassbarbarkeit Hohe Flexibilität Einfache Historisierung Compliance konform Einfache Parallelisierung, Abhängigkeiten

23 Our commitment to you We approach every engagement with one objective in mind: to help clients succeed 23

24 Ihr Kontakt Michael Klose UNIT MANAGER BI ARCHITEKTUR & STRATEGIE CGI (Germany) GmbH & Co. KG / AM LIMESPARK 2 / SULZBACH (TAUNUS) / T