Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015

Transkript

1 Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015 BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART VIENNA ZURICH

2 Dani Schnider Principal Consultant, Trainer und DWH/BI Lead Architect bei Trivadis in Zürich Co-Autor des Buches «Data Warehousing mit Oracle Business Intelligence in der Praxis» Certified Data Vault Data Modeler

3 Unser Unternehmen. Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: B E T R I E B Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme

4 Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. KOPENHAGEN HAMBURG 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. DÜSSELDORF Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. FRANKFURT Finanziell unabhängig und nachhaltig profitabel. GENF BASEL BERN LAUSANNE FREIBURG BRUGG ZÜRICH STUTTGART MÜNCHEN WIEN Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden

5 Einleitung

6 Was ist Data Vault? Datenmodellierungsmethode für Data Warehouses in agilen Projektumgebungen 3NF Model Dimensional Model Entwickelt von Dan Linstedt Geeignet für DWH Core Layer bzw. Enterprise DWH Optimiert für Agilität, Integration und Historisierung 3NF Model 3NF Model Data Vault Model Dimensional Model OLTP Systeme EDWH / Core Data Marts

7 Motivation und Vorteile Agilität Integration Historisierung Einfache Erweiterbarkeit des Data Vault Modells Kein Redesign bestehender Elemente Integration von Daten aus unterschiedlichen Quellsystemen Verwendung von gemeinsamen fachlichen Schlüsseln Nachvollziehbarkeit von Datenänderungen Vollständige Historisierung von Daten aus der Vergangenheit

8 Grundidee von Data Vault Aufteilung der Daten in verschiedene Elemente Hubs Links Satellites

9 Argumente für und gegen Data Vault Agiler Ansatz Vollständige Historisierung Nur ein Hype- Thema Hohe Komplexität Hohe Flexibilität Einfache Erweiterbarkeit Schwer verständlich Zu viele Tabellen Gute Integration Komplexe ETL- Prozesse

10 Elemente von Data Vault

11 Hub Identifikation von fachlicher Entität Fachlicher Schlüssel Keine beschreibenden Attribute Keine Fremdschlüssel zu anderen Hubs Künstlicher Schlüssel als Primary Key HUB Surrogate Key (PK) Business Key(s) (UK) Load Timestamp Record Source Audit-Attribute (Ladezeitpunkt, Quellsystem)

12 Link Beziehung zwischen zwei oder mehr Hubs Fremdschlüssel zu Hubs Keine beschreibenden Attribute Erlaubt n-zu-n Beziehungen zwischen Hubs Nur Verbindungen zu Hubs erlaubt Künstlicher Schlüssel als Primary Key Audit-Attribute (Ladezeitpunkt, Quellsystem) Surrogate Key (PK) Foreign Key Hub 1 Foreign Key Hub 2... LINK Load Timestamp Record Source

13 Satellite Kontextinformationen für Hubs oder Links Fremdschlüssel zu genau einem Hub oder Link Primary Key: Fremdschlüssel + Ladezeitpunkt Beschreibende Attribute Keine Fremdschlüssel zu anderen Hubs/Satellites Audit-Attribut (Quellsystem) Mehrere Satellites pro Hub/Link erlaubt Foreign Key to Hub (PK) Load Timestamp (PK) Context Attribute 1 Context Attribute 2... SATELLITE Context Attribute n Record Source

14 Beispiel Hubs Links Satellites

15 Design eines Data Vault Modells

16 Modellierungsprozess 1. Fachliche Entitäten definieren: Hubs 2. Beziehungen modellieren: Links 3. Beschreibende Attribute festlegen: Satellites

17 Erweiterung des Data Vault Modells Herausforderung bei Datenmodellerweiterungen: Strukturänderungen bestehender Tabellen Migration historischer Daten Data Vault Ansatz: Bestehende Tabellen nicht verändern Nur neue Tabellen hinzufügen Keine Datenmigration notwendig

18 Erweiterung des Data Vault Modells Beispiel Zusätzliche Attribute für Online-Shop: Login-Name -Addresse

19 Integration mehrerer Quellsysteme Source Systems Customer_BK Customer_Name A Claus Jordan Customer Database (A) Web Shop Database (B) Customer Online User A Dani Schnider B Dani Joachim Schnider Wehner B Peter Welker A-789 Joachim Wehner B-9876 Claus Jordan

20 Historisierung Nachvollziehbarkeit von Datenänderungen Versionierung der Daten in Satellites Ladezeitpunkt ist Bestandteil des Satellite PKs SID TS First_Name Last_Name 77 t 1 ANNA BIERI 77 t 2 Anna Bieri 77 t 6 Anna Hartmann-Bieri 77 t 7 Anna Bieri Hartmann

21 t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 8 Historisierung Beispiel ANNA BIERI, ZUERICH Anna Bieri, Zuerich Anna Bieri, Zuerich abieri@greenmail.ch Anna Bieri, Zürich abieri@greenmail.ch Anna Bieri, Zürich anna.bieri@yellow.ch Anna Hartmann-Bieri, Hamburg a_l_hartmann@web.de Anna Bieri Hartmann, Hamburg anna.bieri@web.de Anna Bieri Hartmann, Basel anna@hartmann-bieri.ch SID SID TS Customer_No t 3 abieri@greenmail.ch 77 t 5 anna.bieri@yellow.ch 77 t 6 a_l_hartmann@web.de 77 t 7 anna.bieri@web.de 77 t 8 anna@hartmann-bieri.ch SID TS First_Name Last_Name 77 t 1 ANNA BIERI 77 t 2 Anna Bieri 77 t 6 Anna Hartmann-Bieri 77 t 7 Anna Bieri Hartmann SID TS City 77 t 1 ZUERICH 77 t 2 Zuerich 77 t 4 Zürich 77 t 6 Hamburg 77 t 8 Basel

22 Point In Time (PIT) Table PIT Table SID TS S1 S2 S3 77 t 1 t 1 t 1 - SID Customer_No 77 t 2 t 2 t t 3 t 2 t 2 t 3 SID TS First_Name Last_Name 77 t 1 ANNA BIERI 77 t 2 Anna Bieri 77 t 6 Anna Hartmann-Bieri 77 t 7 Anna Bieri Hartmann 77 t 4 t 2 t 4 t 3 77 t 5 t 2 t 4 t 5 77 t 6 t 6 t 6 t 6 77 t 7 t 7 t 6 t 7 77 t 8 t 7 t 8 t 8 SID TS 77 t 3 abieri@greenmail.ch 77 t 5 anna.bieri@yellow.ch 77 t 6 a_l_hartmann@web.de 77 t 7 anna.bieri@web.de 77 t 8 anna@hartmann-bieri.ch SID TS City 77 t 1 ZUERICH 77 t 2 Zuerich 77 t 4 Zürich 77 t 6 Hamburg 77 t 8 Basel

23 ETL-Prozesse für Data Vault

24 Laden von Data Vault Tabellen Hubs: Einfügen neuer Business Keys Links: Key Lookups auf Hubs Einfügen neuer Beziehungen Satellites: Key Lookup auf Hub INSERT Deltaermittlung neue Daten / aktuelle Version Einfügen von neuer Version INSERT INSERT

25 Laden von dimensionalen Data Marts aus Data Vault Data Vault unterscheidet nicht zwischen Stammdaten (Dimensionen) und Ereignisdaten (Fakten) Fakten und Dimensionen können Daten aus mehreren Entitäten enthalten Join aller benötigten Hubs, Links und Satellites SCD1 Dimensionen: Aktuelle Version aller Satellites SCD2 Dimensionen: Point In Time (PIT) Tables ev. History View Layer

26 Ladeschritte 1. Paralleles Laden aller Stage-Tabellen 2. Paralleles Laden aller Hubs 3. Paralleles Laden aller Links aller Hub Satellites 4. Paralleles Laden aller Link Satellites 5. Paralleles Laden aller Dimensionen 6. Paralleles Laden aller Faktentabellen

27 Point In Time (PIT) Table Beispiel Ausführliches Beispiel dazu siehe Blog danischnider.wordpress.com

28 Data Vault & DWH Architektur

29 ETL Pipeline Verschiedene Arten von Transformationen zwischen Extraktion und Laden Extract Integrate Validate Cleanse Transform D/T Stamp Calculate Record Load Source: Hans Hultgren, Modeling the Agile Data Warehouse with Data Vault, page 172 Was wird in welcher DWH-Schicht ausgeführt?

30 Auswirkungen auf DWH-Architektur Data Warehouse Source Systems Staging Area Cleansing Core Area Core Cleansing Core Area Marts BI Plattform Data Raw Vault Data Vault Data Business Vault Data Vault ETL Metadata

31 ETL Pipeline für erweiterte Data Vault Architektur Mart Specific Rules Staging Area Raw Data Vault Business Data Vault Data Marts Extract Integrate D/T Stamp Load Integrate Validate Cleanse Calculate Transform Extract Validate Cleanse Calculate Transform Load Common Business Rules Source: Hans Hultgren, Modeling the Agile Data Warehouse with Data Vault, page

32 Fazit

33 Data Vault Chancen und Herausforderungen + Einfache und einheitliche ETL-Regeln + Leichte Erweiterbarkeit + Integration mehrerer Quellsysteme + Vollständige Historisierung - Hohe Anzahl Tabellen in Data Vault - Konsequente Einhaltung der Regeln - Korrekte Wahl der Business Keys

34 Data Vault Einsatzgebiete Projekte mit hoher Agilität Häufige Modellerweiterungen Laufend ändernde Anforderungen Data Warehouses mit mehreren Quellen Wichtig: Fachliche Schlüssel zwingend Grosse DWH-Projekte Keine manuelle ETL-Entwicklung Einsatz von DWH-Generatoren

35 Trivadis an der DOAG 2015 Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch. Denn mit Trivadis gewinnen Sie immer