Data Vault Ein Leben zwischen 3NF und Star. Michael Klose, CGI Deutschland Oracle DWH Community,

Transkript

1 Data Vault Ein Leben zwischen 3NF und Star Michael Klose, CGI Deutschland Oracle DWH Community, CGI Group Inc. 2013

2 Referent: Michael Klose Manager BI Architektur & Strategie, CGI Deutschland Schwerpunkte Konzeption komplexer BI & DWH Architekturen Implementierung von Prozessen & Anwendungen im Bereich BI&DWH Oracle DB, OWB, ODI, BIEE Oracle DWH Certified Implementation Specialist Oracle BI Foundation 10 Certified Implementation Specialist Informatica Powercenter 2

3 Weltweit zuhause: Das Unternehmen CGI Erstklassige Business- und IT-Beratung End-to-End IT- und Geschäftsprozess- Dienstleistungen Service für über Kunden von weltweit über 400 Standorten Mitarbeiter; 85% besitzen Firmenanteile* Über 100 führende IP-basierte Lösungen 10 Mrd. $ Jahresumsatz CGI ist der weltweit fünftgrößte Fokussiertes Branchen- und Themen- Know-how 37 Jahre erfolgreiche Partnerschaft mit unseren Kunden Kundennähe in Kombination mit unserem globalen Delivery-Netzwerk unabhängige Anbieter von IT- & Geschäftsprozess- Dienstleistungen * Logica-Mitarbeiter ausgenommen 3

4 Business Intelligence: Unser deutsches Team 150 Mitarbeiter in - 1Verantwortung Erfahrenes Managementteam Bremen 2 Mitarbeiter Hamburg Berlin mit tiefem fachlichen Verständnis & langjähriger Erfahrung in komplexen Projekten Immer die aktuellen Trends im Auge: z.b. Big Data, Multi Device BI, Social Media, In-Memory Vertrauensvoller Partner für u.a. für Dt. Telekom, Dt. Bahn, Vodafone, KION, MAN, 1&1, EZB, Gothaer & buch.de Umfassende BI Betreuung 50 Mitarbeiter Düsseldorf Köln/Bonn 10 Mitarbeiter 65 Mitarbeiter 10 Mitarbeiter Frankfurt/M. Darmstadt Mannheim 10 Mitarbeiter Stuttgart München 4 Mitarbeiter Zusammenarbeit mit namhaften Partnern: Audit & Review, Architektur, ETL, DWH, Reporting, Planung & BICC Beratung 4

5 Inhalte Data Vault - Definition & Positionierung Data Vault - Grundlagen in der Modellierung Data Vault - Modellierungsbeispiele Schnellere Entwicklung mit Data Vault 5 Vorteile von Data Vault 5

6 Urheber von Data Vault - Dan Linstedt The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business. It is a hybrid approach encompassing the best of breed between 3rd normal form (3NF) and star schema. The design is flexible, scalable, consistent and adaptable to the needs of the enterprise. It is a data model that is architected specifically to meet the needs of today s Enterprise Data Warehouse. 6

7 Data Warehouse Die Herausforderung Datenfluss Transaktion Data Warehouse Analyse Operatives BI No. 7

8 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Minimierung Datenvolumen & Redundanz Eigenschaften nur einmal gespeichert Gruppierung über eindeutige Schlüssel Kurze Schlüssel zur Speicherplatzund Datensatzlängenreduzierung Datentrennung nach Aktualisierungsfrequenz No. 8

9 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Zone Station Journey Client Line Ticket Ticket Type Normalisierte Modellierung(3NF) Reduzierung der Abfragekomplexität Daten nach Business Anforderung gruppiert Identifizierung von Reporting Kennzahlen und Dimensionen Identifizierung der Granularitäts- und Historisierungsanforderungen Reduzierung von komplexen Joins No. 9

10 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Zone Station Journey Client Line Ticket Ticket Type Normalisierte Modellierung(3NF) Single Source of Facts Wartbarkeit für große Datenvolumen Historisierte Speicherung aller Daten; Nachvollziehbar und Revisionssicher Konsistent, Integriert und Quellenunabhängig Balance zwischen Lade- und Abfrageperformance Erweiterbar und Agil für Veränderungen Calendar Line Route Zone Station Dimensionale Modellierung No. 10

11 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Station Line Normalisiert Calendar Line Route Zone Journey Client Ticket Ticket Type Normalisierte Modellierung (3NF) Hybrid? Dimensional Zone Station Dimensionale Modellierung No. 11

12 Modellierungsanforderungen und -methoden Transaktion Data Warehouse Analyse Line Calendar Line Station Zone Journey Ticket Route Client Ticket Type Normalisierte Modellierung (3NF) Data Vault Modellierung Zone Station Dimensionale Modellierung No. 12

13 Grundlagen: Data Vault Komponenten Data Vault besteht primär aus drei Komponenten: Hubs repräsentieren die Business Keys (Geschäftsobjekte) Links stellen die Beziehungen zwischen den Hubs dar Satellites enthalten alle Detailinformationen für Hubs und Links Die Hubs und Links formen das Skelett des Modells, während die Satelliten alle beschreibenden Details hinzufügen No. 13

14 Grundlagen: Separierung der Typen Detailinformationen S S S H S S H L H L S Business Key Beziehung L S S H Ergebnis: Komplette Separierung der drei Typen Hub, Link, Sat No. 14

15 Grundlagen: Was ist ein Hub? Primary_Key Business_Key Eigenschaften eines Business Key: Ein Business Key basiert auf identifizierbaren Load_DTS Geschäftsobjekten Ein Business Key ist eindeutig Record_Source Ein Business Key ändert sich nicht und ist normalerweise auf dem Quellsystem nicht veränderbar Mindestanforderungen an einen HUB: Primary Key: Künstlicher Schlüssel (DWH) Business Key: Eindeutiger Schlüssel (Quelle) Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) No. 15

16 Grundlagen: Was ist ein Link? Eigenschaften eines LINK: Ein Link basiert auf identifizierbaren Beziehungen zwischen Geschäftsobjekten, z.b. Business Events oder Transaktionen Ein Link sollte sich im Laufe der Zeit nicht ändern. Er ist definiert über einen Fakt der genau zu diesem Zeitpunkt passiert Primary_Key Foreign_Key_1 Foreign_Key_2 Load_DTS Record_Source Mindestanforderungen an einen Link: Primary Key: Künstlicher Schlüssel (DWH) Foreign Key 1: Fremdschlüssel auf Hub 1 Foreign Key 2: Fremdschlüssel auf Hub 2 Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) No. 16

17 Grundlagen: Was ist ein Satellit? Eigenschaften eines SAT: Ein Satellit beinhaltet Attribute welche das Geschäftsobjekt oder die Geschäftsbeziehung näher beschreiben Ein Satellit bezieht sich nur auf genau EINEN Hub oder Link und besitzt nur einen Foreign Key Foreign_Key Attribute 1...n Load_DTS Record_Source Mindestanforderungen an einen Satelliten: Foreign Key: Fremdschlüssel auf Hub oder Link Attribute 1.n: Attribute Load_DTS: Ladezeitstempel (DWH) Record_Source: Datenquelle (DWH) No. 17

18 Modellierungsbeispiele Der Weg zu Hub, Link, Sat Bestellung Kunden mit Adressdaten Varianten Neue Attribute implementieren Neue Geschäftsbeziehung implementieren 18

19 Modellierungsbeispiele 1 Der Weg zu Hub, Link, Sat Bestellung Bestellung_Quelle Bestellung_01_S BESTH_ID (FK) DATUM PREIS Bestellung_H BESTH_ID (SK) BESTELLUNG_ID Bestellung_02_S BESTH_ID (FK) STATUS BESTELLUNG_ID BESTELLUNG_STATUS BESTELLDATUM BESTELLUNG_PREIS BESTPOSITION_ID BESTPOSITION_STATUS BESTPOSITION_MENGE BESTPOSITION_STKPREIS BESTPOSITION_GESPREIS KUNDE_ID Bestellung_L BESTL_ID (SK) BESTH_ID (FK) BESTPOSH_ID (FK) KUNDEH_ID (FK) Kunde_H KUNDEH_ID (SK) KUNDE_ID BestPosition_01_S BESTPOSH_ID (FK) MENGE STUECKPREIS GESAMTPREIS BestPosition_H BESTPOSH_ID (SK) BESTPOSITION_ID BestPosition_02_S BESTH_ID (FK) STATUS 19

20 Modellierungsbeispiele 2 Kunde mit Adressdaten Varianten Kunde_H Kunde_H KUNDEH_ID (SK) KUNDE_ID KUNDEH_ID (SK) KUNDE_ID Kunde_Adresse_S KUNDEH_ID (FK) Wohnadr_Strasse Wohnadr_PLZ Wohnadr_Ort Wohnadr_Land Lieferadr_Strasse Lieferadr_PLZ Lieferadr_Ort Lieferadr_Land Kunde_Adresse_S KUNDEH_ID (FK) Wohnadr_Strasse Wohnadr_PLZ Wohnadr_Ort Wohnadr_Land Kunde_Lieferadresse_S KUNDEH_ID (FK) Lieferadr_Strasse Lieferadr_PLZ Lieferadr_Ort Lieferadr_Land Variante 1: Adressattribute in EINEM Satelliten Variante 2: Adressattribute nach Typ auf ZWEI Satelliten verteilt 20

21 Modellierungsbeispiele 2 Kunde mit Adressdaten Varianten Kunde_H KUNDEH_ID (SK) KUNDE_ID Kunde_Adresse_L KUADRH_ID (SK) KUNDEH_ID (FK) KUNDEADRH_ID(FK) Kunde_Adresse_H KUNDEADRH_ID (SK) ADRESSE_ID Kunde_Adresse_S Variante 3: Master-Satellit mit allen Adressen, typisiert über zusätzliches Attribut KUNDEH_ID (FK) Adresse_Typ_Code Strasse PLZ Ort Land 21

22 Modellierungsbeispiele 2 Kunde mit Adressdaten Varianten Kunde_H KUNDEH_ID (SK) KUNDE_ID Kunde_Adresse_L KUADRH_ID (SK) KUNDEH_ID (FK) KUNDEADRH_ID (FK) ADRTYPH_ID (FK) Kunde_Adresse_H KUNDEADRH_ID (SK) ADRESSE_ID Variante 4: Master-Satellit mit allen Adressen, Adresstyp-Zuordnung über Link AdressTyp_H ADRTYPH_ID(SK) AdresseTypCode AdressTyp_S ADRTYPH_ID (FK) AdresseTypBeschreibung Kunde_Adresse_S KUNDEH_ID (FK) Strasse PLZ Ort Land 22

23 Modellierungsbeispiele 3 Neue Attribute implementieren Bestellung_Quelle BESTELLUNG_ID BESTELLUNG_STATUS BESTELLDATUM BESTELLUNG_PREIS BESTPOSITION_ID BESTPOSITION_STATUS BESTPOSITION_MENGE BESTPOSITION_STKPREIS BESTPOSITION_GESPREIS KUNDE_ID Bestellung_01_S BESTH_ID (FK) DATUM PREIS Bestellung_LS BESTL_ID (FK) BEARBEITER Bestellung_H BESTH_ID (SK) BESTELLUNG_ID Bestellung_L BESTL_ID (SK) BESTH_ID (FK) BESTPOSH_ID (FK) KUNDEH_ID (FK) Bestellung_02_S BESTH_ID (FK) STATUS Kunde_H KUNDEH_ID (SK) KUNDE_ID BEARBEITER BestPosition_01_S BESTPOSH_ID (FK) MENGE STUECKPREIS GESAMTPREIS BestPosition_H BESTPOSH_ID (SK) BESTPOSITION_ID BestPosition_02_S BESTH_ID (FK) STATUS 23

24 Modellierungsbeispiele 4 Neue Geschäftsbeziehung implementieren Kunde_H KUNDEH_ID (SK) KUNDE_ID Kunde_Adresse_L KUADRH_ID (SK) KUNDEH_ID (FK) KUNDEADRH_ID(FK) Kunde_Adresse_H KUNDEADRH_ID (SK) ADRESSE_ID Kunde_Gutschein_L KUGUTH_ID (SK) KUNDEH_ID (FK) GUTSCHEINH_ID(FK) Gutschein_H GUTSCHEINH_ID (SK) GUTSCHEIN_CODE Gutschein_S GUTSCHEINH_ID (FK) Gutschein_Preis Kunde_Adresse_S KUNDEH_ID (FK) Adresse_Typ_Code Strasse PLZ Ort Land 24

25 Schnellere Entwicklung mit Data Vault & dem Oracle Data Integrator Speziell angepasste CGI Knowledge Module für HUB, LINK, SAT ü Reine INSERT-Strategie: Automatische Delta Ermittlung ü Compliance: Automatisierte vollständige Historisierung ü Einheitliche Entwicklung: ü Technische Attribute werden automatisch gemappt ü Entwickler muss nur Attribute mappen und keine Logik implementieren 25

26 Schnellere Entwicklung mit Data Vault & Informatica Power Center Mapping Generierung für Data Vault HUB, LINK, SAT ü Mapping Templates basierend auf Mapping Architect for Visio ü Deltaerkennung ü Versionierung ü Insert Strategie ü Technische Attribute ü XML Parameter Generator für Zuordnungen über Data Lineage Metadaten ü Generierung der Mappings 26

27 5 Vorteile von Data Vault (Fazit) Bestehende Tabellenstruktur muss nicht angepasst werden à Hinzufügen neuer Satelliten Tabelle 1 Änderung von Objektbeziehungen erfordert keine Tabellenstrukturänderung à Neue Link Tabelle oder Zuordnung 2 Neue Datensätze in Satelliten und Links, Idealerweise reine Insert Strategie à Implizites setzen Gültigkeitsdatum 3 Nachvollziehbarkeit von Änderungen und Vorhalten der Origialdaten à Business Data Vault 4 Abhängigkeiten und Parallelisierung beim ETL Prozess einfach abbildbar à Ladereihenfolge: Hubs, Links, Satelliten 5 Leicht Erweiterbarkeit / Anpassbarbarkeit Hohe Flexibilität Einfache Historisierung Compliance konform Einfache Parallelisierung, Abhängigkeiten 27

28 Reference tables Business Data Vault Raw Data Vault Big Data? 28

29 Ich freue mich auf Ihre Kommentare & Fragen! Michael Klose Section Manager BI Architektur & Strategie Mobile: