TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: @TDWI_EU

Transkript

1 BLUEFORTE GmbH Dirk Lerner TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling Twitter: @TDWI_EU 1 Elemente des Data Vault (Basic) HUB Only Key & nothing else z.b. Kundennummer, Artikelnummer Surrogate Key (PK) Key Audit Informationen Hub Customer SEQ Customer Customer ID Hub Customer LDTS Hub Customer RSCR LINK Only Relationship & nothing else z.b. Bestellung eines Artikels durch einen Kunden Surrogate Key (PK) SKs der Hubs (FK) Audit Informationen Lnk Customer CustClass SEQ Customer CustClass SEQ Customer (FK) SEQ CustClass (FK) Lnk Customer CustClass LDTS Lnk Customer CustClass RSCR TRENNUNG VON BUSINESS KEY, RELATIONEN UND KONTEXT ELLITE Only Context & nothing else (History) z.b. Kundenadresse SKs der Hubs (FK) + Datum Audit Informationen Kontextattribute Sat Customer SEQ Customer (FK) Sat Customer LDTS First Name Last Name Salutation Zip City Street Sat Customer RSCR Sat Customer LEDTS REFERENCE Only Reference Data Tabellen wie Kalender, Zeit, Code Beschreibungen Werden sehr oft referenziert 2 1

2 Vorgehen Data Vault Modellierung HUB Ermitteln der Geschäftsobjekte und eindeutiger Keys LINK Ermitteln von Beziehungen zwischen den Geschäftsobjekten (HUBs) Orientierung an den Geschäftsprozessen des Unternehmens REFERENCE (OPTIONAL) Ermitteln von CODEs, die Referenzen darstellen ELLITE Hinzufügen beschreibender Informationen zu den Geschäftsobjekten (HUBs) und den Beziehungen (LINKs) 3 Data Vault 3NF EDW nach Data Vault Customer EDW Customer ID Date Timestamp First Name Last Name Salutation Zip City Street Customer Class ID (FK) Date Timestamp (FK) Key Context Relationship Lnk Customer CustClass SEQ Customer CustClass SEQ Customer (FK) SEQ CustClass (FK) Lnk Customer CustClass LDTS Lnk Customer CustClass RSCR Hub CustClass SEQ CustClass CustClass ID Hub CustClass LDTS Hub CustClass RSCR Hub Customer SEQ Customer Customer ID Hub Customer LDTS Hub Customer RSCR Sat Customer SEQ Customer (FK) Sat Customer LDTS First Name Last Name Salutation Zip City Street Sat Customer RSCR Sat Customer LEDTS 4 2

3 Regelwerk Data Vault (1.0) Ein HUB kann nicht direkt mit einem anderen HUB verknüpft werden. Die Beziehung zwischen HUBs erfolgt immer mit einem LINK. Ein LINK kann mit einem anderen LINK verknüpft werden. Ein LINK muss mit zwei oder mehr HUBs bzw. LINKS verknüpft werden. Ein ELLITE muss mit einem HUB oder LINK verknüpft werden. Ein ELLITE kann nicht mit einem anderen ELLITE verknüpft werden. Ein HUB oder LINK kann mit mehr als einem ELLITE verknüpft werden. 5 Data Warehouse Architektur CIF 1.0 HUB & SPOKE KLASSISCH Single Point of Truth Komplexe wirken auf die Daten vor dem Laden in das Data Warehouse History Integration ETL Hard + Soft EDW (3NF) ETL Meta Data 6 3

4 Data Warehouse Architektur CIF 2.0 HUB & SPOKE DATA VAULT = RAW DV + BUSINESS DV Komplexe wirken auf die Daten nach dem Laden in das Data Warehouse Zum Zum Data Vault History Integration E T L Hard EDW (Data Vault = Raw DV + DV) ETL Soft Meta Data 7 Data Warehouse Architektur CIF 2.0 HUB & SPOKE DATA VAULT = RAW DV + BUSINESS DV Komplexe wirken auf die Daten nach dem Laden in das Data Warehouse Zum Zum Data Vault EDW EDW Data Vault Data Vault Raw Data Vault Soft Data Vault (Extension) ETL Soft 8 4

5 Data Warehouse Architektur Data Vault 2.0 INTEGRATION NOSQL MIT HASHKEYS E T L Hard EDW Data Vault 2.0 = (Raw DV + DV) ETL Soft Hadoop / NoSQL Meta Data Data Vault 2.0 Dan Linstedt, 2014 LearnDataVault.com with permission 9 Data Vault ETL Übersicht PARALLELISIERUNG Alle Jobs werden parallel ausgeführt Wenn möglich! Prozessgruppen warten auf beendete vorherige Prozessgruppen Prozesse werden, sobald Daten bereitstehen, ausgeführt Abhängigkeiten sind weitestgehend reduziert, keine sonstigen Wartezeiten Staging Loads Data Vault Loads Source Stage Hubs Hub Satellites Loads Links Link Satellites Dimensions Facts 10 5

6 Data Warehouse Architektur ACCESS LAYER BI View OLTP View ODS View BUSINESS LAYER ( TRUTH ) Logical Data View/Model Logical Data View/Model Logical Data View/Model CORE LAYER Source Vault, Data Vault, Rule Vault, STAGING LAYER Transformation Copy of Source, CDC SOURCE SYSTEMS Host Transformation SAP Custom System Big Data (Hadoop) 11 Data Warehouse Design Agile WARUM AGILE? Big Bang DWHs scheitern : Resultate brauchen sehr lange, Erwartungen bleiben unerfüllt Unklare und unbeständige Anforderungen Anforderungen ändern sich in kurzen Intervallen das DWH muss mithalten BI Anforderungen sind an sich instabil (Neue) Informationen treiben Veränderungen (Neue) Daten Neue Erkenntnisse Neue Anforderungen 12 6

7 Data Warehouse Design Prinzipien hinter dem Agilen Manifest Unsere höchste Priorität ist es, den Kunden durch frühe und kontinuierliche Auslieferung wertvoller Software zufrieden zu stellen Data Warehouse Design Prinzipien hinter dem Agilen Manifest Liefere funktionierende Software regelmäßig innerhalb weniger Wochen oder Monate und bevorzuge dabei die kürzere Zeitspanne

8 Colors of Data Modeling ANALYSE FARBKATEGORIEN Key Association / Relationship Detail / Context ENTITÄT 3NF EDW Customer EDW Customer ID Date Timestamp First Name Last Name Salutation Zip City Street Customer Class ID (FK) Date Timestamp (FK) Customer EDW Customer ID Date Timestamp First Name Last Name Salutation Zip City Street Customer Class ID (FK) Date Timestamp (FK) Key Context Relationship Data Vault Colors from the Book Modeling the Agile Data Warehousing with Data Vault Hans Hultgren 15 Data Warehouse Design Agile MODELLERWEITERUNG Neue Geschäftsobjekte und Beziehungen Abwärtskompatibel Supplier Customer LINK LINK Product 16 8

9 Data Warehouse Design Agile ACCESS LAYER Data Mart Views OLTP View Geo Mart Master Data Mart Data Mart Start Schema Cube Data Mart BUSINESS LAYER ( TRUTH ) Logical Data View Model CORE LAYER Data Vault STAGING LAYER Copy 1 Copy 2 Copy 3 Copy n Copy 2 SOURCE SYSTEMS Source 1 Source 2 Source 3 Source n Source t 17 Data Warehouse Architektur Kundenbeispiel ACCESS LAYER + BUSINESS LAYER BI View Cube Logical Data View/Model CORE LAYER Data Vault, Rule Vault STAGING LAYER Transformation Copy of Source SOURCE SYSTEMS CRM Transformation SEM Custom System 18 9

10 Data Warehouse Design Agile Implementierung von Hand oder Automatisierung mit Tool? 19 Data Warehouse Design Agile DER WEG ZUR AUTOMATISIERUNG Klein anfangen, aber immer mit der Automatisierung beginnen Niemals mit der Automatisierung aufhören Niemals das automatisieren, was die verwendete Plattform selbst kann Automatisierung ist nicht das Ziel. Das Ziel ist das Data Warehouse DWH AUTOMATION FÜHRT ZU KÜRZEREN ENTWICKLUNGSZYKLEN MÖGLICHKEITEN DER AUTOMATISIERUNG Datenmodelle ETL Prozesse Ausführung und Protokollierung (Logging) Deployment Testing 20 10