DWH-Modellierung mit Data Vault

Transkript

1 DWH-Modellierung mit Data Vault in Kombination mit ODI 12c - Erfahrungen aus der Praxis Claus Jordan Senior Consultant BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1 Ansicht > Kopf und Fusszeile DOAG-Konferenz 2014

2 Zu meiner Person CLAUS JORDAN SENIOR CONSULTANT BUSINESS INTELLIGENCE bei Trivadis seit 2003 Themengebiete Data Warehouse, Architektur und ETL Analyse und Reporting Technologien Oracle RDMBS Oracle OLAP Oracle BI Enterprise Edition 2 DOAG-Konferenz 2014

3 Unser Unternehmen Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum. Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: BETRIEB Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. 3 Trivadis das Unternehmen DOAG-Konferenz 2014

4 Mit über 600 IT- und Fachexperten bei Ihnen vor Ort Hamburg 12 Trivadis Niederlassungen mit über 600 Mitarbeitenden 200 Service Level Agreements Düsseldorf Frankfurt Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. / EUR 4.0 Mio. Stuttgart Finanziell unabhängig und nachhaltig profitabel Freiburg Basel Brugg Bern Zürich Lausanne München Wien Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden 4 Stand 12/ Trivadis das Unternehmen DOAG-Konferenz 2014

5 AGENDA Von den Anforderungen zum Data Vault Datenmodell Anforderungen Datenmodell Historisierung in Data Vault Bewertung von Data Vault ETL-Logik und -Prozesse mit ODI 12c Topology Models und Mappings ODI Knowledge-Module (Code Templates)

6 Von den Anforderungen zum Data Vault Datenmodell Systemlandschaft & Anforderungen

7 Systemlandschaft Heute OLTP (Operative HR-Drittsysteme) OLTP (Operative Non HR-Systeme) Flatfile (*.csv ) oder ODBC-Verbindung Unterschiedliche Schnittstellen OLTP (Operative HR-Systeme) Extrakte für Werkreporting OLAP (HR-Planungs- / Reportingssysteme)

8 Systemlandschaft Morgen OLTP (Operative HR-Drittsysteme) OLTP (Operative Non HR-Systeme) HR Data Warehouse OLTP (Operative HR-Systeme) Datenbank: Oracle 11g oder 12c Tools: Oracle Data Integrator 12c Oracle SQL Developer Oracle SQL Data Modeler OLAP (HR-Planungs- / Reportingssysteme)

9 Konzept und Datenmodell HR Data Warehouse Konzept (Teil 1) Aufbau und Technologie HR Data Warehouse Stage Cleanse Core Mart Vorgehensweise HR Data Warehouse Datenmodell (Teil 2) ER Diagramm Physische Datenmodelle

10 Data Vault Modelling von Dan Linstedt ( ) Die zentrale Komponente des Data Warehouses in unserer Architektur das Core wird bei diesem Modellierungsansatz als Data Vault bezeichnet. Ein Data Vault besteht aus drei verschiedenen Strukturen, die als Tabellen implementiert werden: Hubs enthalten ausschliesslich die Business Keys der fachlichen Entitäten sowie einen künstlichen Schlüssel, der von Links und Satellites referenziert wird. Beschreibende Attribute werden nie in Hubs abgespeichert, sondern in Satellites ausgelagert. Links beschreiben Beziehungen zwischen Entitätstypen (Hubs) und erlauben generell die Definition von n-zu-n- Beziehungen zwischen verschiedenen Hubs. Auf eine fachliche Abbildung der Kardinalitäten (1:1, 1:n, n:n) wie in der klassischen relationalen Datenmodellierung wird hier verzichtet. Satellites umfassen sämtliche beschreibenden Attribute von Entitätstypen oder Beziehungen in versionierter Form. Ein Satellite wird via Fremdschlüsselbeziehung einem Hub oder einem Link zugeordnet. Pro Hub/Link können mehrere Satellites definiert werden.

11 Umfang und Ziel des Prototyps Umfang Für eine begrenzte Anzahl von Entitäten und Beziehungen soll mit Hilfe des ETL Werkzeugs ODI ein Prototyp für das HR Data Warehouse erstellt werden. Für für die zentrale Schicht (Core) soll die Modellierungsmethode Data Vault zum Einsatz kommen. Ziel Es soll am praktischen Beispiel gezeigt werden, dass ODI das richtige Werkzeug und dass Data Vault für die aktuellen und zukünftigen Anforderung geeignet ist.

12 Von den Anforderungen zum Data Vault Datenmodell Datenmodell

13 Ausgangspunkt ist das logisches Datenmodell.... zum Beispiel für die Objekte Mitarbeiter + Adresse(n)

14 HR DWH - Physisches Datenmodell HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv????

15 1. Core (Data Vault Methode) HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv????

16 2. Cleanse HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv????

17 3. Stage HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv????

18 4. Data Mart HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv???

19 HR DWH - Physisches Datenmodell HR Data Warehouse Stage Cleanse Core Data Mart MA.csv LOC.csv

20 Bewertung von Data Vault

21 Bewertungskriterien für das Datenmodell Anzahl Tabellen / Anzahl ETL-Prozesse ETL - Komplexität für das Laden aus Cleanse in Core Laden aus Core in Data Marts Erweiterbarkeit ( Agile BI ) Datenredundanz / Datenvolumen Parallelisierbarkeit Abfragen von historisch korrekten Zeitreihen (Nachvollziehbarkeit)

22 Bewertung von Data Vault (1) Methode Kritieren \ Anzahl Tabellen und ETL-Prozesse ETL-Komplexität für das Laden aus Cleanse in Core mit Data Vault Relativ Hoch.. weil pro Entität zwei oder mehr Tabellen, plus eine oder mehrere Tabelle für jede Beziehung zwischen Entitäten, notwendig sind. Dies ermöglicht jedoch, gerade bei breiten Entitäten (z.b. Mitarbeiter), eine gezielte Gruppierung von Attributen und erleichtert somit die Übersicht. Pro Tabelle resultiert ein ETL- Prozess. Gering.. zumal keine performanceintensiven Updates notwendig sind. D.h. Datensätze werden nur dann eingefügt, wenn tatsächlich Änderungen an den betreffenden Attributen vorkommen. ETL-Komplexität für das Laden aus Core in Data Marts Mittel bis hoch.. aufgrund der Transformation vom normalisierten in das denormalisierte Datenmodell (Star- / Snowflake), und vor allen Dingen wegen der Bildung von neuen Gültigkeitsintervallen bei der Verknüpfung von unabhängig versionierten Stammdatenentitäten. Diese Logik kann beispielsweise in Datenbank-Views implementiert werden. Dadurch ist der Zugriff ähnlich einfach wie im dimensionalen Datenmodell und stellt somit kein KO-Kriterium dar.

23 Bewertung von Data Vault (2) Methode Kritieren \ Erweiterbarkeit ( Agile BI ) Datenredundanz / Datenvolumen mit Data Vault Hoch.. aufgrund fehlender Referenzen zwischen Entitäten, die jeweils unanabhängig voneinander erweitert oder angepaßt werden können. Gering.. durch Normalisierung (geringe Datenredundanz) und Splittung der Attribute, welche zu einer einer Hub-Table gehören, in mehrere Satellitentabellen Parallelisierbarkeit Historisierung / Nachvollziehbarkeit Hoch.. sowohl bei der Implementierung als auch im laufenden Betrieb beim Laden der Daten. Sämtliche Hub-Tables können parallel implementiert / geladen werden. Dasselbe gilt für alle Link-Tables und für die Satellite-Tables (jeweils Voraussetzung sind die Hub-Tables) Sehr hoch.. weil standardmäßig in den Satellite-Tables der DWH-Schicht Core jede Änderung historisiert wird und sei sie noch so gering.

24 ETL-Logik und ETL-Prozesse mit ODI 12c

25 Themen Wie funktioniert all dies im Prototyp? ODI Mappings ETL-Logik für Core-Mappings (Data Vault) ODI Knowledge-Module (Code-Templates)

26 ODI - Designer Models : Reengineering von Dateien und Datenbankobjekten basierend auf der logischen Architektur (Tab Topology ) Projects : ODI Mappings (ETL-Strecken) Knowledge-Module (generische Ladestrategien)

27 Beispiel für ein ODI Mapping

28 Mappings für verschiedene Aufgaben Stage-Mappings: Laden aus verschiedenen Datenquelle in die Stage- Tables. Attribute der Stage-Tables vom Typ VARCHAR2(4000), Truncate-Insert Cleanse-Mappings: Filterung (where), Verknüpfung (Join), Mengenoperationen (Union, Minus,..), Transformation (concat, nvl, to_date,...), Truncate-Insert Core-Mappings: Vergleichen und ggf. Historisieren (Merge, Insert). Updates und Deletes sollten möglichst vermieden werden! Mart-Mappings: Joins, Aggregation, Kalkulation, Stichtagstabellen (pro Data Mart sehr individuell)

29 Core-Mappings für Data Vault (3 Typen) Mappings für Hub-Tables: Welche Datensätze sind neu? Diese Datensätze einfügen (Insert) Link-Tables: Lookup zu den Hub-Tables Welche Datensätze sind neu? Diese Datensätze einfügen (Insert) Satellite-Tables: Lookup zur Hub-Table bzw. zu den Link-Tables Welche Datensätze sind neu oder haben sich geändert (Dabei werden nur die Attribute der zu ladenden Satellite-Tabelle berücksichtigt)? Diese Datensätze einfügen (Insert)

30 ETL Logik für Hub-Tables t 1 Cleanse-Table MA PERS_ID NAME 1006 Maier Hub-Table MA_H SK PERS_ID LOAD_DATE t 2 Cleanse-Table MA PERS_ID NAME 1006 Mayer Hub-Table MA_H SK PERS_ID LOAD_DATE t Änderungen von beschreibenden Attributen haben keine Auswirkung auf Hub-Tables

31 ETL Logik für Hub-Tables Cleanse-Table MA Hub-Table MA_H t 1 t 2 PERS_ID NAME 1006 Maier Cleanse-Table MA PERS_ID NAME 1006 Mayer SK PERS_ID LOAD_DATE INSERT INTO MA_H (PERS_ID, LOAD_DATE) SELECT cls.pers_id, SYSDATE FROM Hub-Table MA_H MA clssk PERS_ID LOAD_DATE WHERE NOT 1 EXISTS (SELECT * FROM MA_H hub WHERE hub.pers_id = cls.pers_id t

32 ODI-Mapping für Hub-Tables

33 Knowledge Module für Hub-Tables

34 ETL Logik für Link-Tables Hub-Table MA_H SK PERS_ID LOAD_DATE Hub-Table RE_H SK REGION LOAD_DATE 10 N S t 1 Cleanse-Table MA_RE PERS_ID REGION 1006 N Link-Table MA_RE_L SK SK_MA SK_RE LOAD_DATE Cleanse-Table MA_RE Link-Table MA_RE_L t 2 PERS_ID REGION SK SK_MA SK_RE LOAD_DATE 1006 S ? t Ist das richtig so? Ja. Wenn aber diese alte Beziehung als Ungültig oder Nicht Aktuell gesetzt werden soll, so wird für diese Link-Table eine Satellite-Table benötigt

35 ETL Logik für Link-Tables Hub-Table RE_H SK REGION LOAD_DATE Hub-Table MA_H 10 N SK PERS_ID LOAD_DATE INSERT INTO MA_RE_L (SK_MA, 20 S SK_RE, LOAD_DATE) t 1 t 2 Cleanse-Table MA_RE PERS_ID 1006 N Cleanse-Table MA_RE PERS_ID SELECT Link-Table MA_RE_L MA_H.SK SK_MA, RE_H.SK SK_RE, SYSDATE REGION SK SK_MA SK_RE LOAD_DATE FROM MA_RE cls JOIN MA_H ON (cls.pers_id = MA_H.PERS_ID) Link-Table MA_RE_L JOIN RE_H ON (cls.region = RE_H.REGION) 1006 S REGION SK SK_MA SK_RE LOAD_DATE WHERE NOT EXISTS (SELECT * FROM MA_RE_L link WHERE link.sk_ma = MA_H.SK AND link.sk_re = RE_H.SK) ? t

36 ETL Logik für Sat-Tables (4HUB) Hub-Table MA SK PERS_ID LOAD_DATE t 1 t 2 t 3 Cleanse-Table MA_RE PERS_ID NAME REGION 1006 Maier N Cleanse-Table MA_RE PERS_ID NAME REGION 1006 Maier S Cleanse-Table MA_RE PERS_ID NAME REGION 1006 Mayer S Sat-Table MA_S SK_HUB NAME LOAD_DATE 1 Maier Sat-Table MA_S SK_HUB NAME LOAD_DATE 1 Maier Sat-Table MA_S SK_HUB NAME LOAD_DATE 1 Maier Mayer Ein Insert in die Sat-Table erfolgt nur, wenn sich ein Attribut ändert! t

37 t 1 t 2 t 3 t ETL Logik für Sat-Tables (4HUB) Cleanse-Table MA_RE PERS_ID NAME REGION 1006 Maier N 1006 Maier S 1006 Mayer S Sat-Table MA_S SK_HUB NAME LOAD_DATE 1 Maier Hub-Table MA Cleanse-Table sat.load_date MA_RE = Sat-Table (SELECT MA_S MAX(LOAD_DATE) PERS_ID NAME REGION SK_HUB NAME LOAD_DATE SK PERS_ID LOAD_DATE INSERT INTO MA_S (SK_HUB, NAME, LOAD_DATE) SELECT sat.sk_hub cls.name, SYSDATE FROM MA_H hub Cleanse-Table MA_RE Sat-Table MA_S JOIN MA_REG cls SK_HUB ON (hub.pers_id NAME LOAD_DATE = cls.pers_id) PERS_ID NAME REGION 1 Maier JOIN MA_S sat ON (hub.sk = sat.sk_hub) WHERE FROM MA_S 1 WHERE MaierSK_HUB = sat.sk_hub) AND 1 Mayer (cls.name!= sat.name OR cls.birthday!= sat.birthday OR...)

38 t 1 ETL Logik für Sat-Tables (4LINK) Link-Table MA_RE_L SK SK_MA SK_RE LOAD_DATE Cleanse-Table MA_RE Sat-Table MA_RE_S PERS_ID NAME REGION SK_LNK OUT_OF_DATE LOAD_DATE 1006 Maier N t 2 Cleanse-Table MA_RE PERS_ID NAME REGION 1006 Maier S Sat-Table MA_RE_S SK_LNK OUT_OF_DATE LOAD_DATE Link-Table MA_RE_L SK SK_MA SK_RE LOAD_DATE t Wenn die Beziehung zu Region N ab t 2 nicht mehr gültig ist, so wird in einem speziellen Attribut das entsprechende Datum eingetragen. Hier ist also ein Update unumgänglich

39 Knowledge-Module (Code Templates) Funktionsweise

40 Typen von Knowledge-Modulen (KM s) Es gibt unterschiedliche KM-Typen für Reverse-Engineering (RKM s) Loading (LKM s) Check (CKM s) Integration (IKM s).. KM s für verschiedenste Technologien werden mitgeliefert Kopieren und anpassen KM s können auch von Grund auf neu entwickelt werden Einem Mapping werden ein oder mehrere KM s zugeordnet z.b. LKM, IKM und CKM

41 KM (1)

42 KM (2) Ein KM besteht aus Tasks (Einzelschritte), die nacheinander abgearbeitet werden, z.b. 1. Truncate Target Table 2. Deltadetection 3. Insert Target Table 4. Update Target Table 5. Commit

43 Zusammenfassung

44 Zusammenfassung Durch die mehrschichtige Architektur des HR Data Warehouse sind Datenströme und Transformationen sehr gut nachvollziehbar. Außerdem sind die Mappings dadurch wenig komplex. Das Data Vault Datenmodell ist ideal.... wenn eine lückenlose Historisierung der Daten erwünscht ist.. wenn wenig Datenredundanz und damit hohe Datenkonsistenz notwendig ist.. wenn der Aufwand für das Hinzufügen neuer Entitäten, Attribute und Beziehungen möglichst klein sein soll.. wenn rückwirkende Änderung von Stamm- und Bewegungsdaten jederzeit möglich sein sollen.. Wenn parallel entwickelt werden soll Mit den Knowledge Modulen von ODI können alle möglichen Ladestrategien und Sonderfälle effizient abgebildet werden

45 Weitere Informationen ODI 12c Trainings 2. HJ business-intelligence/ oracle-data-integrator-workshop-fuer-praktiker-o-odi.html Trivadis Whitepaper Comparison of Data Modeling Methods for a Core Data Warehouse

46 Fragen und Antworten... Claus Jordan Senior Consultant Stuttgart Tel BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN

47 Trivadis an der DOAG Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch. Denn mit Trivadis gewinnen Sie immer. DOAG-Konferenz 2014