DataVault in der Praxis

Transkript

1 überraschend mehr Möglichkeiten! DataVault in der Praxis Nur ein Werbeversprechen? Marcel Aretz OPITZ CONSULTING 2016

2 Agenda A B C D Vorgeschichte und Prioritäten Wie wäre es mit DataVault? Unser Leben mit DataVault Lessons Learned / Fazit OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 2

3 Vorgeschichte und Erwartungen A OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 3

4 Vorgeschichte Gewachsenes Data-Warehouse auf Oracle- Exadata-Basis In 15 Jahren von x-entwicklern weiterentwickelt Zahlreiche Entwicklerdialekte Wenig Konventionen Logik über alle Schichten verteilt Fehlersuche und Erweiterung extrem aufwändig OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 4

5 Erwartungshaltung an neues Data-Warehouse Klare Konventionen Klare Trennung der Schichten Logik nicht überall verteilt Inkrementell erweiterbar Agile Projektvorgehen Weitere Quellsysteme einfach integrierbar Einfachere Prozesslogik Hohe Prozesstransparenz OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 5

6 Wie wäre es mit DataVault? B OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 6

7 Wie wäre es mit DataVault? Klare Konventionen Die Regeln für Hubs / Links / Satelliten sind klar vorgegeben Namenskonventionen LINK SAT HUB Klare Trennung der Schichten Raw-Data-Vault (RDV) Business-Data-Vault (BDV) Information-Mart (IM) Logik nicht überall verteilt harte Transformationen nur in BDV Notfalls zwischen BDV und IM OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 7

8 Wie wäre es mit DataVault? Inkrementell erweiterbar / Agiles Projektvorgehen eine Stärke von DataVault Erweiterung durch neue Objekte Weitere Quellsysteme einfach integrierbar Einfachere Prozesslogik Alles easy immer die gleichen Transformationen Alles nach Schema F klare Typisierung von Tabellen und damit Ideal für Automatisierung / Generierung OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 8

9 DataVault ist gesetzt! Oracle Exadata X6 es wird kein ETL-Tool verwendet eigener Code-Generator (mit APEX-Oberfläche) Flüchtiges Staging (STG) Persistentes Staging (PSA) Raw-Data-Vault (RDV) Business-Data-Vault (BDV) Information-Mart (IM) S S S H L S H S S L H S H S OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 9

10 Unser Leben mit DataVault Automatisierung: Der Generator C Hashes: Sinn und Unsinn Unsere Erfahrungen: Gute und Schlechte OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 10

11 Automatisierung: Der Generator Wird für alle Schichten bis auf den Information- Mart verwendet Hubs ohne zusammengesetzte Schlüssel (noch) keine Filter möglich Links / Satelliten Kapselung von Logik über Views View kann als Skelett erzeugt werden OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 11

12 Automatisierung: Der Generator Schema RDBMS Flat-Files JSON DWH-DB APEX-Masken 3NF-Metadaten PL/SQL-Bausteine Andere Quellen External- Table PL/SQL-Packages Quellsysteme DB-Link MetaDB GIT Oracle SQL Developer Data Modeller (RDV / BDV / IM) DDL DDL (STG/PSA/RDV) OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 12

13 Automatisierung: Der Generator Fazit Funktioniert prima Ausbaufähig Code-Optimierungen einfach ausrollbar Alle Packages sehen gleich aus Kein fehleranfälliges Copy & Paste OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 13

14 Hashes: Sinn und Unsinn DV2.0 verwendet Hashes als Schlüssel über Krypto-Funktionen (z.b. MD5 / SHA1) Hash-Funktion ist nicht umkehrbar BusinessKeys werden durch Hash-Funktionen in künstliche Schlüssel überführt Hoffentlich exakt 1-zu-1 Mapping SurrogateKeys können über BusinessKeys erraten werden Warum dann nicht gleich den BusinessKeys als technischen Schlüssel? OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 14

15 KUNDEN ARTIKEL Hashes: Sinn und Unsinn BK SHA1 BK (mod) SHA1 (mod) 1 356a192b HARTI~^1 431f95ea 106 ac3478d6 HARTI~^ e f37062d9 HARTI~^ da HARTI~^333 b7f1f524 BK SHA1 BK (mod) SHA1 (mod) 1 356a192b HKUND~^1 159a9c86 2 da4b9237 HKUND~^ ee2 3 77de68da HKUND~^3 5fe680f5 4 1b HKUND~^4 f ac3478d6 HKUND~^5 9dbf1abd SHA1 40 CHAR Trennzeichen ~^ Gleicher Hash für unterschiedliche Objekte? Modifizierter BK für Hashing Salting Ist BK(mod) nicht der bessere künstliche Schlüssel? OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 15

16 Hashes: Sinn und Unsinn Wenig Mehrwert Birgt Risiko von Kollisionen Mit 40-Char (SHA1) deutlich länger als unser durchschnittlicher BK Ermöglicht paralleles Laden Wirklich BigData-Ready? OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 16

17 Bittere Erfahrungen: Nicht jede Abkürzung spart Zeit Regeln brechen rächt sich: Ich leg einfach eine neue Spalte an Oder besser doch ein neuer Satellit? Was passiert mit den alten Daten? Satellit neu laden? Die Historie steckt ja in der PSA? Patchen? Die Logik speziell im BDV kann sehr komplex werden das joine ich schnell auf dem Weg in den RDV Und wie erkenne ich dann das Delta? Vollabgleich? Regeln brechen sollte gut überlegt sein! OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 17

18 Bittere Erfahrungen: Einfacher wird s nicht Die Businesslogik ist so kompliziert wie sie ist! Ist tendenziell sogar komplizierter zu implementieren Abhängigkeiten im BDV lassen sich nicht eliminieren z.b. wiederverwendete Berechnungen Modellierung ist nicht einfach OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 18

19 Gute Erfahrungen: Erweiterbarkeit Inkrement 2 S_KUND_ADDR_STAMMDATEN L_KUND_ADDR H_ADRESSEN S_ADDR_STAMMDATEN S_KUND_DETAILS L_KUND_KUTY H_KUNDEN S_KUND_STAMMDATEN L_KUND_HÄND H_KUNDENTYPEN S_KUTY_STAMMDATEN Inkrement 1 H_HÄNDLER S_HAEN_STAMMDATEN DataVault in der Praxis Nur ein Werbeversprechen? Seite 19 OPITZ CONSULTING 2016

20 Lessons Learned / Fazit DataVault läßt sich sehr gut automatisieren Hashes sorgen für viele Diskussionen und wenig Nutzen Regeln einhalten! Es wird in Summe nicht einfacher werden Modellierung wird immer wieder Fragen aufwerfen Die Erweiterbarkeit ist gegeben wenn sich an die Regeln gehalten wird D OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 20

21 Fragen & Antworten OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 21

22 überraschend mehr Möglichkeiten! Seit 2006 antworte ich auf die Frage Was machst Du eigentlich beruflich? folgendes: Ich begleite Daten jeglicher Form von dem Punkt an, an dem sie in Maschinen und Anwendungen entstehen, bis zum Endstadium in Form einer validen Aussage in den Köpfen der Entscheider oder Nutzer. Marcel Aretz OPITZ CONSULTING Deutschland GmbH Standort Hamburg Landwehr Hamburg marcel.aretz@opitz-consulting.de Mobil: OPITZCONSULTING opitzconsulting opitz-consulting-bcb OPITZ CONSULTING 2016 DataVault in der Praxis Nur ein Werbeversprechen? Seite 22