Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault

Transkript

1 Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault Herbert Rossgoderer Geschäftsführer Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH

2 ISE Information Systems Engineering Gegründet 1991 Mitarbeiteranzahl: 50 Hauptsitz in Gräfenberg, Niederlassungen in München und Nürnberg Schwerpunkte: Oracle Engineered Systems (Exadata / Exalogic / Exalytics) Data Warehousing & Business Intelligence Oracle DB Migrationen, Optimierungen, Hochverfügbarkeit Managed Service für Datenbanken, BI und Middlewareapplikationen Oracle Partner Engineered Systems Award 2013 Copyright (C) ISE GmbH - All Rights Reserved 2

3 ISE Oracle Technology Center Copyright (C) ISE GmbH - All Rights Reserved 3

4 ISE Oracle Technology Center Erstes und einziges Exastack Technology Center in Deutschland in Nürnberg Copyright (C) ISE GmbH - All Rights Reserved 4

5 Überblick Data Vault Historischer Überblick Grundsätzliche Annahmen Ziele in der DWH Entwicklung Key Indikatoren eines Agilen DWH Data Vault Automatisierung Engineered Systems Agiles DWH PoC Copyright (C) ISE GmbH - All Rights Reserved 5

6 Data Vault Historischer Überblick (Linstedt, Graziano, & Hultgren, The New Business Supermodel, The Business of Data Vault Modeling, 2008, p. 36) Data Vault 1.0 Specification and certification (CDVDM) is now outdated. It focused highly on *just* Data Vault modeling. Data Vault 2.0 has arrived on the scene as of 2013 and brings to the table: Big Data, NoSQL, Unstructured, Semi-Structured seamless integration. Along with methodology, architecture, and implementation best practices. Copyright (C) ISE GmbH - All Rights Reserved 6

7 Grundsätzliche Annahmen Eine gemeinsame Geschäftssprache ist sehr schwierig zu definieren und meistens existieren verschiedene Geschäftsdefinitionen für das gleiche Geschäftskonzept Ein Unternehmensdatenmodell kann nicht auf einer einzigen Version der Wahrheit (SVOT) in einem Unternehmen basiert sein Kunden kennen und verstehen ihre Daten für 60 bis 70% Die anderen 30% bis 40% funktionellen Anforderungen werden während der UAT (User Accaptence Tests) gefunden und müssen zusätzlich entwickelt werden Wir brauchen die atomaren historisierte Datenansicht so bald wie möglich Ein Unternehmen wird sich ändern - ein Status Quo bedeutet Rückschritt Ein Unternehmensgeschäftsmodel das sich nicht ändert, gibt es nicht Ein Datenmodell muss leicht anpassbar, erweiterbar, sein ohne Auswirkungen auf die bestehenden Entitäten Copyright (C) ISE GmbH - All Rights Reserved 7

8 Single Version of Truth vs. Single Version of Facts Grundlage Geschäftsdefinition Grundlage Quelle Copyright (C) ISE GmbH - All Rights Reserved 8

9 Ziele in der DWH Entwicklung Implementationszeit senken, Kosten minimieren und Abfrage Performance erhöhen: Zeit, Kosten Möglichst hohe Automatisierung im Data Warehouse Möglichst wenig Eigenentwicklungen Automatisierung basierend auf Data Vault Implementation Hohe Flexibilität im Datenmodel (Data Vault) Historische Daten (Data Vault) Performance Geschwindigkeit der Engineered Systems (Data Vault, Exadata) Reduktion des Persitent Layer durch hohe Performance der Engineered Systeme (Automatisierung basierend auf Exalytics) Copyright (C) ISE GmbH - All Rights Reserved 9

10 Key Indikatoren eines Agilen DWH Data Vault Modell Automatisierung Hochperformante Hardware z.b. Engineered Systems Exadata Exalytics Copyright (C) ISE GmbH - All Rights Reserved 10

11 Data Vault Theorie Copyright (C) ISE GmbH - All Rights Reserved 11

12 Data Vault - Beispiel Copyright (C) ISE GmbH - All Rights Reserved 12

13 Data Vault Vergleich Pro Erweiterbares Modell aufgrund von Auslagerung von Schlüsseln & Beziehungen Standardisierter Ansatz unterstützt Generierung von Datenmodell & ETL Code Vollständig gelöstes Modell liefert gute Extraktionsleistung Kontra Vervielfältigt die Anzahl der Entitäten im Vergleich zu 3 NF mindestens um den Faktor 3 Copyright (C) ISE GmbH - All Rights Reserved 13

14 Data Vault - Basis Regeln Nur Inserts (HUB, LINK) Satellit Langsame Änderung Typ-2-Logik 1 FK Beginn, End Datum HUB, LINK kann mehrere SATs haben LINK Gültigkeit -> offiziell im SAT Copyright (C) ISE GmbH - All Rights Reserved 14

15 Automatisierung Voraussetzungen für Code-Generierung: Häufige Wiederverwendung des Codes Viele Objekte mit unterschiedlicher Struktur, die auf einheitliche Weise umgewandelt werden müssen Hohes Standardisierungsniveau möglich Strikter Modellierungsansatz, der bei der Implementierung eines bestimmten Modells keine großen Abweichungen zulässt Leichte und standardisierte ETL-- Logik möglich Metadaten für die Code-Generierung können für einen hohen Prozentsatz (über 50 %) generiert werden Datenbank-Data Dictionary lesen ETL-Tool-Metadaten lesen DDL-Datei lesen Copyright (C) ISE GmbH - All Rights Reserved 15

16 Automatisierung am Beispiel Tripwire DWH Accelerator Copyright (C) ISE GmbH - All Rights Reserved 16

17 Engineered Systems - Exadata Hoch Performantes Datenbanksystem Realtime Abfrage des Foundation Layers möglich Durch zukünftige In-Memory Funktionalität Abfrage im Foundation Layer performant Copyright (C) ISE GmbH - All Rights Reserved 17

18 Engineered Systems Exalytics Key Features OBIEE Summary Advisor in OBIEE Aggregat Erstellung Timesten InMemory Hardware Optimization on BI Publisher, OBIEE and Essbase Copyright (C) ISE GmbH - All Rights Reserved 18

19 Engineered Systems Summary Advisor and Aggregates Prinzip 1. Use Dashboards 3. Run Aggregates 2. Run Summary Advisor Copyright (C) ISE GmbH - All Rights Reserved 19

20 Summary Advisor and Aggregates Usage Tracking Interactive Dashboards Answers Reports Oracle BI Server Usage Tracking Usage Tracking User Data Copyright (C) ISE GmbH - All Rights Reserved 20

21 Summary Advisor and Aggregates Summary Advisor BI Model Sumary advisor Script Usage Tracking Copyright (C) ISE GmbH - All Rights Reserved 21

22 Engineered Systems Aggregates Building Aggregates Interactive Dashboards Answers Reports Logical SQL Script Oracle BI Server Physical SQL Usage Tracking User Data Oracle TT Copyright (C) ISE GmbH - All Rights Reserved 22

23 Engineered Systems Query New Query Interactive Dashboards Answers Reports Logical SQL Oracle BI Server Physical SQL Usage Tracking User Data Oracle TT Copyright (C) ISE GmbH - All Rights Reserved 23

24 Agiles DWH PoC 50 % 50 % Copyright (C) ISE GmbH - All Rights Reserved 24

25 Agiles DWH PoC Model 1: Physical Layer FL (data vault) import based on views Import Views (Business Data Vault) Model 2: Business Model Federated Model based on Foundation Layer Aggregates in TimesTen Copyright (C) ISE GmbH - All Rights Reserved 25

26 Agiles DWH PoC Model 1: View Layer Model 2: Aggregates 50 % -> 20 % 50 % -> 20 % Copyright (C) ISE GmbH - All Rights Reserved 26

27 Agiles DWH PoC Data Vault Layer Based on real implementation 8TB raw Data Compressed to 1,6 TB 305 Tables, Satellite with 1.6 Billion records 60 GB Time spent About 14 Days 2 days load data, 5 days tune data vault tables query 2 days view concept 3 days RPD Approach 2 days testing results Copyright (C) ISE GmbH - All Rights Reserved 27

28 Agiles DWH PoC Data Filter for 1 year Number of corresponding FL records in fact : > 300 million Single Dimension FL performance (views) Times Ten Performance Standard Measure +/- 40 sec < 1 sec Level Based Measure +/- 40 sec < 1 sec Share +/- 40 sec < 1 sec TimeSeriesFunctions +/- 60 sec < 1 sec Copyright (C) ISE GmbH - All Rights Reserved 28

29 Agiles DWH PoC Data Filter for 1 year Number of corresponding FL records in fact : > 300 million Multi Dimension FL performance (views) Times Ten Performance Standard Measure +/- 80 sec < 1 sec Level Based Measure +/- 80 sec < 1 sec Share +/- 70 sec < 1 sec TimeSeriesFunctions +/- 80 sec < 1 sec Copyright (C) ISE GmbH - All Rights Reserved 29

30 Q & A Copyright (C) ISE GmbH - All Rights Reserved 30