Simplify Data Warehouse Approach

Transkript

1 Simplify Data Warehouse Approach Die Methode zu modernem BI-Lifecyclemanagement tdwi 2013 München Dani Schnider Gregor Zeiler BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1

2 agile Why Simplify vorzeigbare Ergebnisse Geschwindigkeit Kurze Releasezyklen time to market Anpassungsmöglichkeit Komplexität Data driven Dimensional modelling Kimball Standards Architekturen Implementierungszeit Routinetätigkeiten Relational modelling Flexibilität Reaktionszeiten Data Vault Stakeholder Einbindung Business driven Inmon 2

3 Simplify Data Warehouse Approach Methode zum agilen DWH Lifecyclemanagement PROZESS DESIGN REALISIERUNG METHODEN VORGEHEN TOOLS AGILITÄT MODELLIERUNG ARCHITEKTUREN STANDARDS BEST PRACTICES AUTOMATISIERUNG INDUSTRIALISIERUNG DOKUMENTATION LIFECYCLE SUPPORT 3

4 PROZESS 4

5 EVENT PURCHASE ORDERS Employee purchases Component COMPONENT DELIVERIES Supplier delivered Component SUPPLIER PAYMENTS Employee pays Supplier COMPONENT INVENTORY LEVELS Plant stocks Component BILL OF MATERIALS Product made from Component MANUFACTURING PROCESSES Plant runs Process PRODUCT INVENTORY LEVELS Warehouse stocks Products WAREHOUSE SHIPMENTS Carrier ships Product RESELLER INVENTORY Reseller stocks Product RESELLER SALES Reseller sells Product MANUFACTURING PLANS Plant builds Product who Importance Estimate what where why & how stakeholder group Fact usage count Prozess Herausforderungen Abfolge, Dauer und Effizienz Requirements Definition Traditioneller Projekt Approach IT Solution Design Development & Test Release Estimate Importance Dimensions Sequence RESELLER SUPPLIER EMPLOYEE CARRIER TEST PROCESS PRODUCT COMPONENT STORE WAREHOUSE PLANT PO SHIP MODE CONTRACT Logistics Manufacturing Product Development Finance Marketing Sales Lange Release Durchlaufzeiten Risiko von überholten Deliverables Viele Tool Switches, Medienbrüche Umfangreiche Specifikation Wir benötigen mehr Effizienz mehr Agilität! 5

6 EVENT PURCHASE ORDERS Employee purchases Component COMPONENT DELIVERIES Supplier delivered Component SUPPLIER PAYMENTS Employee pays Supplier COMPONENT INVENTORY LEVELS Plant stocks Component BILL OF MATERIALS Product made from Component MANUFACTURING PROCESSES Plant runs Process PRODUCT INVENTORY LEVELS Warehouse stocks Products WAREHOUSE SHIPMENTS Carrier ships Product RESELLER INVENTORY Reseller stocks Product RESELLER SALES Reseller sells Product MANUFACTURING PLANS Plant builds Product who Importance Estimate what where why & how stakeholder group Simplify Data Warehouse Approach agile DWH Lifecyclemanagement Closed loop Design & Development Prozess Design Lifecycle Development Schnell und standardisiert Strukturiert und effizient Estimate Importance Dimensions Sequence RESELLER SUPPLIER EMPLOYEE CARRIER Design App TEST PROCESS PRODUCT COMPONENT STORE WAREHOUSE PLANT PO SHIP MODE CONTRACT Logistics Manufacturing Product Development Finance Marketing Sales Fact usage count Generator 6

7 Prozess Herausforderungen Agile DWH Development Prozess 1 Backlog Item 2 Data Story (by PO, Basis für Grooming) Grooming Data Story (gegroomt, by Dev. Team, ready for Sprint ) 1 Sprint Planning Sprint Review Design Development 4 Dev. Data Story (by Dev. Team, Progress im Daily) 5 Review Product (presented by Dev. Team) 7

8 Prozess Herausforderungen Agile DWH Development, Data Stories Data Story Data Requirements (nicht funktional) Fokus auf Business Events Sample: Definition: Problem: Wer tut was wann, wo, wie viel, warum, wie (7W s) Kunde bestellt Produkt Kunde schließt Versicherungspolizze ab VN meldet Schaden Lieferant liefert Rohmaterial Business Events beinhalten den atomaren Level von messbaren Details von Business Prozessen. User Stories in Form von Report-Requirements decken meistens nur Subsets von Data Requirements ab! 8

9 Prozess Herausforderungen Methode, Vorgehen Business Driven Analyse Bedarf treibt Modellierung Model Driven Referenzmodelle/ Modellierungsoptionen treiben Modellierung Source Source Data Source Driven Datenstrukturen der Datenquellen treiben Modellierung Das Zusammenspiel bringt den größten Nutzen! 9

10 Talk Wie lange sind aktuell Ihre Releasezyklen im Data Warehouse? A) 1 Release / Jahr oder länger B) 2 Releases /Jahr C) 3 oder mehr Releases / Jahr Wer hat bereits Erfahrungen mit agilen Vorgehensweisen im Bereich BI (speziell im Data Warehousing)? Welchen Modellierungsansatz verfolgen Sie vorwiegend? A) Business Driven B) Data Source Driven C) Model Driven 10

11 DESIGN 11

12 DWH-Architektur Data Mart Historisierung DWH-Core im Datenbereinigung Cleansing Staging Source Source Source 12

13 Datenbereinigung und Fehlerbehandlung Behandlung von Fehlern im ETL: Ignorieren der fehlerhaften Datensätze Filterung und in Fehlertabelle schreiben Zuweisung von Singletons (Defaultwerten) Generierung von Embryo-Einträgen Abbruch der Verarbeitung und manuelle Korrektur Kosten Datenqualität Aktualität Geeignetes Vorgehen abhängig von Anforderungen an Datenqualität und Aktualität sowie von Aufwand (Kosten) 13

14 Datenbereinigung in Cleansing Area Unbekannte Codewerte Variante Singleton STG_PRODUCTS Edradour, M Glenfarclas, S Macallan, S Bowmore, I Auchentoshan, L Lookup CLS_PRODUCTS Edradour, 300 Glenfarclas, 100 Macallan, 100 Bowmore, 400 Auchentoshen, -1 ID CODE REGION_NAME -1? Unknown 100 S Speyside 200 H Highlands 300 M Midlands 400 I Islay 14

15 Datenbereinigung in Cleansing Area Unbekannte Codewerte Variante Embryo STG_PRODUCTS Edradour, M Glenfarclas, S Macallan, S Bowmore, I Auchentoshan, L Lookup CLS_PRODUCTS Edradour, 300 Glenfarclas, 100 Macallan, 100 Bowmore, 400 Auchentoshen, 500 ID CODE REGION_NAME 100 S Speyside 200 H Highlands 300 M Midlands 400 I Islay 500 L Unknown 15

16 Historisierung im Core Dimensionales Core: Slowly Changing Dimensions Type 1: Überschreiben der Attributwerte Type 2: Vollständige Versionierung Type 3: Historisierung der letzten Änderung Relationales Core: Stammdaten-Versionierung Head-Tabellen Versions-Tabellen 16

17 Stammdaten-Versionierung im Core Head- Tabelle Head-Tabelle Entitäts-ID (Surrogate Key) Business Key / Primary Key des Quellsystems Statische Attribute (SCD 1) Statische Beziehungen Versions- Tabelle Versions-Tabelle Versions-ID (Surrogate Key) Entitäts-ID (Fremdschlüssel auf Head-Tabelle) Gültigkeitsdauer (Gültig von Gültig bis) Dynamische Attribute (SCD 2) Dynamische Beziehungen 17

18 Stammdaten-Versionierung im Core Beispiel Core Adresse (Head-Tabelle) Kunde (Head-Tabelle) Konto (Head-Tabelle) Adresse (Versions-Tabelle) Kunde (Versions-Tabelle) Konto (Versions-Tabelle) 18

19 Standardisiertes DWH-Modell Staging Area Cleansing Area Core Data Marts 19

20 Talk Wie sieht Ihr Core DWH aus? A) Dimensionales Modell (Ralph Kimball) B) Relationales Modell (Bill Inmon) C) Data Vault Modell (Dan Linstedt) Wie gehen Sie mit Fehlern um? A) Fehler werden toleriert (bis zu einem gewissen Maximalwert) B) Automatische Fehlerbehandlung (Singletons, Embryos,...) C) ETL-Abbruch und manuelle Bereinigung im Fehlerfall Wie historisieren Sie Ihre Stammdaten im Core? A) Slowly Changing Dimensions Type 2 B) Versionierung mit Head-/Versionstabellen C) Regelmäßige Snapshots aller Datenbestände 20

21 REALISIERUNG 21

22 low high DWH-Entwicklung im Quervergleich Beschleunigungspotential für Implementierung Generieren DB-Objekte und Datenfluss-Objekte DWH-Generatoren Lifecycle Support DWH- Generatoren Verbinden Analyse mit Entwicklung ETL Tools Generieren DB-Objekte und Datenfluss-Objekte Pure hand coded SQL Data Modelling Tools basic common advanced Unterstützen beim Änderungsmanagement Tool-Kategorie 22

23 Entwicklung mit SQL / Programmiersprache Maximale Flexibilität Entwickler kann sich selbst verwirklichen Lange Einarbeitungszeit Lesbarkeit abhängig von Programmierstil Standards und Programming Guidelines verwenden 23

24 Entwicklung mit ETL-Tool Vorgefertigte Funktionaliäten Übersichtliche Darstellung, kürzere Einarbeitungszeit Versteckte Komplexität Fehleranfälligkeit bei repetitiver Entwicklung Wenn möglich Templates und ETL-Vorlagen verwenden 24

25 Entwicklung mit DWH-Generator Kurze Entwicklungszyklen Einheitlichkeit des generierten Codes Nicht alle Spezialfälle generierbar Umgang mit nachträglichen Änderungen Standard-Funktionalitäten über Generator realisieren 25

26 Change Management Impact Analyse! Änderungsaufwand! Dokumentation! Versionsmanagement Meta-DB Version 1 Meta-DB Version 2 Iteration 1 Iteration 2 Differenz V1 V2 Datenbank- Objekte Mappings Data Flow Datenbank- Objekte Mappings Data Flow 26

27 Talk Wie werden bei Ihnen ETL-Prozesse entwickelt? A) Mit SQL / Programmiersprache B) Mit ETL-Tool C) Mit DWH-Generator Haben Sie Erfahrungen mit DWH-Generatoren? A) Keine Erfahrungen B) Einsatz von projektspezifischem Generator C) DWH-Generator als Produkt beschafft 27

28 Agiles DWH Lifecyclemanagement Simplify Data Warehouse Approach Agiles Vorgehen bringt mehr Akzeptanz und rasche bedarfsgerechte Ergebnisse Agile Methoden lassen sich nicht 1:1 auf agiles Data Warehousing anwenden (Data Stories) Designaspekte und Standardisierung müssen durch geeignete Vorkehrungen sichergestellt sein (z.b. Generatorlogik) Um die kurzen Zeitspannen in einem Sprint durchzustehen, müssen Design (Data Story Definition) und Umsetzung (Generierung) effizient zusammenspielen Change/Lifecycle-Support muss durch das iterative Vorgehen ausreichend unterstützt sein 28

29 Praxisbeispiel Durchlauf einer Iteration Identifikation Data Stories Strukturierte Erfassung Modelldetails Data Source Generierung Deploy, Doc. Report Dev. Rework Business Requirements Technical Modelling, Generation Fin. Dev. Workshop Manuelles Rework autogen. Objekte 29

30 Praxisbeispiel Modell Konfiguration, Branchen/Referenzmodelle Source-Data Integration und Verwalt. Multilingual- Setting Source Field Sample Data Branchen/ Referenzmodelle SCD-Typ Definition Data Mart Konfiguration 30

31 Praxisbeispiel Versionsmanagement, Generierung Ausführung der Skripte in der Zieltechnologie Generiertes Mapping Versions- Management Schrittweises Generieren 31

32 Praxisbeispiel Impact-Analyse, Dokumentation Änderung in den Modellversionen Dokumentation Änderung in den Source-Systemen Dokumentation der Änderungen 32

33 Projektbeispiele Regionale Versicherung Data Stories, Dim. Stakeholder: Alle Orgbereiche DLZ: Design 6-8 Wo, R1 3-4 Monate, R2-n ca. 1-2 Monate Internat. Versicherungskonzern Ca Business Items Stakeholder: Alle Orgbereiche+Hold. Konsolodierung der Items: 1-2 Mo Banking DWH Modul (SW-Haus) Data Stories, Dim. Stakeholder: RM, CO. DLZ: Design 4-6 Wo, R1 3-4 Monate Großer Retailer (Möbel) Data Stories, Dim. Stakeholder: CO, EK, LOG. DLZ: Design 4-5 Wo, R1 2-3 Monate, R2-n ca. 1-2 Monate Fundraising NPO Data Stories, Dim. Stakeholder: FR, KM, CO. DLZ: Design 3-4 Wo, R1 2-3 Monate, R2-n ca. 1-2 Monate Transportation Data Stories, Dim. Stakeholder: Alle Orgbereiche. DLZ: Design 6-8 Wo, R1 5-6 Monate 33

34 biinformed. Trivadis Besuchen Sie auch den Trivadis Stand 36 Dani Schnider Gregor Zeiler BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 34

35 bigenius TM Besuchen Sie auch den Trivadis Stand trivadis