Data Vault orientierte BI-Architekturen in Theorie und Praxis. Thomas Mattick Dresden

Transkript

1 Data Vault orientierte BI-Architekturen in Theorie und Praxis Thomas Mattick Dresden

2 Vorstellung Thomas Mattick Projektauszug (BI) Auftragsabwicklung/Leistungsbewertung (Luftfahrt/Logistik) Wareneingang/Warenausgang/Retouren (Logistik) Bestandsmanagement (Logistik) Auftragsmanagement (Großhandel) Flächenbewirtschaftung (Einzelhandel) Thomas Mattick Business Developer, InfoDyn AG Technologien IBM Cognos 10.1 Certified Microsoft SQL Server Oracle Informatica Powercenter Engagement Deutsche Data Vault User Group e.v. ( Empfehlung: Data Modeling Zone und TDWI 2

3 InfoDyn AG Ziel Wir ermöglichen Unternehmen, den gesamten Fluss Ihrer Informationen von den IT-Systemen bis zum Anwender zu kennen und zu verstehen Produkt Mithilfe unserer intelligenten Technologie bietet die IC Suite die Möglichkeit nahezu jedes IT-System anzubinden und zu analysieren. Es wird nur auf die Bereiche der Systeme zugegriffen, die strukturelle, prozedurale oder operationale Informationen liefern. Die eigentlichen Daten (Kunden, Verträge, Kontakthistorie etc.) bleiben unangetastet. 3

4 InfoDyn AG Referenzen Unternehmen aus verschiedenen Branchen arbeiten bereits mit Modulen der IC Suite und profitieren von den Vorteilen: Finanzdienstleistungen Krankenversicherungen Recycling Behörden Partner Standorte Nord Amerika Europa Firmensitz in Deutschland Vertriebsbüro in den USA ITBconsult Inc Hamilton Avenue Suite San Jose BBF GmbH Erika-Mann-Str München InfoDyn AG Wendelsteinstr Gräfelfing InfoDyn Inc. 701 Fifth Ave, Suite 4200 Seattle, WA

5 Unternehmen und Mitarbeiter Das Unternehmen Unabhängiges Software-Haus mit den Schwerpunkten Datenmanagement und Business Intelligence. Das Unternehmen wurde 1996 gegründet hat den Hauptsitz in München und eine Niederlassung in Dresden. Gründer und geschäftsführende Inhaber sind Benjamin Böhm und Wolfgang Fergen. Aktuell etwas über 30 Mitarbeiter. Einsatz von template- und modellbasierte Entwicklung und eigenentwickelten Generatoren. Produkt- und herstellerunabhängig und eingebunden ein enges Netzwerk mit Partnern und Herstellern. In den nationalen und internationalen Kundenprojekten jederzeit auch beim Kunden vor Ort tätig. 5

6 BI:G Projektbaukasten für BI auf Basis eines Data Vaults BI:G Der Lösungsansatz ist die Kombination von methodischer Vorgehensweise und effizienter, sprich automatisierter Entwicklung. Mit BI:G schafft BBF für die Kunden die Möglichkeit, in wenigen Schritten ein traditionelles Data Warehouse in einer 3-Schichten-Architektur auf Basis eines Data Vaults zu erzeugen. Beschreibung Instanziierte Modellierungskomponente (technisch und fachlich) Angabe von Quell- Zielzuordnungen, zentralisierter Steuerspalten, Bearbeitungsstatus, Rollout Testing & QA Reporting Data Modeler Self Service BI ETL Framework Logging Framework Operations 6

7 Agenda Übersicht Einleitung Herausforderungen an BI-Projekte Standardisierung Standards als Basis erfolgreicher BI-Projekte Architektur CDW zur Unterstützung änderungsorientierter BI Data Vault Methodik als Lösungsansatz änderungsorientierter BI Praxis Vorstellung eines Standards (BI:G) für BI-Projekte Zusammenfassung Vorteile für die Umsetzung von BI-Projekten 7

8 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 8

9 Einleitung BI-Projekte und Ihre Anforderungen Anforderungen Ungenau Unzureichend Widersprüchlich Verändernd Unerwartet Ursachen (u.a.) Fehlende Erfahrung bei der Aufnahme BI-orientierter Anforderungen Fehlende/Falsche Kenntnisse datengebender Systeme Widersprüchliche Aussagen aufgrund verschiedener Verantwortlicher Unzureichende Vorstellungen des Möglichen Wunsch nach mehr 9

10 Einleitung BI-Projekte und Ihre wünschenswerten Eigenschaften Agile und anpassbare Vorgehensmodelle Möglichkeiten zur parallelen Abarbeitung von Projektthemen Skalierbare Datenintegrationsprozesse Typorientierte Datenintegrationsprozesse Wartungsfreundliche Datenintegrationsprozesse Möglichkeit zum zentralen Betrieb Zentralisierte Auswertungen und Protokolle zur Betriebsunterstützung und Datenqualitätssicherung 10

11 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 11

12 Standardisierung Prozentuale Aufwandsverschiebung hin zur Anforderungsdefinition Definierte anpassbare Vorgehensmodelle Modellierung Datenintegration Betrieb Klare Rahmenbedingungen Regelwerke Konventionen Vorlagen Feste Richtlinien Architektur Bewirtschaftung Protokollierung 12

13 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 13

14 Architektur Analysen Ad-hoc Auswertungen Berichte Cube Modell MART CORE STAGE 14

15 Architektur STAGE (Quellsystemorientiert) Klassische schnittstellenorientierte 1:1 Datenabzugsschicht (n-stages bei Heterogenität) Konsumorientierte Persistenz CORE (DV - Ablageorientiert) Datenmittelpunkt und einzige Datenwahrheit Konsolidiert Geschäftsentitäten, verbindet diese und legt Nutzinformationen historisiert ab Eigenschaften DV ermöglichen Vorzug Datentiefe vor Datenbreite MART (Stern Abfrageorientiert) Fachlicher "Endpunkt" (n-marts durch Fokussierung auf Anwender/Anwendung/Auswertung) Daten in Form konsolidierter Dimensionen und dedizierter Fakten (Aggregationen, Kumulationen, Redundanz, -alles ablagefähige-) Standardisiert vereinfachte und festgelegte BI-Architektur 15

16 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 16

17 Data Vault Allgemeines Dan Linstedt Ziele Agil Flexibel Erweiterbar Datengranularität auf Quelldatenebene Mehrquellfähig Zeitlinie Entwicklung abschließende Evaluierung durch Projekte 2001 Veröffentlichung Data Vault Veröffentlichung Data Vault 2.0 (erweiterte Konzepte) 17

18 Data Vault Methodik Modellierung Liste einfacher übersichtlicher und aufgabenorientierter Objekte Dekomposition von Schlüssels Separierung der Nutzdaten Bewirtschaftung modellierungsgetrieben Unabhängig in Bezug auf Quelldatenbindungen Konsolidierung von Entitäten unterschiedlicher Quellen Betrieb parallel 18

19 Modellierung Tabellentypen (Auszug) Hubs Links Satelliten Referenzen (Optional) Point-In-Times (Optional) Bridges (Optional) 19

20 Modellierung STAR DV 3NF 20

21 Bewirtschaftung Bewirtschaftungstypen (Auszug) Hubs Reine Insert Operationen Hash-Keys basierend auf BKs Links Reine Insert Operationen Hash-Keys basierend auf Hub-Hash-Keys basierend auf BKs Satelliten Insert/Update Operationen Historisierungslogik Hash-Keys Basierend auf Hub-Hash-Keys basierend auf BKs 21

22 Betrieb Betriebstypen (Auszug) Vollständig parallel Eine Zieltabelle darf nur durch einen Bewirtschaftungsprozess bedient werden Einsatz von Hash-Keys sind Voraussetzung Sequentiell nach Bewirtschaftungstyp (Keine Link auf Links) Schritt 1: Alle Hubs Schritt 2: Alle Links, Alle Satelliten an Hubs Schritt 3: Alle Satelliten an Links, Alle Referenzen Schritt 4: Alle Bridges, Alle Point-In-Times 22

23 Data Vault Weiteres Verteilung der Komplexität Einfach zu modellieren, aber viel Einfach zu bewirtschaften, aber viel Erhöhung der Anzahl von Entitäten Aufwendige Abfrage von Informationen Virtualisierte oder persistierte Sichten zu Auswertungszwecken notwendig Weiterführende Informationen Data Vault auf Geschichte des Data Vault auf Tiefergehende Einblicke in Blog-Form auf 23

24 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 24

25 BI:G Komponenten STAGE CORE MART LOGGER CONNECTOR MODELER LOADER STAGER 25

26 BI:G Zentral LOGGER Zentrale Protokollierung Bestehend aus Tabellen, Prozeduren und Regelwerken Nachvollziehbarkeit von Datensatzlebenszyklen Individuell STAGER Bildung einer 1:1 Abzugsschicht Klont Datenbankschnittstellen (Tabellen, Views) Rollout inklusive Steuerspalten und Tabelleninstanzen 26

27 BI:G Instanziiert CONNECTOR Tabellen, Prozeduren und Regelwerke Identifikation geänderter Daten LOGGER Erhöhung/Verbesserung/Erweiterung der Selektionskriterien LOADER Tabellen und Regelwerke Definition und Konfiguration von Ladeketten Konkretisierung durch Angabe von Aktivität, Ladeposition, Parallelisierung, Quellen, MODELER Instanziierte Modellierungskomponente (technisch und fachlich) Angabe von Quell- Zielzuordnungen, zentralisierter Steuerspalten, Bearbeitungsstatus, Rollout 27

28 CONNECTOR BI:G Vorlagen LOGGER Stage Core Mart MASTER HUB STA 1:1 DIM STA 1:X LNK SAT FAKT MODELER REF BRI LOADER 28

29 Schichten: STAGE Modellierung STAGER Bildung generischer STAGE-Tabellenausprägungen Reine DB-Schnittstellen (Tabellen/Views) Quelldatentyp gleich Zieldatentyp Keine Constraints Generische Erweiterung um Steuerspalten MODELER Bildung Konkreter STAGE-Tabellenausprägungen nondb-schnittstellen und changedb-schnittstellen (Bereinigung, Transformationen, ) Variabler Zieldatentyp Dedizierte Constraints Zentrale Erweiterung um Steuerspalten 29

30 Schichten: STAGE Bewirtschaftung Master-ETL Stage-ETL basierend auf STAGER Individual-ETL, basierend auf MODELER Einsatz mitgelieferter Vorlagen Zeitstempelorientierte Deltalogik und Protokollierung Atomare Abschlussoperation Master LOADER Threads STA TRUNCATE EXTRACT Eigenschaften Komfortable Erstellung Einfache Verarbeitungslogik Performance Wartbarkeit, Robustheit und Wiederanlauffähigkeit Nachvollziehbarkeit Protokollierend und Deltagebend (prozessorientiert) I F STA INSERT M A F PSTA LOAD LOGGER CONNECTOR 30

31 Schichten: STAGE Betrieb Standardisiertes Regelwerk zur Konfiguration, Aufruf und Überwachung LOADER Konfiguration der ETL-Strecken Angabe dedizierter Eigenschaften (Quellen, Ziel, Paket, Delta, Lademethode, Thread, ) Einträge dienen dem Master-ETL als Grundlage Technologieorientierte Laufsteuerung Aufruf Master-ETL LOGGER Einrichtung des JOBs Überwachung über LOGGER basierte Abfragen 31

32 Schichten: CORE Modellierung Regelwerke für Modellierungsformen (hier nach DV) Namenskonventionen MODELER Fachliche Modellierung Tabellentyp, Tabellen und Spalten Angabe von Berechnungsvorschriften Technische Modellierung Tabellenart, Datentyp (Konsolidierung), Constraints, Schlüsselbeziehungen und -arten Quell- Zielzuordnung Zentrale Bildung Konkreter CORE-Tabellenausprägungen Zentrale Erweiterung um Steuerspalten anhand Tabellenart und -typ Einfacher Rollout 32

33 Schichten: CORE Bewirtschaftung Master-ETL Individual-ETL, basierend auf MODELER Einsatz mitgelieferter Vorlagen Prozessorientierte Deltalogik und Protokollierung Abhängigkeitsparadigma Atomare Abschlussoperation Master LOADER CONNECTOR LOGGER Threads UPD_SRC UPD TRUNCATE EXTRACT PID UPD_SRC INSERT L T E LOGGER UPD INSERT H LOGGER CORE LOAD LOGGER CONNECTOR 33

34 Schichten: CORE Betrieb Standardisiertes Regelwerk zur Konfiguration, Aufruf und Überwachung LOADER Konfiguration der ETL-Strecken Angabe dedizierter Eigenschaften (Quellen, Ziel, Paket, Delta, Lademethode, Thread, ) Einträge dienen dem Master-ETL als Grundlage Technologieorientierte Laufsteuerung Aufruf Master-ETL LOGGER Einrichtung des JOBs Überwachung über LOGGER basierte Abfragen 34

35 Schichten: MART Modellierung Regelwerke für Modellierungsformen (hier nach Stern Dimensionen und Fakten) Namenskonventionen MODELER Fachliche Modellierung Tabellentyp, Tabellen und Spalten Angabe von Berechnungsvorschriften Technische Modellierung Tabellenart, Datentyp (Konsolidierung), Constraints, Schlüsselbeziehungen und -arten Quell- Zielzuordnung Zentrale Bildung Konkreter MART-Tabellenausprägungen Zentrale Erweiterung um Steuerspalten anhand Tabellenart und -typ Einfacher Rollout 35

36 Schichten: MART Bewirtschaftung Master-ETL Individual-ETL, basierend auf MODELER Mitgelieferte Vorlagen und Skriptdimensionen Prozessbasierte entitätsorientierte Deltalogik und Protokollierung Abhängigkeitsparadigma Atomare Abschlussoperation Master LOADER CONNECTOR LOGGER Threads UPD_SRC UPD TRUNCATE EXTRACT EPID UPD_SRC INSERT C LOGGER UPD INSERT L T E LOGGER MART LOAD LOGGER CONNECTOR 36

37 Schichten: MART Betrieb Standardisiertes Regelwerk zur Konfiguration, Aufruf und Überwachung LOADER Konfiguration der ETL-Strecken Angabe dedizierter Eigenschaften (Quellen, Ziel, Paket, Delta, Lademethode, Thread, ) Einträge dienen dem Master-ETL als Grundlage Technologieorientierte Laufsteuerung Aufruf Master-ETL LOGGER Einrichtung des JOBs Überwachung über LOGGER basierte Abfragen 37

38 Agenda Einleitung Standardisierung Architektur Data Vault Praxis Zusammenfassung 38

39 Zusammenfassung Standards + Data Vault + Framework Kosten/Nutzen Argumentation Parallelisierung von Projektaufgaben Kurze Einarbeitungszeiten für Modellierer Kurze Einarbeitungszeiten für Entwickler Geringe Dokumentationskosten Einfacher Betrieb der ETL-Strecken Verschiebung des Aufwands zum Wesentlichen den Anforderungen 39

40 Vielen Dank! BBF GmbH Erika-Mann-Str München Tel. +49 (0) Web Kontakt: Thomas Mattick Senior Consultant Tel. +49 (0) Mobil +49 (0)