Simon Dudanski / Tobias Braunschober DIE 5 FACETTEN DER DATA WAREHOUSE AUTOMATISIERUNG

Transkript

1 Simon Dudanski / Tobias Braunschober DIE 5 FACETTEN DER DATA WAREHOUSE AUTOMATISIERUNG Seite 1

2 Simon Dudanski POSITION Consultant im Competence Center DWH AUSBILDUNG Bachelor of Business Administration EXPERTISE 2 Jahre Projekterfahrung im Beratungsgeschäft Softwareentwickler im BI-Umfeld für ein Großunternehmen mit Schwerpunkt auf Datenintegration und Reporting Entwicklung von Frameworks Automatisierung PROJEKTE Luft- und Raumfahrt Finanzdienstleister Banken E-Commerce Seite 2

3 Tobias Braunschober POSITION Teamleiter im Competence Center DWH AUSBILDUNG Diplom Mathematiker EXPERTISE 8 Jahre Projekterfahrung im BI-Markt davon mehr als 4 Jahre als Architekt Senior Berater für CRM, Business Intelligence und System Integration mit Schwerpunkt auf Kampagnen Management und E-Commerce Entwicklung von Frameworks Automatisierung PROJEKTE Banken Finanzdienstleistung Loyalty Management Luft- und Raumfahrt E-Payment Seite 3

4 Das Unternehmen im Überblick GRÜNDUNG 1. Juli 2004 GESELLSCHAFTEN STANDORTE GESCHÄFTSFÜHRUNG AUSRICHTUNG KERNKOMPETENZEN BRANCHENFOKUS GEBIET GRÖSSE b.telligent GmbH & Co. KG, b.telligent Schweiz GmbH, b.telligent Services GmbH München, Düsseldorf, Hamburg, Stuttgart, Zürich Sebastian Amtage, Klaus Blaschek, Martin Blaschek Beratung in Fragen des Daten- und Informationsmanagements Business Intelligence, CRM, DWH und Big Data Telekommunikation, Banken, Handel, Medien, Energie Deutschland, Österreich, Schweiz 120 Mitarbeiter Seite 4

5 Auszüge aus den Referenzen TELEKOMMUNIKATION FINANZDIENSTLEISTER UNTERHALTUNG UND MEDIEN HANDEL INDUSTRIE VERSICHERUNGEN VERSORGER ÖFFENTLICHE INSTITUTIONEN AUTOMOTIVE PHARMA Seite 5

6 IT-BERATUNG Interdisziplinäre Positionierung FACHBEREICH b.telligent verbindet IT-BEREICH Risikomanagement Organisations- und Prozessberatung Datenschutz und Compliance CRM, DWH Strategie und Optimierung STRATEGISCHE BERATUNG Business Business Intelligence Intelligence Analytics CRM & Data DWH Quality Performance Big Data Management Projektmanagement Evaluation Technisches Design Softwareentwicklung Systemintegration Customizing Servicemanagement Hosting Seite 6

7 Nutzen und Kompetenzen - was bietet b.telligent? NEU- UND MEHRGESCHÄFT CRM MARKETING UNTERNEHMENSPLANUNG & STEUERUNG OPTIMIERUNG IT Ganzheitliches Kundenmanagement Kampagnenmanagement Up- und Cross-Selling Next Best Activity und Kundenserviceoptimierung Analytisches CRM Scoring Web-Analytics Social Media Analysis Multichannel und Call Center Management Business Intelligence - Unternehmenssteuerung Marketing- & Vertriebsplanung Lösungen zu Risikominimierung, Planung, Controlling und zur Erfüllung gesetzlicher Anforderungen Optimierung von Customer Intelligence und BI Umgebungen Metadaten Management Datenqualität und Data Warehouse Prozessen Datenschutz Datensicherheit Individualsoftware zur Ergänzung von BI Lösungen Und darüber hinaus: INNOVATION, VERLÄSSLICHKEIT, KURZE WEGE, ENGAGEMENT & QUALITÄT Seite 7

8 Übernahme ganzheitlicher Projektverantwortung ACCOUNT MANAGEMENT Analyse Strategie Konzeption Umsetzung Roll-out Betrieb BPO Anforderunganalyse Machbarkeitsstudie Potentialabschätzung Projektdefinition Business Case Budgetplanung Business Prozesse Architektur Datenmodelle Schnittstellen Design Programmierung Konfiguration Komponententest Akzeptanztest Training Kommunikation Erfolgskontrolle Iterationsplanung Administration Monitoring Support Prozessoptimierung Skalierung Qualitätssicherung PROJEKTMANAGEMENT CHANGEMANAGEMENT QUALITÄTSMANAGEMENT Seite 8

9 Die 5 Facetten der DWH Automatisierung Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 9

10 Die 5 Facetten der DWH Automatisierung: Development Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 10

11 Landing Zone (Stage) Die 5 Facetten der DWH Automatisierung: Development Interne Daten System 1 System 2 System! Manuelles Coding Abstraktionsschicht! Manuelles Coding! Manuelles Coding! Manuelles Coding! Manuelles Coding Integrationsschicht Core Data Warehouse! Manuelles Coding Präsentationsschicht Physikalischer Data Mart Dashboards Standard Berichte Interaktive Analyse Planung Zugriffsschicht Mobile System n! Manuelles Coding Würfel Ad-Hoc Analyse z.b. Excel Externe Daten! Manuelles Coding Data Science! Manuelles Coding Datenqualitätsmonitoring! Manuelles Coding Logging & Monitoring Zentrale Dienste Virtueller Data Mart (View Layer)! Manuelles Coding! Manuelles Coding Entwicklungs- Deployment- & Testprozess Scheduling Listen/Tabellen Operative Systeme! Manuelles Coding Seite 11

12 Landing Zone (Stage) Die 5 Facetten der DWH Automatisierung: Development Zugriffsschicht Dashboards Interne Daten System 1 Abstraktionsschicht Integrationsschicht Präsentationsschicht Standard Berichte Mobile System 2 System Core Data Warehouse Physikalischer Data Mart Interaktive Analyse Planung System n Würfel Ad-Hoc Analyse z.b. Excel Externe Daten Data Science Virtueller Data Mart (View Layer) Listen/Tabellen Code Generator Operative Systeme Datenqualitätsmonitoring Metadatenmanagement Zentrale Dienste Logging & Monitoring Scheduling Entwicklungs.- Deployment- & Testprozess Seite 12

13 Die 5 Facetten der DWH Automatisierung: Development Data Store Data Vault reverse engineering generieren Metadaten 3 NF Stern Codegenerator Seite 13

14 Die 5 Facetten der DWH Automatisierung: Test Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 14

15 Die 5 Facetten der DWH Automatisierung: Test Regressionstests (Zentrale Testdatenbank) Unit test Acceptance test Last test Codegenerator Synthetische Daten Testdriven development Testfall Generierung Transformation von Beschreibungen Seite 15

16 Die 5 Facetten der DWH Automatisierung: Test Testfall Testdurchführung Dokumentation Administration Testsuite Testdaten Testdriven development Framework CI Last test Testübergabe Testbericht Versionierung Protokollierung Seite 16

17 Die 5 Facetten der DWH Automatisierung: Deployment Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 17

18 Die 5 Facetten der DWH Automatisierung: Deployment Continuous Integration Halbautomatik Vollautomatik Continuous Delivery DevOps Beschleunigung der Wertschöpfungskette Seite 18

19 Die 5 Facetten der DWH Automatisierung: Deployment Develop Checkin Checkout Build Test Release Seite 19

20 Die 5 Facetten der DWH Automatisierung: Deployment Protokoll Protokoll Protokoll Checkout Build Test Validate Protokoll Protokoll Check for Release - GO Protokoll Check Prerequisits Protokoll Release Seite 20

21 Die 5 Facetten der DWH Automatisierung: Betrieb Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 21

22 Die 5 Facetten der DWH Automatisierung: Betrieb 10 Min Stage Delta 1 Delta 2 Delta 3 Integration Delta 1 Delta 2,3 Business Delta 1,2,3 Seite 22

23 Die 5 Facetten der DWH Automatisierung: Betrieb Was ist zu tun? Wie kann das Automatisiert werden? Was kann nicht Automatisiert werden? Was ist Logging, Monitoring, Visualisierung? Scheduling Einrichtung neuer Strecken Incident Management Steuerung des Ablaufs immer gleich funktionierender Codegenerator Know How über Generatoren-Jobs Neue Metadaten ausliefern Incident Management bleibt Incident Management. stabiler durch wenige bis keine Änderungen am Code Visualisierung von Sessions und Tempspace Größe aller Objekte Laufzeiten aller Prozesse Veränderungen (I/U/D) Seite 23

24 Die 5 Facetten der DWH Automatisierung: Monitoring Seite 24

25 Die 5 Facetten der DWH Automatisierung: Dokumentation Dokumentation Development Betrieb DWH Automatisierung Test Deployment Seite 25

26 Die 5 Facetten der DWH Automatisierung: Dokumentation Was ist zu dokumentieren: Fachliche Anforderung für eine Änderung (warum, wer) -> Ticketingsystem Wann wurde was geändert -> Versionierungssystem Wann wurde was deployed -> Log Deploymentautomatisierung Wie sind die Zusammenhänge -> SVN Ticketingsystem technische Metadaten Was ist die fachliche Bedeutung der Objekte -> Ticketingsystem technische Metadaten Seite 26

27 Package 27

28 Public Methods Overview Seite 28

29 Public Methods Details Seite 29

30 Private Methods Overview Seite 30

31 Private Methods Details Seite 31

32 References Seite 32

33 Spec Source Seite 33

34 Body Source Seite 34

35 Table Seite 35

36 View Seite 36

37 View DataFlow Seite 37

38 Die 5 Facetten der DWH Automatisierung: Dokumentation Basis Metadaten Metadata Wiki Match technische Doku fachliche Doku Historisierung Data Lineage Datenflüsse Prozessflüsse Abhängigkeiten Seite 38

39 MÜNCHEN HAMBURG DÜSSELDORF STUTTGART ZÜRICH Simon Dudanski Tobias Braunschober Seite 39