Datenbankstammtisch HTW Dresden Realisierung von BI-Projekten bei arvato IT services: DWH/BI Framework und Vorgehensmodell.

Transkript

1 Datenbankstammtisch HTW Dresden Realisierung von BI-Projekten bei arvato IT services: DWH/BI Framework und Vorgehensmodell November 13, Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

2 Agenda Überblick Realisierung von BI-Projekten bei arvato IT services Produkte Produktrealisierungsprozesse Projektmanagement People Produktrealisierungsprozesse im Detail Vorgehensmodell DWH/BI-Framework Zusammenspiel beider Komponenten Projekt-Beispiele aus der Praxis 2 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

3 Überblick 3 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

4 Übersicht arvato innerhalb von Bertelsmann arvato ist Teil des globalen Bertelsmann-Netzwerks Medien- und Kommunikationsdienstleister ca Mitarbeiter weltweit > 5 Mrd. EUR Umsatz in %-ige Tochter der Bertelsmann AG Hauptsitz Gütersloh/Deutschland > 150 Standorte weltweit in mehr als 35 Ländern Fundiertes Branchen- und Prozess-Knowhow 4 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

5 Übersicht Portfolio arvato > Creation > Print > Replication > e-commerce Konzeption, Social Media, Kampagnenmanagement, Direktmarketing, Marketing Print Procurement, Vorstufenleistungen, Lettershop, Weiterverarbeitung CD/DVD-Produktion, digitale Distribution, Rechte- & Media Asset Management Multi Channel, Frontend & Backend Services, Fullfilment, Content Management > CRM > Customer Service > Financial Services > Logistik Kundenbindung & -karten, Bonusprogramme, Data Mining, Product Sourcing Auskunft & Mehrwertdienste, Telesales & Retention, technischer Support, Backoffice Risikoprüfung, Factoring, Zahlungsmanagement, Finanzbuchhaltung Order-to-Cash, Reparatur, Transportmanagement, Ersatzteillogistik, Warehousing > Integrierte IT-Lösungen 5 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

6 Übersicht arvato IT services Interner IT-Dienstleister innerhalb der arvato AG arvato IT services berät die verschiedenen Markteinheiten innerhalb der arvato AG und stellt durch integrierbare IT-Lösungen die Wettbewerbs- und Lieferfähigkeit der Markteinheiten sicher Leistungen decken die gesamte Wertschöpfungskette der Markteinheiten ab und umfassen Beratung, Sourcing, Setup und Betrieb Innerhalb von arvato IT-services kann zwischen technischen und fachlichen Competence Centern unterschieden werden Neben den Competence Centern übernehmen zentrale Services übergreifende Aufgaben (z.b. Strategie, Risk & Compliance) dienen als Regulativ zwischen den Competence Centern (z.b. Portfoliomanagement) 6 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

7 Realisierung von BI-Projekten bei arvato IT services 7 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

8 Realisierung von BI-Projekten bei arvato IT services Was macht BI-Projekte erfolgreich? Was macht (BI-)Projekte erfolgreich? Professionelles Projektmanagement? Geeignetes Vorgehensmodell? Gut ausgebildetes und erfahrenes Team? Durch ein in der Organisation integriertes und ganzheitliches Realisierungsvorgehen bzgl. Produkte 1, Produktrealisierungsprozesse, PM-Prozesse und Projektteam 1 Produktnahe Lösungen / Services 8 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

9 Realisierung von BI-Projekten bei arvato IT services Integriertes und ganzheitliches Vorgehen Produkte Produktnahe Lösungen / Services Produktportfoliomanagement Produkt- realisierungs- Prozesse spezialisierte DWH/BI-Tools / Shared Plattforms DWH/BI-Framework & Vorgehensmodell Projektmanagement Projektabwicklung nach IPMA Projektportfoliomanagement People Qualifikation und Erfahrung in: Business Intelligence und Projektmanagement 9 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

10 Realisierung von BI-Projekten bei arvato IT services Produkte Business Intelligence Lösungen von arvato IT services: Beratung & Coaching von der Anforderungsaufnahme bis zur Implementierung; Projekt- & Architekturreviews Klassischer Ansatz: Relationale Datenhaltung 3-Schichten-Architektur OLAP & Reporting DWH/BI- Consulting Traditionelles DWH/BI Advanced Analytics Power BI Data Mining & statistische Algorithmen: Forecasting, Fraud Detection (gem. Service mit weiterem CC) Hybrider Integrationsansatz: Verteilte Datenhaltung Self Service BI Collaboration Produkte Produkt- realisierungs- Prozesse Projektmanagement Unterstützende Prozesse für Accounting & Billing einvoicing Rating Operationalisie rung im BI Data Migration und Data Quality Data Profiling Data Cleansing Data Migration People 10 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

11 Realisierung von BI-Projekten bei arvato IT services Produktrealisierungsprozesse Effizienter Mix aus spezialisierten Datenintegrationstools, shared Plattforms, Vorgehensmodell und DWH/BI-Framework: Technologienwahl aus Tool- Portfolio je nach Projektgröße und infrastrukturellen Gegebenheiten Produkte Tools: ETL, BI, DB Produkt- realisierungs- Prozesse Eigenentwicklung für Standardisierung der DWH/BI-Prozesse Projektmanagement DWH/BI- Framework Unterstützung sowohl in der Setupals auch in der Betriebsphase verbindlicher Einsatz in allen BI- Projekten Vorgehensmodell RUP-basiert / an arvato und BI angepasst Unterstützung sowohl in der Setup- als auch in der Betriebsphase durch eigenes Competence-Center (QAM) definiert verbindlicher Einsatz in allen Projekten People 11 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

12 Realisierung von BI-Projekten bei arvato IT services Projektmanagement Projektmanagement und Prozesse sind nach IPMA ausgerichtet und in unserer Organisation verankert (durch QAM vorgegeben und gesteuert) Project Management Office definiert im Rahmen des PM-Handbuch das Projektmanagement-Vorgehensmodell bei arvato IT services Verbindliche Leitlinie zur Projektarbeit für Projektmanager und Projektmitarbeiter Projektüberwachung und Steuerung im Rahmen des Projektportfoliomanagements Produkte Produkt- realisierungs- Prozesse Das PM-Handbuch enthält: Grundlagen die Verständnis für die Bedeutung der Aufgabe schaffen Methoden die verwendet werden, inkl. eine Vorgabe für die Skalierung in den Projektklassen Werkzeuge als zentrale Hilfsmittel bzw. Instanzen zur Bewältigung der Aufgabe Projektmanagement People 12 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

13 Realisierung von BI-Projekten bei arvato IT services People (Team) Technisches Competence-Center Business Intelligence (BI) 30 Mitarbeiter Kooperation mit unterschiedlichen externen Partnern Mehrere Standorte innerhalb von Deutschland: Gütersloh, Cottbus, Münster, WHV, Rostock Qualifikation der Teammitglieder: Projekterfahrung: Aktuell ca. 40 Setup- und Bestandsprojekte im Portfolio, 5-7 in der Akquise Je Projekt: Setup PT, Betrieb PT CR-& Wartungsvolumen p.a. Branchenübergreifend (CRM, Telko, Customer Sevices, ) Zertifizierungen: Projektmanagement: IPMA Business- & System-Analyse: IREB/CPRE Architektur & Tools: Oracle, Microsoft Tool Stack, IBM Cognos Testing: ISTQB Certified Tester Betrieb: ITIL Soft Skills: arvato-interne Schulungsprogramme Qualität der Teamarbeit: Rollendefinition und Verankerung im Vorgehensmodell Zufriedenheit der Mitarbeiter: Instrumente zur Personal- und Teamentwicklung (Laufbahnmodell je Rolle) Verantwortung für Services und Plattforms Teamgeist Produkte Produkt- realisierungs- Prozesse Projektmanagement People 13 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

14 Produktrealisierungsprozesse: Vorgehensmodell 14 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

15 Produktrealisierungsprozesse Vorgehensmodell Übersicht Grundlage des zentralen Vorgehensmodells: Adaptierung des Rational Unified Process (RUP) im Rahmen der Organisation an DWH/BI Bedürfnisse angepasst Use Case basiert Inkrementelles und iteratives Vorgehen Rollen-basiert verschiedene Artefakte für die Umsetzung pro Phase fest vorgegeben einheitliches Vorgehen projektunabhängig dadurch sichergestellt Unterscheidung zwischen großen und kleinen Projekten Ständige Weiterentwicklung Genutzte Methoden werden regelmäßig in einem zentralen Board auf Basis neuer Erkenntnisse angepasst 15 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

16 Produktrealisierungsprozesse Vorgehensmodell Phasen & Artefakte Akquisitionsphase Projektphase Betriebsphase Business Modeling Requirements Analysis & Design Implementation Test Deployment Configuration & Change Mgmt. Artefakte Systemanforderungsspez., SST- Spez. ETL/BI-Konzept Release, Release-Notes Testplan, Testkonzept Deployment-Plan Business- & System-CR 16 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

17 Produktrealisierungsprozesse: DWH/BI-Framework 17 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

18 Produktrealisierungsprozesse DWH/BI-Framework Übersicht Theorie BI Trends Projekteinsatz DWH-Standards (Kimball, Inmon) Definition arvato- Standards DWH-Framework DWH Framework Einsatz Guides Modules Tutorials Lessons Learned Wissenstransfer Control Board Weiterentwicklung Knowledge Management Prüfung, Konzeption Issue Management 18 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

19 Produktrealisierungsprozesse DWH/BI-Framework Design-Guide Architektur (traditionelles DWH/BI) Über das DWH/BI-Framework wird eine zentrale Architektur vorgeben: Data Warehouse ERP CSV, XML, arvato ocrm Klasse II (Inmon) Persistent Keine physische Löschungen Mapping-Typen: SCD I und II Quality Assurance ODS DWH BI Bereinigt Harmonisiert Angereichert In erforderlicher Granularität Grundleistung: weitestgehend automatisiert Data Marts Konsistent & effizient Hohe Datenqualität OLAP/ Reporting Billing / Abrechnung Kampagnenmanagement Closed Loop 19 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

20 Produktrealisierungsprozesse DWH/BI-Framework Design-Guide Architektur (traditionelles DWH/BI) Über das DWH/BI-Framework wird eine zentrale Architektur vorgeben: ERP CSV, XML, arvato ocrm Klasse II (Inmon) Persistent Keine physische Löschungen Mapping-Typen: SCD I und II Data Warehouse Quality Assurance ODS DWH BI Bereinigt Harmonisiert Angereichert In erforderlicher Granularität Grundleistung: weitestgehend automatisiert Data Marts Konsistent & effizient Hohe Datenqualität Closed Loop 20 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013 Hybrider Ansatz: Persistente & qualitätsgesicherte Datenhaltung Grundleistung ist weitestgehend automatisiert erstellbar (konfigurierbar & generierbar) OLAP/ Reporting Dadurch schneller verfügbare Data-Marts Vorteile: Billing / Abrechnung Revisionssicherheit, Kampagnenmanagement und hohe Nachvollziehbarkeit Datenqualität Konsistente und effiziente Data-Marts Geringe Setup-Kosten Höhere Flexibilität

21 ETL ETL direkter Datenzugriff Produktrealisierungsprozesse DWH/BI-Framework Design-Guide traditionelles vs. Power BI Erweiterter Fachlicher Bedarf Mehr Selbständigkeit, weniger Abhängigkeit von der IT; höherer Anspruch an Flexibilität, Bereitstellungszeiten & Verteilung sowie an die Qualität der Analysen (=Entscheidungsgrundlage fürs Business) sowie aktuelle technologische Entwicklungen Big Data Lösungen, In-Memory, Social BI, Mobile BI, Cloud implizieren neue Standards bzgl. DWH/BI-Architektur und Vorgehen: Business Intelligence OLAP Reporting OLAP Reporting Social Intranet Collaboration Apps Self-Service BI Datenhaltung Data Warehouse Data Warehouse / Analytics Relationale Daten Polystrukturierte Daten Datenquellen OLTP CRM ERP LOB OLTP CRM ERP LOB Externe Daten Big Data Pools traditional DWH/BI Power BI 21 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

22 Produktrealisierungsprozesse: Zusammenspiel beider Komponenten 22 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

23 Produktrealisierungsprozesse Zusammenspiel von VGM und Framework Phasenmodell Akquisitionsphase Projektphase Betriebsphase Business Modeling Requirements Analysis & Design Implementation Test Deployment Configuration & Change Mgmt. Automatisiertes Deployment Audit-Logging, QS Module Mapping- & Process-Flow- Generation, Gen. ETL-Doku. Test-Framework (Toolgestützt) Artefakte Systemanforderungsspez., SST- Spez. ETL/BI-Konzept Release, Release-Notes, ETL-Doku Testplan, Testkonzept Deployment-Plan Business- & System-CR Einsparungen* 50% 30% 70% 30% * gegenüber Projekten ohne Framework-Einsatz 23 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

24 Produktrealisierungsprozesse Zusammenspiel von VGM und Framework Beispiel: Phase Implementation ETL-Konzept Mapping- & Process- Flow- Generation Generierung ETL-Dokumentation ETL-Doku. Release-Notes- Generierung Mapping / Processflow Release, Release-Notes 24 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

25 Produktrealisierungsprozesse Zusammenspiel von VGM und Framework Beispiel: Phase Test Testkonzept Ergebnis-Auswertung Ergebnis-Report. Testdesign Testdurchführung Testplan Testfälle Testdaten 25 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

26 Produktrealisierungsprozesse Zusammenspiel von VGM und Framework Benefits Vorgehensmodell: Abteilungsübergreifend für alle Projektarten verbindlich im Einsatz BI-Spezifika sind berücksichtigt VGM-Verantwortlicher im BI-Team (gesteuert durch CC QAM) DWH/BI-Framework: Gleicht alle Defizite spezialisierter Datenintegrationstools aus: Standardisierung Automatisches Ausführungsmonitoring (inkl. Laufzeit- & Performanceanalyse) Assistent für automatisiertes Deployment in unterschiedliche Ziel- Umgebungen Dokumentationsgenerierung Flexibel, erweiterbar, wartbar und einfach zu handhaben - Erhebliche Reduktion der Projektaufwände (Setup und Betrieb) - Qualitativ hochwertige Lösungen trotz schnelleren Realisierungszeiten 26 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

27 Projekt-Beispiele aus der Praxis 27 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

28 Projekt-Beispiele aus der Praxis Beispiel 1 Standard-Projekt (DWH/BI-Lösung für die DIY-Branche): ODS & Core-DWH sind zu 100% generiert KPI-Reporting Revisionssichere Bildung von Rückstellungen CPM Data Mart Setup-Kosten im Verhältnis zur Leistung sehr gering CR- und PU-Kosten sind minimal 28 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

29 Projekt-Beispiele aus der Praxis Beispiel 2 Beispiel 2: Großprojekt (DWH/BI Lösung für ein Multipartnerprogramm): Big Data DWH (realisiert auf Exadata X2-2) Vollständiger Closed Loop Partnerabrechnung Monitoring von Partner-Schnittstellen Werbeerfolgsreporting Kampagnen-Kosten-Nutzen-Analyse Filialreporting Händlerportal 29 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

30 Projekt-Beispiele aus der Praxis Beispiel 3 Beispiel 3: Großprojekt Telko (DWH/BI Lösung für das Subscriber Management System (SuMS) - einer White-Label-Plattform): Starke fachliche Aufbereitung der operativen Daten für einfache Analysen Standardreporting für unterschiedliche Label-Brands im SuMS Neukunden pro Vertriebskanal Umsatzanalyse Nutzungsverhalten der Bestandskunden Anbindung eines Kampagnenmanagement-Systems Unterstützung von Abrechnungsprozessen Datenlieferungen an Drittsysteme Rating Engine für CDRs Versicherungsdienstleister Location Based Services Online-Portale 30 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

31 Projekt-Beispiele aus der Praxis Beispiel 4 Beispiel 4: Multimandanten-DWH/BI Plattform für arvato mail & document solutions: Bestehend aus folgenden standardisierten Komponenten (Anbindung neuer Mandanten erfolgt über Konfiguration): Revisionssicheres Abrechnungsmanagement (10 Jahre Vorhaltepflicht) Self Service BI Realtime-Monitoring von Geschäftsprozessen (Auftragsstatus, Sendungsnachverfolgung etc.) Optionale Komponenten (nach Bedarf im Einsatz): Täglicher Soll-Ist-Vergleich, SLA-Überwachung Datenanalyse & Reporting der Datenqualität (Güte der Daten im Systemverbund) Neartime-Produktionsanalyse (Performanceanalysen nach Standort, Mandant, Versanddienstleister, Leistungen und Verbräuche) Operationalisierung BI einvoicing (unterstützter Standard: FINVOICE, in Vorbereitung: PEPPOL) Mehr als 100 Mandanten integriert 31 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

32 Projekt Zoom: Implementierung eines Kennzahlensystems für ServiceCenter auf Basis Microsoft BI 32 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

33 Zoom Ausgangssituation jede Abteilung erstellt eigene Reporte Mehrfachaufwände unterschiedliche Sichten auf gleiche Sachverhalte kein integriertes Reporting das Erkennen wesentlicher Zusammenhänge wird erschwert Vermutungen statt Fakten. keine Validierung von Abrechnungsdaten fehlende Informationen zur Steuerung des operativen Geschäfts 33 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

34 Zoom Ziele Schaffung von Transparenz in den beteiligten Bereichen Leichte Erweiterbarkeit durch modularen Aufbau Systemkonfiguration im Self-Service Reduzierung des Setup- und Schulungsaufwandes durch Verwendung von Microsoft Excel als Client-Tool 34 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

35 Zoom Quellsysteme 35 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

36 Zoom Systemarchitektur CSV Excel OLEDB Microsoft SQL Server 2008 Microsoft Analysis Server 2008 Quelle 1 Data Warehouse OLAP Quelle n Extrakt relevanter Daten Transformation Laden der Daten 36 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

37 Zoom Plattform Microsoft Windows Server 2008 R2 Standard 12 GB RAM 2 Xeon-Prozessoren mit 24 Kernen Microsoft SQL Server 2008 R2, Standard Edition inkl. SSIS und SSAS Microsoft Excel 37 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

38 Zoom ETL-Prozesse Abbildung von Abhängigkeiten in Form von SSIS-Masterpaketen Ausführung der Masterpakete durch SQL Server Agent Jobs einmal täglich früh für Vortagsdaten mehrmals täglich für aktuellen Tag AdHoc z.b. bei externen Dateien Verwendung von StoredProcedures zur Implementierung von Bewertungs- und Transformationsregeln Partitionierung der Kennzahlengruppen zur performanten Beladung der Cubes Scheduling-Konfiguration zum gezielten Nachladen 38 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

39 Zoom Beispiel Analyse von Ist-Bearbeitungszeiten im Vergleich zum Soll Color-Expressions zur Visualisierung von Abweichungen gezielte Ursachenforschung durch Hinzuziehen weiterer Dimensionselemente 39 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

40 Zoom Ausblick Integration weiterer Quellsysteme Integration weiterer Mandanten Monitoring technisch Sicherstellung der Systemverfügbarkeit fachlich proaktives Erkennen von Abweichungen Implementierung von Incentive-Modellen Modellierung auf Basis von Leistungsdaten auf Basis von Kundenzufriedenheit Reporting Live-Sichten auf den aktuellen Prämienstatus 40 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013

41 Vielen Dank! 41 Alexander Neumann, Mike Trepte arvato IT services GmbH DB-Stammtisch HTW Dresden November 20, 2013