Erik Purwins, Unit Manager BI Europäische TDWI-Konferenz, München

Transkript

1 Neubau vs. Sanierung von dispositiven Architekturen in der Finanzindustrie Einblicke in die Praxis Erik Purwins, Unit Manager BI

2 Agenda DWH-Neubau vs. DWH-Sanierung wie wir das Thema sehen DWH-Neubau vs. DWH-Sanierung wie der Markt das Thema sieht DWH-Sanierung in der Praxis Lösungsansätze und Beispiele 2

3 DWH-Architektur Diskrepanz zwischen Theorie und Praxis Theorie Praxis 3

4 DWH-Sanierung vs. DWH-Neubau DWH-Sanierung DWH-Neubau Unser Verständnis von DWH-Sanierung strukturierter Ansatz zur Ermittlung und Durchführung von Maßnahmen Wiederherstellung der Leistungsfähigkeit von produktiv eingesetzten DWH technische, architektonische und organisatorische Maßnahmen Maßnahmen in Bezug auf Datenbereitstellung, -aufbereitung und -nutzung DWH während der Sanierung vollständig produktiv einsetzbar 4

5 Seit über 30 Jahren Spezialist für die Finanzbranche PPI Aktiengesellschaft Vorstand: Grundkapital: Standorte: Thomas Reher (Vorsitz), Uwe Prieß, Dirk Weske 2 Mio., Aktienbesitz: Familie Pape, Vorstand, Mitarbeiter Hamburg, Kiel, Frankfurt, Düsseldorf, Paris Stabilität und Kontinuität: Leistung [Mio ] 36,1 27,0* 37,5 42,9 42,4 47,3 51,7 Mitarbeiter Geschäftsfelder: Consulting Software Factory Produkte Banken Versicherungen * Rumpfgeschäftsjahr Januar bis September

6 Agenda DWH-Neubau vs. DWH-Sanierung wie wir das Thema sehen DWH-Neubau vs. DWH-Sanierung wie der Markt das Thema sieht DWH-Sanierung in der Praxis Lösungsansätze und Beispiele 6

7 DWH-Sanierung 2015 Untersuchungsansatz Inhalt der Studie Empirische Untersuchung zum Status quo der DWH-Sanierung in der Finanzindustrie Durchführung durch den TDWI im Auftrag der PPI AG Themen Allgemeine Angaben Status quo DWH-Landschaft Defizite und Schwachstellen der DWH-Landschaft Maßnahmen zur Veränderung der DWH-Landschaft DWH-Sanierung Untersuchungsdesign Online-Befragung 142 Umfrageteilnehmer - 70 vollständig ausgefüllte Fragebögen Befragungszeitraum Februar bis März

8 DWH-Sanierung 2015 Allgemeine Angaben Zuordnung der Studienteilnehmer auf Branchen und Funktionsbereiche Banken IT 82% 30,00% 31,43% Fachbereich 18% Versicherungen 38,57% IT 56% Fachbereich 33% Banken Versicherungen Sonstiges Vorstand/Geschäftsführung Keine Angabe 4% 7% 8

9 DWH-Sanierung 2015 Allgemeine Angaben Position der Studienteilnehmer in ihrer Organisation BI Experte IT Projektleiter / Teamleiter 27% 29% Leiter BI 17% BI Experte Fachbereich 7% Consultant Sonstiges 6% 6% Abteilungsleiter Fachbereich Keine Angabe 3% 3% Geschäftsführung, oberes Management Mitarbeiter im Fachbereich 1% 1% 9

10 DWH-Sanierung 2015 Status quo DWH-Landschaft Beginn des Aufbaus der derzeit genutzten DWH-Landschaft Vor dem Jahr % Zwischen 2000 und % Zwischen 2006 und % Nach % Keine Angabe 7% 10

11 DWH-Sanierung 2015 Status quo DWH-Landschaft Beginn des Aufbaus der derzeit genutzten DWH-Landschaft (Aufteilung nach Branchen) Vor dem Jahr % 23% 41% Zwischen 2000 und % 36% 44% Zwischen 2006 und % 18% 29% Nach % 14% 19% Keine Angabe 5% 9% 7% Banken (N = 22) Versicherungen (N = 27) Sonstiges (N = 21) 11

12 DWH-Sanierung 2015 Status quo DWH-Landschaft Treiber für die Weiterentwicklung der DWH-Landschaft Fachlich intern 83% Fachlich extern (Compliance, Regulatorik, Aufsicht) 36% Technische Verbesserungen 46% Technische Konsolidierung 33% Technische Migration 24% Keine Angabe 1% 12

13 DWH-Sanierung 2015 Defizite und Schwachstellen der DWH-Landschaft Schwachstellen entlang des DWH-Lebenszyklus Planung und Konzeption des Systems 47% Implementierung und Test des Systems 29% Betrieb und Wartung des Systems 29% Nutzung des Systems 26% Keine Angabe 17% 13

14 DWH-Sanierung 2015 Veränderungsmaßnahmen DWH-Landschaft Präferierte Initiative zur grundlegenden Veränderung der DWH-Landschaft Erhalt und Verbesserung der bisherigen DWH-Landschaft 40% Ersetzen der bisherigen DWH-Landschaft durch einen vollständigen DWH-Neubau 27% Wir wissen noch nicht, welches die geeignete Initiative zur Veränderung der DWH-Landschaft ist. 13% Keine Initiative zur Veränderung der DWH-Landschaft 9% Keine Angabe 11% 14

15 DWH-Sanierung 2015 Veränderungsmaßnahmen DWH-Landschaft Primäres Ziel der Veränderungsinitiative Qualitätssteigerung 30% Kostenoptimierung 23% Flexibilitätserhöhung 39% Risikominimierung 7% 15

16 DWH-Sanierung 2015 Veränderungsmaßnahmen DWH-Landschaft Vorgehensweise für die Veränderung der DWH-Landschaft Top 3 Aktuell gewählte Vorgehensweise Wir führen punktuell Veränderungsmaßnahmen im Rahmen der Wartung und Pflege durch. 17% 51% Wir können auf Grund anderer Prioritäten dringend notwendige Veränderungsmaßnahmen nicht durchführen. Wir führen punktuell Veränderungsmaßnahmen im Rahmen von eigenen Weiterentwicklungsprojekten durch. Aktuell gewählte Vorgehensweise 7% 24% Wünschenswerte Vorgehensweise 44% 47% Top 3 Wünschenswerte Vorgehensweise Es gibt eine Gesamtplanung (Roadmap) für die Veränderungsmaßnahmen mit Berücksichtigung der Abhängigkeiten. 14% 56% Es gibt eine Gesamtplanung (Roadmap) für die Veränderungsmaßnahmen mit klar definierten und meßbaren Zielen. Veränderungsmaßnahmen sind in die Gesamtplanung (Roadmap) für die Weiterentwicklung der DWH-Landschaft integriert. Aktuell gewählte Vorgehensweise 10% 16% Wünschenswerte Vorgehensweise 51% 54% 16

17 DWH-Sanierung 2015 DWH-Sanierung Zukünftige Bedeutung DWH-Sanierung Unausweichlich 27% Sehr wichtiges Thema 31% Bedeutung wird weiter wachsen 29% Zu beachten, aber ohne hohe Priorität 9% Unwichtig 4% DWH-Sanierung strukturierter Ansatz zur Ermittlung und Durchführung von Maßnahmen Wiederherstellung der Leistungsfähigkeit von produktiv eingesetzten DWH technische, architektonische und organisatorische Maßnahmen Maßnahmen in Bezug auf Datenbereitstellung, -aufbereitung und -nutzung DWH während der Sanierung vollständig produktiv einsetzbar 17

18 DWH-Sanierung 2015 Defizite und Schwachstellen der DWH-Landschaft Wahrgenommene Defizite der DWH-Landschaft Weitere Ergebnisse der Studie DWH Sanierung 2015 stellen wir Ihnen gerne in einem persönlichen Termin vor. 18

19 DWH-Sanierung 2015 Defizite und Schwachstellen der DWH-Landschaft Schwachstellen der DWH-Landschaft Größtes Verbesserungspotenzial bei Schwachstellen Weitere Ergebnisse der Studie DWH Sanierung 2015 stellen wir Ihnen gerne in einem persönlichen Termin vor. 19

20 DWH-Sanierung 2015 Veränderungsmaßnahmen DWH-Landschaft Aktuelle Architektur und Zielarchitektur der Veränderungsinitiative Weitere Ergebnisse der Studie DWH Sanierung 2015 stellen wir Ihnen gerne in einem persönlichen Termin vor. 20

21 DWH-Sanierung 2015 Veränderungsmaßnahmen DWH-Landschaft Vorgehensweise für die Veränderung der DWH-Landschaft Weitere Ergebnisse der Studie DWH Sanierung 2015 stellen wir Ihnen gerne in einem persönlichen Termin vor. 21

22 Agenda DWH-Neubau vs. DWH-Sanierung wie wir das Thema sehen DWH-Neubau vs. DWH-Sanierung wie der Markt das Thema sieht DWH-Sanierung in der Praxis Lösungsansätze und Beispiele 22

23 DWH-Sanierung in der Praxis Lösungsansätze und Beispiele Ergebnis der Studie Schwachstelle: Fachliche Architektur Lösungsansätze und Beispiele Lösungsansatz: Fachliches BI-Zielbild Wünschenswerte Vorgehensweise: Gesamtplanung (Roadmap) Praxisbeispiel: Sanierungsplanung Treiber für Weiterentwicklung: Technische Verbesserungen Praxisbeispiel: Performance- und Stabilitätsverbesserung 23

24 Fachliches BI-Zielbild Lösungsansatz für Schwachstelle Fachliche Architektur Kommunikationsmittel mit der richtigen Flughöhe 24

25 Fachliches BI-Zielbild Nutzen Vielfältige Einsatzgebiete Der Nutzen eines fachlichen BI-Zielbilds zeigt sicher immer dort, wo BI durch die fachliche Brille gesehen wird (bzw. werden sollte). BI-Strategie Konkretisierung der BI-Strategie Festlegung von Spielfeldern BI-Architekturmanagement Zuschnitt BI-Anwendungen Festlegung techn. Architektur BI-Programm-Management (fachlich-orientierte Roadmap) DWH-Neubau DWH-Weiterentwicklung DWH-Sanierung BI-Anforderungsmanagement Analyse von fachlichen Abhängigkeiten und Interdependenzen Bewertung/Priorisierung von Anforderungen BI-Governance Definition von Zuständigkeiten und Verantwortlichkeiten Reichweite von Richtlinien & Standards Data Governance Definition von Zuständigkeiten und Verantwortlichkeiten Reichweite von Richtlinien & Standards 25

26 DWH-Sanierung in der Praxis Lösungsansätze und Beispiele Ergebnis der Studie Schwachstelle: Fachliche Architektur Lösungsansätze und Beispiele Lösungsansatz: Fachliches BI-Zielbild Wünschenswerte Vorgehensweise: Gesamtplanung (Roadmap) Praxisbeispiel: Sanierungsplanung Treiber für Weiterentwicklung: Technische Verbesserungen Praxisbeispiel: Performance- und Stabilitätsverbesserung 26

27 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap Analyse eines DWH einer deutschen Bank Ausgangssituation Maßnahmen Datenmodell: sieben logisch getrennte Schichten, keine technische Trennung netzwerkförmige Abhängigkeiten zwischen den Schichten keine Star Schema-Modellierung keine Dokumentation der Inhalte und Abhängigkeiten im ETL-Prozess lange, fehlerträchtige Ladeläufe dadurch unvollständige, nicht nachvollziehbare Tests Datenfreigabe für Reporting komplex Prüfung Einsatz ETL-Tool Einrichtung DB-Framework Standardisierung DB-Framework Löschen DB-Schicht DB-Switch Reporting Parallelisierung ETL-Verarbeitung Detaildefinition Schichtenarchitektur Einführung Massenverarbeitung technische Umsetzung Schichtenarchitektur Erweiterung DB-Framework automatisierte Abhängigkeitsanalyse ETL-Prozess regelmäßige, klar definierte Testdatenbereitstellung 27

28 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap Planung von Verbesserungsmaßnahmen gemäß dem 3-Phasen-Modell von PPI Phase 1 Handlungsfähigkeit wiederherstellen Phase 2 Zukunftsfähigkeit gewährleisten Phase 3 Investitionen schützen zeitlicher Fokus kurzfristig mittelfristig langfristig inhaltlicher Fokus Performance Stabilität Komplexität Effektivität Effizienz Transparenz typische Eigenschaften hohe punktuelle, unmittelbare Wirkung schnelle Umsetzbarkeit geringe/keine Abhängigkeiten breite, unmittelbare Wirkung Abhängigkeit zu anderen Maßnahmen (Voraussetzungen) mittelbare Wirkung hohe Abhängigkeit zu anderen Maßnahmen Beispiele SQL-Statements optimieren Indizes setzen Reports bereinigen Datenmodell anpassen Schichtenarchitektur überarbeiten Tests automatisieren ETL-Prozesse standardisieren 28

29 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap Phasenplan zur Optimierung eines DWH einer deutschen Bank Phase 1 Phase 2 Phase 3 Herstellung Handlungsfähigkeit Sicherstellung Zukunftsfähigkeit Sicherung Investitionen Stufe 2 (Performance DWH) Stufe 5 (Beladungsoptimierung) Stufe 7 (Schichtenmodell DWH) Stufe 11 (Testautomatisierung) Stufe 1 (Initialisierung) Stufe 9 (Framework ETL) Stufe 3 (Bereinigung) Stufe 4 (Abschaffung DB-Schicht) Stufe 6 (Fachliche Modellierung) Stufe 8 (Überarbeitung Berichtwesen ) Stufe 10 (systemübergr. Data Lineage) Fokus Komplexitätsreduzierung Fokus Performance Fokus Zukunftsorientierung Fokus Effektivität Fokus Effizienz Fokus Transparenz 29

30 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap Auszug Phasenplan mit Berücksichtigung von Abhängigkeiten auf Arbeitspaketebene Reduzierung von Komplexität und Abhängigkeiten durch Einführung eines DB-Frameworks Phase 1 Phase 2 Stufe 1 (Initialisierung) ETL-Tool Stufe 2 (Performance DWH) Massenverarbeitung Stufe 5 (Beladungsoptimierung) Detaildefinition Schichtenarchitektur Stufe 7 (Schichtenmodell DWH) Umsetzung Schichtenarchitektur DB-Framework Stufe 3 (Bereinigung) technisch Stufe 4 (Abschaffung DB-Schicht) Standardisierung DB- Framework Erweiterung DB- Framework fachlich Löschen DB-Schicht DB-Switch Reporting Stufe 6 (Fachliche Modellierung) Stufe 8 (Überarbeitung Berichtwesen ) 30

31 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap Auszug Phasenplan mit Berücksichtigung von Abhängigkeiten auf Arbeitspaketebene Stufenplanung erlaubt genaue Aussage zur Erreichung eines Ziels Phase 1 Phase 2 Stufe 1 (Initialisierung) ETL-Tool DB-Framework Stufe 3 (Bereinigung) technisch Stufe 2 (Performance DWH) Massenverarbeitung Stufe 4 (Abschaffung DB-Schicht) Stufe 5 (Beladungsoptimierung) Detaildefinition Schichtenarchitektur Standardisierung DB- Framework Stufe 7 (Schichtenmodell DWH) Umsetzung Schichtenarchitektur Erweiterung DB- Framework fachlich Löschen DB-Schicht DB-Switch Reporting Stufe 6 (Fachliche Modellierung) Stufe 8 (Überarbeitung Berichtwesen ) 31

32 DWH-Sanierung in der Praxis Lösungsansätze und Beispiele Ergebnis der Studie Schwachstelle: Fachliche Architektur Lösungsansätze und Beispiele Lösungsansatz: Fachliches BI-Zielbild Wünschenswerte Vorgehensweise: Gesamtplanung (Roadmap) Praxisbeispiel: Sanierungsplanung Treiber für Weiterentwicklung: Technische Verbesserungen Praxisbeispiel: Performance- und Stabilitätsverbesserung 32

33 PPI-Vorgehensmodell DWH-Sanierung Lösungsansatz für Schwachstelle fehlende Roadmap technische Verbesserung eines DWH bei einem großen Versicherungskonzern Ausgangssituation Maßnahmen veraltete Datenbank-Version extremes IO-Problem in der Datenbank sehr lange, inperformante Ladeläufe dadurch stark eingeschränkte Testmöglichkeiten instabiler Produktionsbetrieb durch häufige Abbrüche wegen mangelnder Ressourcen Ursachenanalyse schlechte Performance Einführung Partitionierungskonzept Optimierung Indizes konsequente Massenverarbeitung Einführung neue DB-Version Komprimierung Optimierung Historisierung automatische Checks zur Vermeidung ineffizienter Datenbankstrukturen Skripte zur regelmäßigen Performanceanalyse 33

34 Stabilitäts- und Performanceverbesserung Lösungsansatz technische Konsolidierung Stabilitäts- und Performanceverbesserungen eines alten DWH bei einem großen Versicherungskonzern Phase 1 Phase 2 Analyse rein technische Optimierung Technik- Test Toolerstellung SQL Optimierung Fach- Test SQL-Workload messen Vorschläge erarbeiten Aufwand schätzen neue Oracle Version einführen Indizierung ändern partitionieren komprimieren Tool für fachlichen Abgleich erstellen langlaufende SQL- Statements optimieren Konfiguration des ETL- Tool optimieren konsequente Massensatzverarbeitung einführen Einsatz Abgleich- Tool Produktionseinführung Produktionseinführung 34

35 Zeit für Ihre Fragen, Anmerkungen, Diskussion Kommen Sie an den Stand Nr. 07 der PPI AG und diskutieren Sie mit uns über Neubau vs. Sanierung von dispositiven Architekturen! Erik Purwins Unit Manager Business Intelligence PPI Aktiengesellschaft Peter-Müller-Straße Düsseldorf Telefon: Mobil: