BI und Data Warehouse im Zeitalter der Digitalisierung

Transkript

1 BI und Warehouse im Zeitalter der Digitalisierung Gregor Zeiler Senior Solution Manager BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

2 Einflüsse der Digitalisierung auf analytische Lösungen more...,...operational,...near-/real-time,...heterogeneous,...analytics Traditional BI/DWH more... strategic, tactical,...internal,...batch data,...reporting

3 Lineage operational Latenz Lake unstrukturiert Advanced Analytics Big Aktuelle Problemstellungen und neue Herausforderungen Wo tut s weh im DWH? Unvollständige Metadaten inflexibel wartungsintensiv Integration neuer Daten Aktualität Transparenz langsam Dokumentation Agilität Performance Skalierbarkeit veraltete Software Quality Was kommt zukünftig dazu? Cloud Master Machine Learning Privacy/ Security Compliance Digitalisierung Regulatorien Streaming Vault NoSQL IoT Science Hadoop

4 Traditional Business Digital Business Traditional Business Intelligence DW Modernization EVERYTHING AS A SERVICE Big & Science IoT

5 Massgebliche Treiber für DWH Modernisierung Business Driver Business alignment Growing data Modern practices for Analytics, Source: Warehouse Modernization, Best Practices Report, Q2/2016 Lake, Vault, Hadoop, Technical Driver

6 Erwartungen an modernisierte DWH-Lösungen Business Analytics, Exploration, Better decision making Operational efficiency Agility, Maintenance, Automation Technology Source: Warehouse Modernization, Best Practices Report, Q2/

7 Modernisieren ja, aber wie? Die Zukunft analytischer Lösungen

8 Modern Analytical Management Solutions (DWE) Access Governance, Metadata, Governance, Quality Quality Meta Classic DWH RELIABLE DATABASE Federation Virtualization FEXIBILITY AGILITY Big Analytics VARIABILITY ROW-DATA Service Decision Layer The traditional data warehouse has been overwhelmed by analytic demands, giving rise to the logical data warehouse as a best-in-class architecture for a new style of data management solutions for analytics. Gartner: 2014, Analyst(s): Mark A. Beyer, Roxane Edjlali

9 Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Landscape for Analytical Management Solutions Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Raw in Motion Standardized in Motion Service / API Dashboard Structured Optimized in Motion Refinery/Factory Search Prebuild & AdHoc BI Assets Master & Reference Machine Content Optimized at Rest Standardized at Rest Raw at Rest Lab (Sandbox) Virtualization Query Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance

10 Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Classical DWH based on analytical Landscape Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Raw in Motion Standardized in Motion Service / API Dashboard Structured Master & Reference Machine Content Optimized in Motion ETL Refinery/Factory Optimized at Rest Standardized at Rest Raw at Rest Lab (Sandbox) Marts Core DWH Staging Area Search Virtualization Query Prebuild & AdHoc BI Assets Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance

11 Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental LDW 3rd Pile: e.g. with Lambda Architecture Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Structured Master & Reference Machine Content Event Hub Raw in Motion Raw at Rest Standardized in Motion Stream Analytics Standardized at Rest Optimized in Motion Refinery/Factory Optimized at Rest Hadoop Raw Lab (Sandbox) NoSQL DB SQL Engine Processed Files Service / API Search Merge Layer Query Dashboard Prebuild & AdHoc BI Assets Information Services Advanced Analysis Tools Science Tools Sources Acquisition Management Information Provisioning Consumer Governance Metadata Management Master Management Quality & Accountability Security Legal Compliance

12 DWH - Modernisierung Stossrichtungen und Strategien

13 Stossrichtungen der DWH-Modernisierung Architekturen Vault (DW Core) EDWH LDW Big Kosten Dev./Operating CAPEX/OPEX Funktionen Advanced Analytics, Self-Service, DWE DW Technologie EDWH, Silos, Hadoop, NoSQL InMemory Skalierbarkeit Cloud, Services, Elastic-DWH Automation Development-, Change- Automation Organisation Governance, Compliance Processes, Skills New -sources/-types Quality/Security

14 Status Quo Erweiterung Extended Mögliche Modernisierungsstrategien Feature Extension R A N Funktionale Modernisierung R A N 44% Lab 42% mit Erweiterungs- Strategie Lake, Hadoop Disruptive Modernisierung 21% R A N Legende: R Risiko A Aufwand N Nutzen..% hoch mittel klein Beispiele von Modernisierungsvorhaben Prozentangaben der gewählten Modernisierungsstrategien. Mehrfachnennung möglich. System Mod. 53% Performance Opt. R A N R A N Vault 58% mit Erneuerungs- Strategie Partielle Modernisierung R A N 42% 47% Greenfield Status Quo R A N Re- Platforming Quelle der Zahlen: tdwi Best Practices Report Q2/2016 DWH Modernization Sanierung Erneuerung Neubau

15 BSP1: System/Performance Modernisierung Reports Mart In-Memory DB Option Core Cleansing Staging ETL Migration HW Migration Erweiterung Partitionierung Indexierung Source Files/ Systems

16 BSP2: Greenfield/Partielle Modernisierung Partielle Mod. Greenfield Reports Mart Core Cleansing Staging Neue Source Bereiche Einsatz von DWA (DWH Automation Tools) Adaptierte Modellierung (z.b. Vault) Ersatz ETL durch ELT Ev. Replatforming DB Kostenreduktion (Betrieb/Changemanagement) Source Files/ Systems

17 NoSQL Streaming Analytics BSP3: Funktionale Modernisierung Ausbau Disruption Reports Virtualization/Federation Mart Analytical Sandbox DW DWH Cold Business Vault Raw Vault ODS/ Staging Source Files/ Systems Histor. ODS/ Lake Event Hub Big Plattform (Analyt. Sandbox, Lake, Business/Raw Vault) Streaming Integration ( in Motion)

18 DWH Strategie für die nächsten 3 Jahre (Architektur) decrease increase Quelle: Warehouse Modernization, Best Practices Report, Q2/2016, Philip Russom

19 DWH Strategie für die nächsten 3 Jahre (Rolle Hadoop) 50% combine 6% replace Quelle: Warehouse Modernization, Best Practices Report, Q2/2016, Philip Russom

20 DWH Strategie für die nächsten 3 Jahre (Ersatz) 57% replace Quelle: Warehouse Modernization, Best Practices Report, Q2/2016, Philip Russom

21 Der Weg zu modernen analytischen Datenmanagement Lösungen

22 Schritte zur Entwicklung einer DWE Vision Existing DWH Solution Modern Analytical Architectures Roadmap to Vision DWE Vision Target Solution Upcoming Requirements Existing Problems and Pain Points

23 Fazit und Empfehlungen Digital Business treibt die DWH Modernisierung Erweitern Sie den Scope auf ganzheitliche Analytische Datenmanagement Lösungen (DWE) Bauen Sie ihre Architektur auf Basis der aktuellen Pain Points und der zukünftigen Bedarfe auf. Nicht vorrangig technologiegetrieben. Wählen Sie eine für Sie passende Modernisierungs- Strategie Und seien Sie couragiert dabei!

24 Fragen und Antworten Gregor Zeiler Senior Solution Manager BI/Big