Hadoop Forum OOP München 2016 Moderne Architekturansätze. Timm Grosser, Leiter Beratung BI und Datenmanagement München, 03.

Transkript

1 Hadoop Forum OOP München 2016 Moderne Architekturansätze Timm Grosser, Leiter Beratung BI und Datenmanagement München, 03. Februar 2016

2 BARC

3 BARC: Expertise für datengetriebene Unternehmen BARC

4 Nutzen von Daten im Kontext der Digitalisierung Hohe Marktdynamik und verschärfter Wettbewerb Mehr Daten und umfangreichere Verwendung OPTIMIERUNG AUTO- MATISIERUNG INNOVATION BARC

5 Importance of BI and data management trends Top 3 Trends in DACH 1. SSBI 2. Datenqualität 3. Analytische DB Source: BARC BI Trend Monitor 2016, n= BARC

6 DATEN BARC

7 Wachsende Bedeutung von Daten 3% 0,5% 1% 13% 13% 8% 34% 29% 20% 45% 20% 43% Daten spielen im Unternehmen keine große Rolle Hauptteil der Entscheidungen aus dem Bauch heraus/durch Erfahrung gefällt Faktenbasierte Entscheidungen in einzelnen Unternehmensbereichen Im gesamten Unternehmen Entscheidungen auf Basis von Daten und Analysen 22% 22% 28% Permanente Datenanalysen als Grundlage der Entscheidungs- und Prozessautomatisierung/-optimierung Quelle: BARC Surveys Big Data Analytics, Big Data Use Cases, Moderne Datenarchitekturen, n=343/203/ BARC

8 Datenkategorien und ihre Merkmale Quelldaten Kategorie Transaktionale Daten Maschinengeneriert Menschgeneriert Qualität Komplexität Interpretierbarkeit Störgeräusch Data Warehouse Prozessaffinität Big Data Prozessaffinität BARC

9 EXPLORATIVE ANALYTIK Neue Erkenntnisse erforschen BARC

10 Mind Shift! Systems of Innovation erfordert andere Services und andere organisatorische Ansätze Systems of Records Stabilität Gesicherte Daten Automat. Prozesse Kostenoptimiert Service Levels Hohe Qualität Relevante Daten Systems of Innovation Agilität Neue Erkenntnisse Trial & Error Wertoptimiert Self Service Schnell Alle Daten Klassische BI Operational BI Explorative BI BARC

11 Operationalisierung Erkenntnisse zur Anwendung bringen BARC

12 Vor allem fachliche Anforderungen fordern das alt-bewährte DWH-Konzept Gestiegene Erwartungshaltung des Managements Gestiegene Erwartungshaltung in den Fachbereichen Wachsende Anzahl/Vielfalt von Datenquellen Sich schneller verändernde Geschäftsprozesse Erhöhung der Wettbewerbsfähigkeit Wunsch nach Vorhersagen/Mustererkennungen Datenwachstum Erhöhte Anforderungen an Reaktionsschnelligkeit Performance-Probleme Unzufriedenheit mit der Umsetzungszeit bei neuen Anforderungen Kostengründe Umgang mit verschiedenen Datenstrukturen Probleme operative Prozesse mit Near-/Real-Time-Daten zu Gestiegene Ressourcenbindung in der der IT-Abteilung Compliance-Anforderungen Sonstige 2% 68% 67% 51% 46% 43% 41% 35% 29% 25% 24% 23% 22% 20% 18% 18% Quelle: BARC Survey Moderne Datenarchitekturen, n= BARC

13 Mit den neuen Anforderungen kommen bestehende DW Implementierungen vielerorts an ihre Grenzen BARC

14 Doch ist das DWH bereit als Datenbasis zur Umsetzung neuer Anforderungen? Komplexität: Wartung, Weiterentwicklung, Nutzung Fehlende Flexibilität: neue Daten, neue Analysen Unzureichende Abfragezeiten Unbefriedigende Aktualisierung: Zyklen und Zeiten Kostenintensiv Unzureichende funktionale Abdeckung BARC

15 Anwender wünschen sich einen besseren Erkenntnisgewinn aus Daten Geschwindigkeit der Umsetzung von Änderungen/neuen Anforderungen 17% 31% Fähigkeit, neue Erkenntnisse aus Daten durch statistischer Methoden zu 16% 28% Fähigkeit, aus den Daten Erkenntnisse für die Zukunft zu gewinnen 12% 29% Flexibilität in der Umsetzung neuer Aufgabenstellungen Einfachheit der Anbindung neuer Datenquellen 9% 9% 27% 26% Wartbarkeit und Betrieb Ladeperformance Als Datenlieferant für neue fachliche Anforderungen Datenqualität Unterstützung der fachlichen Aufgaben Fähigkeit, aus den Daten Erkenntnisse zur Steuerung der operativen Abfrageperformance Umfang der bereitgestellten Informationen 7% 6% 5% 5% 5% 4% 3% 2 19% 17% 15% 15% 14% 15% 13% 15% Sehr unzufrieden Aktualität der Daten 10% Eher unzufrieden Quelle: BARC Survey Moderne Datenarchitekturen, n= BARC

16 Realität und Wunsch klafft auseinander Integration heterogenen Datenquellen Befähigung der Fachbereich, Daten selbstständig zu integrieren und auszuwerten Zielerreichung Relevanz 2,80 3,66 2,67 3,58 Einsatz agiler Methoden 2,52 3,06 Einsatz von Big-Data- Technologien Speicherung aller anfallenden Daten in ihrer Rohform Einsatz alternativer Modellierungsformen Einsatz von Predictive- Technologien Rückgriff auf ein cloud-basiertes Data Warehouse 2,09 2,73 2,07 2,70 2,00 2,47 1,98 2,82 1,79 2,11 1 1,5 2 2,5 3 3,5 4 Quelle: BARC-Survey Moderne Datenarchitekturen, n= BARC

17 Moderne Architekturansätze BARC

18 Welche der folgenden Varianten nutzen Sie in Ihrer Architekturlandschaft bzw. planen Sie zukünftig umzusetzen? Data Marts 57% 12% 12% Zentrales Enterprise Data Warehouse 55% 17% 16% Virtualisierungsschicht/Logical Data Warehouse 25% 16% 23% Keine dedizierte dispositive Datenhaltung zur Entscheidungsunterstützung 20% 10% 18% Sandbox 18% 21% 22% Data Lake 4 14% 24% Im Einsatz Geplant innerhalb von 12 Monaten Langfristig geplant Quelle: BARC-Survey Moderne Datenarchitekturen, n= BARC

19 Weiterhin dominieren Standard Relationale Datenbanken mit Abstand das Toolportfolio für Business Analytics. Die Nutzung neuer Technologien nimmt allerdings zu. Standard Relationale Datenbanken 91% Multidimensionale Datenbanken 66% 6 5 Standard-Datenintegrationswerkzeuge Individualentwicklung Analytische Datenbanken Stand-alone Self-Service-BI-Lösungen 45% 45% 45% 42% 10% 8% 8% 10% 14% 7% 12% 9% Werkzeuge für die Datenvirtualisierung 21% 12% 19% Predictive-Werkzeuge 19% 18% 26% Big Data Appliances 18% 7% 22% "Search & Discovery"-Werkzeuge Hadoop-Ökosystem NoSQL-Datenbanken Spezielle Big-Data-Analyse-Anwendungen Streaming-Datenbanken/Event Processing 16% 12% 11% 7% 6% 16% 10% 6% 7% 8% 20% 20% 17% 20% 14% Automatisiertes Data Warehousing 5 13% Im Einsatz Geplant innerhalb von 12 Monaten Langfristig geplant Quelle: BARC-Survey Moderne Datenarchitekturen, n= BARC

20 4 häufig diskutierte Architekturansätze 1. In-memory Datenbanken zur Verschlankung der Datenarchitektur von DWH- Landschaften 2. Erweiterung der klassischen BI Architektur um die explorative und operative BI 3. Erweiterung der klassischen BI Architektur um SSBI 4. Data Lake BARC

21 Architekturevolution durch in-memory? BARC

22 Wie schätzen sie den Nutzen folgender Technologien zur schnelleren und einfacheren Umsetzung von DWH-Anforderungen ein? In-Memory-Datenbanksysteme 55% 30% 11% 4% Automatisiertes Data Warehousing 34% 36% 26% 4% Eigenentwicklung 34% 36% 19% 11% Datenvirtualisierung/Logical Data Warehouse 24% 49% 21% 6% Referenzdatenmodelle 18% 35% 38% 9% Verknüpfung von Best-in-Class-Lösungen 17% 47% 26% 9% Lösungsbausteine vom Softwarehersteller 16% 43% 36% 5% Einkauf fertiger Lösungen 11% 35% 42% 12% Cloud-basierte Data-Warehouse-Lösungen 8% 24% 40% 28% Hoher Nutzen Mittlerer Nutzen Geringer Nutzen Kein Nutzen Quelle: BARCs Data Warehousing und Datenintegration Survey im Zeitalter von Big Data, n= BARC

23 Historisch gewachsene DWH Architektur Mehrfache Schichten im DWH seit den 90ern Classical BI System of Record Reporting, Dashboards, Analysis Konforme Dimensionen, Lookup Tabellen, Hierarchien, Faktentabellen System of Record & Historie Business Intelligence layer Data Mart layer Data integration layer Data Warehouse layer Komplexe fachliche Berechnungen Data integration layer Komplexe Business Rules & Abhängigkeiten Staging Area ERP SCM CRM Business transaction data (structured) External systems BARC

24 Erweiterte DWH-Architektur Self Service BI, reduzierte DI-Aufwände, bessere Agilität, höhere Performance Reporting, Dashboards, Analysis Business Intelligence layer Virtuelle Data Marts, Konforme Dimensionen, Fakten Data Mart layer Views Komplexe fachliche Berechnungen System of Record & Historie Data Warehouse layer Business Rules werden näher zum Business gebracht Gesteigerte IT/BICC Reaktionszeit Kostenreduktion und weniger Änderungsaufwand im DWH Höhere Flexibilität und Datenverfügbarkeit für das Business Data integration layer ERP SCM CRM Business transaction data (structured) External systems Schneller, geringere Komplexität Staging Area BARC

25 Erweiterung der klassischen BI Architektur um die explorative BI BARC

26 BI Disziplinen Data at rest Klassische BI Was ist geschehen? Reporting/ Dashboards Warum ist es passiert? Analyse Explorative BI Was wird passieren? Voraussagende Modellierung Operationale BI Data in motion Was passiert aktuell? Business Activity Monitoring (BAM) Was ist interessant? Regeln, Meldungen Was sollen wir tun? Voraussage & Verordnung BARC

27 BI Disziplinen des digitalen Unternehmens in der Architektur Kerngeschäftsprozesse Data in motion Zentrale Governance Systems of Record (operativ) Klassische BI Data at rest Zentrale Governance Systems of Record Explorative BI Data at rest Lokale governance Systems of Innovation ERP SCM CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Geschäftsdaten Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

28 BI Disziplinen des digitalen Unternehmens in der Architektur Kerngeschäftsprozesse Data in motion Zentrale Governance Klassische BI Data at rest Zentrale Governance Explorative BI Data at rest Lokale governance Warum ist es passiert? Fortgeschrittene Analyse ERP SCM CRM Logisch integriertes Geschäftsdatenmodell Strukturierte Geschäftsdaten Externe Systeme Sensor-Daten Web Logs Maschinengeneriert (strukt.) Social Media Dokumente Menschgeneriert (polystr.) BARC

29 Architekturumgebungen des digitalen Unternehmens - Eigenschaften, Technologien, Skills Kerngeschäftsprozesse Data in motion Zentrale Governance Systems of Record Operative BI Klassische BI Data at rest Zentrale Governance Systems of Record Taktische BI Explorative BI Data at rest Lokale Governance Systems of Innovation Explorative BI CEP ADB Streaming NoSQL ERP SCM CRM Strukturierte Geschäftsdaten Externe Systeme SSBI ADB Hadoop ADB, Hadoop, Virtualisierung, DI Services Logisch integriertes Geschäftsdatenmodell Sensor-Daten Web Logs Maschinengeneriert (strukt.) Expl. SSBI/DI ADB Suchindex NoSQL Hadoop Social Media Dokumente Menschgeneriert (polystr.) Erweitertes Rollenmodell, erweiterte Skills, erweiterte Ablauforganisation erforderlich BARC

30 Erweiterung der klassischen BI Architektur um Self Service BI BARC

31 Self-Service BI: Trend-Thema mit schwammiger Definition Im Vordergrund steht immer: Einfache Bedienung und schnelle Ergebnisse Meist: Reporting, Dashboards, Ad-hoc Abfragen Häufig: Verknüpfen verschiedener Datenquellen Vereinzelt: Daten Exploration, eigene Datenmodelle Ziele in der BI Anwendung: Flexibilität im Fachbereich erhöhen Abhängigkeit von der IT reduzieren BARC

32 Wie sieht Ihre Self-Service-Strategie aus? Erlaubter Einsatz/direkter Zugriff auf operativen Systeme mit Self- Service-BI-Tools Verlagerung bestimmter Datenmanagement-Aufgaben in den Fachbereich Sandboxing im Data Warehouse 34% 38% 51% Schnellere Umsetzung von Änderungswünschen 23% Keine Herausforderung mit Self-Service-BI Ein umfassendes Data-Governance-Konzept Schnellere Ladezyklen im Date Warehouse 17% 17% 16% Verbot von Self-Service-BI-Tools Auslagerung in die Cloud Sonstige 2% 5% 4% Quelle: BARC-Survey Moderne Datenarchitekturen, n= BARC

33 Data Lake BARC

34 Data Lake Konzept Reporting & dashboards Analysis Search & discover Predictive modeling Text analysis CEP Streaming Engine ERP SCM CRM Business transaction data (structured) SSBI SSDI External systems Data Lake Analytical Database File System Sensor data Data Lake Konzept Begriff wurde von Hadoop Distributoren (z.b. Pivotal (EMC), Explor Horton Works) -ation eingeführt Ein hauptsächlich auf Hadoop basierendes Konzept mit dem Ziel Daten jeder Art zu sammeln bzw. Machine-generated data (struct.) NoSQL DB File System Search Index, Catalog Im Hadoop File System zu speichern Auswertung und Übertragung der Daten in weitere Infrastrukturelemente bei Bedarf. Strenge Data Governance notwendig sonst wird der Data Web log data Social media Documents Lake leicht zum Datensumpf Human-generated (polystr.) BARC

35 Big Data: Lakes or Swamps? As we collect data Can we preserve clarity? Do we know what we are collecting? Can we find the data we need? Are we perhaps creating a data swamp? How do we build trust in and pull benefit from big data? Do we know what data is being used for and how it is interpreted? Have we ensured data is used in the same way regardless of environment? Have we assured that analytic insight can be operationalized? Approach: Well-shaped data integration and overall data governance is the backbone and enabler to turn the unfavorable data swamp into a valuable, supervised data lake Managed arrangement of an enterprise data scope BARC

36 Fünf bedeutende Erkenntnisse aus der Studie Moderne Architekturansätze 1. Die Bedeutung von Daten wächst zunehmend und der Wert von Daten wird stärker von Management und Fachbereich erkannt. 2. Die IT kann und ist meist nicht der Treiber, wohl aber möglicher Initiator und Wegbereiter für Business Analytics im Unternehmen. 3. Managementunterstützung und Kulturwandel sind wesentliche Merkmale datengetriebener Unternehmen. 4. Die Bereitschaft zum Wandel ist grundsätzlich da, doch es fehlen die Aktionen. Wer was haben möchte, muss auch etwas dafür tun! 5. Hohes Potential für schnelle erste Erfolge liegt in den Disziplinen Datenintegration, Self-Service (Integration und Auswertung) sowie Predictive Analytics BARC

37 Bleiben Sie in Kontakt! Timm Grosser Leiter Beratung BI und DM CIO Roundtable Analytics & Big Data Tel BARC