Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover,

Transkript

1 Symbiose hybrider Architekturen im Zeitalter digitaler Transformation Hannover,

2 Business Application Research Center (BARC) B (Analystengruppe Europas führendes IT-Analysten- und -Beratungshaus für Business Software und IT Services (Analystengruppe CXP / PAC / BARC) A R 140 Mitarbeiter, davon 80 Analysten an 17 Standorten in acht Ländern Portfolio aus Research, Beratung und Weiterbildung C Themen: Business Intelligence, Big Data, Datenmanagement, Customer Relationship Management, Enterprise Content Management, IT-Management, HR, Finance, ERP, IT Sourcing und IT Services BARC

3 BARC-Survey: Hadoop Aktuelle Umfrage zu Status quo von Hadoop-Initiativen in der DACH- Region Fragestellungen: Welche Verbreitung hat Hadoop bereits gefunden und wie sehen die Pläne der Unternehmen aus? Wie setzen Unternehmen Hadoop ein bzw. planen Sie einzusetzen? Auf welche Probleme stoßen die Unternehmen dabei? Welchen Nutzen erzielen Unternehmen durch Hadoop? Wie gestaltet sich die technologische Umsetzung? Nehmen Sie jetzt an der Studie teil und erhalten die exklusiven Umfrageergebnisse! BARC

4 BARC-Tagung: Digital Transformation: SAP HANA and Beyond 21. April in Würzburg Themen: Bedeutung der digitalen Transformation HANA als Datenbank und analytische Plattform Projekterfahrung mit SAP HANA Marktbetrachtung und -Segmentierung Fachvorträge der BARC-Analysten Software-im-Vergleich-Präsentationen Fachausstellung Begleitende Intensivseminare zu BI-Frontends für SAP BW und HANA Analytische Plattformen im Wandel Weitere eteeinfos und Anmeldung edu gunter: a a BARC

5 BARC-Orientierungsworkshop: Neue Architekturen im Zeitalter von Big Data Ihre Vorteile: Kompakt und fundiert an einem Tag: Best-Practices, Blue-Prints und Methodik Einschätzbarkeit neu angepriesener Technologien und Methodiken erhöhen Bewertung der eigenen Architektur vor dem Hintergrund neuer Trends und Technologien Diskussion über Umsetzbarkeit und individuelle Fragen Unabhängige Expertensicht BARC

6 Symbiose hybrider Architekturen im Zeitalter digitaler Transformation BARC

7 BI Strategie Architekturprinzipien der 90er Übergreifende Sch hicht (u.a. Metadaten n-management) Hub & Spoke? Core DWH? Ausgangslage: Unterschiedliche Anforderungen an OLTP und Data Mart Bus? DWH bedingen unterschiedliche Umgebungen Single Point of Truth? Technologisch Bill Inmon? Inhaltlich Ralph Kimball? organisatorisch System of Record? Data Vault? Quasi-Standard 3-Schichten-Architektur (funktionale Sicht) Business Intelligence Schicht kontextspezifische Analyse Data Warehouse Schicht qualitätsgesicherte, dispositive Datenquelle Datenintegrations-Schicht Schwächen der Datenquellen ausmerzen Datenquellen Data Warehouse Datenarchitektur (Daten-Sicht) - Schichten der Datenpersistenz Technologisch Inhaltlich Organisatorisch Unterschiedliche Ansätze Anspruch: gesicherte, IT-governed DWH Umgebung im Sinne einer BI/DWH Fabrik BARC

8 Häufig genannte Eigenschaften analytischer Systeme Komplexität: Wartung, Weiterentwicklung, Nutzung Fehlende Flexibilität: neue Daten, neue Analysen Unzureichende Abfragezeiten Unbefriedigende Aktualisierung: Zyklen und Zeiten Kostenintensiv Unzureichende funktionale Abdeckung BARC

9 Big Data steht für den unaufhaltsamen Trend, dass immer mehr Daten in Unternehmen anfallen und von außerhalb verfügbar werden, die fachliche Herausforderung aus der Analyse dieser Daten Wettbewerbsvorteile zu generieren, die technische Herausforderung Daten aus unterschiedlichster Herkunft in unterschiedlichen Strukturen immer schneller zu integrieren und auszuwerten, die strategische Herausforderung datengetriebene Unternehmen durch Anpassung der Geschäftsprozesse, -modelle und Organisation zu werden BARC

10 Komponentenübersicht Apache Hadoop Avro, ger ment Ambari, A ox, Rang mmaangem eeper, A con, Kno - & System Zooke Falc Data- HIVE/ HCatalog Oozie PIG Mahout Spark Storm SolR YARN (MapReduce 2.0) Data Processing Framework HDFS Data Storage Framework Sqoop Flume Kafka Hbase Ac ccumulo Viele weitere Hadoop Projekte im Inkubationsstatus. t t Übersicht: t h / BARC

11 Komponentenübersicht Apache Hadoop Avro, ger ment Ambari, A ox, Rang mmaangem Umfangreiches, zentrales Datenund Systemmanagement eeper, A con, Kno - & System Zooke Falc Data- Oozie Nutzerfreundlichere Einfach Schnittstellen HIVE/ PIG anzuwendende Mahout Spark Storm SolR HCatalog Analytik Breitere SQL- Zugriffs- YARN (MapReduce Untersützung 2.0) beschleunigung g Data Processing Framework Verbesserte Dateisysteme Sqoop HDFS Nutzung von Hardware- Data Features Storage Framework Flume Zusätzliche Konnektoren Hbase Security Kafka Viele weitere Hadoop Projekte im Inkubationsstatus. t t Übersicht: t h / Ac ccumulo BARC

12 Hadoop-SQL-Integration Import /Export Konnektoren In Database MapReduce External Tables MR HDFS RDBMS RDBMS MR MR HDFS RDBMS Hive HiveQL MR HDFS Hadoop DBs RDBMS HDFS Hybride Systeme MR HDFS RDBMS BARC

13 Klassische Data Warehouse Referenzarchitektur Reporting & Analyse Datenaufbereitung Staging Area ERP SCM CRM Strukturierte Geschäftsdaten Externe Systeme BARC

14 Klassische Data Warehouse Referenzarchitektur Reporting & Analyse Junge versus reife ADBs wichtige Punkte: Analytische Datenbanken???? Abfrage-Leistungen Schreibe-Leistung Lastmanagement Skalierfähigkeit Einfache Wartbarkeit Einsatzbreite Kosten Datenaufbereitung Staging Area ERP SCM CRM Strukturierte Geschäftsdaten Externe Systeme Nicht nur die Datenbank, vor allem auch die Datenarchitektur spielt eine entscheidende Rolle BARC

15 Analytische Infrastruktur 2.0 alte und neue Probleme anders lösen Reporting & Analyse, visuelle Analyse, komplexe Analyse, Suche, Discovery Flexible analytische Infrastruktur erforderlich Datenaufbereitung ERP SCM CRM Strukturierte Geschäftsdaten Staging Area Externe Sensor-Daten Web Logs Social Media Dokumente Systeme Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

16 Geplanter Einsatz von Big Data Technologie nimmt stark zu! Standard Relationale Datenbanken Standard BI-Werkzeuge Standard-Datenintegrationswerkzeuge Explorative Analyse-/Data-Discovery-Werkzeuge Analytische Datenbanken Individualentwicklung Data-Mining-/Predictive-Analytics-Lösungen Big Data Appliances Hadoop-Ökosystem Streaming-Datenbanken/Event Processing NoSQL-Datenbanken Spezielle Big-Data-Analyse-Anwendungen Im Einsatz 24% 27% 39% 25% 31% 29% 27% 41% 26% 23% 25% 32% 12% 30% 9% 29% 8% 20% 7% 18% 4% 21% Geplant 62% 55% Q: BARC Big Data Analytics Survey 2014, n = BARC

17 Analyseprozess beeinflusst Anforderungen an die Architektur Reglementierte Analyse Explorative Analyse Data Warehousing Prozess Big Data Prozess Visualisierung Analytik Datenaufbereitung Datenanalyse Sicheres Ergebnis Datenspeicherung Erst prüfen, dann sammeln Visualisierung Analytik Datenaufbereitung Datenanalyse Unsicheres Ergebnis (f ( fast tfail ) Datenspeicherung Erst sammeln, dann prüfen Datenbereitstellung t Datenbereitstellung t BARC

18 Explorative Analyse in der Sandbox Klassische BI Exploratives BI Self-Service 2.0 SSBI Reporting & Analyse, visuelle Analyse, komplexe Analyse, Suche, Discovery Exploration Analytische Datenbank Such- Index Sand-box NoSQL DB SSDI ERP SCM CRM Strukturierte Geschäftsdaten Datenaufbereitung Staging Area Externe Systeme File System Sensor-Daten Web Logs Social Media Dokumente Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

19 Unterstützung operativer Prozesse near-/real-time BI Klassische BI Operatives BI Exploratives BI Self-Service 2.0 SSBI Reporting & Analyse, visuelle Analyse, komplexe Analyse, Suche, Discovery Exploration Analytische Datenbank CEP Analytische Datenbank Such- Index Sandbox NoSQL DB SSDI ERP SCM CRM Strukturierte Geschäftsdaten Datenaufbereitung Staging Area Streaming File System Externe Sensor-Daten Web Logs Social Media Dokumente Systeme Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

20 Vision Single Point of truth? SSBI Reporting & Analyse, visuelle Analyse, komplexe Analyse, Suche, Discovery Exploration Datenvirtualisierung CEP DWH Analytische Vision Datenbank eines physischen SPoT? Analytische Datenbank Such- Index Sandbox NoSQL DB SSDI ERP SCM CRM Strukturierte Geschäftsdaten Datenaufbereitung Streaming Staging Area File System Externe Sensor-Daten Web Logs Social Media Dokumente Systeme Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

21 Logisches Data Warehouse? SSBI Reporting & Analyse, visuelle Analyse, komplexe Analyse, Suche, Discovery Analytische Datenbank Datenvirtualisierung t i CEP Analytische Datenbank Logische Datenarchitektur Exploration Such- Index Sandbox NoSQL DB SSDI ERP SCM CRM Strukturierte Geschäftsdaten Datenaufbereitung Streaming Staging Area File System Externe Sensor-Daten Web Logs Social Media Dokumente Systeme Maschinengeneriert (strukt.) Menschgeneriert (polystr.) BARC

22 Ihr Ansprechpartner bei BARC Jacqueline Bloemen Senior Analyst BARC GmbH Berliner Platz 7 D Würzburg Tel. +49 (0)931/ jbloemen@barc.de Fax +49 (0)931/ BARC