Die größten Herausforderungen für Big Data Integration Hannover Cebit Halle 5, Stand E16 23.03.2017 Timm Grosser
Über die CXP Group 2
BARC: Expertise für datengetriebene Unternehmen 3
Daten brauchen Datenintegration Die fachliche Bedeutung der Daten wächst und mit ihr die Relevanz von Daten zur besseren Steuerung, Optimierung, Automatisierung und Entdecken neuer Chancen/Innovationen. Wert aus Daten zu generieren treibt Initiativen sowohl im Fachbereich als auch in der IT. Das Resultat sind mehr und andere Daten, Rollen, Analysen, Anwendungen und Systeme mit neuen und anderen Anforderungen, die bestehende Infrastrukturen oftmals vor Herausforderungen stellen. Datenintegration beschreibt fachliche und technische Konzepte für den Zugriff auf/bereitstellung von Daten unabhängig ihrer Quelle für allgemeine oder spezielle Anwendungen, zur Generierung von Wert aus Daten. 4
Wie ist Big Data Integration in der Historie der Datenintegration einzuordnen? (Ausschnitt DI für BI und Big Data) S Spezialisten für ETL, Datenqualität, Virtualisierung, S Data Governance& Metadaten Datenintegrations- Suiten S Plattformen für Datenqualität S S Streaming SelfService DI in BI Datenintegrationsplattformen S Data Preparation Big Data Plattformen S Data Discovery & Data Science MegaIntegration Plattform? S auch Spezialisten FB getrieben Sowohl als auch eher IT getrieben 5
Was zeichnet Big Data Integration aus? Einheitliche Plattform Big Data Governance Nutzung von Big Data Technologien Big Data Integration Unterstützung versch. Rollen Code Portabilität Handling Big V 6
Was sind die größten Herausforderungen für Big Data Integration? Heterogene Nutzung und Nutzer Fehlendes technisches und fachliches Know-how fachlich Vorgabe von Regeln und Standards (bspw. Datenzugriff/ Security, Datenqualität) Datenidentifikation & -katalogisierung Big Data Integration organisatorisch technisch Konzeption einer Datenintegrationsstrategie Abgrenzung und Synchronisation/ Integration mit bestehendem Portfolio/ Ressourcen Homogenität und Effizienz in der Gesamtbebauung strategisch Zentrale Plattform vs. Spezial-Werkzeuge Data Movement Data Security 7
Marktentwicklung Datenintegration Aktuell Zunehmende Bedeutung und Wahrnehmung von Datenintegration als fachliche Aufgabe führt verstärkt zu technologie-gestützten kollaborativen oder Self-Service-Ansätzen Steigende Nachfrage nach dedizierten Funktionen für Big Data Integration Weiterhin Konvergenz bekannter und neuer Technologien hin zu breit aufgestellten Datenintegrationsplattformen EntwicklungsschwerpunkteNutzung von Big Data Technologien, Data Preparation, Data Governance, Automatisierung (DWA), Cloud und hybride Architekturen Ausblick: Spezialisten für Self-Service Data Preparationwerden als Funktion in fachlich wert-bringenden Prozessen wie Data Discovery aufgehen Stärkere fachliche Orientierung der Datenintegration führt zu rollen-spezifischen Unterstützung und stärkere Integration mit eigentlichen analytischen Aufgabenstellungen Ausbau hin zu Datenmanagement-Plattformen mit einheitlichen Zugriffsstrategien und Management für Daten in verteilten Systemlandschaften ( Data Lake Management ) Vermehrt Nachfrage nach hybriden Datenintegrationsarchitekturen 8
BARC-Anwenderbefragung: Data Preparation im Fachbereich Unterstützen Sie uns bei der aktuellen Anwenderbefragung zum Thema Data Preparation im Fachbereich. Beleuchtete Themen: Rolle der Datenvorverarbeitung durch IT- und Fachabteilungen (Data Preparation) Betrachtung des aktuellen Zustandes und der Zukunftspläne von Organisationen im Bereich Data Preparation Als Teilnehmer(in) erhalten Sie die Studienergebnisse Nehmen Sie an der Verlosung von einem von fünf Gutscheinen für ein BARC-Event Ihrer Wahl teil 9
BARC-Unterstützung für Datenmanagement Research Events Workshops Beratung Auszug Research BARC Access: Zugriff auf Research und Analysten Marktübersichten BARC Guide BI Scout BARC Scores Data Integration Platforms Advanced Analytics Platforms BARC-Anwenderstudien Hadoop Use Cases Modernes Datenmanagement für die Analytik BARC-Research-Service: BI Manager, Analytics Manager Innovation Register SITSI Market Research Platform Tagungen und Seminare 2017 Big Data Forum @ OOP München (30.01.-03.02.) BI & Big Data Forum @ CeBIT Hannover (20.-24.03.) BARC-Track @ TDWI-Konferenz München (26.-28.06.) BARC-Tagung Advanced und Predictive Analytics Frankfurt (26.-27.09.) Winterthur (CH) (05.09.) DW Konferenz 2017, Zürich (CH) (21. 22.11.) BARC Congress Würzburg (14.-15.11.) BARC-Seminare: (mehrere Termine & Inhouse) o BI-Strategie und -Organisation o Advanced & Predictive Analytics Auszug Standardworkshops Datenstrategie und Data Governance BI-Strategie und -Organisation Markt und Trends Datenmanagement Moderne Architekturen für Big Data Use-Case-Identifikation und -Priorisierung Benchmark: Unternehmen vs. Branche/Markt MyScore Datenintegration Advanced Analytics Individualberatung BI- und Datenmanagement-strategie Datenstrategie und Data Governance Coaching Organisation Architektur- und Bebauung Lösungsbestimmung & Softwareauswahl SAP Hana Advisory Service 10
Ihr Kontakt bei BARC 11
BARC-Analystengespräch Vereinbaren Sie Ihr kostenfreies Expertengespräch mit einem BARC-Analysten Kostenfreie Reservierung Persönliches Analystengespräch Klärung individueller Projektfragen Analyse Ihrer aktuellen IST-Situation Themenspezifische Beratung durch BARC-Experten Individuelle Strategieansätze für Ihr Unternehmen 12
BARC-Tagung Integrierte Planung und BI Software im direkten Vergleich Integrierte Planung und BI im Unternehmen 16. und 17. Mai 2017 in Würzburg Expertenwissen: Marktanalyse von BARC-Analysten Neutrale Einschätzung: Realistische Beurteilung der Lösungen aus unabhängiger Sicht und Best Practices: Kundenerfahrungen und exklusive Ergebnisse aus der Anwenderbefragung Planning Survey 17 Marktübersicht: Überblick marktführender Lösungen mit LIVE-Präsentationen und Fachausstellung Networking: Plattform zum aktiven Austausch mit anderen Anwendern, Anbietern und Analysten Intensivseminare: Themenspezifische Seminare zur Vertiefung Ihres Know-how www.barc.de/bi-planung 13
BARC Scores Research Notes Marktübersichten Best Practices Marktzahlen The BI Survey The Planning Survey Anwenderstudien Produktvergleiche Produkttests Produktbewertungen Research Services Zugriff auf BARC- Analysten zur Abstimmung Ihrer individuellen Fragen 14
Finden Sie die passende Business IntelligenceSoftware für Ihr Unternehmen und vergleichen Sie führende BI-Anbieter auf Basis von User- und Analystenbewertungen Auf der Plattform erwarten Sie: Bewertungen zu BI-Produkten von Nutzern und BARC-Analysten Best-Practice-Guides für Ihre BI-Softwareauswahl Aktuelle Researchergebnisse rund um BI-Software Ihre Vorteile: Profitieren Sie von der einzigartigen Kombination der Erfahrungen anderer Anwender und dem unabhängigen Wissen der BARC-Analysten Erfahren Sie wie Nutzer und Analysten die tatsächlichen Stärken und Schwächen der Produkte bewerten 15
BARC-Unterstützung für Advanced und Predictive Analytics Research Events Workshops Beratung Research BARC-Marktübersicht BARC Score BARC-Anwenderstudien: Advanced Analytics Big Data UseCases Big Data Analytics BARC-Research-Service: BI Manager & Analytics Manager BARC Access: Research und Analystenzeit Innovation Register Tagungen und Seminare OOP, München (30.01. - 03.02.) CeBIT, Hannover (20. 24.03.) TDWI-Konferenz (26. 28.06.) BARC-TagungAdvanced und Predictive Analytics (26. 27.09. in Frankfurt und am 05.09. in der Schweiz) DW 2017, Schweiz (21. 22.11.) BARC Congress(14. 15.11.) BARC-Seminar: Advanced& Predictive Analytics (z.b. Sep. 2017 & In-house) Orientierungsworkshops Use Cases Organisation IT-Architektur Datenmanagement Werkzeuge / SW-Auswahl Beratung Coaching und Mitarbeit in Digitalisierungsprojekten Use-Case-Identifikation und -Priorisierung Proof ofdatavalue durch unsere Data Scientists Organisationsberatung (z.b. Rollen und Integration von Data Labs) Architekturberatung Lösungsbestimmung Proof of Concepts 16
BARC BI Manager Ausführliche, monatliche Dossiers zu aktuellen Themen inbusiness Intelligenceund Datenmanagement Exklusive Analystenkommentare zu Ankündigungen im BI-/DM-Markt (nicht themengebunden) Geplante Themen 2017 u.a.: Trends 2017 in Business Intelligence und Datenmanagement Big Data Security Analytics Status Quo Cloud BI Score Self-Service BI and Data Discovery (global) Operationalisierung von Advanced-Analytics-Prototypen in die operativen Prozesse Herausforderungen und Best Practices Data Discovery 17
BARC Analytics Manager Ausführliche, monatliche Dossiers zu aktuellen Themen im Bereich Advanced Analytics Exklusive Analystenkommentare zu Ankündigungen und Entwicklungen im Markt Best Practices & Lessons Learned Geplante Themen 2017 u.a.: Softwaremarktübersicht Advanced Analytics Marktübersicht externe Daten Anbieter& Services Operationalisierung von Advanced-Analytics-Prototypen Cognitive Computing & Deep Learning Self Service Advanced Analytics für Fachanwender Data Governance & IT Architekturen für Advanced Analytics 18
BARC Leaders Circle für BI oder Analytics 19
BARC-Orientierungsworkshop: Neue Architekturen im Zeitalter von Big Data Ihre Vorteile: Kompakt und fundiert an einem Tag: Best-Practices, Blue-Prints und Methodik Einschätzbarkeit neu angepriesener Technologien und Methodiken erhöhen Bewertung der eigenen Architektur vor dem Hintergrund neuer Trends und Technologien Diskussion über Umsetzbarkeit und individuelle Fragen Unabhängige Expertensicht 20
BARC-Orientierungsworkshop: Big Data Big Data im Kern der digitalen Revolution Digitales Architekturparadigma: Systems of record, Systems of innovation, Systems of engagement Neue Datenarchitektur: Big Data Quellen und Analysen ergänzen bestehende BI-Landschaften Neue Technologie: Hadoop, NoSQL, Streaming/Real-Time u.a. bieten neue Möglichkeiten Organisation: Agilität und Data Governance treiben neue Organisationsformen PredictiveAnalytics und andere Big Data Anwendungen: Wie kann Big Data Analyse umgesetzt werden und der Mehrwert bestehender BI-Landschaften erhöht werden? Konkrete Ausprägungen von BI und Big Data in der Branche 21
BARC-Orientierungsworkshop: Advanced Analytics Komprimiertes Wissen an einem Tag: Einordnung Advanced und Predictive Analytics in BI-Landschaft und Aufgaben Einsatzbereiche von Advanced und Predictive Analytics Vorgehen und Verfahren Erfahrungen aus dem Umsetzung analytischer Zyklen Datenmanagement und Technologieintegration für fortgeschrittene Analyse Marktübersicht Werkzeuge und Serviceanbieter Organisation und Rollen Übersicht BARC Smart Data Science Methodik, der fundierten Vorgehensweise zur Umsetzung von Advanced Analytics Initiativen 22
Die BARC-Studie: Softwarewerkzeuge für die Planung 25 Softwarewerkzeuge für die Planung im Test Integrierte Produkte für Planung, Analyse und Reporting Strukturierte Detailbeschreibungen, bewertete Kriterienkataloge zu den getesteten Anbietern Informationen zur Herangehensweise an das Softwareauswahlprojekt (Marktsegmentierung, Softwareauswahlprozess, Kriterienkatalog) Leseprobe und Bestellmöglichkeit unter: www.barc.de/planung 23
BARC Scores Bewertung durch Analysten anhand eines umfassenden Kriterienkatalogs und Kunden-Feedback aus Marktbefragungen Klare Aussagen zur aktuellen Marktposition und Portfolio der Hersteller Ausgezeichnet in der Bestenliste des Innovationspreis IT 2016 bisher erschienen: BARC Score Business Intelligence(international) BARC Score Business Intelligence DACH BARC Score Integrated BI and Planning BARC Score Data Integration Platforms BARC Score Advanced Analytics Platforms DACH www.barc.de/score 24
25
Big Data Integration Worin liegt der Unterschied zu Datenintegrationsplattformen? Big Data Integration Plattformen kapseln und nutzen eine oder mehrere Big Data Technologien wie Hadoop, Spark, NoSQLoder MPP-Datenbanken als Ausführungsumgebung für die Datenintegration Im Fokus steht das Handling der Big V volume, variety, velocity, veracity and value Die Plattformen streben einen Unified Platform Ansatz ( ELT-Ansatz ) an mit dem Logik weitestgehend unabhängig von der Ausführungsumgebung zentral designedund dann flexibel dezentral deployed werden kann. (Code Portabilität) Das Ziel ist der einheitliche, gesicherte Zugriff auf Daten oder Metadaten aus unterschiedlichen on-premise oder Cloud-Systemen Unterstützen Entwickler, Business Analysten und Data Scientistenmit Big Data einfach und effizient zu arbeiten (Usability in den Entwicklungsumgebungen, Data Preparation, Data Stewardship/Governance, Metadatenmanagement, tw. Analysefunktionen wie Machine Learning) Liefert einen Governance-Rahmen für Big Data (bspw. Security, Regelüberwachung, Datenkatalogen oder Austausch mit bestehenden Katalogen, Big Data Quality) 26
Marktübersicht Big Data Integration Plattform-Anbieter Ab Initio IBM Informatica Oracle SAP Talend Differenzierungsmerkmale Fachlich Unterstützung von Rollen & Use Cases Architektur Funktionale Abdeckung & Skalierbarkeit Komplexität der Werkzeuge / der Lösungsansätze Unified Platform -Ansatz Data Movement Unterstützung Big Data Technologien als Ausführungsumgebung Funktionen Metadatenmanagement (übergreifende Analysen) Data Governance/ Stewardships Datenqualitätsmanagement Security Data Security Konnektivität Konnektivität (IoT) Unterstützte Formate (JSON) Spezialisten Diyotta Denodo Paxata Syncsort Trifacta 27