Der Big Data Hype Methodologie und Mythologie. BARCW1, München, den Jacqueline Bloemen, Otto Görlich, Timm Grosser

Transkript

1 Der Big Data Hype Methodologie und Mythologie BARCW1, München, den Jacqueline Bloemen, Otto Görlich, Timm Grosser

2 Business Application Research Center Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität Würzburg (Prof. Thome) 1999: Spin-Off als eigenständiges Analystenhaus (BARC GmbH) 2005: Internationalisierung 2011: Fusion mit CXP zu einer Unternehmensgruppe (80 Mitarbeiter, davon 40 Analysten) BARC Heute 35 Mitarbeiter, davon 15 Analysten & Berater über 1200 Kunden jährlich Themen: Business Intelligence, Datenmanagement, Enterprise Content Management, IT Service Management, ERP, CRM, HR Standorte: Würzburg, Zürich, Wien, London, Paris 2

3 Business Application Research Center Marktforschung Studien und Marktübersichten Unabhängige Unterstützung für Software-Projekte Tagungen, Seminare Workshops Beratung 4

4 Agenda I. Big Data alter Wein in neuen Schläuchen? II. Big Data Quellen Wert und Nutzen in der Analyse III. Big Data Methodologie Evolution von Technologie, Methoden und Prozessen Pause IV. Big Data umsetzen Arbeitsumgebung und Menschen V. Voraussetzungen schaffen, Fallgruben vermeiden Big Data zum Erfolg bringen 7

5 Für CEOs ist Technologie inzwischen der wichtigste externe Einfluss auf ihre Organisation 8

6 Nature The Economist McKinsey Capital Harv. Bus. Mgr Der Spiegel

7 Wie wichtig sind Daten im Wettbewerb? Quelle: Analytics: The real-world use of big data, IBM Institute for Business Value,

8 Treiber für Big Data Erweiterter Informationsumfang Integration ermöglicht unternehmensweite Sicht Externe Daten erlauben mehr Fülle Neue Daten- und Analysetypen Neue Informationsquellen durch Durchdringungsgrad von elektronischen Geräten Komplexe Analyse durch Reifegrad der Werkzeuge vereinfacht Informationsströme in Echtzeit Digitale, maschinen- und mensch-generierte Daten Sofortige Wahrnehmung und beschleunigte Entscheidungsfindung Quelle: Analytics: The real-world use of big data, IBM Institute for Business Value,

9 Daten sind das Öl des 21. Jahrhunderts 12

10 Big Data bezeichnet Methoden und Technologien für die hochskalierbare Erfassung, Speicherung und Analyse polystrukturierter Daten. Nicht nur Tools Hohe Datenmengen Hohe Anwenderzahlen Komplexe Abfragen Schnelle Aktualisierung Strukturierte Daten Semi-strukturierte Daten Unstrukturierte Daten Alle Ebenen einer analytischen Infrastruktur. Evtl. nur kurzfristige Speicherung 13

11 BARC-Marktforschung: Big Data Survey Europe - Big Data aus Unternehmenssicht: - Treiber und geplante Weiterentwicklung - Nutzung und Herausforderungen - Organisation - Technologie und Budgets Teilnehmer aus IT und Fachbereichen in DACH, Frankreich, UK - Veröffentlichung: Februar Frei verfügbar unter: 14

12 Worin sehen Sie die wichtigsten Vorteile einer Nutzung von Big Data Technologien? Bessere strategische Entscheidungen 59% Bessere Steuerung operativer Prozesse Schnellere Analyse Detaillierte Analysen 43% 51% 50% Verbesserter Kundenservice Zielgerichtetere Marketingaktionen Besseres Verständnis des Marktes/Wettbewerbs Geringere Kosten Bessere Produkt-/Service-Qualität 32% 31% 28% 28% 25% Bessere Kundenbindung 16% Q: BARC Big Data Survey Europe, n =

13 Erschließung von Datenquellen 16

14 Verwendete Daten 4 Milliarden RFID Tags 2012 verkauft 900 Millionen Geräte mit GPS bislang 2013 ausgeliefert (+20%) Transaktionsdaten BMW erhält 30 Gigabyte Daten aus Autos pro Tag Welche Daten nutzen Sie für die Analyse? 70% 20% 10% Logs 55% 30% 15% Facebook: Sensorik 2,5 Milliarden neue Inhalte Unstrukturierte 300 Mio. Fotos Daten hochgeladen (Dokumente, Video, 500+ Terabyte neue Daten - am Tag! Bild) 44% 40% 29% 31% 24% 32% Social-Media-Daten 14% 50% 36% 0% 20% 40% 60% 80% 100% Im Einsatz Geplant Nicht geplant Q: BARC Big Data Survey Europe, n =

15 Neue Technologien für Transport & Speicherung von Daten MPP Columnar RDBMS Streaming In-Memory DBMS HADOOP NoSQL 18

16 Analytische Fähigkeiten 19

17 Erweiterte Möglichkeiten zur Anwendung analytischer Methoden 20

18 Worin sehen Sie die wichtigsten Vorteile einer Nutzung von Big Data Technologien? Bessere strategische Entscheidungen 59% Bessere Steuerung operativer Prozesse Schnellere Analyse Detaillierte Analysen 43% 51% 50% Verbesserter Kundenservice Zielgerichtetere Marketingaktionen Besseres Verständnis des Marktes/Wettbewerbs Geringere Kosten Bessere Produkt-/Service-Qualität 32% 31% 28% 28% 25% Bessere Kundenbindung 16% Q: BARC Big Data Survey Europe, n =

19 Operative Prozesse Analytische Prozesse Anwenderzahl Kennzahlenaggregation, Betrachtungszeitraum, Latenz Nutzung von BI in Unternehmen Corporate Performance Management Meist implementierte BI Systeme Strategische BI Strategische Planung Benchmarking Taktische BI Scorecards Standard- und ad hoc Reporting machen ca. 80% der BI Projekte aus Planung Analyse Reporting Operative BI Operative Planung Business Activity Monitoring Operatives Reporting Typische Einsatzbereiche für Big Data Planzahlen Prozessablaufkennzahlen & Ereignisse Prozessergebnis- Kennzahlen Ziel Prozessablauf Ergebnis Business Process Management 22 22

20 Status Quo BI in Europa 23

21 Agenda I. Big Data alter Wein in neuen Schläuchen? II. Big Data Quellen Wert und Nutzen in der Analyse III. Big Data Methodologie Evolution von Technologie, Methoden und Prozessen IV. Big Data umsetzen Arbeitsumgebung und Menschen V. Voraussetzungen schaffen, Fallgruben vermeiden Big Data zum Erfolg bringen 24

22 Daten sind das Öl des 21. Jahrhunderts 25

23 und sie müssen raffiniert werden um nützlich zu sein 26

24 Worin sehen Sie die wichtigsten Vorteile einer Nutzung von Big Data Technologien? Bessere strategische Entscheidungen 59% Bessere Steuerung operativer Prozesse Schnellere Analyse Detaillierte Analysen 43% 51% 50% Verbesserter Kundenservice Zielgerichtetere Marketingaktionen Besseres Verständnis des Marktes/Wettbewerbs Geringere Kosten Bessere Produkt-/Service-Qualität 32% 31% 28% 28% 25% Bessere Kundenbindung 16% Q: BARC Big Data Survey Europe, n =

25 Analyseprojekte mit polystrukturierten Daten bei BARC-Kunden in den letzten 24 Monaten Big Data Analyse Supply Chain Monitoring und Optimierung Maschinen-Überwachung und Serviceplanung Textanalyse auf Stichwörter, Stimmungen, Themen Social Media Monitoring und Kampagnenmanagement Verhaltensanalyse - Web-Personalisierung Next Best Offer / Activity, z.b. für Web-Shops & Call Center Betrugsentdeckung /-vermeidung Verbrauchsdatenanalyse (Energie, Netzwerk- Ressourcen, ) Wetterdatenanalyse für Standortplanung/ -optimierung, Absatzplanung, Produktentwicklung IT-Systemmonitoring Genomanalyse, Krebstherapie, Gesundheitsvorsorge Grundlagenforschung (Physik, Pharma, ) Bewegungsanalyse Qualitätsanalyse, vorausschauende Wartung Datenarten RFID-Funkchip- und GPS-Daten-Erfassungen Maschinendaten aus der Produktion (BDE) Unstrukturierte Daten wie Call-Center- oder Service-Notizen, Bilder auf Webseiten oder Video-Clips Social Media Daten aus Facebook, Twitter, Blogs oder Foren. Log-Daten aus der eigenen Webpräsenz oder Web Shops Log-Daten der IT-Systeme Sensor-Daten in Gebäuden oder der Umwelt Streaming Daten, Events Bioinformatik, Medizinische Testdaten, Arzneimittelabsatz Telematik, Sensoren 28

26 Big Data Zielsetzungen Kunden-zentrierte Ziele Digitale Verbindungen ermöglichen Kunden, sich schneller und einfacher über Erwartungen und Ergebnisse zu äußern Integrierte Daten erhöhen die Fähigkeit eine umfassendes Bild des empowered consumer zu zeichnen Kenntnisse über Verhaltensmuster und Präferenzen ermöglichen Unternehmen neue Arten des Kundendialoges Andere funktionale Ziele Verknüpfte Daten zur Erkenntnisgewinnung für unternehmens-interne Zwecke einzusetzen derzeit weniger verbreitet Quelle: Analytics: The real-world use of big data, IBM Institute for Business Value,

27 Datenquellen: Kategorien Welche Daten nutzen Sie für die Analyse? Geschäftsdaten (einfach strukturiert) Transaktionsdaten 70% 20% 10% Machinengeneriert (quasi-strukturiert) Logs 55% 30% 15% Sensorik 44% 31% 24% Menschgeneriert- Unstrukturierte (polystrukturiert) Daten (Dokumente, Video, Bild) 40% 29% 32% Social-Media-Daten 14% 50% 36% 0% 20% 40% 60% 80% 100% Im Einsatz Geplant Nicht geplant Q: BARC Big Data Survey Europe, n =

28 Datenkategorien und ihre Eigenschaften Kategorie der Quelle Transaktionale Geschäftsdaten Maschinengeneriert Menschgeneriert Qualität Komplexität Interpretierbarkeit Störgeräusche Data Warehouse Prozess-Affinität Big Data Prozess Affinität 31

29 CRISP-DM Cross Industry Standard Process for Data Mining Daten verstehen Fachliche Anforderung verstehen Business understanding Data understanding Erkenntnisse anwenden Deploy Data Data preparation Daten aufbereiten Analytik Operationalisierung Modeling Visualisierung Analytik Datenaufbereitung Datenanalyse Evaluation Ergebnis verifizieren Datenbereitstellung 32

30 Analyseprozess und Datenpersistenz Reglementierte Analyse Explorative Analyse Data Warehousing Prozess Big Data Prozess Visualisierung Sicheres Ergebnis Visualisierung Unsicheres Ergebnis ( fast fail ) Analytik Erst prüfen, dann sammeln Analytik Datenaufbereitung Datenspeicherung Datenaufbereitung Datenanalyse Erst sammeln, dann prüfen Datenanalyse Datenspeicherung Datenbereitstellung Datenbereitstellung 33

31 Probleme Welche Probleme sehen Sie beim Einsatz von Big-Data- Technologien? Fehlendes technisches Know-how Fehlendes fachliches Know-how 46% 44% Fehlende überzeugende Einsatzszenarien Technische Probleme Kosten 34% 33% 36% Datenschutz 25% Big Data nicht für Fachanwender im Unternehmen nutzbar Q: BARC Big Data Survey Europe, n = % 0% 20% 40% 60% 34

32 Fiktiver Anwendungsfall - Zielsetzung Big Data Vorreiter wollen Ihren Wettbewerbsvorteil nicht preisgeben kaum öffentliche Referenzen Zielsetzung Transparenz hinischtlich Herangehensweisen Möglichst Branchen-übergreifend nachvollziehbar Annahmen-basiert Abgrenzung Keinen Anspruch auf fachliche Präzision und Korrektheit Keinen Anspruch auf absschliessende Lösungen 35

33 Fit4Life Exklusiver Sportartikel Retailer Exklusive Markenprodukte Fokus auf ausgewählte Sportarten Onlineshop Wenige Geschäfte Versandgeschäft Service mittels CallCenter Zielgruppe Sportbegeisterte und Gesundheitsbewußte Menschen Erfolgsfaktoren Qualität und Trendiness erhalten Kundenbindung verstärken durch erweitertes Angebot Neukunden durch Erweiterung der fokussierten Sportarten Erweiterung der Services Erweiterung des Angebotes um Events, Reisen, o.ä. Bessere Nutzung der vorhanden Kanäle Verfeinerung der individualisierten Kundenansprache Beobachtung des Marktes 36

34 Kennen Speichern Erfolg messen Identität Erlebnis-Strategie crawl, walk, run Multikanal-Marketing wie fängt man an Besseres Kundenverständ nis etablieren durch Forschung und Studien Möglichst jede Interaktion mit dem Kunden digital festhalten Erfolg der Marketing- und Kundenbindungs aktionen messen Kundenprofile mittels geschäftsorientierter Charakteristiken und Verhaltensanalysen Zum richtigen Zeitpunkt das richtige zum Kunden senden, über den passende Kanal Bei einem Kanal beginnen, dann erweitern, quick wins mitnehmen 37

35 Multikanal-Marketing benötigt eine Datenplattform Fit4Life Ziele: Identity-Analyse Soziale Netzwerke analysieren Sentiment-Analyse Click-Stream Analyse Zielgruppen-Segmentierung Universelle Kunden-ID Fit4Life Ziele: DWH Kunden konsolidieren Interessenten integrieren Geschäftskunden identifizieren und integrieren Abgleich mit Personendaten aus externen Quellen Fit4Life Ziele: Externe Quellen Geschäftsdaten Neue interne Datentypen (Click- Streams, s/Freitext, ggfs. Gespräche) Analyseplattform Verknüpfte Datenquellen 38

36 Fit4Life Systemlandschaft - IST Webshop Online Auftritt Bestellung und erweiterte Services Next best offer basierend auf letzten Kauf KunDB2 OrdDB2 Exklusive Geschäfte Erfassen von anonymen Kaufdaten (Kassenanwendung) BuyDB1 Call Center CRM Anwendung inkl. Gesprächsaufnahmen, Mitschriften Bestellabwicklung mittels Altsystem inkl. Versand-/Retourenabwicklung KunDB1 OrdDB1 Logistik/ Distribution Abwicklung Versand und Retouren, Sendungsverfolgung mittels RFID Eigenes operatives BI System (near-time Reporting und Analyse) Derzeit ausschließlich an Bestellabwicklung angebunden LogDB1 In-/Exkasso Einzug von Forderungen Regeln von Leistungen Eigene Datenhaltung (InExDB) InExDB1 Marketing acrm Kampagnenmanagement mit eig. Kunen-DB Rudimentäre Kundensegmentierung Contentmanagement für Produktmarketing KunDB3 Ext. Prospects ConDB1 Data Warehouse Historienführung von Kunden- /Kauf-Daten, aber noch keine Zahldaten (In-/Exkasso) Physische Zusammenführung aber keine inhaltliche Konsolidierung Basis für acrm und Produktcontrolling KunDWH, OrdDWH 39

37 Fit4Life Systemlandschaft - SOLL Webshop Kundenindividuelle Ansprache Real-time Interaktion Verwendung von near-time Erkenntnissen aus anderen Quellen KunDB2 OrdDB2 Exklusive Geschäfte Identifikation durch Kundenkarte Dadurch Weiterverwendung der Kaufdaten Produkt-übergreifendes Event-Angebot für bestimmte Zielgruppen BuyDB1 Call Center Kundenindividuelle Ansprache Verwendung von near-time Erkenntnissen aus anderen Quellen KunDB1 OrdDB1 Logistik/ Distribution Offen LogDB1 In-/Exkasso Offen InExDB1 Marketing acrm Sukzessive stark verfeinerte Kundensegmentierung auf Basis zusätzlicher Daten Marketingeffizienz von Ansprache und Content messen und optimieren KunDB3 Ext. Prospects ConDB1 Data Warehouse Konsolidierte Kundenstammdaten, Kundenreferenzindex Erweiterung durch Ableitungen aus anderen Quellen Ergänzung durch Liefer-/Zahldaten, sowie inhaltliche Verbesserung der Daten KunDWH, OrdDWH 40

38 Next best offer basierend auf letzte Bestellung Datenflüsse IST Versand Webshop Exklusive Stores/Kasse Call Center CRM Orders Logistik/ Distribution Clickstreams KunDB2 PK: Userid OrdDB2 FK: Userid Versandinfos BuyDB1 KunDB1 PK: Kdnr OrdDB1 FK: Kdnr Versandinfos Retouren LogDB1 Ext. Prospects Neue Quellen: Data Warehouse Marketing Kamp- Man Content In-/Exkasso KunDWH, OrdDWH KunDB3 ConDB1 InExDB1 41

39 Fit4Life: Handlungsschritte Multikanal-Marketing Kundendaten Matchingregeln Interessenten integrieren Universal-ID pilotieren Soziale Medien Look-a-likes Act-a-likes Marken-/Produkt-Image Click-Streams Kaufverhalten Site-Effizienz (Content, Formatierung, Führung) Call Center Explorativ Daten auf Anwendbarkeit prüfen s, Mitschriften, Aufnahmen prüfen Abgleich interne/extern Daten Kunden-Segmentierung Anreicherung Universal-ID In-/Exkasso und Lieferprozesse prüfen Operationalisierung Kundenkarte einführen Konsolidierte Kundendaten Integration Kassen-Daten Near-/real-time Analyse im Webshop Near-/real-time Analyse im Call- Center Kampagnenmanagement verfeinern/erweitern 42

40 Agenda I. Big Data alter Wein in neuen Schläuchen? II. Big Data Quellen Wert und Nutzen in der Analyse III. Big Data Methodologie Evolution von Technologie, Methoden und Prozessen IV. Big Data umsetzen Arbeitsumgebung und Menschen V. Voraussetzungen schaffen, Fallgruben vermeiden Big Data zum Erfolg bringen 43

41 Klassische BI-Infrastruktur Reporting & Analyse Analytische Datenbanken Staging Area Datenaufbereitung ERP SCM CRM Strukturierte Geschäftsdaten Externe Systeme 44

42 Analytische Infrastruktur für Big Data Reporting & Analyse Visuelle Analyse Komplexe Analyse Suche Discovery Analytische Datenbanken NoSQL DB Such- Index Staging Area Streaming Datenaufbereitung File System ERP SCM CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Geschäftsdaten Maschinengeneriert (strukt.) Menschgeneriert (polystr.) 45

43 Klassischer BI-Verarbeitungsprozess Reporting & Analyse Visualisierung Analytik Festlegung der Datenpersistierung Datenaufbereitung Datenaufbereitung Staging Area Datenanalyse ERP SCM CRM Strukturierte Geschäftsdaten Externe Systeme Datenbereitstellung Operationalisierung 46

44 Explorative Verarbeitungsprozesse für Big Data Visualisierung Analytik Reporting & Analyse Visuelle Analyse Komplexe Analyse Suche Discovery Analytische Datenbanken NoSQL DB Such- Index Datenaufbereitung Datenanalyse Staging Area Streaming Datenaufbereitung File System Datenbereitstellung ERP SCM CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Strukturierte Geschäftsdaten Maschinengeneriert (strukt.) Menschgeneriert (polystr.) Operationalisierung 47

45 Funktions-, Werkzeugklassen und Technologien für Big Data Visualisierung Analytik Reporting & Analyse Visuelle Analyse Komplexe Analyse Suche Discovery Analytische Datenbanken NoSQL DB Such- Index Datenaufbereitung Datenaufbereitung Datenanalyse Staging Area File System Datenbereitstellung ERP SCM CRM Externe Systeme Sensor-Daten Web Logs Social Media Dokumente Datenanalyse Strukturierte Geschäftsdaten Maschinengeneriert (strukt.) Menschgeneriert (polystr.) Operationalisierung 48

46 BARC Big Data Survey welche Technologien sind im Einsatz (Technologien detailliert) Welche Technologien nutzen Sie / werden Sie in Ihrem Unternehmen für Big Data nutzen? Standard-Relationale-Datenbanken 79% 10% 11% Standard-BI-Werkzeuge 68% 19% 12% Individualentwicklung 50% 11% 39% Standard-Datenintegrationswerkzeuge 42% 23% 35% Analytische Datenbanken 27% 34% 39% Big Data Appliances 15% 30% 55% Hadoop File System 14% 30% 56% Hadoop Hive 13% 23% 64% Streaming-Datenbanken / Event Processing 13% 29% 58% NoSQL-Datenbanken 10% 23% 67% Big-Data- Analyse-Anwendungen 6% 21% 73% n = 155 0% 20% 40% 60% 80% 100% Im Einsatz Geplant Nicht geplant 50

47 Technologien nach Unternehmensgröße Über bis Unter 250 Standard BI-Werkzeuge (nach Unternehmensgröße) 91% 81% 79% 8% 1% 14% 5% 9% 12% 0% 20% 40% 60% 80% 100% Im Einsatz Geplant Nicht geplant n = 151 Big-Data-Werkzeuge (nach Unternehmensgröße) Über % 33% 17% 250 bis % 41% 26% Unter % 38% 17% 0% 20% 40% 60% 80% 100% Im Einsatz Geplant Nicht geplant n =

48 Auswahl Abdeckung BD Funktionsklassen Analytische Datenbanken Analytische Datenbanken State-of-the-art EMC Greenplum EXASOL EXASolution IBM Pure Data (Netezza) SAP HANA Teradata Aster Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung für HDFS für HDFS für HDFS für HDFS Werkzeug-Charakterisierung: DBMS mit besonderer Eignung (Architektur, Arbeitsweise, Funktionen) für Analytik, was vor allem durch Abfrage-Eigenschaften bestimmt wird. Mögliche Anwendung im Rahmen Big Data: Speicherung und Auswertung strukturierter Daten Aufnahme von aus Hadoop abgeleiteten Daten In-Database Analytics Zugriff auf Hadoop aus SQL heraus 52

49 Auswahl Abdeckung BD Funktionsklassen Datenintegration Datenintegration State-of-the-art Ab Initio Informatica IBM Information Server Pervasive Sqoop Flume Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Werkzeug-Charakterisierung: (Standard)Werkzeuge/-konnektoren mit breiter funktionaler Abdeckung von Datenmanagementaufgaben für DI und Transformationauf robuster Software-/Hardware- Infrastruktur. Mögliche Anwendung im Rahmen Big Data: Integration unterschiedlicher Datenquellen (u.a. Hadoop) Erstellung von Transformations-/Integrationslogik in systemeigener oder MapReduce Methodik und Funktionen 53

50 Auswahl Abdeckung BD Funktionsklassen Visuelle BI Visuelle BI State-of-the-art IBM Cognos 10 Microsoft Power Pivot QlikTech MicroStrategy Tableau Software Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Werkzeug-Charakterisierung: Werkzeuge für die mengenorientierte visuelle (intuitiv und explorativ) Analyse von Datenbeständen. Werkzeuge kommen häufig mit Funktionen für die Datenintegration, eigener, proprietären Speicherung, Analyse und Visualisierungskomponente Mögliche Anwendung im Rahmen Big Data: Explorative Analyse von großen Datenbeständen Hohe Usability und intuitive Bedienung macht direkte Verwendung durch Fachbereich möglich 54

51 Auswahl Abdeckung BD Funktionsklassen Big Data Spezialisten Big Data spezialisten Blue Yonder Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Datameer Splunk (IT Log- Analyse) IBM BigSheets Werkzeug-Charakterisierung: Werkzeuge für die Analyse von Big Data Daten (strukturiert/unstrukturiert) die im HDFS oder auch anderen Datenspeichern abgelegt sind. Zugriff auf die Daten mit MapReduce oder proprietären Methoden. Iterative und explorative Vorgehensweise bei der Analyse und Reporterstellung. Mögliche Anwendung im Rahmen Big Data: Ad-hoc Analyse und Predictive Analytics von bisher nicht genuzten, unbekannten Daten Analyse von Log-Daten (Weblogs, Maschinenlogs) Analyse von Social-Media Daten Analyse von Text-Daten 55

52 Auswahl Abdeckung BD Funktionsklassen Hadoop hadoop Apache Hadoop Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Apache Lucene Text Search Text Analyse Apache Mahout Data Mining Predictive Analytics Apache Hive Apache Pig Apache Flume Hadoop Framework Apache Sqoop Data Collection and Aggregation Common utilities, HDFS, MapReduce Framework Data Transfer between Hadoop and Databases Daten Summierung und Querying Programmier- und Abfragesprache Werkzeug-Charakterisierung: Ein Baukausten bestehend aus dem Hadoop Filesystem, einer Entwicklungsumgebung für MapReduce und weiteren Komponenten. Komplexität - Integration zwischen den Produkten quasi nicht vorhanden. Produkte und Komponenten müssen einzeln installiert werden. Mögliche Anwendung im Rahmen Big Data: (Langzeit)Speicher und Archiv für Big Data Daten jeder Art Explorative und iterative Analyse von Daten jeder Art (programatischer Ansatz) (analytical Sandbox) Erweiterung des Datenraums für das Data Warehouse (auch Datenlieferant für das DWH) Kostengünstige, detailierte Datenspeicherung erlaubt neue Ansätze für Analyse etc. 56

53 Auswahl Abdeckung BD Funktionsklassen NoSQL (Not only SQL) Datenbanken NoSQL Datenbanken CouchDB (Document oriented) MongoDB (Document oriented) Hbase (key-value store) Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Cassandra (key-value store) Neo4J (Graph Database) InfiniteGraph (Graph Database) Werkzeug-Charakterisierung: Spezialisierte DBMS für spezifische Aufgaben wie Dokumentenverwaltung, Indizierung von Werten, speichern von Beziehungen. Zugrif meist über Java Pogramming Interface, REST, Avro und weiteren APIs. NoSQL ist in erster Linie eine Frage in Richtung der Anforderungen an die operative Anwendung. Muss das Schema flexibel sein und genügt ein eventually consistent Modell? Mögliche Anwendung im Rahmen Big Data Für BI kann NoSQL genutzt werden wenn auch die entsprechenden operativen Anforderungen an NoSQL existieren Für real-time, sehr lokale BI Anforderungen (z.b. Beziehung von Person in sozialem Netztwerk) Der Fokus liegt auf anwendungsspezifischen Abfragen mit limitiertem Umfang 57

54 Beispiele für NoSQL Datenbanken Key-value store Key Value Yining, Hu,, 13 March 1987 John, Smith Mary, Doherty, , , 03 July 1976 z.b. Google Bigtable, Amazon SimpleDB, Hbase, Cassandra, etc. Document-oriented stores generalisieren das Key-value Konzept mit multiplen Keys JSON {(Key : Value), (Key : Value),...} { jsmith@mail.com First name : John, Surname : Smith } Graph Datenbanken mit Nodes, Edges und Eigenschaften repräsentieren und speichern assoziative Daten (Analyse von sozialen Netzwerken) { mardoe@yahoo.com First name : Mary, Surname : Doherty, Date of birth : 03 July 1976, Cell-phone : , Landline : } { huyining@gmail.com First name : Yining, Surname : Hu, Date-of-birth : 13 March 1987 } z.b. CouchDB, MongoDB, Terrastore, etc. z.b. Neo4J, Infinite Graph, etc. 58

55 Auswahl Abdeckung BD Funktionsklassen Streaming Streaming HStream IBM InfoSphere Streams Datenbereitstellung Datenanalyse Datenaufbereitung Analytik Visualisierung Microsoft StreamInsight SAP Sybase ESP TIBCO StreamBase Werkzeug-Charakterisierung: Analytische Software-Computing-Plattform, die kontinuierlich Daten im Speicher analysiert und transformiert bevor evtl. auf der Festplatte gespeichert wird. Die Analyse von Daten in Bewegung mit Stream-Computing ermöglicht schnellste Ergebnisse, potentielle Hardware Einsparungen und hohen Durchsatz. Um dies zu erreichen, arbeitet Streams in erster Linie auf "Fenster" von Daten, die im Speicher, über einen Cluster verteilt gehalten werden. Diese Daten können mit Daten aus einer at-rest Engine, wie Hadoop oder einer Datenbank, angereichert und dadurch in Kontext gebracht werden. Mögliche Anwendung im Rahmen Big Data: Indentifizierung von Ereignissen in Echtzeit, wie die Bestimmung von Kunde Stimmungen in Social Media mit zunehmender nagativer Tendenz Korrelieren und Kombinieren von Ereignissen die zeitlich eng verwandt sind, wie beispielsweise eine Warnung in einer Log-Datei gefolgt von einem Systemausfall. Kontinuierliche Berechnung gruppierter Aggregate, wie Preistrends pro Symbol, pro Branche im Aktienmarkt. 59

56 Auswahl Abdeckung BD Funktionsklassen Such-Index/Datenexploration/Discovery/Profiling Such-Index Datenanalyse Datenbereitstellung Datenaufbereitung Analytik Visualisierung Oracle Endeca IBM BigInsight Data Explorer Splunk Werkzeug-Charakterisierung: Entdeckende und erforschende Analyse von multiplen Big Data Datenquellen mit dem Ziel besser zu verstehen welche Daten zur Verfügung stehen, einen Überblick über die Qualität der Daten zu bekommen und in welchem Verhälniss die Daten zu einander stehen. Die Ergebnisse werden zur Erzeugung eines Such-Indexes genutzt der über die untersuchten Datenquellen gelegt wird und so ein ein single-search-interface für die Benutzer bietet. Mögliche Anwendung im Rahmen Big Data: Finden von Zusammenhängen in Social Media Daten Förderierter Zugriff zur Entdeckung, Suche und Navigation in Datenquellen 60

57 Auswahl Big Data Distribution Big Data Distribution Apache Hadoop (OSS) Cloudera Horton Works IBM BigInsight Visualization & Discovery Toolkits, Accelerators, Libraries Hadoop System Application Development Streaming Systems Management Werkzeug-Charakterisierung: Information Integration & Governance Integrierter Software Stack für single install mit den vom entsprechenden Hersteller angebotenen und aufeinander abgestimmten Komponenten. Umfang und Funktion der Komponenten variert von Anbieter zu Anbieter. Apache Hadoop (OSS) ist kein integrierter SW Stack Komponenten müssen einzeln installiert werden. Mögliche Anwendung im Rahmen Big Data: Einfachere Wartung, Installation und Nutzung von aufeinander abgestimmten Big Data Komponenten Zusätzlich Komponenten des Herstellers erweitern den Funktionsumfang für die Big Data Analyse (aka Text-Mining, Log-Analyse, Social-Media-Analyse, Sentiment-Analyse, etc.) Integrierte Hersteller Werkzeuge für System-Management, Anwendungsentwicklung, etc. 62

58 Use Case Einordnung der Datenbestände des Ist Reporting & Analyse Visuelle Analyse Komplexe Analyse Suche Discovery KunDWH, Analytische OrdDWH Datenbanken NoSQL DB Such- Index Staging Area Streaming Datenaufbereitung File System KunDB1 ERP KunDB2 OrdDB1 SCM CRM Externe Systeme Sensor-Daten Web Click- Logs Social Media Dokumente streams Strukturierte Geschäftsdaten Maschinengeneriert (strukt.) Menschgeneriert (polystr.) ConDB1 OrdDB2 KunDB3 BuyDB1 LogDB1 63

59 Entscheidungsparameter für den Einsatz von Technologie in der Analytik Big Data vs. DWH Daten Lokation, Form Physisches Layout/Zugriffs - pfad Qualität, Aktualität Security (Hadoop selbst keine Security) Governance, Metadaten Funktion Transformation Relational (aggregierte, sortierte Analyse) NoSQL Funktionen IUD (Hadoop is append only) Änderung and den/der Daten(verteilung ) (Entwickler ist auch Optimierer in Hadoop) Multi-Step Verarbeitung (zu kodieren in Hadoop, durch BI Tool auf RDBMS) System-Kapazität Treffen von Annahmen über die Nutzung des Systems und die Anzahl der zukünftigen Benutzer Skalierbarkeit mit Hadoop leichter zu verwirklichen SLA Anforderungen Z.B. Workload Management Concurrency am Besten mit DWH Effizienz Nicht so wichtig für explorative Implementierungen Wichtig für die tägliche, periodische Verarbeitung Implementierungsmöglichkeiten Explorativ/Discovery Ad hoc/interaktiv/guided Batch Skill Set Bereitschaft für Kodierung Time to Market Drei wichtige Entscheidungen Verfügbarkeit des entsprechenden Skills Wo sind oder wo gibt es freie Kapazitäten Optimierung/Reorganisation von Prozessen kann eine Rearchitekturierung oder Reimplementierung 64 im Laufe der Zeit bedeuten

60 Agenda I. Big Data alter Wein in neuen Schläuchen? II. Big Data Quellen Wert und Nutzen in der Analyse III. Big Data Methodologie Evolution von Technologie, Methoden und Prozessen IV. Big Data umsetzen Arbeitsumgebung und Menschen V. Voraussetzungen schaffen, Fallgruben vermeiden Big Data zum Erfolg bringen 65

61 Big Data Strategie nach Best-in-Class Gibt es in Ihrem Unternehmen eine Strategie für Big Data? (nach Best-in-Class) Best-in-Class 28% 42% 30% Average 11% 61% 28% Nachzügler 19% 56% 26% 0% 20% 40% 60% 80% 100% Big-Data-Strategie Keine Big-Data-Strategie Big-Data-Strategie in Planung BARC Big Data Survey 2013, n =

62 Dimensionen Organisation in klassischen BI-Projekten Organisation Rollen Aufbauorganisation Ablauforganisation / Prozesse 67

63 Aktuelle Aufbauorganisation der Fit4Life Fit4Life Marketing IT IT Betrieb Parameter für BI-Aufbauorganisation: Nutzer des DWH Nutzer best. operativer Systeme Analyse-Affinität/Methodische Kompetenzen Technische Kompetenzen Datenkompetenzen Sicht auf die neue Initiative IT Entwicklung BI CC AE Beispiel BI CC: Kompetenzen zu den strategischen BI Werkzeugen (BI, DM, DI) Sehr fokussiert auf die DWH-Architektur Kompetenzen zur Datenlandschaft des Unternehmens, die bislang im DWH integriert ist Keine Java-Kenntnisse, keine Kenntnisse zu OSS Technologie 68

64 Big Data braucht eine Unternehmenskultur die fachliches und technisches Know-how kombiniert! Fit4Life Controlling Marketing IT BICC IT Betrieb IT Entwicklung Exploration 1. Moderate Erweiterung BI-CC um ein Big Data Teams / Rollen 2. Virtuelle Teams AE 69

65 Big Data in Unternehmensbereichen nach Best-in-Class IT Controlling Marketing Vertrieb Produktion Forschung & Entwicklung In welchen Bereichen Ihres Unternehmens werden Big-Data- Analysen vorgenommen? (nach Best-in-Class) Supply Chain 10% 8% 12% 16% 17% 15% 19% 21% 19% 19% 22% 23% 23% 24% 21% 32% 29% 35% 32% 30% 37% 0% 20% 40% Best-in-Class Average Nachzügler BARC Big Data Survey 2013, n =