Big Data im Praxiseinsatz Szenarien, Beispiele, Effekte

Transkript

1 Big Data im Praxiseinsatz Szenarien, Beispiele, Effekte Melih Yener Chef -Technologe Big Data, T-Systems International Mitglied der Expertengruppe BITKOM Big Data

2 Agenda Motivation und Einordnung Einsatzszenarien für Big Data Technologien und Ökosystem 1

3 Was ist Big Data und warum ist es Relevant? 12 TB Twitter Tweets pro Tag 5 Millionen Handelsaktionen pro Sekunde Video Feeds von hunderten von Sicherheitskameas Volume Oft Petabytes nicht nur Terabytes an Daten Volume Velocity Daten die schnell erzeugt Velocity und verarbeitet werden müssen (konstante Streams nahe Echtzeit Variety Variety Sensordaten, Unstrukturierte Daten, z.b. Text, Bilder und Videos 350 Milliarden Stromablesungen pro Jahr (Utilities Smart Meters) 500 Millionen Verbindungsdaten pro Tag 80 % Datenwachstum durch Bilder, Videos und Dokumenten etc.

4 Motivation: Warum beschäftigen sich Firmen mit Big Data Quelle: BITKOM Big Data Leitfaden

5 Herausforderungen bei Planung und Umsetzung von Big Data Vorhaben Quelle: BITKOM Big Data Leitfaden

6 Innovation: Erst Speichern, dann Fragen unter Nutzung paralleler Datenverarbeitung (Scale- Out-Architekturen) Geschäfts- fragestellung Legacy BI Analyse historischer Daten Nutzung von Daten aus Anwendungen heraus High Performance BI Quasi-real-time Analysen Nutzung von Daten aus Anwendungen heraus Hadoop Ecosystem Geeignet für prediktive Analysen Fragestellungen definiert ad-hoc unter Nutzung vieler u. verschiedenartiger Datenquellen Beispielhafte Anbieter Technologieansatz SAP Business Objects IBM Cognos MicroStrategy Strukuriert Lmitiiert (2 3 TB in RAM) Oracle Exadata SAP HANA Data Type/Scalability Strukturiert Limitiert (2 8 TB in RAM) Hadoop distributions No ACID transactions Limited SQL Set (joins) Strukturiert oder unstrukturiert Ohne Limit (20 30 PB) True big data Legacy Vendor definition of big data

7 Hadoop! Kommt bald auch in Rechenzentren in Ihrer Nähe... Hadoop ist wie ein Data Warehouse, kann aber mehr Daten speichern, verschiedenartigere Daten und flexibelere Analysen durchführen Haoop ist Opensource und kann auf Industriestandard Hardware betrieben werden. Es ist 1-2 mal so ökonomisch wie konventionelle Data Warehouse-Lösungen Hadoop liefert kosteneffizientere Lösungen für die Speicherung, Verarbeitung und Analyse von großen Datenmengen (bezogen auf definierte Lasttypen..schneller, günstiger und besser) Hadoop ist Basis für profitables Wachstum: Höheren Nutzen erzeugen durch die Möglichkeit größere Fragen zu stellen 6

8 Disruptive Innovation #1: Erst speichern, dann Fragen Billigerer Speicher, aber auch mehr als Specher Illustrative Anschaffungskosten?! SAN Storage 3-5 /GB NAS Filers 1-3 /GB Enterprise Class Hadoop Storage??? /GB White Box DAS 1) /GB Data Cloud 1) /GB Based on HDS SAN Storage Based on Netapp FAS-Series Based on Netapp E-Series (NOSH) Hardware can be self-assembled (incl. Compute) Based on large scale object storage interfaces 1) Hadoop offers Storage + Compute (incl. search). Data Cloud offers Amazon S3 and native storage functions 7

9 Agenda Motivation und Einordnung Einsatzszenarien für Big Data Technologien und Ökosystem 8

10 Einordnung von Einsatzszenarien für Big Data Wertbeitrag Hoch IT Infrastructure & Operations Low Cost Speicher Landezone für Unternehmensdaten Business Intelligence & Data Warehouse Enterprise Data Warehouse Auslagerung Enterprise Data Warehouse Archivierung ETL Offload Fachbereich & Business Analysts Kapazitätsplanung & Auslastung Customer Profiling & Umsatzanalysen Targeted Advertising Analysen Service Renewal Implementation CDR basierte Datenanalysen Fraud Management CXO Neue Geschäftsmodelle Niedrig Kurzfrist Time to value Langfrist Kosteneffizienter Speicher, Verarbeitung & Analyse Basis für profitables Wachstum 9

11 Unternehmens Data Warehouse Auslagerung als Einsatzszenario für Big Data Herausforderung EDW gg. Kapazität; Limitierte Unterstützung von Datenwachstum und Datenvielfalt Teuer in der Skalierung, kann nur wenige Jahre Daten vorhalten Performance Limitierungen, wenig Möglichkeit für prediktive Analysen Alte Daten können zwar gespeichert werden sind aber nicht aktiv Lösungansatz Auslagerung von niedrig wertigen Daten vom EDW und Vermeidung von Tapes, etc. (dunkle Archivierung) Hadoop für Datenspeicherung und Verarbeitung (parse, cleanse, Strukturierung und Transformation) Freie Kapazitäten damit das EDW strukturierte Daten analysieren kann Alle Daten (auch dunkle) können nun analysiert werden DATA WAREHOUSE Operational (44%) ELT Processing (42%) Analytics (11%) DATA WAREHOUSE Operational (50%) Analytics (50%) HADOOP Analytics Processing Storage 10

12 DIE NEUE WELT DER AUTOMOBILHERSTELLER. WENN DIE FAHRZEUGE ONLINE GEHEN. Aktiver Werkstattaufruf Signalisierung on Board Online Kombinationen Maschinendaten verknüpft mit Web 2.0 Direktkontakt zum Hersteller Basierend auf Cloud Technologie Fahrzeug Daten auslesen präventive Fehlervermeidung Effizienter Rollout 40 Mio. neue Frühzeitige mobile Verbindungen Fehlererkennung Online Direktverbindung mit dem Hersteller und Werkstätten VOLUME VELOCITY Besser planbare VARIETY Produktlebensdauer VALUE Reale Kosteneinsparung durch Vermeidung von Rückrufaktionen Nutzungsszenarien für die Entwicklungsabteilung Use Case Big Data Automotive Hohe Kunden- zufriedenheit

13 WENN DAS MARKETING FÜR DIE MESSUNG DER EFFIZIENZ ZU LANGE BRAUCHT, GEHEN SALES-POTENTIALE VERLOREN. Start einer internationalen Kampagne für ein neues Massenprodukt? GEOGRAFIE. Unterschiedliche Akzeptanz in den Regionen der Welt ZEIT. Das Filtern von Millionen von Tweets dauert zu lang. ÖFFENTLICHKEIT. Die ganze Welt twittert FORECAST. Langsame Planung der next Steps. AUSWERTUNG. Schwierige, unübersichtliche Analysen nach Regionen. EINSCHÄTZUNG DER MARKTSITUATION. Reale Verkaufszahlen verraten nichts darüber, wie Konsumenten in den weltweiten Absatzmärkten denken. Echtzeit-Informationen über Kunden-Einstellungen, Hit- und ShitStorms ermöglichen sofortige Reaktion, Verkaufserfolg, Prognosen, Produktweiterentwicklung, Logistiksteuerung und damit Wettbewerbsvorsprung. UseCaseUseCase Big DataBig Kampagnen-Management Data Cloud-Medialytics

14 ALS MARKETINGTEAMS NOCH LANGE DETEKTIVARBEIT LEISTEN MUSSTEN. Viel Zeit für die Messung der Effizienz von Marketing-Kampagnen Unstrukturierte Form von Tweets Keine Geografische Zuordnung Herausfiltern der Tweets der relevanten Tweets mit Unternehmensrelevantem Hashtag?? Rückmeldungen an ERP und Logistik dauern zu lang Bis eine Planung erstellt ist, sind Geschäfte längst leer gekauft und am anderen Ort noch übervoll am einen Ort die UseCaseUseCase Big DataBig Kampagnen-Management Data Cloud-Medialytics

15 KAMPAGNEN-MANAGEMENT IN HIGH-SPEED. MIT BIG DATA VON T-SYSTEMS UND SPLUNK ENTERPRISE. Start einer internationalen Kampagne für ein neues Massenprodukt VOLUME VELOCITY VARIETY VALUE Regionales Filtern von Millionen von Tweets in sekundenschnelle Sofort alle Informationen über die Wirkung der Produktkampagne Analyse durch Echtzeitzugriff auf Daten Transparenz über die Tweets Kostenersparnis für Ressourcen durch automatisierte Vorgänge Vollständige, integrierte Sicht auf alle im Zusammenhang mit der Kampagne relevanten Vorgänge in Social-Media-Kanälen Fundierte Entscheidungen treffen Folge-Kampagnen Schnell, gezielt starten und weitere Schritte einleiten, z.b. Steuerung von Logistikströmen UseCaseUseCase Big DataBig Kampagnen-Management Data Cloud-Medialytics Aussagekräftige Darstellung regionaler Akzeptanzen via Google Maps

16 DIE ALTE WELT DER ENERGIEVERSORGER. ALS DIE NETZE NOCH NICHT DENKEN KONNTEN. DER ENERGIESEKTOR IM WANDEL. Kunden von Energieversorgungsunternehmen (EVUs) haben Anspruch auf unterjährige Verbrauchsinformation und -abrechnung (EU-Richtlinie) EVUs müssen ihr Angebot auf lastvariable oder tageszeitabhängige Tarife ausweiten Big Data hilft bei der Einhaltung der gesetzlichen Vorgaben, sorgt für einen medienbruchfreien Datenfluss und bietet volle Transparenz und schnelle Reaktionsmöglichkeiten für Energieversorger und Kunden Bis 2015 werden rund 20 30% der Großunternehmen in Deutschland professionelle Lösungen zum Energiemanagement einsetzen 1) Haushalte werden auch selbst zu Energieerzeugern (Photovoltaik, Blockheizkraftwerke) Der Weg in das neue Energiezeitalter bis 2020 (?) bedarf einer effizienten Energieerzeugung und -nutzung Messstelle Privathaushalt & Geschäftskunden (1 Experton Group, 2012 UseCase Big Data für Utilities

17 PREDICTIVE MAINTENANCE FÜR EINEN INDUSTRIE-BOHRER HERSTELLER: AUSFÄLLE ERKENNEN BEVOR SIE PASSIEREN? Sensor Daten zur Prüfung von Ausfällen Sensor Daten von Industriebohrsystemen produzieren mehr als GB /pro Monat 365/24 Echtzeit Monitoring der Bohrsysteme Hunderte von Bauunternehmen WELCHEN WERTBEITRAG BIETET PREDICTIVE MAINTENANCE Bauunternehmen können höhere Auslaustung von Maschinen und Mitarbeitern erreichen Hersteller der Systeme kann Wartungs- und ServiceLeistungen über Cross-Selling verkaufen (neuer Vertriebskanal) UseCase Big DataBig Cloud-Medialytics Data für Utilities UseCaseUseCase Big Data Kampagnen-Management

18 Agenda Motivation und Einordnung Einsatzszenarien für Big Data Technologien und Ökosystem 17

19 Welche technologischen Bausteine stecken in einer Big-Data Lösung Real Time Streams (Social, sensors) Machine Learning (Mahout, etc ) Real-Time Processing (s4, storm, spark) Data Visualization (Excel, Tableau) ETL (Informatica, Talend, Spring Integration) Real Time Database (Shark, Gemfire, hbase, Cassandra) Interactive Analytics (Impala, Greenplum, AsterData, Netezza ) HIVE Batch Processing (Map-Reduce) Structured and Unstructured Data (HDFS, MAPR) Compute Cloud Infrastructure, Storage Storage, NetworkingCompute, Network Source: Vmware

20 Was bringt T-Systems mit für den Aufbau von Big Data beim Kunden Big Data Discovery Workshop Analytics as a Service System Integration Big Data Fähigkeiten Multi-Industry Use Cases Managed Hadoop Cluster Expertise in Big Data Operations T-Systems Innovation Center 24th April

21 Zusammenfassung Big Data innovativer und kostengünstiger Lösungsansatz um mit den Herausforderungen großer Datenmengen umzugehen Geschäftsnutzen kann durch Industrie-Lösungen oder Data Warehouse IT-Optimierungen erreicht werden Der Big Data Markt ist hochgradig dynamisch mit vielen kleineren Anbietern besetzt 20

22 Questions? Melih Yener; CTO Big Data,