Big Data in der industriellen Praxis. Gunnar Fabritius Business Intelligence & Big Data Consulting T-Systems Multimedia Solutions

Transkript

1 Big Data in der industriellen Praxis Gunnar Fabritius Business Intelligence & Big Data Consulting T-Systems Multimedia Solutions

2 Über T-Systems Multimedia Solutions Wir begleiten Großkonzerne und mittelständische Unternehmen bei der digitalen Transformation. 2014: Jahresumsatz 145 Mio. Euro 1500 Mitarbeiter an sieben Standorten Hauptsitz in Dresden Beratungs- und Technikkompetenz in den Bereichen E- Commerce, Websites, Intranet, Social Business, Marketing, Business Intelligence, Big Data, Mobile Solutions, Retail und Industrie 4.0 Ausgezeichnet mit dem Social Business Leader Award der Experton Group und dem if Design Award sowie Gewinner des Best in Cloud Award der Computerwoche. Mehrmals als einer von Deutschlands besten Arbeitgebern mit dem Great Place to Work Award gekürt.

3 Unser Anspruch

4 Big Data und Data Science Nur ein Marketing und Medien Hype oder ein Umsatzstarkes Geschäft?

5 Google Erfolgreich durch intelligente Big Data Lösungen Vielfältige Applikationen auf riesigen Datenmengen: Google Web Suche Google Maps / Google Earth Gmail YouTube Picasa Google+ Wissenschaftliche Veröffentlichungen von Google: The Google File System (2003) MapReduce: Simplified Data Processing on Large Clusters (2004) Big Table: A Distributed Storage System for Structured Data (2006)

6 Was ist Apache? Entwicklung durch Doug Cutting bei Yahoo! Nachimplementierung der Google Ideen Veröffentlichung als Open Source Software Top-Level Projekt der Apache Software Foundation Hauptentwickler und -nutzer unter anderem: Yahoo! Facebook Kostengünstige verteilte Big Data Lösung: Open Source Software 64 Bit Linux mit Java Virtual Machine Commodity Hardware (Einfache Standardserver ohne RAID)

7 HDFS: Hadoop Distributed File System Eine gegebene Datei wird in Blöcke (default=64/128 MB) aufgeteilt und diese über den Cluster repliziert (default=3) HDFS Optimiert für: Durchsatz Schreiben/Lesen/Löschen Anfügen Block Replikation für: Dauerhaftigkeit Verfügbarkeit Durchsatz Block Replikate werden über Server und Racks verteilt

8 MapReduce Ausnutzen von Datenlokalität Ein gegebener Job wird in Map und Reduce Tasks aufgeteilt und diese jeweils möglichst nah zu ihren Daten eingeplant. Programmieren von Map und Reduce Schritten in Java oder analytische Anfragesprachen (Pig, Hive) Optimiert für: Ausnutzen der Datenlokalität Batchverarbeitung Recovery von Fehlern Das System erkennt hängende Tasks und führt spekulativ parallele Tasks auf den gleichen Datenteilen aus

9 Gartner Hype Cycle for Emerging Techn. 2014

10 Welche Informationen Brauchen Unternehmen, um Besser entscheiden und handeln zu können?

11 Wert Von Daten zu Wissen: Die Vier Stufen DER Analytik Was ist geschehen? Descriptive Analytics Warum ist es geschehen? Diagnostic Analytics Was wird geschehen? Predictive Analytics Wie können wir es geschehen lassen? Prescriptive Analytics Schwierigkeit

12 Ich weiss heute, welche ErsatzTeile Meine Werkstatt morgen benötigt.

13 Ich Biete heute Die Produkte an, die mein Kunde morgen Bestellen Will.

14 Ich weiss heute, welche Maschine morgen ausfällt.

15 Ich stelle heute bereit, was mein Kunde morgen abruft.

16 Wie Können Unternehmen Mehr Nutzen aus Ihren Daten Ziehen? Durch Die Ergänzung Ihrer BI Lösung Um Big Data Technologie!

17 Der WEG Von BI zu Big Data Ergänzen Sie Ihre bestehende Lösung GRosse Datenmengen erfassen Höhere Detailtiefe und neue Quellen erschließen Unterschiedliche Formate zusammenführen Daten in Echtzeit verarbeiten Informationen besser analysieren Zusammenhänge erkennen: Predictive Analytics Visual Analytics Web Analytics Wissen gezielt zugänglich machen Aufgrund passgenauer Informationen entscheiden Geschäftsprozesse intelligent gestalten und automatisieren

18 BI / Big Data Reifegradmodell Basisanalysen Business Intelligence Big Data Individuell Übergreifend Unternehmensweit Erweiterte Unternehmenssicht Flexible, effektive Analysen Optimierte Geschäftsprozesse Technik Excel und Datenbanken Data Warehouse mit Data Mart Data Warehouse und OLAP mit Data Mining Data Warehouse ergänzt um Big Data explorative Analyse in Big Data Big Data als operatives System Prozesse Organisation Datensilos lokales abteilungsorientiertes Geschäftsverständnis festgelegte Kennzahlen und Reports IT stellt Daten bereit für übergreifende Auswertungen Ad-hoc Datenauswertungen Betrachtung aller Geschäftsprozesse im Unternehmen Analyse neuer Daten mit traditionellen Tools Ausbau IT- Infrastruktur um unstrukturierter Datenquellen Flexible Anwendung von Big Data Tools schnelle Informationsbereitstellung durch Fachabteilung Integration von Analytik in die Geschäftsprozess Optimierung der Geschäftsprozesse durch Big Data

19 Wie Sehen Echte Big Data Projekte aus? Einige Beispiele aus Realen Kundenprojekten.

20 wo liegen Die Herausforderungen? auf dem Weg von BI zu Big Data Was Unternehmen sagen: Ist Ihr Data Warehouse für die Zukunft gerüstet? NEIN 75% 1) Haben Sie genügend fachliches Know-how? NEIN 55% 2) Werden Sie Schwierigkeiten haben, Big Data Experten zu finden? JA 53% 3) Sehen Sie Schwierigkeiten beim Datenschutz? JA 53% 2) Haben Sie genügend technisches Know-how? NEIN 47% 2) 1 Gartner BI Summit Stats BARC BIG Data Studie Information Week 2012

21 Semiconductor Manufacturer BIG DATA USE CASE DEVeLOPMENT AND Implementation Need: Large amounts of data (high volume/high frequency) produced in production processes Expensive to store and analyze with traditional technologies Better analytic possibilities needed to optimize manufacturing processes Approach: Support the customers cluster operation team Technical consulting for implementing new use cases based on big data technology Joint realisation of new use cases with the customer

22 Automobile Manufacturer BIG DATA Platform Operation Need: Big Data Lab was installed by the customer to explore new big data technologies and tools Being a large group of companies security and operating concepts have to be implemented to support several internal users and use cases Customer misses the necessary skills and people to operate the large variety of deployed software and hardware Approach: Big Data Lab was implemented in a data center operated by T-Systems for the customer T-System provides operations for hardware and software within the lab

23 Supermarket Chain VISUAL ANALYTICS for CUSTOMER UNderstanding Need: Better customer insight needed to optimize the store layout and for product placement Standard reports provide only limited insights in the customers behaviour Shopping that are equipped with sensor technology to track cart movements in the store Approach: Custom visualisation solution for shopping carts based standard reporting technology Implementation of advanced visualisations such as heatmaps, vector and path graphics

24 VISUALISATION of SHOPPING CARTS

25 RAIL Freight Company PREDICTIVE MAINTENANCE FOR Locomotives Need: Breakdowns of freight locomotives induce high cost due to blocked railroad tracks, costs for towing and repair Very large amounts of diagnostic data from freight train locomotives to analyze Locomotives will soon be connected via GSM Approach: Mutual innovation project between the customer and T-Systems Processing large volumes of diagnostic data using a Hadoop Cluster Building predictive models for predictive maintenance via data mining software

26 Dashboard of Diagnostic Messages

27 Interesse an unseren Themen, Praktika, Abschlussarbeiten oder Jobs? Sprecht uns An! Wir suchen ständig hochmotivierte und fähige Mitarbeiter.

28 QUESTIONS & ANSWERS!?! Ihr habt Interesse im Bereich Big Data, Analytics oder BI zu arbeiten? Ihr würdet gerne eine Praktikum oder eine Abschlussarbeit bei uns absolvieren? Sprecht mich einfach an oder schaut auf unsere Webseiten: Big MMS: Stellenangebote: Gunnar Fabritius Business Intelligence and Big Data Consulting T-Systems Multimedia Solutions Tel: +49 (351) gunnar.fabritius@t-systems.com