Big Data im Retail-Sektor am Beispiel Kassenbondaten

Transkript

1 Big Data im Retail-Sektor am Beispiel Kassenbondaten REWE Systems GmbH Jonas Freiknecht inovex GmbH Bernhard Schäfer Business Analytics Day,

2 AGENDA 1. Vorstellung REWE Systems GmbH und inovex GmbH 2. Big REWE 3. Bondatenverarbeitung auf Hadoop 4. Beispiel Anwendung: Analytics Frontend 5. Lessons Learned 2

3 Kennzahlen der REWE Systems 3

4 inovex ist ein IT-Projekthaus für die Digitale Transformation: Product Discovery Product Ownership Web UI/UX Replatforming Microservices Mobile Apps Smart Devices Robotics Big Data & Business Intelligence Platforms Data Science Data Products Search Deep Learning Data Center Automation DevOps Cloud Hosting Agile Trainings Technology Trainings Coachings inovex gibt es in Karlsruhe Pforzheim Stuttgart München Köln Hamburg Und natürlich unter Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst.

5 AGENDA 1. Vorstellung REWE Systems GmbH und inovex GmbH 2. Big REWE 3. Bondatenverarbeitung auf Hadoop 4. Beispiel Anwendung: Analytics Frontend 5. Lessons Learned 5

6 IT-Einsatz im Markt

7 IT-Einsatz im Markt von Heute 7

8 Big REWE Systems Das Warum Entlastung des Mainframes Auslagerung rechenintensiver Jobs nach Hadoop (ETL Offloading) Vorverarbeitung der Daten in Hadoop Vermeidung teurer explorativer Datenanalysen auf dem Mainframe Konsolidierung der Daten und Werkzeuge Zusammenführen der Vielzahl an Datenquellen (Data Lake) Längere Vorhaltezeit der Rohdaten und Aggregate Abteilungsübergreifende Standard Tools Erschließung neuer Use Cases Analysen über eine Vielzahl von Datenquellen (Apache Drill) Skalierbares Machine Learning (Apache Spark) Vorgefertigte Analyse-Templates für Fachanwender (Apache Zeppelin) 8

9 Big REWE Systems Historie Aufb au der Stagi ng- Clus ter Umset zung erster Spark- Anwe ndung (Spark 1.1) Einfü hrung intern er Hado op- Schul ungen Stretch- Cluster über zwei RZs Schulung en für Fachabtei lungen MapReduce Jobs in Produktion für (E)TL von Versorgerdaten Produktivier ung erster Spark- Anwendung (Spark 1.3) 12 produktive Anwendunge n Juni 2014 Dez Okt Okt Dez Heute

10 AGENDA 1. Vorstellung REWE Systems GmbH und inovex GmbH 2. Big REWE 3. Bondatenverarbeitung auf Hadoop 4. Beispiel Anwendung: Analytics Frontend 5. Lessons Learned 10

11 Bondatenverarbeitung auf Hadoop Hintergrund Anforderung: REWE Group-weite, qualitätsgesicherte Landing-Zone für Bondaten Märkte Kassensysteme Landingzone Qualitätssicherung / Duplikatsprüfung Weiterverarbeitung H 11

12 Bondatenverarbeitung auf Hadoop Architektur Data Hub Data Sources Collection Ingestion Storage Application Spark Executor Aggregate Analytics Frontend Batch Processing Transaktionen Adhoc Analysen Zeppelin MQ Index Stammdaten Aggregation Weiterverarbeitu ng Master Data Import External Sinks MQ WarenwirtschaftA nwendungen 12

13 Bondatenverarbeitung auf Hadoop Spark Streaming UI Pro Event ~ 200 Transaktionen ~ 2400 Transaktionen pro Sekunde ~ 70 Mio. Transaktionen täglich ~ 180 GB Rohdaten täglich 13

14 AGENDA 1. Vorstellung REWE Systems GmbH und inovex GmbH 2. Big REWE 3. Bondatenverarbeitung auf Hadoop 4. Beispiel Anwendung: Analytics Frontend (Folien entfernt) 5. Lessons Learned 14

15 Analytics Frontend (Folien entfernt) 15

16 AGENDA 1. Vorstellung REWE Systems GmbH und inovex GmbH 2. Big REWE 3. Bondatenverarbeitung auf Hadoop 4. Beispiel Anwendung: Analytics Frontend 5. Lessons Learned 16

17 Lessons Learned Hadoop Technologien Spark Big Data Swiss Army Knife Datenquellen: JDBC: DB2, Strukturierte Dateien in HDFS: CSV, JSON, Parquet, NoSQL Datenbanken: HBase Spark Streaming Flexible, robuste und skalierbare Streaming Engine Für kritische 24/7 Applikationen sehr viel Detailwissen erforderlich

18 Lessons Learned Hadoop Technologien (2) HBase Skaliert für sehr große Datenmengen Höherer Entwicklungssaufwand im Vergleich relationalen DBs SQL-Zugriff über Apache Drill möglich Continuous Integration Integrationstests mit Spark Local Mode & HBase Mini Cluster Einfache Integration in bestehendes Buildsystem (Quickbuild) 18

19 Lessons Learned Big Data REWE Start Simple Fokus auf wenige Kernkomponenten aus Hadoop Ökosystem: Spark, HBase, Oozie, (Hive) Agile Entwicklung Java anstatt Scala/Python à Vereinfacht die Ausbildung von Big Data Entwicklern Standardisierung Bereitstellung von Java Libraries für etablierte Patterns Namenskonventionen für HDFS und HBase Wir haben einen Hadoop- Cluster? Ja, seit 3 Jahren. Training Schulungsprogramm Java Entwickler à Big Data Entwickler Vermittlung Konzepte über verteilte Systeme Java 8 Lambda Streams ähnlich zu Spark RDD API Tue Gutes und sprich darüber. 19

20 Vielen Dank für Ihre Aufmerksamkeit! 20