A Big Data Change Detection System. Carsten Lanquillon und Sigurd Schacht

Transkript

1 A Big Data Change Detection System Carsten Lanquillon und Sigurd Schacht

2 Digitale Transformation in Unternehmen u Umfassende Erfassung, Speicherung und Verfügbarkeit von Daten à Big Data Quelle: Rolland Berger u Mehrwehrt schaffen durch Analytics Seite 2

3 Analytics im Unternehmen: Evolution der Entscheidungsunterstützung Unterstützungsniveau MIS Effiziente Dateiverarbeitung Integrierte Systeme Vision des automatischen Entscheidungsgenerators DSS Statistische Algorithmen Komplexe, starre Strukturen Datenbankorientierung EIS Multidimensionale Modellierung Trennung von operativen Systemen Beschränkung auf Top- Management OLAP Integration vielfältiger Datenquellen Historische Daten Interaktive Anfragen Analytics 1.0 BI Kennzahlensysteme Descriptive Analytics Predictive Analytics Prescriptive Analytics Integration analytischer Systeme Analytics 2.0 Big Data Hohes Datenvolumen Datenströme Vielfältige Datenquellen und -formate Echtzeitanalysen Massiv parallele Verarbeitung von Daten Analytics 3.0? Analytics integriert in Produkte und Dienstleistungen Seamless Analytics Ubiquitous Analytics Quelle: Lanquillon/Mallow (2015) Zeit Seite 3

4 Exponentielles Datenwachstum Quelle: BITKOM (2012) Seite 4

5 Was ist Big Data? Gib mir ein V... u Berücksichtigung dieser Eigenschaften bei der Analyse à Big Data Analytics Seite 5

6 (Big Data) Change Detection u Ziel: Prozesse unter Kontrolle halten u Datengenerierungsprozesse u Datenqualität u Änderungen in den Quellen u Anwendungsprozesse u Exploration und Forensik: Wo sind interessante Aspekte? u Ist die Anwendung von Analyseergebnissen noch gerechtfertigt? u Herausforderungen im Kontext von Big Data: u Velocity: u Variety: u Veracity: Echtzeit-Verarbeitung (Datenströme) Geeignete Verfahren für unterschiedlichste Daten Robuste Verfahren Seite 6

7 Change-Detection-Verfahren ganz kurz u Ableitung von Kennzahlen aus Daten, Modellen oder Modellanwendung (Einzelwerte oder Zeitintervalle) u Beschreibung der Normalität (Vergangenheit, Expertenwissen) u Beobachtung der Kennzahlen über die Zeit (Monitoring) u Warnmeldungen bei signifikanten Abweichungen von der Normalität Seite 7

8 Die klassische Lambda-Architektur All data (HDFS) Batch recompute (MapReduce) BATCH LAYER View 1 View 2 View n New data stream SERVING LAYER Batch views Real-time views View 1 View 2 View n Merge Query f(all data) Stream processing Real-time increment SPEED LAYER Seite 8

9 Big Data Change Detection System mit angepasste Lambda-Architektur Internal Sources Change Detection Framework Frontend ERP Logs RFID External Sources Twitter News Weather Data Collector Batch Layer Serving Layer Speed Layer Data Lake (All Data) Streaming Engine Modeling Engine Results (Models & Alerts) Monitoring Engine Interactive Analysis Monitoring Dashboard Seite 9

10 Beispiel-Anwendung: Veränderungen in Twitter-Daten erkennen Seite 10

11 Zusammenfassung u Erkennung von Veränderungen sehr wichtig u Datenqualität angemessen? u Exploration und Forensik: Wohin schauen? u Anwendungen: Ergebnisse (Modelle) noch valide? u Bekannte Verfahren folgen einem typischen, einfachen Muster u Abbildung von Daten- oder Modelleigenschaften auf Kennzahlen u Modellierung der Normalität und Beobachtung über die Zeit (Monitoring) u Warnmeldungen bei signifikanten Abweichungen von der Normalität u Skalierbare und einfach erweiterbare Umsetzung u Lambda-Architektur mit Monitoring-Prozess in der Speed-Layer u Aktuelle Big-Data-Technologien für einzelne Komponenten Seite 11

12 Vielen Dank für Ihre Aufmerksamkeit Hochschule Heilbronn Prof. Dr. Carsten Lanquillon Robert-Bosch-Strasse 32, D Heilbronn (Germany) Fon: Fax: Hochschule Heilbronn Prof. Dr. Sigurd Schacht Robert-Bosch-Strasse 32, D Heilbronn (Germany) Fon: Fax: Web: Web: A Big Data Change Detection System, Carsten Lanquillon und Sigurd Schacht Seite 12