POWER ALS BIG DATA PLATTFORM. Vom klassischen Data Warehouse zum Big Data Ansatz

Transkript

1 POWER ALS BIG DATA PLATTFORM Vom klassischen Data Warehouse zum Big Data Ansatz

2 IBM COGNOS VORSTELLUNG Stefan Held Software Architekt PROFI GS Bochum Schwerpunkte: Business Intelligence & Analytics Big Data & Data Warehouse CRM 2

3 BIG DATA? Nicht schon wieder! Brauchen wir nicht! Wo sind die Use Cases? 3 V $$$! Was ist das? Social Media Machen wir schon! Hadoop Nur ein Hype! 3

4 WARUM BIG DATA? Zunehmende Komplexität von Prozessen Zunehmende Menge an Daten, die für eine Entscheidung berücksichtigt oder ignoriert werden können Relevanz von Daten nicht klar ersichtlich Strukturierte und unstrukturierte Daten Welche Informationen verbergen sich in den Daten? Entscheidungen werden nach Bauchgefühl getroffen Aber: Das Bauchgefühl ist subjektiv und schwer zu belegen! Entscheidungen werden nach Zahlenlage getroffen Aber: Sind die Zahlen vollständig? Zeigen sie die ganze Wahrheit? 4

5 SITUATION HEUTE DAS KLASSISCHE DWH Anwendungen Data Warehouse Auswertung Listen SQL DB Würfel ETL-Prozesse: Abgleich Filterung Transformation Abfrageschema: Relational Dimensional 5

6 SITUATION HEUTE PROBLEMSTELLUNGEN Anwendungen Data Warehouse Auswertung SQL DB Listen Würfel Kapazität ETL-Prozesse: Abgleich Filterung Transformation Abfrageschema: Relational Dimensional vs. Geschwindigkeit 6

7 SITUATION HEUTE PROBLEMSTELLUNGEN Anwendungen Data Warehouse Auswertung SQL DB Listen Würfel Integration ETL-Prozesse: Abgleich Filterung Transformation Abfrageschema: Relational Dimensional vs. Integrität 7

8 SITUATION HEUTE PROBLEMSTELLUNGEN Anwendungen Data Warehouse Auswertung SQL DB Listen Würfel Anfrage ETL-Prozesse: Abgleich Filterung Transformation Abfrageschema: Relational Dimensional vs. Angebot 8

9 SITUATION HEUTE PROBLEMSTELLUNGEN Beständiges Wachstum der möglichen Datenquellen Einbindung neuer Datenbestände soll nicht Qualität und Performance der bestehenden DWH-Lösung beeinträchtigen Entstehen von Datensilos Ladevorgänge direkt in Aggregate hinein Verzicht auf hohen Detailgrad Gebaut wird auf Anforderung der Fachabteilung Anforderungen wirken sich aus bis zu den Extraktionsprozessen aus den Ursprungssystemen Hemmschwelle, Workarounds 9

10 SITUATION HEUTE PROBLEMSTELLUNGEN Weitere Anwendungen Unstrukturierte Dokumente Historische Daten Suche nach Einflussfaktoren Anwendungen Data Warehouse Auswertung Listen Social Media SQL DB Würfel Echtzeitauswertung ETL-Prozesse: Abgleich Filterung Transformation Abfrageschema: Relational Dimensional Maschinen- /Sensordaten Zugekaufte Daten nn Volltextsuche 10

11 NEUER LÖSUNGSANSATZ Sammeln und verknüpfen Sammeln aller Daten unterschiedlichster Herkunft, Beschaffenheit und Bedeutung in einer gemeinsamen Sammelplattform Kontinuierlicher Aufbau von Beziehungen zwischen den Daten Stammdatenabgleich, Anreicherung Analyse von noch zu strukturierenden Daten Abfragen zur Bereitstellung von Datenextrakten für weitere Analyseschritte Basis für Detailabfragen 11

12 NEUER LÖSUNGSANSATZ Heiß und Kalt Aufteilen des gesamten Datenbestandes in einen heißen Bestand Aktuell Verdichtet Mit minimaler Latenzzeit auf Knopfdruck abrufbar Austauschbar + jederzeit reproduzierbar und einen kalten Bestand Historische Daten Detaildaten Wenig benötigte Daten Dauerhaft mit vernünftigen Antwortzeiten verfügbar 12

13 NEUER LÖSUNGSANSATZ Art der Zusammenarbeit Der Fachabteilung / dem Kunden proaktiv immer wieder einen Einblick in die Möglichkeiten geben. Grundannahme: Jede Antwort steckt irgendwo in den Daten Gemeinsam aus Daten Entscheidungsgrundlagen entwickeln 13

14 NEUER LÖSUNGSANSATZ Technologische Basis Preiswerte, skalierbare Plattform für Massendaten aller Art Hochperformante Analysemaschine für kumulierte Daten Kontinuierliche Datenaufnahme und aufbereitung durch Suchvorgänge, statistische Modelle, Crawler etc. Verknüpfung strukturierter und unstrukturierter Daten 14

15 BEISPIELAUFBAU Analysetools, Reporting, Statistik, Weiterverarbeitung Vorverarbeitung Verknüpfung Stammdaten-Match Analyse-Datenbank Statistik-Server Echtzeitdaten Landing Zone / Staging Area / Sammelplattform D A T E N 15

16 BEISPIELAUFBAU Analysetools, Cognos, SPSS Reporting, Statistik, Weiterverarbeitung Vorverarbeitung Verknüpfung Stammdaten-Match Analyse-Datenbank DB2 BLU InfoSphere Landing Zone / Staging Area / Sammelplattform BigInsights SPSS Analytic Server Statistik-Server Echtzeitdaten InfoSphere Streams D A T E N 16

17 POWER 8 ALS BASIS Prinzipiell ist die Rechnerplattform nicht die erste Priorität, aber POWER 8 wurde nach den Bedürfnissen von Big Data & Business Analytics entwickelt! Hohe I/O-Bandbreite Hohe Memory-Bandbreite bis 230GB/s Hohe Leistung / Core Eingebaute Virtualisierungsschicht BI Benchmark Tests Je komplexer die Anwendung, desto größer die Performance-Vorteile von POWER 8 Vorteile möglichst leistungsstarker Server z.b.: Höhere Leistung im performance-intensiven Bereich Weniger Knoten erforderlich im volumen-intensiven Bereich günstigere Lizenzierung von BigInsights pro Knoten! 17

18 ANWENDUNGSBEISPIELE Bessere Skalierung Ihrer Data Warehouse - Lösung Aufteilung in eine heiße und eine kalte Zone Heiße Zone: Analysestrukturen für verdichtete Daten, zeitkritische Auswertung, komplexe berechnete Kenngrößen Begrenzter Zeitrahmen für Historie In-Memory Sich ändernde Strukturen nach aktuellen Business-Anforderungen Kalte Zone: Preiswerter Datenspeicher für Detaildaten und komplette Historie Nicht-zeitkritische Auswertungsdaten Daten, die im klassischen Data Warehouse aus Platzgründen weggeworfen werden Ablage für strukturierte und unstrukturierte Zusatzdaten 18

19 ANWENDUNGSBEISPIELE Energieversorgung profitable Nutzung des Smart Meter Rollouts Nutzung von: Kontinuierliche Zählerstandsdaten Standortinformationen Ereignisvorschau Wetterdaten Preisentwicklung am Strommarkt Verwendung für: Genauigkeit der Bedarfsvorhersage Anbieten kundenspezifischer Preis- und Abrechnungsmodelle Reaktion auf Über- oder Unterversorgung Früherkennung von Störungen Smart Home Steuerung durch die Preisentwicklung 19

20 ANWENDUNGSBEISPIELE Predictive Maintenance Nutzung von: Sensordaten, Logfiles (Maschine, Umgebung) Informationen über aufgetretene Störungen Erkennung von Mustern und Anomalien Ermittlung von: Einflussfaktoren in den historischen Sensordaten auf bereits aufgetretene Störungen Ziel: Anwendung der Berechnungsmodelle auf aktuelle Sensordaten zur Ermittlung der Wahrscheinlichkeit bestimmter Störungen innerhalb eines Zeitraumes 20

21 ANWENDUNGSBEISPIELE Handel und Konsumgüterproduktion Nutzung von Social Media Daten Nutzung von: Produkt- oder unternehmensbezogene Stimmung im Netz Käuferprofile Detaillierte Umsatzzahlen, -verteilung, -historie Ermittlung von: Zusammenhängen zwischen Stimmung und Umsatz Aufkommenden Problemen, bevor diese ernst werden Ziel: Früherkennung von Qualitäts- oder Imageproblemen Produktverbesserung durch Kundenfeedback 21

22 ANWENDUNGSBEISPIELE Logistik Nutzung von: Verkehrs-, Wetter- und Carrier-Daten Historische Statistikdaten Frachtvolumen, Routen, zeitliche Abhängigkeiten Ermittlung von: Verbesserte Vorhersage der Ankunftstermine Nutzung für: Steuerung nachfolgender Vorgänge, Lagerkapazität, etc. 22

23 PROFI-LEISTUNGEN Wie kann PROFI Sie unterstützen? Beratung, Konzeption, Anforderungsanalyse Unterstützung bei der Produktauswahl Infrastruktur Implementierung der Lösung Begleitung der Einführung Laufende Unterstützung und Weiterentwicklung Projektleitung 23

24 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT STEFAN HELD SOFTWARE ARCHITEKT TEL: