Big Enterprise Data Combining OLTP & OLAP. Martin Lorenz, Wissenschaftlicher Mitarbeiter, Hasso-Plattner-Institut Juni 2013

Transkript

1 Big Enterprise Data Combining OLTP & OLAP Martin Lorenz, Wissenschaftlicher Mitarbeiter, Hasso-Plattner-Institut Juni 2013

2 Agenda Intelligentes Datenmanagement in Zeiten von Big Data und In-Memory Computing (60 min) Herausforderungen & Chancen In-Memory Technologie Bewährte Business Intelligence (BI)-Ansätze: In-Memory BI Business Analytics in der Praxis am Beispiel des GORFID Projektes (30 min) GORFID: In-Memory Technologie in Verbindung mit erprobter Data Warehouse-Technologie Erfassung und Analyse von RFID-Events in Echtzeit 2013 SAP AG or an SAP affiliate company. All rights reserved. 2

3 Herausforderungen & Chancen

4 Die Bedeutung von In-Memory Computing für Unternehmen 1. Zusammenführung von OLTP und OLAP The Realtime Enterprise - Echtzeitanalysen auf den aktuellsten Daten - Planung - Simulation - Vorhersageanalysen 2013 SAP AG or an SAP affiliate company. All rights reserved. 4

5 Zusammenführung von OLTP und OLAP Online Transaction Processing Online Analytical Processing Moderne Enterprise Resource Planning (ERP) Systeme haben es mit einem Mix von verschiedenen Workloads zu tun. Zum Beispiel: Transaktional: Erstellen von Aufträgen, Rechnungen, Buchhaltungsbelege; Anzeigen von kundenbezogenen Daten oder Aufträgen Analytisch: Mahnlauf, Verfügbarkeitsprüfung, Cross-Selling, operatives Reporting (Auflisten offener Aufträge) Aber: Heutige Datenmanagement-Systeme sind entweder für tägliche transaktionale oder analytische Arbeitslasten optimiert SAP AG or an SAP affiliate company. All rights reserved. 5

6 Zusammenführung von OLTP und OLAP Online Transaction Processing Transaktionales System (ERP, CRM, SCM, etc.) Online Analytical Processing Analytisches System (Data-Warehouse, Data-Marts, etc.) ETL (Extract, Transform, Load) schreiboptimiert leseoptimiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 6

7 Nachteile der Trennung Kostenintensiver ETL-Prozess muss beide Systeme synchronisieren OLAP System verfügen nicht über die aktuellsten Daten OLAP System verfügt lediglich über eine vordefinierte Menge der Daten Es gibt viele Redundanzen Verschiedene Datenschemata erschweren den Applikationen Quellen zu kombinieren ETL (Extract, Transform, Load) 2013 SAP AG or an SAP affiliate company. All rights reserved. 7

9 Das Ziel OLTP- und OLAP-Daten durch den Einsatz moderner Hardware und Datenbanksysteme kombinieren um: eine Single Source of Truth für den Einsatz von Echtzeit-Analysen zu schaffen Anwendungen und Datenbankstrukturen zu vereinfachen Weitere Vorteile sind: Extraktions-, Transformations-, und Lade- (ETL) Prozesse entfallen vorab berechnete Aggregate und materialisierte Views werden obsolet 2013 SAP AG or an SAP affiliate company. All rights reserved. 9

10 Beispiele für den Einsatz von Echtzeitanalysen 1. Mahnlauf - Dunning 2. Verfügbarkeitsprüfung - Available-to-Promise (ATP) Check 3. Absatzplanung und analyse - Demand Planning 2013 SAP AG or an SAP affiliate company. All rights reserved. 10

11 Mahnlauf Wird in unterschiedlichen Kontexten genutzt. Kernthema: Welche Außenstände habe ich von welchem Kunden? Transaktionale Daten Analytische Abfragen Visualisierung Ausstehende Rechnungen Zahlungseingänge Mahnlauf 2013 SAP AG or an SAP affiliate company. All rights reserved. 11

12 Verfügbarkeitprüfung Es gibt unterschiedliche Varianten der Implementierung. Kernthema: Wann kann ich eine bestimmte Menge eines Produktes liefern? Transaktionale Daten Analytische Abfragen Visualisierung Beschaffung Produktionsstatus Lagerbestände Verfügbarkeitsprüfung Kundenbestellungen 2013 SAP AG or an SAP affiliate company. All rights reserved. 12

13 Absatzplanung und -analyse Kernthema: Untersuchung von Absatzverhalten und Bedarfsentwicklung auf Basis historischer Verkaufszahlen Transaktionale Daten Analytische Abfragen Visualisierung Verkaufsbelege Produktinformationen Produkt- / Lokationsbasierende Drilldowns Lokationsdaten 2013 SAP AG or an SAP affiliate company. All rights reserved. 13

14 Die Bedeutung von In-Memory Computing für Unternehmen 1. Zusammenführung von OLTP und OLAP 2. Big-Data The Realtime Enterprise - Echtzeitanalysen auf den aktuellsten Daten - Planung - Simulation - Vorhersageanalysen Integration neuer Informationsquellen - Erfassung und Auswertung von Massendaten - Sensornetzwerke - Soziale Netzwerke - Eventdaten 2013 SAP AG or an SAP affiliate company. All rights reserved. 14

15 Sensornetzwerke Verfolgung von Arzneimittelverpackungen in Europa 15 Milliarden Arzneimittelverpackungen / 34 Milliarden Events pro Jahr Verteilte Datenbanken zur Speicherung von Events Zentraler Suchdienst zur Auffindung verteilter Events Anzeige der F1-Auto-Leistung Zwischen 300 und 600 Sensoren je Auto Mehrere Events pro Sekunde und je Sensor Nachverfolgung jeder Grand Prix Runde oder Testfahrt 2013 SAP AG or an SAP affiliate company. All rights reserved. 15

16 Events Personalisiertes Angebots-Management bei Bigpoint Spiele-Event-Streams werden in Echtzeit erfasst Parallele Auswertung von Nutzer- und Spieleventdaten zur Überwachung und Durchführung von Spielanalysen in Echtzeit Identifizierung von relevanten Zielgruppen über das Internet Bigpoint kann Einfluss nehmen, indem sie Ad-hoc-Promotions durchführen und deren Wirkung unmittelbar aufgezeigt bekommen Promotions durch Vorhersageanalysen optimieren A/B Tests durchführen 2013 SAP AG or an SAP affiliate company. All rights reserved. 16

17 Soziale Netzwerke und das Web Soziale Netzwerke als Seismograph der Öffentlichen Meinung Twitter: alle 5 Tage 1 Milliarde neue Tweets Unternehmen scannen Twitter nach Tweets über ihre Produkte Kombination mit Informationen über Verkaufskampagnen etc. Nur Aggregate, keine persönlichen Daten! Web-Suchen als Indikator für Grippe-Epidemien Google Flu Trends zeigt mit der Grippe in Zusammenhang stehende Web-Suchanfragen an Ermöglicht genaue Schätzung des aktuellen Grippe-Verbreitungsgrades 2013 SAP AG or an SAP affiliate company. All rights reserved. 17

18 Mobile Mobile kehrt traditionelle Unternehmensstrukturen um Kundenorientiertes Personal Antwortzeiten < 1 Sekunde Beispiel: Mahnwesen Konsumenten / Kunden Vertrieb, Service Operations Controlling Konsolidierung Strategie CEO 2013 SAP AG or an SAP affiliate company. All rights reserved. 18

19 Herausforderungen: Verschiedenste Anwendungsfelder Transaktionale Dateneingabe Quellen: Maschinen, Transaktionale Apps, Benutzer-Interaktion, etc. Echtzeit-Analyse strukturierter Daten Quellen: Reporting, klassische Analyse, Planung, Simulation Event Processing, Streaming-Daten Quellen: Maschinen, Sensoren, leistungsfähige Systeme CPUs (multi-core + Cache) Hauptspeicher Datenmanagement Textanalyse, unstrukturierte Daten Quellen: Web, Social, Logs, Support Systems, etc SAP AG or an SAP affiliate company. All rights reserved. 19

20 In-Memory Technology erklärt

22 Detailbetrachtung traditioneller Unternehmensdaten Ein Datenmanagementsystem sollte die Charakteristika seiner Daten kennen und nutzen!! Charakteristika von Unternehmensdaten: Viele Spalten werden nicht genutzt Viele Spalten haben eine geringe Anzahl unterschiedlicher Werte (geringe Kardinalität) Geschlecht Familienstand NULL- oder / Standard-Werte dominant Tabellen in Standard-Unternehmenssoftware sind breit und größtenteils unbenutzt 2013 SAP AG or an SAP affiliate company. All rights reserved. 22

23 Viele Spalten werden nie genutzt 55% ungenutzte Spalten pro Unternehmen im Durchschnitt 40% ungenutzte Spalten in allen Unternehmen CPG Logistik Bankenwesen High Tech Diskrete Fertigungsindustrie 2013 SAP AG or an SAP affiliate company. All rights reserved. 23

24 % of Columns Geringe Attributausprägung pro Spalte Was ist mit den Spalten die benutzt werden? 80% 70% 60% 50% 40% 30% 20% 10% 0% 64 % 78 % 12 % 9 % Inventory Management Financial Accounting 24 % 13 % Number of Distinct Values 2013 SAP AG or an SAP affiliate company. All rights reserved. 24

26 Vorteilhafte Hardwaretrends Hardwareentwicklung Mehrkernarchitekturen (8 x 10 CPU-Kerne pro Blade) Parallele Skalierung über Blades Ein Blade ~$ = 1 Enterprise Class Server A 64 Bit Adressraum 2TB RAM in aktuellen Server Boards 25GB/s Datendurchsatz zwischen RAM und CPU Kosten-Leistungsverhältnis sinkt rapide + Zeilen und Spaltenorientierung Kompression Multicore und Parallelisierung Hauptspeicher-basiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 26

27 Zeilen vs. Spaltenorientierung Zeilenorientierung - Daten werden als Tupel gespeichert - Geringe Materialisierungskosten - Hohe Kosten für sequentielle Scan A B C a1 b1 c1 a2 b2 c2 a3 b3 c3 a4 b4 c4 Spaltenorientierung - Daten werden attributweise gespeichert - Hohe Materialisierungskosten, da Attribute eines Tupel verteilt sind - Gute Performance bei sequentiellen Scans einzelner Attribute schreiboptimiert leseoptimiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 27

28 Kompression Dictionary Encoding Fokus auf leichtgewichtige Kompressionstechniken Unkomprimierte Spalte recid Vorname 39 John 40 Mary 41 Jane 42 John 43 Peter Sortiertes Dictionary für Vorname valueid Value 23 John 24 Jane 25 Mary 26 Peter Attributevektor für Vorname position valueid Weiterführende Kompressionstechniken für Attributvektoren - Run-length Kodierung - Prefix Kodierung - Cluster Kodierung 2013 SAP AG or an SAP affiliate company. All rights reserved. 28

29 Differential Buffer Das direkte Einfügen eines neuen Tupels in eine spaltenorientierte, komprimierte Struktur kann sehr kostspielig sein Neue Werte können eine Reorganisation des Dictionary erfordern Die Anzahl der erforderlichen Bits zur Kodierung der Werte des Dictionary kann sich ändern, der Attribut- Vektor muss reorganisiert werden Das Löschen des Tupels ist teuer Alle Attribut-Vektoren müssen reorganisiert werden, die Value IDs der folgenden Tupel müssen angepasst werden 2013 SAP AG or an SAP affiliate company. All rights reserved. 29

30 (komprimiert) Differential Buffer Der Differential Buffer (Delta) ist eine dedizierte Datenstruktur zur Optimierung von Schreiboperationen auf einer leseoptimierten Datenbank. Er verfügt lediglich über ein unsortiertes Dictionary mit einem Cachesensitiven B+ Baum. Lesen Schreiben Vorteil: - Schnellere Schreiboperationen, da Datenstrukturen schreiboptimiert sind Nachteil: - Differential Buffer erfordert einen größeren Speicher: - keine Attribut-Vektor-Kompression - zusätzlicher CSB+ tree für das Dictionary Vorname Attributvektor Dictionary Anton Hanna Michael Sophie Attributvektor Vorname Dictionary 0 Angela 1 Klaus 2 Andre CSB+ Main Store up to 50,000 entries Differential Buffer 2013 SAP AG or an SAP affiliate company. All rights reserved. 30

33 Mehrkernarchitektur und Parallelisierung Die Realität: Multiprozessorserver IO Hub 1 IO Hub 2 1 hop CPU 1 CPU 2 CPU 5 CPU 6 CPU 3 CPU 4 CPU 7 CPU 8 1 hop 2 hop IO Hub 3 IO Hub SAP AG or an SAP affiliate company. All rights reserved. 33

34 Mehrkernarchitektur und Parallelisierung Die Realität: Multi-Server Infrastrukturen IO Hub 1 IO Hub 2 IO Hub 1 IO Hub 2 1 hop CPU 1 CPU 2 CPU 5 CPU 3 CPU 4 CPU 7 CPU 1 CPU 2 CPU 5 CPU 8 CPU 3 CPU 4 CPU 7 IO Hub 4 IO Hub 2 1 hop CPU 6 CPU 1 CPU 2 CPU 5 CPU 8 CPU 3 CPU 4 CPU 7 2 hop 1 hop IO Hub 3 IO Hub 1 IO Hub 2 1 hop CPU 6 2 hop 1 hop IO Hub 3 IO Hub 1 1 hop CPU 1 CPU 8 CPU 3 2 hop 1 hop IO Hub 4 CPU 6 IO Hub 3 IO Hub 4 CPU 2 CPU 5 CPU 4 CPU 7 CPU 6 CPU 8 2 hop 1 hop IO Hub 3 IO Hub 4 8 CPU / 8 core 8 CPU / 8 core 8 CPU / 8 core 8 CPU / 8 core 1 TB RAM 1 TB RAM 1 TB RAM 1 TB RAM 10Gb oe 10Gb oe 10Gb oe 10Gb oe Network Storage Area Network PB Size SSD / Disk Tape Library 2013 SAP AG or an SAP affiliate company. All rights reserved. 34

35 Mehrkernarchitektur und Parallelisierung Die Realität: Parallelität ist selbstverständlich in heutigen Computerarchitekturen Trend: Der Grad der Parallelisierung wird zukünftig weiter zunehmen Schlussfolgerung: Parallelität muss auf allen Ebenen ausgenutzt werden Multicore Hauptspeicher NUMA Architekturen Parallele Systeme 2013 SAP AG or an SAP affiliate company. All rights reserved. 35

36 Hauptspeicher Persistenz Hauptspeicherpersistenz erlaubt massive Beschleunigung Leseintensiver Datenbankoperation. L1 Cache Zugriff: 0.5ns Hauptspeicher Zugriff: 100ns SSD Zugriff: 150,000ns x Platten Zugriff: 10,000,000ns 2013 SAP AG or an SAP affiliate company. All rights reserved. 36

38 Der RAM ist nicht unendlich!!! - Einführung von Data Aging Open In Process Opportunity Object Active Jedes Unternehmensobjekt hat einen dedizierten Lebenszyklus Events bestimmen den Objektstatus Aktive (hot) und passive (cold) Daten haben unterschiedliche Zugriffsmuster und können unterschiedlich behandelt werden Won Lost Passive Unterschiedliche Datenpartitionierung Auf anderen Speichermedien (RAM SSD) Verschiedene Umsetzungsstrategien 2013 SAP AG or an SAP affiliate company. All rights reserved. 38

39 Welche Auswirkung hat ein solches System auf die Softwareentwicklung? Traditionell Spalten-orientiert Applikations-Cache Keine Caches erforderlich Datenbank-Cache Keine redundanten Daten Vordefinierte Aggregate Keine Pflege von Indizes oder Aggregaten Rohdaten Datenbewegungen sind minimal 2013 SAP AG or an SAP affiliate company. All rights reserved. 39

40 Column Column Combined Column Merge Column Column Combined Column Zusammenfassung In-Memory Datenbank (IMDB) Daten liegen permanent im Hauptspeicher Der Hauptspeicher ist die primäre Persistenz Logging auf Disk / Recovery von Disk Hauptspeicherzugriff ist das neue Bottleneck Cache-sensitive Algorithmen/ Datenstrukturen sind entscheidend (locality is king) Interface Services and Session Management Query Execution Metadata TA Manager Active Data Main Store Differential Store Indexes Inverted Object Data Guide Distribution Layer Distribution Layer at at Blade Server i i Main Main Memory Memory at Blade i at Server i Data aging Time travel Logging Recovery Log Non-Volatile Memory Passive Data (History) Snapshots 2013 SAP AG or an SAP affiliate company. All rights reserved. 40

41 Bewährter Business Intelligence (BI)- Ansatz: In-Memory BI

42 Types Analytics & Data Marts Verschiedene analytische Bedürfnisse und die Folgen für IT-Architekturen Echtzeit Visibility Konsolidierte Sichten Ad-Hoc Self- Service BI Archive Analysen Informationsbedürfnis Vorhersageanalysen Sentiment- Analysen Architektur Data Mart Data Mart Data Warehouse Agile Data Marts Near-line Data Marts (Audit / SOX) Predictive Data Marts Unstructured Data Marts Zugriffsmethoden Streams / Feeds Direct / Database Replication ETL / ELT / Replication ETL / ELT/ Replication Federated Queries / ETL ETL / ELT/ Replication Federation of Data & Query Event Machine Transactional System of Record Transactional Analytical Systems of Record & Engagement Archived Information All sources Social Datenquellen Hohe Vielfalt an Informationsquellen Umfangreiche Informationen werden benötigt Komplexe Architektur-Landschaften einschließlich verschiedener Arten von Data Marts, Data Warehouses und EDWs 2013 SAP AG or an SAP affiliate company. All rights reserved. 42

43 Überblick über Nutzungsszenarien Als Beschleuniger Für Analytics BW on HANA Für neue Anwendungen Als Primärpersistenz (Sensoren, Socialmedia, etc.) Client Client SAP Business Suite SAP Business Suite SAP Business Suite / non-sap (VDL) SAP Business Suite BW SAP Business Suite Apps ERP CRM SCM SRM PLM VDL BW Apps AnyDB IMDB AnyDB IMDB AnyDB IMDB AnyDB IMDB IMDB Side-by-Side-Szenarien Integriertes Szenario 2013 SAP AG or an SAP affiliate company. All rights reserved. 43

44 Datenbereitstellung für Side-By-Side Ansatz DB Connection Read module Structure mapping & Transformation Application table DB trigger Logging table Write module DB Connection Application table Legacydatenquellen Replication Server IMDB System 2013 SAP AG or an SAP affiliate company. All rights reserved. 44

45 Integrated Modeling and Metadata Wie sollte eine entsprechende Plattform aussehen? Einheitliche Datenmanagement-Plattform für Business in Echtzeit ERP Business Warehouse Business Intelligence Real-Time Data Platform Common Programming APIs Mobile & Embedded Real-Time Data Plattform Grundlagen Anwendungsübergreifendes Datenmanagement Höchste Performance in allen Anwendungsformen und Einsatzszenarien High Performance OLTP Stream Analytics In-Memory / Real-Time Platform Open EDW Mobile & Embedded Integrated Systems Management and Landscape Vorteile Speichern, analysieren, optimieren, Transaktionen durchführen und mobilisieren ohne Systembeschränkungen Umfasst unterschiedliche Datenformate und Prozessmodelle Einfache Modellierungen, integrierte Entwicklungsumgebung, geteilte System- Management-Infrastruktur und Einsatz unabhängiger Lösungen Information and Real-Time Data Movement Zuverlässige und einheitliche Datenumgebung 2013 SAP AG or an SAP affiliate company. All rights reserved. 45

46 Datenspeicherung in einer In-Memory Plattform Anwendungen schreiben mittels SQL direkt in die In-Memory Plattform Durch Echtzeit-Replikation mit Hilfe von Replication Services Aus Dateien mittels IMPORT / INSERT Durch Message-Queue- Integration ][ ][ ][ Aus Events-Streams 2013 SAP AG or an SAP affiliate company. All rights reserved. 46

47 In-Memory Plattform Datenbereitstellung Beispiel: Event Stream Processing INPUT STREAMS Sensor data Dashboard Transactions Event Stream Processor? Application Message Bus Events Database In-Memory Platform Studio Database High-Speed Smart Capture: Event Stream Prozessor wendet Logik an, um Events/Daten zu: - Filtern, - zu aggregieren, - anzureichern, - abzuspeichern SAP AG or an SAP affiliate company. All rights reserved. 47

48 Business Analytics in der Praxis am Beispiel des Projekts GORFID

50 Die rechtliche Situation Direktive 2011/62/EU vom 8. Juni 2011 (Auszug) Motivation: Sicherung der Europäischen Pharma- Lieferkette Verschreibungspflichtige Arzneimittel (mit Ausnahmen) Produktions-Erlaubnis Berechtigung zum Großhandelsvertrieb Richtlinien der Funktionsfähigkeit des Arzneimittel-Marktes Am Point of Sale: Wurde die äußere Verpackung manipuliert? Identifizierung einzelner Gebinde Authentifizierung der Arzneimittel Frage: Wie kann die Echtheit der Produkte überprüft werden? Wie lässt es sich realisieren? 2013 SAP AG or an SAP affiliate company. All rights reserved. 50

51 Voraussetzungen für die technische Umsetzung Zielvorstellung Bekämpfung von gefälschten Arzneimitteln, Unterstützung von Rückrufen Berücksichtigung der Datenhoheit Einfache Bedienbarkeit Machbarkeit Verarbeitung von 35 Milliarden Events pro Jahr Bis zu Events pro Sekunde (Verarbeitung in nahe Echtzeit) Bis zu Authentifizierungsanfragen pro Sekunde (Antwortzeiten von weniger als einer Sekunde) Durchführbarkeit Wirtschaftliche Lösung SAP In-Memory Databank (HANA) ermöglicht Analysen in Echtzeit 2013 SAP AG or an SAP affiliate company. All rights reserved. 51

52 Umsetzung der Directive 2011/62/EU Grundvoraussetzungen für ein Track & Trace System Legal Events müssen an strategischen Punkten der Lieferkette erfasst werden Ein zentrales System muss über jedes Event informiert werden und ist für die Identifizierung aller Events verantwortlich, die mit einem Produktcode in Zusammenhang stehen Vor dem Verkauf/ der Weitergabe des Arzneimittels muss eine Authentifizierung stattfinden Der Verifizierungsservice muss für den Patienten leicht verständlich sein und einfach durchgeführt werden können, z.b. über ein mobiles Endgerät. Apotheken führen ebenfalls Kontrollen durch Technisch Verteilte Eventdatenbanken existieren bereits Ein zentrales Verzeichnis ( Discovery Service ) existiert und speichert die Zuordnung zwischen Produktcode und entsprechendem Repository Ein Verifizierungsservice existiert und enthält Regeln mit denen Medikamentenfälschungen durch Analyse der einzelnen Scanevents identifiziert werden Mobile Anwendungen existieren und der Verifizierungsprozess bietet entsprechende Schnittstellen 2013 SAP AG or an SAP affiliate company. All rights reserved. 52

53 Anwendungsfall: Europaweite Nachverfolgung von Medikamenten Discovery Service Verification Service ~2,000 Manufacturers ~20,000 Wholesalers Tier 1 ~30,000 Wholesalers Tier 2 ~142,000 Retailers Med. ~15,000,000,000 packages of prescription-only pharmaceuticals per year Med. Med. Box Box Box Box Container Container Container 2013 SAP AG or an SAP affiliate company. All rights reserved. 53

54 SAP HANA für Streaming-Daten Komplette europäische Pharma-Lieferkette Events/Sek Tabak-Unternehmen wollen Zigarettenverpackungen mit eindeutigen Kennungen versehen Events/Sek Automobilindustrie (auf RFID-basierendes Automobilnetzwerk) Prototypsetup umfasst 10 Mrd. Leseereignisse Current SAP Solution HPI In-Memory Prototypes Write Performance Read Performance Write Performance Read Performance Read Event Repository (SAP OER) 50 /Sek. 10 /Sek /Sek /Sek. Discovery Service / / /Sek /Sek SAP AG or an SAP affiliate company. All rights reserved. 54

55 iphone / ipad Demo 10 Milliarden RFID Events Logik zur Bestimmung der Verpackungshierarchien unter Verwendung von SAP HANA Zeit für eine lückenlose Nachverfolgung: 2 Sekunden 2013 SAP AG or an SAP affiliate company. All rights reserved. 55