Big Enterprise Data Combining OLTP & OLAP. Martin Lorenz, Wissenschaftlicher Mitarbeiter, Hasso-Plattner-Institut Juni 2013



Ähnliche Dokumente
Charakteristika von Unternehmensanwendungen

Einführung in Hauptspeicherdatenbanken

Was ist Analyse? Hannover, CeBIT 2014 Patrick Keller

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland

SAP HANA als In-Memory-Datenbank-Technologie für ein Enterprise Data Warehouse

Infor PM 10 auf SAP. Bernhard Rummich Presales Manager PM Uhr

Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC

HANA Solution Manager als Einstieg

Möglichkeiten für bestehende Systeme

SAP HANA Einsatzmöglichkeiten und Potenziale

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

SAP HANA ist schnell erklärt. TOBA Trainerwochenende vom Mai 2013 in Prag

Einführung in Hauptspeicherdatenbanken

BI in der Cloud eine valide Alternative Überblick zum Leistungsspektrum und erste Erfahrungen

Nur Einsatz bringt Umsatz Wir stellen vor: SAP Cloud for Customer

Behandlungsunterstützung mittels App. Lars Erdmann, Partner, Q_PERIOR AG SAP Mobile Forum, 17. April 2013

Apache HBase. A BigTable Column Store on top of Hadoop

vinsight BIG DATA Solution

Mit Excel Know-how webbasierte BI- Applikationen erstellen #MobileBI Business Driven Intelligence

eevolution Business Intelligence Oliver Rzeniecki COMPRA GmbH Programmierer & Datenbankadministrator

Operational Big Data effektiv nutzen TIBCO LogLogic. Martin Ulmer, Tibco LogLogic Deutschland

1Ralph Schock RM NEO REPORTING

Albert HAYR Linux, IT and Open Source Expert and Solution Architect. Open Source professionell einsetzen

AKWI-Fachtagung SAP HANA Live als Basis für operatives Reporting in Echtzeit. Customizing und Anwendung

EMC. Data Lake Foundation

360 - Der Weg zum gläsernen Unternehmen mit QlikView am Beispiel Einkauf

Mit In-Memory Technologie zu neuen Business Innovationen. Stephan Brand, VP HANA P&D, SAP AG May, 2014

Inhalt. 1 Übersicht. 2 Anwendungsbeispiele. 3 Einsatzgebiete. 4 Systemanforderungen. 5 Lizenzierung. 6 Installation. 7 Key Features.

Big Data Umgang mit personenbezogenen Daten im Kontext von digitalen Gesundheits-Akten und Archivierungslösungen

Oracle GridControl Tuning Pack. best Open Systems Day April Unterföhring. Marco Kühn best Systeme GmbH

Oracle 10g revolutioniert Business Intelligence & Warehouse

GESCHÄFTSSTELLENERÖFFNUNG HAMBURG, 25. APRIL 2013

Business Mehrwerte von SAP HANA

Session Beans & Servlet Integration. Ralf Gitzel ralf_gitzel@hotmail.de

Innovation gestalten - von ABAP zur SAP HANA Cloud Platform

ITIL und Entwicklungsmodelle: Die zwei Kulturen

HANA. TOBA-Team Dresden

Excel beschleunigen mit dem mit Windows HPC Server 2008 R2

SAP Memory Tuning. Erfahrungsbericht Fritz Egger GmbH & Co OG. Datenbanken sind unsere Welt

Reboard GbR.

Schützen Sie Ihre Daten und Prozesse auf einfache Art und Weise. Matthias Kaempfer April,

C09: Einsatz SAP BW im Vergleich zur Best-of-Breed-Produktauswahl

IT-Services. Fair und kompetent. Das Transformationsszenario und gemachte Erfahrungen damit

SAP Integration von Business Objects am Beispiel von SAP Student Lifecycle Management. Anke Noßmann Syncwork AG

MHP Mobile Business Solution Ihre Prozessoptimierung, um ortsunabhängig flexibel und hoch produktiv zu agieren!

SOA im Zeitalter von Industrie 4.0

Was gibt es Neues in der BI Welt

Integration mit. Wie AristaFlow Sie in Ihrem Unternehmen unterstützen kann, zeigen wir Ihnen am nachfolgenden Beispiel einer Support-Anfrage.

pro4controlling - Whitepaper [DEU] Whitepaper zur CfMD-Lösung pro4controlling Seite 1 von 9

TELEMETRIE EINER ANWENDUNG

Database Exchange Manager. Infinqa IT Solutions GmbH, Berlin Stralauer Allee Berlin Tel.:+49(0) Fax.:+49(0)

MHP Auditmanagement Ihre Lösung für Ihr Mobile Device- Management zur Performancesteigerung!

SAP SharePoint Integration. e1 Business Solutions GmbH

THEOBALD XTRACT PPS IXTO GMBH. Mathias Slawik, Linda Kallinich

MHP Audit Process Optimization Ihre Lösung für Ihr Mobile Device- Management zur Performancesteigerung!

Dynamic Ressource Management

tdwi E U R D P E OPEN SOURCE BUSINESS INTELLIGENCE HANSER MÖGLICHKEITEN, CHANCEN UND RISIKEN QUELLOFFENER BI-LÖSUNGEN

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004

Handbuch ECDL 2003 Basic Modul 5: Datenbank Grundlagen von relationalen Datenbanken

Vorstellung SimpliVity. Tristan P. Andres Senior IT Consultant

Enterprise Mobility, Live! Pascal Kaufmann, Swisscom IT Services AG 12. Juni 2013

SAP NetWeaver Gateway. 2013

Smart Cities wie Informationen das städtische Leben nachhaltig verbessern können

Zend PHP Cloud Application Platform

Herausforderungen des Enterprise Endpoint Managements

4D Server v12 64-bit Version BETA VERSION

Systemvoraussetzungen

Open Source als de-facto Standard bei Swisscom Cloud Services

BI Konsolidierung: Anspruch & Wirklichkeit. Jacqueline Bloemen. in Kooperation mit

Schnellste Realtime Segmentierung weltweit

Zeitgemäße Verfahren für ganzheitliche Auswertungen

INFORMATION LIFECYCLE AKTUELLE TRENDS IM INPUT MANAGEMENT CENIT EIM IT-TAG 13. JUNI 2013 IN STUTTGART LARS LAMPE

HR-Analytics leicht gemacht. Johannes Kumpf, Stefan Melbeck / Management Consultants CC HRM November, 2014

Business Intelligence Data Warehouse. Jan Weinschenker

Infografik Business Intelligence

Cross-Channel-Marketing und Customer Journey

MehrWert durch IT. REALTECH Assessment Services für SAP Kosten und Performance Optimierung durch Marktvergleich

Gesicherte Prozeduren

Mobiles SAP für Entscheider. Permanente Verfügbarkeit der aktuellen Unternehmenskennzahlen durch den mobilen Zugriff auf SAP ERP.

PRINZIP PARTNERSCHAFT

SQL Cockpit & SAP HANA Prüfen Sie Ihre SQL Abfragen auf HANA-Tauglichkeit

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY

Verfügbarkeit von Applikationen und Failover Szenarien. Winfried Wojtenek.

TOP. wird ein wichtiges Jahr für BIG (Business Intelligence Growth) DER BUSINESS INTELLIGENCE TRENDS FÜR DAS JAHR 2013

Intelligente Produktions- und Logistiknetzwerke

Systemvoraussetzungen

Cloud Computing. Betriebssicherheit von Cloud Umgebungen C O N N E C T I N G B U S I N E S S & T E C H N O L O G Y

ETL in den Zeiten von Big Data

Mobile-Szenario in der Integrationskomponente einrichten

WORKSHOP REDWOOD INTELLIGENCE & SLA JAN DIRK ZIJLSTRA CHRISTOPH KIMMESKAMP

Mobility im Unternehmenseinsatz. Timo Deiner, Senior Presales Expert Mobility, SAP Deutschland Communication World 2012, 10.

Installation SQL- Server 2012 Single Node

Wie profitiert SAP MaxDB von SSD Technologie?

Informatik 12 Datenbanken SQL-Einführung

Interview zum Thema Management Reporting &Business Intelligence

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

WARENWIRT- SCHAFT UND ERP BERATUNG Mehr Sicherheit für Ihre Entscheidung

Mission. TARGIT macht es einfach und bezahlbar für Organisationen datengetrieben zu werden

Business Intelligence in NRW

Transkript:

Big Enterprise Data Combining OLTP & OLAP Martin Lorenz, Wissenschaftlicher Mitarbeiter, Hasso-Plattner-Institut Juni 2013

Agenda Intelligentes Datenmanagement in Zeiten von Big Data und In-Memory Computing (60 min) Herausforderungen & Chancen In-Memory Technologie Bewährte Business Intelligence (BI)-Ansätze: In-Memory BI Business Analytics in der Praxis am Beispiel des GORFID Projektes (30 min) GORFID: In-Memory Technologie in Verbindung mit erprobter Data Warehouse-Technologie Erfassung und Analyse von RFID-Events in Echtzeit 2013 SAP AG or an SAP affiliate company. All rights reserved. 2

Herausforderungen & Chancen

Die Bedeutung von In-Memory Computing für Unternehmen 1. Zusammenführung von OLTP und OLAP The Realtime Enterprise - Echtzeitanalysen auf den aktuellsten Daten - Planung - Simulation - Vorhersageanalysen 2013 SAP AG or an SAP affiliate company. All rights reserved. 4

Zusammenführung von OLTP und OLAP Online Transaction Processing Online Analytical Processing Moderne Enterprise Resource Planning (ERP) Systeme haben es mit einem Mix von verschiedenen Workloads zu tun. Zum Beispiel: Transaktional: Erstellen von Aufträgen, Rechnungen, Buchhaltungsbelege; Anzeigen von kundenbezogenen Daten oder Aufträgen Analytisch: Mahnlauf, Verfügbarkeitsprüfung, Cross-Selling, operatives Reporting (Auflisten offener Aufträge) Aber: Heutige Datenmanagement-Systeme sind entweder für tägliche transaktionale oder analytische Arbeitslasten optimiert. 2013 SAP AG or an SAP affiliate company. All rights reserved. 5

Zusammenführung von OLTP und OLAP Online Transaction Processing Transaktionales System (ERP, CRM, SCM, etc.) Online Analytical Processing Analytisches System (Data-Warehouse, Data-Marts, etc.) ETL (Extract, Transform, Load) schreiboptimiert leseoptimiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 6

Nachteile der Trennung Kostenintensiver ETL-Prozess muss beide Systeme synchronisieren OLAP System verfügen nicht über die aktuellsten Daten OLAP System verfügt lediglich über eine vordefinierte Menge der Daten Es gibt viele Redundanzen Verschiedene Datenschemata erschweren den Applikationen Quellen zu kombinieren ETL (Extract, Transform, Load) 2013 SAP AG or an SAP affiliate company. All rights reserved. 7

Percentage of rows updated Der OLTP Mythos OLTP Anwendungen sind charakterisiert durch eine hohe Anzahl an Schreiboperationen!? 2013 SAP AG or an SAP affiliate company. All rights reserved. 8

Das Ziel OLTP- und OLAP-Daten durch den Einsatz moderner Hardware und Datenbanksysteme kombinieren um: eine Single Source of Truth für den Einsatz von Echtzeit-Analysen zu schaffen Anwendungen und Datenbankstrukturen zu vereinfachen Weitere Vorteile sind: Extraktions-, Transformations-, und Lade- (ETL) Prozesse entfallen vorab berechnete Aggregate und materialisierte Views werden obsolet 2013 SAP AG or an SAP affiliate company. All rights reserved. 9

Beispiele für den Einsatz von Echtzeitanalysen 1. Mahnlauf - Dunning 2. Verfügbarkeitsprüfung - Available-to-Promise (ATP) Check 3. Absatzplanung und analyse - Demand Planning 2013 SAP AG or an SAP affiliate company. All rights reserved. 10

Mahnlauf Wird in unterschiedlichen Kontexten genutzt. Kernthema: Welche Außenstände habe ich von welchem Kunden? Transaktionale Daten Analytische Abfragen Visualisierung Ausstehende Rechnungen Zahlungseingänge Mahnlauf 2013 SAP AG or an SAP affiliate company. All rights reserved. 11

Verfügbarkeitprüfung Es gibt unterschiedliche Varianten der Implementierung. Kernthema: Wann kann ich eine bestimmte Menge eines Produktes liefern? Transaktionale Daten Analytische Abfragen Visualisierung Beschaffung Produktionsstatus Lagerbestände Verfügbarkeitsprüfung Kundenbestellungen 2013 SAP AG or an SAP affiliate company. All rights reserved. 12

Absatzplanung und -analyse Kernthema: Untersuchung von Absatzverhalten und Bedarfsentwicklung auf Basis historischer Verkaufszahlen Transaktionale Daten Analytische Abfragen Visualisierung Verkaufsbelege Produktinformationen Produkt- / Lokationsbasierende Drilldowns Lokationsdaten 2013 SAP AG or an SAP affiliate company. All rights reserved. 13

Die Bedeutung von In-Memory Computing für Unternehmen 1. Zusammenführung von OLTP und OLAP 2. Big-Data The Realtime Enterprise - Echtzeitanalysen auf den aktuellsten Daten - Planung - Simulation - Vorhersageanalysen Integration neuer Informationsquellen - Erfassung und Auswertung von Massendaten - Sensornetzwerke - Soziale Netzwerke - Eventdaten 2013 SAP AG or an SAP affiliate company. All rights reserved. 14

Sensornetzwerke Verfolgung von Arzneimittelverpackungen in Europa 15 Milliarden Arzneimittelverpackungen / 34 Milliarden Events pro Jahr Verteilte Datenbanken zur Speicherung von Events Zentraler Suchdienst zur Auffindung verteilter Events Anzeige der F1-Auto-Leistung Zwischen 300 und 600 Sensoren je Auto Mehrere Events pro Sekunde und je Sensor Nachverfolgung jeder Grand Prix Runde oder Testfahrt 2013 SAP AG or an SAP affiliate company. All rights reserved. 15

Events Personalisiertes Angebots-Management bei Bigpoint Spiele-Event-Streams werden in Echtzeit erfasst Parallele Auswertung von Nutzer- und Spieleventdaten zur Überwachung und Durchführung von Spielanalysen in Echtzeit Identifizierung von relevanten Zielgruppen über das Internet Bigpoint kann Einfluss nehmen, indem sie Ad-hoc-Promotions durchführen und deren Wirkung unmittelbar aufgezeigt bekommen Promotions durch Vorhersageanalysen optimieren A/B Tests durchführen 2013 SAP AG or an SAP affiliate company. All rights reserved. 16

Soziale Netzwerke und das Web Soziale Netzwerke als Seismograph der Öffentlichen Meinung Twitter: alle 5 Tage 1 Milliarde neue Tweets Unternehmen scannen Twitter nach Tweets über ihre Produkte Kombination mit Informationen über Verkaufskampagnen etc. Nur Aggregate, keine persönlichen Daten! Web-Suchen als Indikator für Grippe-Epidemien Google Flu Trends zeigt mit der Grippe in Zusammenhang stehende Web-Suchanfragen an Ermöglicht genaue Schätzung des aktuellen Grippe-Verbreitungsgrades 2013 SAP AG or an SAP affiliate company. All rights reserved. 17

Mobile Mobile kehrt traditionelle Unternehmensstrukturen um Kundenorientiertes Personal Antwortzeiten < 1 Sekunde Beispiel: Mahnwesen Konsumenten / Kunden Vertrieb, Service Operations Controlling Konsolidierung Strategie CEO 2013 SAP AG or an SAP affiliate company. All rights reserved. 18

Herausforderungen: Verschiedenste Anwendungsfelder Transaktionale Dateneingabe Quellen: Maschinen, Transaktionale Apps, Benutzer-Interaktion, etc. Echtzeit-Analyse strukturierter Daten Quellen: Reporting, klassische Analyse, Planung, Simulation Event Processing, Streaming-Daten Quellen: Maschinen, Sensoren, leistungsfähige Systeme CPUs (multi-core + Cache) Hauptspeicher Datenmanagement Textanalyse, unstrukturierte Daten Quellen: Web, Social, Logs, Support Systems, etc. 2013 SAP AG or an SAP affiliate company. All rights reserved. 19

In-Memory Technology erklärt

Welche Art Daten muss eine Enterprise Datenbank managen? 2013 SAP AG or an SAP affiliate company. All rights reserved. 21

Detailbetrachtung traditioneller Unternehmensdaten Ein Datenmanagementsystem sollte die Charakteristika seiner Daten kennen und nutzen!! Charakteristika von Unternehmensdaten: Viele Spalten werden nicht genutzt Viele Spalten haben eine geringe Anzahl unterschiedlicher Werte (geringe Kardinalität) Geschlecht Familienstand NULL- oder / Standard-Werte dominant Tabellen in Standard-Unternehmenssoftware sind breit und größtenteils unbenutzt 2013 SAP AG or an SAP affiliate company. All rights reserved. 22

Viele Spalten werden nie genutzt 55% ungenutzte Spalten pro Unternehmen im Durchschnitt 40% ungenutzte Spalten in allen Unternehmen CPG Logistik Bankenwesen High Tech Diskrete Fertigungsindustrie 2013 SAP AG or an SAP affiliate company. All rights reserved. 23

% of Columns Geringe Attributausprägung pro Spalte Was ist mit den Spalten die benutzt werden? 80% 70% 60% 50% 40% 30% 20% 10% 0% 64 % 78 % 12 % 9 % Inventory Management Financial Accounting 24 % 13 % 1-32 33-1023 1024-100000000 Number of Distinct Values 2013 SAP AG or an SAP affiliate company. All rights reserved. 24

Welche Technologien passen zu solcher Art Daten? 2013 SAP AG or an SAP affiliate company. All rights reserved. 25

Vorteilhafte Hardwaretrends Hardwareentwicklung Mehrkernarchitekturen (8 x 10 CPU-Kerne pro Blade) Parallele Skalierung über Blades Ein Blade ~$50.000 = 1 Enterprise Class Server A 64 Bit Adressraum 2TB RAM in aktuellen Server Boards 25GB/s Datendurchsatz zwischen RAM und CPU Kosten-Leistungsverhältnis sinkt rapide + Zeilen und Spaltenorientierung Kompression Multicore und Parallelisierung Hauptspeicher-basiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 26

Zeilen vs. Spaltenorientierung Zeilenorientierung - Daten werden als Tupel gespeichert - Geringe Materialisierungskosten - Hohe Kosten für sequentielle Scan A B C a1 b1 c1 a2 b2 c2 a3 b3 c3 a4 b4 c4 Spaltenorientierung - Daten werden attributweise gespeichert - Hohe Materialisierungskosten, da Attribute eines Tupel verteilt sind - Gute Performance bei sequentiellen Scans einzelner Attribute schreiboptimiert leseoptimiert 2013 SAP AG or an SAP affiliate company. All rights reserved. 27

Kompression Dictionary Encoding Fokus auf leichtgewichtige Kompressionstechniken Unkomprimierte Spalte recid Vorname 39 John 40 Mary 41 Jane 42 John 43 Peter Sortiertes Dictionary für Vorname valueid Value 23 John 24 Jane 25 Mary 26 Peter Attributevektor für Vorname position valueid 39 23 40 25 41 24 42 23 43 26 Weiterführende Kompressionstechniken für Attributvektoren - Run-length Kodierung - Prefix Kodierung - Cluster Kodierung 2013 SAP AG or an SAP affiliate company. All rights reserved. 28

Differential Buffer Das direkte Einfügen eines neuen Tupels in eine spaltenorientierte, komprimierte Struktur kann sehr kostspielig sein Neue Werte können eine Reorganisation des Dictionary erfordern Die Anzahl der erforderlichen Bits zur Kodierung der Werte des Dictionary kann sich ändern, der Attribut- Vektor muss reorganisiert werden Das Löschen des Tupels ist teuer Alle Attribut-Vektoren müssen reorganisiert werden, die Value IDs der folgenden Tupel müssen angepasst werden 2013 SAP AG or an SAP affiliate company. All rights reserved. 29

(komprimiert) Differential Buffer Der Differential Buffer (Delta) ist eine dedizierte Datenstruktur zur Optimierung von Schreiboperationen auf einer leseoptimierten Datenbank. Er verfügt lediglich über ein unsortiertes Dictionary mit einem Cachesensitiven B+ Baum. Lesen Schreiben Vorteil: - Schnellere Schreiboperationen, da Datenstrukturen schreiboptimiert sind Nachteil: - Differential Buffer erfordert einen größeren Speicher: - keine Attribut-Vektor-Kompression - zusätzlicher CSB+ tree für das Dictionary Vorname Attributvektor Dictionary 0 0 0 Anton 1 1 1 Hanna 2 1 2 Michael 3 3 3 Sophie 4 2 5 1 Attributvektor 0 0 1 1 2 1 3 2 Vorname Dictionary 0 Angela 1 Klaus 2 Andre CSB+ Main Store up to 50,000 entries Differential Buffer 2013 SAP AG or an SAP affiliate company. All rights reserved. 30

Mehrkernarchitektur und Parallelisierung Wie sieht die ideale Hardware für einen Datenbankserver aus? 2013 SAP AG or an SAP affiliate company. All rights reserved. 31

Mehrkernarchitektur und Parallelisierung Die Realität: Multikernprozessoren 2013 SAP AG or an SAP affiliate company. All rights reserved. 32

Mehrkernarchitektur und Parallelisierung Die Realität: Multiprozessorserver IO Hub 1 IO Hub 2 1 hop CPU 1 CPU 2 CPU 5 CPU 6 CPU 3 CPU 4 CPU 7 CPU 8 1 hop 2 hop IO Hub 3 IO Hub 4 2013 SAP AG or an SAP affiliate company. All rights reserved. 33

Mehrkernarchitektur und Parallelisierung Die Realität: Multi-Server Infrastrukturen IO Hub 1 IO Hub 2 IO Hub 1 IO Hub 2 1 hop CPU 1 CPU 2 CPU 5 CPU 3 CPU 4 CPU 7 CPU 1 CPU 2 CPU 5 CPU 8 CPU 3 CPU 4 CPU 7 IO Hub 4 IO Hub 2 1 hop CPU 6 CPU 1 CPU 2 CPU 5 CPU 8 CPU 3 CPU 4 CPU 7 2 hop 1 hop IO Hub 3 IO Hub 1 IO Hub 2 1 hop CPU 6 2 hop 1 hop IO Hub 3 IO Hub 1 1 hop CPU 1 CPU 8 CPU 3 2 hop 1 hop IO Hub 4 CPU 6 IO Hub 3 IO Hub 4 CPU 2 CPU 5 CPU 4 CPU 7 CPU 6 CPU 8 2 hop 1 hop IO Hub 3 IO Hub 4 8 CPU / 8 core 8 CPU / 8 core 8 CPU / 8 core 8 CPU / 8 core 1 TB RAM 1 TB RAM 1 TB RAM 1 TB RAM 10Gb oe 10Gb oe 10Gb oe 10Gb oe Network Storage Area Network PB Size SSD / Disk Tape Library 2013 SAP AG or an SAP affiliate company. All rights reserved. 34

Mehrkernarchitektur und Parallelisierung Die Realität: Parallelität ist selbstverständlich in heutigen Computerarchitekturen Trend: Der Grad der Parallelisierung wird zukünftig weiter zunehmen Schlussfolgerung: Parallelität muss auf allen Ebenen ausgenutzt werden Multicore Hauptspeicher NUMA Architekturen Parallele Systeme 2013 SAP AG or an SAP affiliate company. All rights reserved. 35

Hauptspeicher Persistenz Hauptspeicherpersistenz erlaubt massive Beschleunigung Leseintensiver Datenbankoperation. L1 Cache Zugriff: 0.5ns Hauptspeicher Zugriff: 100ns SSD Zugriff: 150,000ns 100.000x Platten Zugriff: 10,000,000ns 2013 SAP AG or an SAP affiliate company. All rights reserved. 36

Hauptspeicher Persistenz Wie geht es weiter? Entwicklung von FSB Taktraten Entwicklung des Preises von Hauptspeicher 2013 SAP AG or an SAP affiliate company. All rights reserved. 37

Der RAM ist nicht unendlich!!! - Einführung von Data Aging Open In Process Opportunity Object Active Jedes Unternehmensobjekt hat einen dedizierten Lebenszyklus Events bestimmen den Objektstatus Aktive (hot) und passive (cold) Daten haben unterschiedliche Zugriffsmuster und können unterschiedlich behandelt werden Won Lost Passive Unterschiedliche Datenpartitionierung Auf anderen Speichermedien (RAM SSD) Verschiedene Umsetzungsstrategien 2013 SAP AG or an SAP affiliate company. All rights reserved. 38

Welche Auswirkung hat ein solches System auf die Softwareentwicklung? Traditionell Spalten-orientiert Applikations-Cache Keine Caches erforderlich Datenbank-Cache Keine redundanten Daten Vordefinierte Aggregate Keine Pflege von Indizes oder Aggregaten Rohdaten Datenbewegungen sind minimal 2013 SAP AG or an SAP affiliate company. All rights reserved. 39

Column Column Combined Column Merge Column Column Combined Column Zusammenfassung In-Memory Datenbank (IMDB) Daten liegen permanent im Hauptspeicher Der Hauptspeicher ist die primäre Persistenz Logging auf Disk / Recovery von Disk Hauptspeicherzugriff ist das neue Bottleneck Cache-sensitive Algorithmen/ Datenstrukturen sind entscheidend (locality is king) Interface Services and Session Management Query Execution Metadata TA Manager Active Data Main Store Differential Store Indexes Inverted Object Data Guide Distribution Layer Distribution Layer at at Blade Server i i Main Main Memory Memory at Blade i at Server i Data aging Time travel Logging Recovery Log Non-Volatile Memory Passive Data (History) Snapshots 2013 SAP AG or an SAP affiliate company. All rights reserved. 40

Bewährter Business Intelligence (BI)- Ansatz: In-Memory BI

Types Analytics & Data Marts Verschiedene analytische Bedürfnisse und die Folgen für IT-Architekturen Echtzeit Visibility Konsolidierte Sichten Ad-Hoc Self- Service BI Archive Analysen Informationsbedürfnis Vorhersageanalysen Sentiment- Analysen Architektur Data Mart Data Mart Data Warehouse Agile Data Marts Near-line Data Marts (Audit / SOX) Predictive Data Marts Unstructured Data Marts Zugriffsmethoden Streams / Feeds Direct / Database Replication ETL / ELT / Replication ETL / ELT/ Replication Federated Queries / ETL ETL / ELT/ Replication Federation of Data & Query Event Machine Transactional System of Record Transactional Analytical Systems of Record & Engagement Archived Information All sources Social Datenquellen Hohe Vielfalt an Informationsquellen Umfangreiche Informationen werden benötigt Komplexe Architektur-Landschaften einschließlich verschiedener Arten von Data Marts, Data Warehouses und EDWs 2013 SAP AG or an SAP affiliate company. All rights reserved. 42

Überblick über Nutzungsszenarien Als Beschleuniger Für Analytics BW on HANA Für neue Anwendungen Als Primärpersistenz (Sensoren, Socialmedia, etc.) Client Client SAP Business Suite SAP Business Suite SAP Business Suite / non-sap (VDL) SAP Business Suite BW SAP Business Suite Apps ERP CRM SCM SRM PLM VDL BW Apps AnyDB IMDB AnyDB IMDB AnyDB IMDB AnyDB IMDB IMDB Side-by-Side-Szenarien Integriertes Szenario 2013 SAP AG or an SAP affiliate company. All rights reserved. 43

Datenbereitstellung für Side-By-Side Ansatz DB Connection Read module Structure mapping & Transformation Application table DB trigger Logging table Write module DB Connection Application table Legacydatenquellen Replication Server IMDB System 2013 SAP AG or an SAP affiliate company. All rights reserved. 44

Integrated Modeling and Metadata Wie sollte eine entsprechende Plattform aussehen? Einheitliche Datenmanagement-Plattform für Business in Echtzeit ERP Business Warehouse Business Intelligence Real-Time Data Platform Common Programming APIs Mobile & Embedded Real-Time Data Plattform Grundlagen Anwendungsübergreifendes Datenmanagement Höchste Performance in allen Anwendungsformen und Einsatzszenarien High Performance OLTP Stream Analytics In-Memory / Real-Time Platform Open EDW Mobile & Embedded Integrated Systems Management and Landscape Vorteile Speichern, analysieren, optimieren, Transaktionen durchführen und mobilisieren ohne Systembeschränkungen Umfasst unterschiedliche Datenformate und Prozessmodelle Einfache Modellierungen, integrierte Entwicklungsumgebung, geteilte System- Management-Infrastruktur und Einsatz unabhängiger Lösungen Information and Real-Time Data Movement Zuverlässige und einheitliche Datenumgebung 2013 SAP AG or an SAP affiliate company. All rights reserved. 45

Datenspeicherung in einer In-Memory Plattform Anwendungen schreiben mittels SQL direkt in die In-Memory Plattform Durch Echtzeit-Replikation mit Hilfe von Replication Services Aus Dateien mittels IMPORT / INSERT Durch Message-Queue- Integration ][ ][ ][ Aus Events-Streams 2013 SAP AG or an SAP affiliate company. All rights reserved. 46

In-Memory Plattform Datenbereitstellung Beispiel: Event Stream Processing INPUT STREAMS Sensor data Dashboard Transactions Event Stream Processor? Application Message Bus Events Database In-Memory Platform Studio Database High-Speed Smart Capture: Event Stream Prozessor wendet Logik an, um Events/Daten zu: - Filtern, - zu aggregieren, - anzureichern, - abzuspeichern. 2013 SAP AG or an SAP affiliate company. All rights reserved. 47

Business Analytics in der Praxis am Beispiel des Projekts GORFID

Wahre Produktionsstätte vs. Produktionsstätte für gefälschte Medikamente 2013 SAP AG or an SAP affiliate company. All rights reserved. 49

Die rechtliche Situation Direktive 2011/62/EU vom 8. Juni 2011 (Auszug) Motivation: Sicherung der Europäischen Pharma- Lieferkette Verschreibungspflichtige Arzneimittel (mit Ausnahmen) Produktions-Erlaubnis Berechtigung zum Großhandelsvertrieb Richtlinien der Funktionsfähigkeit des Arzneimittel-Marktes Am Point of Sale: Wurde die äußere Verpackung manipuliert? Identifizierung einzelner Gebinde Authentifizierung der Arzneimittel Frage: Wie kann die Echtheit der Produkte überprüft werden? Wie lässt es sich realisieren? 2013 SAP AG or an SAP affiliate company. All rights reserved. 50

Voraussetzungen für die technische Umsetzung Zielvorstellung Bekämpfung von gefälschten Arzneimitteln, Unterstützung von Rückrufen Berücksichtigung der Datenhoheit Einfache Bedienbarkeit Machbarkeit Verarbeitung von 35 Milliarden Events pro Jahr Bis zu 8.000 Events pro Sekunde (Verarbeitung in nahe Echtzeit) Bis zu 2.000 Authentifizierungsanfragen pro Sekunde (Antwortzeiten von weniger als einer Sekunde) Durchführbarkeit Wirtschaftliche Lösung SAP In-Memory Databank (HANA) ermöglicht Analysen in Echtzeit 2013 SAP AG or an SAP affiliate company. All rights reserved. 51

Umsetzung der Directive 2011/62/EU Grundvoraussetzungen für ein Track & Trace System Legal Events müssen an strategischen Punkten der Lieferkette erfasst werden Ein zentrales System muss über jedes Event informiert werden und ist für die Identifizierung aller Events verantwortlich, die mit einem Produktcode in Zusammenhang stehen Vor dem Verkauf/ der Weitergabe des Arzneimittels muss eine Authentifizierung stattfinden Der Verifizierungsservice muss für den Patienten leicht verständlich sein und einfach durchgeführt werden können, z.b. über ein mobiles Endgerät. Apotheken führen ebenfalls Kontrollen durch Technisch Verteilte Eventdatenbanken existieren bereits Ein zentrales Verzeichnis ( Discovery Service ) existiert und speichert die Zuordnung zwischen Produktcode und entsprechendem Repository Ein Verifizierungsservice existiert und enthält Regeln mit denen Medikamentenfälschungen durch Analyse der einzelnen Scanevents identifiziert werden Mobile Anwendungen existieren und der Verifizierungsprozess bietet entsprechende Schnittstellen 2013 SAP AG or an SAP affiliate company. All rights reserved. 52

Anwendungsfall: Europaweite Nachverfolgung von Medikamenten Discovery Service Verification Service ~2,000 Manufacturers ~20,000 Wholesalers Tier 1 ~30,000 Wholesalers Tier 2 ~142,000 Retailers Med. ~15,000,000,000 packages of prescription-only pharmaceuticals per year Med. Med. Box Box Box Box Container Container Container 2013 SAP AG or an SAP affiliate company. All rights reserved. 53

SAP HANA für Streaming-Daten Komplette europäische Pharma-Lieferkette 8.000 Events/Sek Tabak-Unternehmen wollen Zigarettenverpackungen mit eindeutigen Kennungen versehen 2.000 Events/Sek Automobilindustrie (auf RFID-basierendes Automobilnetzwerk) Prototypsetup umfasst 10 Mrd. Leseereignisse Current SAP Solution HPI In-Memory Prototypes Write Performance Read Performance Write Performance Read Performance Read Event Repository (SAP OER) 50 /Sek. 10 /Sek. 15.000 /Sek. 2.000 /Sek. Discovery Service / / 18.000 /Sek. 3.000 /Sek. 2013 SAP AG or an SAP affiliate company. All rights reserved. 54

iphone / ipad Demo 10 Milliarden RFID Events Logik zur Bestimmung der Verpackungshierarchien unter Verwendung von SAP HANA Zeit für eine lückenlose Nachverfolgung: 2 Sekunden 2013 SAP AG or an SAP affiliate company. All rights reserved. 55

GORFID Aktuelle Architektur mit Data Aging 2013 SAP AG or an SAP affiliate company. All rights reserved. 56

GORFID 2013 SAP AG or an SAP affiliate company. All rights reserved. 57

Vielen Dank Kontaktinformationen: Martin Lorenz Wissenschaftlicher Mitarbeiter HPI martin.lorenz@hpi.uni-potsdam.de 2013 SAP AG or an SAP affiliate company. All rights reserved.