Holger Seubert SAP. Echtzeit-Analysen mit In-Memory Technologien

Transkript

1 Holger Seubert SAP Echtzeit-Analysen mit In-Memory Technologien

2 Echtzeit-Analysen mit In-Memory Technologien Holger Seubert, SAP Agenda In-Memory Computing: Herausforderungen & Ansätze Auswirkungen auf die IT Infrastruktur Echtzeit-Analyse am Beispiel SAP HANA 2013 SAP AG. All rights reserved. 2 1

3 Fakt: Im Jahr 2013 sind mehr als 15 Milliarden Geräte technisch in der Lage, über das Internet zu kommunizieren. Angefangen bei Autos, Stromzählern, Waschmaschinen bis hin zu Kleidungsstücken. Auswirkung: Unternehmen können ihr Geschäftsmodel fundamental weiter entwickeln indem sie diese Kommunikationsmöglichkeiten nutzen SAP AG. All rights reserved. 3 Warum spielt Big Data eine so große Rolle? Unternehmen A Unternehmen B Wer ist der Marktführer? 2013 SAP AG. All rights reserved. 4 2

4 In-Memory Computing Run like never before Wie ist es möglich, den Kraftstoffverbrauch eines Dieselmotors von 20l auf 100km auf weniger als 3l zu optimieren? bisher hatten wir nicht die Rechenleistung die uns heute zur Verfügung steht CEO eines großen Fahrzeugherstellers 2013 SAP AG. All rights reserved. 5 In-Memory Computing Run like never before Innovationen im Bereich Hauptspeicher Kontinuierlich wachsende Speicherbänke (8/ 16/ 32 GB) Kontinuierliche Verringerung des Stromverbrauchs Kontinuierlich sinkender Preis Innovationen im Bereich CPUs Ständig wachsende Anzahl von Cores (heute: 10 Cores) Memory Controller auf jeder CPU Quick Path Interconnect zwischen CPUs 2013 SAP AG. All rights reserved. 6 3

5 In-Memory Computing Rethink Herausforderung 1: Parallelisierung! Die Vorteile von hunderten Cores effektiv nutzen. Herausforderung 2: RAM Lokalität! DRAM ist x schneller als HDDs Aber: DRAM Zugriffe sind dennoch 4-60x langsamer als on-chip Caches Erfordert Cache-Aware Datenstrukturen und Algorithmen 2013 SAP AG. All rights reserved. 7 In-Memory Computing Rethink In-Memory denken wenn Daten gespeichert und verarbeitet werden. CPU CPU CPU CPU Hauptspeicher CPU Register CPU Cache Nutzung von Festplatten (inkl. SSD) zur Speicherung von Daten. CPU system bus PCI bus SATA bus Segmente Blöcke 2013 SAP AG. All rights reserved. 8 4

6 In-Memory Computing Delegation datenintensiver Berechnungen in die in-memory Datenbank Traditionell Traditionelle Anwendungen führen datenintensive Berechnungen in der Anwendungsschicht aus. Anwendungs-Schicht Massendaten Persistenz-Schicht In-Memory Computing High-Performance Anwendungen delegieren datenintensive Berechnungen in die In-Memory Datenpersistenz-Schicht Massendaten In-Memory Computing Imperativ: Bewegung detaillierter Daten vermeiden; erst Berechnen, dann Ergebnisse weitergeben 2013 SAP AG. All rights reserved. 9 Agenda In-Memory Computing: Herausforderungen & Ansätze Auswirkungen auf die IT Infrastruktur Echtzeit-Analyse am Beispiel SAP HANA 2013 SAP AG. All rights reserved. 10 5

7 Die Informationslieferkette Wurzeln heutiger Herausforderungen Business Applications Business Analytics ETL Transaktionen (OLTP) Latenz, Granularität Analysen (OLAP) In-Memory Add-On 1970er 1980er 1990er System of Record Operative Systeme System of Engagement Separates System Ergänzungsbaustein 2013 SAP AG. All rights reserved. 11 Die Informationslieferkette Wurzeln heutiger Herausforderungen Business Applications Business Analytics DWH Mart Mart Cache Cubes Blind Spots ETL Aggregate Indexe Zusätzliche Latenz Transaktionen (OLTP) Latenz, Granularität Aktualität, Duplikation Analysen (OLAP) DB In-Memory Datenbank Komplexität 1970er 1980er 1990er System of Record Operative Systeme System of Engagement Separates System Ergänzungsbaustein 2000er Komplexe IT Infrastruktur 2013 SAP AG. All rights reserved. 12 6

8 Die Informationslieferkette Neue Ansätze mit In-Memory Computing Business Applications Business Analytics Business Applications Analytics & ETL Latenz, Granularität Aktualität, Duplikation, Komplexität Transaktionen Analysen Beschleunigung Transaktionen + Analyse direkt im Arbeitsspeicher Daten und DB Algorithmen optimiert für eine Disk-basierte Speicherung (Block Organisation) In-Memory optimierte Speicherstrukturen und Verarbeitungsalgorithmen 2013 SAP AG. All rights reserved. 13 Die Informationslieferkette Vereinfachung der IT Infrastruktur mit In-Memory Computing Cache Mart Mart Aggregate Cubes On the fly Berechnungen & Aggregationen Indexe In- Memory DB Analyse auf operativen Daten Latenz, Granularität Aktualität, Duplikation, Komplexität Transaktionen Analysen Beschleunigung Transaktionen + Analyse direkt im Arbeitsspeicher Daten und DB Algorithmen optimiert für eine Disk-basierte Speicherung (Block Organisation) In-Memory optimierte Speicherstrukturen und Verarbeitungsalgorithmen 2013 SAP AG. All rights reserved. 14 7

9 BIGPOINT, eines der führenden Online-Spieleunternehmen, nutzt SAP HANA für ein optimiertes Promotion Management während des Spiels. Mit SAP HANA ist Bigpoint in der Lage, mehr als 5000 Game-Events pro Sekunde in Echtzeit zu analysieren und zu überwachen, personalisierte Ad-hoc-Aktionen durchzuführen und sofortiges Feedback zu den Kampagnen zu erhalten. Video 2013 SAP AG. All rights reserved. 15 SAP HANA Verändert das Spiel 2013 SAP AG. All rights reserved. 16 8

10 Agenda In-Memory Computing: Herausforderungen & Ansätze Auswirkungen auf die IT Infrastruktur Echtzeit-Analyse am Beispiel SAP HANA 2013 SAP AG. All rights reserved. 17 SAP HANA ein Blick in die Box Plattform für Echtzeit-Analysen & Echtzeit-Anwendungen der nächsten Generation SAP Business Objects Lösungen Microsoft Excel HTML5 Andere (Open) Echtzeit Analyse Analytical Views Planning and Calculation Engine SAP HANA Application Services (e.g. AppServer) Business Function Libraries Echtzeit Anwendungen Textsuche R & Predictive Analysis Library Event Stream Processing In-Memory Datenbank Data Services SAP Business Suite 3 rd Party Systeme 2013 SAP AG. All rights reserved. 18 9

11 In-Memory Datenbank SAP HANA kombiniert Hardware und Software Innovationen Gestern CPU Memory CPU Memory Heute Multi-Core Massiv Parallel SingleOptimized Plattform + Zeilen- & Spalten- Speicherung Keine Aggregate 64-bit Adressraum unterstützt 2TB RAM 100GB/s Durchsatz Partitionierung, Parallelisierung Software und Daten liegen auf HDD Disk Insert Only on Delta Komprimierung Disk Logging und Backup Solid State / Flash / HDD I/O Engpass Unterstützung verschiedener Plattformen Für keine Plattform optimiert Nutzung aktueller Hardware-Entwicklungen Minimierte I/O Zeit Optimiert für x86 Plattform 2013 SAP AG. All rights reserved. 19 Echtzeit Views auf In-Memory Daten On-the-Fly Cubes SAP HANA analysiert die Daten direkt aus den physischen Tabellen der Geschäftsanwendungen (OLTP Systeme) Eine Views in SAP HANA sind keine Kopie der Daten es ist der Plan wie die Daten on-the-fly transformiert werden ohne materialization. Report Analytical View Transform Table 1 Primary Key Field 1 Field 2 Field... Business Applications Table 2 Table... Primary Key Primary Key Field 1 Field 1 Field 2 Field 2 Field... Field SAP AG. All rights reserved

12 Analyse, Planung & Simulation In-Memory Integriert in SAP HANA Die Business Function Library (BFL) stellt 54 optimierte Funktionen aus dem finanzmathematischen Bereich zur Verfügung, die per SQLScript aufgerufen werden können. Die Predictive Analysis Library (PAL) stellt 24 analytische Algorithmen über Funktionen aus den Bereichen Clustering, Classification, Association, Time Series und Preprocessing zur Verfügung (PMML Export möglich). Statistische Berechnungen können mit über Open-Source Algorithmen aus dem Projekt R umgesetzt werden, die in SAP HANA integriert werden können 2013 SAP AG. All rights reserved. 21 Volltextsuche Integriert in SAP HANA Native Volltextsuche Exakte Suche, Fuzzy Suche und Linguistische Suche auf unstrukturierten Daten Unterstützung der standard SQL/MM Syntax (CONTAINS) Spracherkennung, Tokenization, Stemming Graphische Modellierung Einfache Definition des Suchausdrucks Nutzbar über SAP HANA Studio UI Toolkit Schnelle Umsetzung von Such-Anwendungen über wiederverwendbare UI Bausteine Modeler HANA Studio UI SAP HANA Search Model Metadata UI Components UI Components Suggestion Search Metadata Information Access Services Search Fuzzy Ranking Snipets Search Engine Tables Column Store Linguistic Processing Text Processor 2013 SAP AG. All rights reserved

13 Daten von Apache Hadoop in SAP HANA laden Data Services 1. Abhängig vom Ziel, übersetzen die Data Services die Anfrage in: Hive Query Language (HQL) Data Services Job Process 5 6 Process Data Database Loader Pig Script 2. Hive/ Pig übersetz die Anfragen in Map/ Reduce Jobs 3. Ergebnis-Dateien werden im HDFS generiert 4. Data Services verarbeitet die Hive/Pig Ergebnisse mit mehreren Threads 5. Optional können die Daten transformiert bzw. auf Qualität geprüft werden 6. Laden der Ergebnisse in die In-Memory Datenbank 1 2 HQL Generator Hive Pig Generator M/R Join tables, order/ filter data, apply functions Text Data Processing M/R HDFS 4 3 HDFS FileReader Result Set ODBC/ JDBC Driver In-Memory DB 2013 SAP AG. All rights reserved. 23 Apache Hadoop & SAP HANA Anwendungsszenarien Kosteneffiziente Speicherung und Verarbeitung von großen Mengen strukturierter, semi-strukturierter und unstrukturierter Daten, wie z.b. Web-Logs, Sensordaten, Text, Call Data Records (CDRs), Audio und Video. Batch Processing Wo schnelle Antwortzeiten weniger kritisch sind Complex Information Processing Stark rekursive Algorithmen, Machine Learning, Anfragen die nicht leicht per SQL auszudrücken sind Low Value Data Archive Daten bleiben im Zugriff, allerdings ist der Zugriff langsamer Post-hoc Analysis Analyse von Daten die keine Struktur aufweisen, oder deren Struktur sich über die Zeit ändert 2013 SAP AG. All rights reserved

14 Sessionization: Die Nadel im Daten-Heuhaufen Erstellung einer geordnete Liste von angesehen Produkt-Seiten aus dem Web-Log Besucher A schaut Produkt 1 an Besucher A - irrelevante Daten [2 Sekunden (12,600 Log-Einträge) zu den die nächsten relevanten Aktionen des Nutzers überspringen ] Besucher A schaut Produkt 2 an Benutzer Produkt Produkt etc B003ZX8B3W B00365F6EG etc HANA 2013 SAP AG. All rights reserved. 25 Apache Hadoop & SAP HANA Beispiel: Einzelhandel Point of Sales SAP BusinessObjects Explorer 1.1 Milliarden POS Datensätze HANA 18 Millionen Session Datensätze 9 TB Web Logs Hadoop 2013 SAP AG. All rights reserved

15 Smart Meter Analytics Demo Benchmarking der Energieeffizienz basierend auf tatsächlichen Verbrauchsdaten für eine höhere Kundenzufriedenheit und Profitabilität SAP AG. All rights reserved. 27 Vielen Dank Holger Seubert Presales Senior Specialist SAP Database & Technology E: M: