Oracle Database In-Memory und SAP Flat Cubes im Einsatz DOAG Konferenz 2018

Transkript

1 Oracle Database In-Memory und SAP Flat Cubes im Einsatz DOAG Konferenz 2018 Markus Kißling Product Manager Database In-Memory

2 Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 2

3 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP BW Flat Cubes SAP BW Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 3

4 Klassischer Zeilenansatz vs. spaltenorientierter Speicherung Row SALES OLTP läuft am Besten mit Zeilen-Format Operationen auf wenigen Zeilen, vielen Spalten Beispiel: Insert, Update oder Abfragen auf Tabellen Column SALES DWH Abfragen laufen am Schnellsten Spalten-Format Operationenauf wenige Spalten, viele Zeilen Beispiel: Auswertung Summe aller Verkäufe pro Region Bisher gab es nur die Entweder-Oder-Entscheidung 4

5 Oracle Database In-Memory Einfach zu handhaben 1. In-Memory Column Store aktivieren inmemory_size = XXX GB (sga_target entsprechend anpassen) 2. Tabellen oder Partitionen In-Memory setzen alter table partition inmemory; 3. Ggf. später analytische Indizes löschen, um OLTP zu beschleunigen (z.b. bei SAP CRM)

6 Das duale Format in der Datenbank Memory SALES Row Format Memory SALES Column Format Beides - Row und Column In- Memory Formate - für die gleiche Tabelle Real Time Analysen nutzen das neue Column Format OLTP Applikationen nutzen das Row Format Erhalt der Transaktionskonsistenz Syntax: ALTER TABLE sales INMEMORY; ALTER TABLE sales NO INMEMORY;

7 In-Memory Columnar Technologie Columnar Format Compression Storage Indexes SIMD Vector Processing Min 1 Max 3 Min 4 Max 7 CPU Load multiple region values Vector Register CA CA CA CA Vector Compare all values an 1 cycle Min 8 Max 12 Zugriff nur auf benötigte Spalten Scan & Filtern auf komprimierte Daten Überspringen der nicht benötigten Daten einer Spalte Mehrere Spaltenwerte mit einer einzigen CPU- Instruktion verarbeiten 7

8 Oracle In-Memory Spaltenformat Auf allen Plattformen verfügbar Pure In-Memory Columnar Pures In-Memory Spaltenformat In-Memory Verarbeitung: ermöglicht schnelleres OLTP Keine Änderungen am Diskformat SALES Aktiviert auf Tablespace, Tabelle, Partition, Subpartition Ebene Auch für gesamte Datenbank, falls genügend DRAM vorhanden Größe der In-Memory Area wird über inmemory_size Parameter 8

9 Oracle In-Memory Spaltenformat Under The Hood Extent #13 Blocks 20 to 120 In-Memory Compression Unit Column CUs SALARY ROWID EmpID Name Dept Salary Extent #14 Blocks 82 to 182 Extent #15 Blocks 201 to 301 In-Memory Compression Unit (IMCU) Einheit bei Allokierung im Column Store (1 MB) Enthält große Anzahl von Rows (z.b. 0.5 Mio.) von einer oder mehrerer Table Extents Jede Column gespeichert als Column Compression Unit (Column CU) Mehrere MEMCOMPRESS Levels: FOR QUERY Schnellste Abfragen FOR CAPACITY Beste Komprimierung Größe einer IMCU abhängig von Größe der Rows, Komprimierungsfaktor usw. 9

10 Database In-Memory: Real-Time Analytics Analytische Abfragen beschleunigen mit In-Memory Aggregation (IMA) CPU Data Scans SALES STATE = CA Vector Register Memory-Bandbreite nutzen Scan und Filter nur auf benötigten Spalten Vektor-Instruktionen der CPUs nutzen Milliarden von Zeilen pro Sekunde CA CA CA CA ITEMS Joins HASH JOIN SALES Selektieren der SALES Tabelle mit den entsprechenden Werten aus der kleineren ITEMS Tabelle Auflösung des Joins in Spalten-Scans (Bloom- Filter) Bis zu 10x schneller In-Memory Aggregation In-Memory Report Outline wird beim ersten Scan der kleinen Tabellen erzeugt Report wird beim Scan der großen Tabelle befüllt Bis zu 10x schneller 10

11 Was sind analytische Abfragen? Welche Produkte liefern uns die höchste Gewinnspanne (Marge)? Wer sind die Top 10 Vertriebsmitarbeiter in der Region Süd in diesem Monat? Wenn icheinen Rabatt von 20 % auf Teil XY bekomme, wie wirkt sich dies auf die Gewinnspanne aus? 11

12 Beispiel: Analytische Abfrage mit Aggregation Abfrage des Gewinnes innerhalb einer Region SELECT d.d_year, c.c_nation, sum(lo_revenue - lo_supplycost) FROM LINEORDER l, DATE_DIM d, PART p, SUPPLIER s, CUSTOMER c WHERE l.lo_orderdate = d.d_datekey AND l.lo_partkey = p.p_partkey AND l.lo_suppkey = s.s_suppkey AND l.lo_custkey = c.c_custkey AND s.s_region = 'AMERICA' AND c.c_region = 'AMERICA' GROUP BY d.d_year, c.c_nation ORDER BY d.d_year, c.c_nation; 12

13 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP BW Flat Cubes SAP BW Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 13

14 Kundenszenario Teil 1: Einsatz von SAP BW & DBIM Warum keine Verbesserung mit In-Memory? Ursache 1: Nicht genügend CPU Cores & Memory vorhanden Insbesonders in virtualisierten Umgebungen Auf AIX / LPARs: lparstat einsetzen und Resourcen überprüfen Ursache 2: Out-Of-Memory: Nicht alle Segmente auf, einmal in den IM Column Store laden, sondern nur die für die Tests relevanten 14

15 Kundenszenario Teil 2: In-Memory Kandidaten finden IM Advisor oder eigene Erfahrung? IM Advisor einsetzen Vorgeschlagene Segmente in den IM Column laden Besser auf eigene Erfahrung setzen und Segmente für IM Column-Store selbst bestimmen 15

16 Kundenszenario Teil 3: Einsatz von SAP BW & Database In-Memory PoC auf IBM Power / AIX - LPAR Parallel = 13 Parallel_min_treshold = 5 (früher parallelisieren, in 5 anstatt 10 Sek.) Optimizer_dynamic_sampling = 6 16

17 Kundenszenario Teil 4: Einsatz von SAP BW & Database In-Memory Fazit: Diese Kombination funktionert sehr gut, wenn genügend CPU Cores & Memory zur Verfügung stehen und die relevanten Segmente alle im IM Column Store Platz haben 17

18 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP Flat Cubes SAP Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 18

19 Was sind InfoCubes / Flat Cubes? "HANA-Optimized InfoCubes" Datenmodell-Optimierung Ursprünglich entwickelt für SAP BW und SAP HANA Wird von keiner anderen SAP- Applikation verwendet "Flat InfoCubes" / "Flat Cubes" Gleiche Optimierung Auch verfügbar für SAP BW und Oracle Database 12c & Oracle In-Memory Wird von keiner anderen SAP- Applikation verwendet 19

20 Daten-Modellierung in Data Warehouses Snowflake Schema Extended Snowflake Schema Flat Data Star Schema 20

21 Daten-Modellierung in Data Warehouses Extended Snowflake Schema Flat Data 21

22 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP BW Flat Cubes SAP BW Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 22

23 Flat Cubes und Partitionierung Alte Implementierung (Klassisches Star Schema) F FACT TABLE F Table Partition 6 F Table Partition 5 F Table Partition F 4 F Table Partition 3 F Table Partition 2 F Table Partition 1 E FACT TABLE E Table Partition 6 E Table Partition 5 E Table Partition 4 F E Table Partition 3 E Table Partition 2 E Table Partition 1 23

24 Flat Cubes und Partitionierung Neu Implementierung (Non-Oracle Databases) Die F Tabelle wird entfernt Daten der F Tabelle jetzt Bestandteil der E Tabelle Größte Nachteil Kein Partition-Pruning bei Abfragen über größten Teil der Daten F FACT TABLE F Table Partition 6 F Table Partition 5 F Table Partition 4 F Table Partition 3 F Table Partition 2 F Table Partition 1 "E Table" (Partition 0) 24

25 Flat Cubes und Partitionierung Neue Implementierung (Oracle Databases) Die F Tabelle wird entfernt Daten der F Tabelle sind Bestandteil der E Tabelle Vorteil bei Oracle Partition-Pruning bei Abfragen durch Subpartitioning Alleinstellungsmerkmal am Markt F FACT TABLE F Table Partition 6 F Table Partition 5 F Table Partition 4 F Table Partition 3 F Table Partition 2 F Table Partition 1 Partition 0 E Partition, Subpartition 6 E Partition, Subpartition 5 E Partition, Subpartition 4 E Partition, Subpartition 3 E Partition, Subpartition 2 E Partition, Subpartition 1 25

26 Plan Startransformation Id Operation Name SELECT STATEMENT 1 SORT GROUP BY * 2 HASH JOIN * 3 TABLE ACCESS STORAGE FULL /BI0/YVC_PROD2 * 4 HASH JOIN 5 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSC2 * 6 HASH JOIN 7 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSC4 * 8 HASH JOIN 9 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSCU * 10 HASH JOIN 11 * 12 TABLE ACCESS BY INDEX ROWID BATCHED INDEX RANGE SCAN /BIC/DZMK_TCSCP /BIC/DZMK_TCSCP~01 * 13 HASH JOIN 14 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSC5 * 15 HASH JOIN * 16 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSCT 17 PARTITION RANGE ITERATOR * 18 TABLE ACCESS BY LOCAL INDEX ROWID BATCHED /BIC/EZMK_TCSC 19 BITMAP CONVERSION TO ROWIDS 20 BITMAP AND 21 BITMAP MERGE 22 BITMAP KEY ITERATION 23 * 24 BUFFER SORT TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSCT * 25 BITMAP INDEX RANGE SCAN /BIC/EZMK_TCSC~ BITMAP MERGE 27 BITMAP KEY ITERATION 28 BUFFER SORT 29 INDEX STORAGE FAST FULL SCAN /BIC/DZMK_TCSC4~0 * 30 BITMAP INDEX RANGE SCAN /BIC/EZMK_TCSC~ BITMAP MERGE 32 BITMAP KEY ITERATION 33 BUFFER SORT * 34 TABLE ACCESS STORAGE FULL /BIC/DZMK_TCSC3 * 35 BITMAP INDEX RANGE SCAN /BIC/EZMK_TCSC~

27 Plan Flat Cube Id Operation Name SELECT STATEMENT 1 SORT GROUP BY * 2 HASH JOIN 3 JOIN FILTER CREATE :BF PART JOIN FILTER CREATE :BF NESTED LOOPS 6 TABLE ACCESS BY INDEX ROWID BATCHED /BIC/DZMK_TCSCP * 7 INDEX RANGE SCAN /BIC/DZMK_TCSCP~01 * 8 TABLE ACCESS STORAGE FULL /BI0/YVC_PROD2 9 JOIN FILTER USE :BF PARTITION LIST JOIN-FILTER 11 PARTITION RANGE ITERATOR * 12 TABLE ACCESS INMEMORY FULL /BIC/FZMK_TCFL

28 In-Memory Fast-Start DBFILE1 Index Table Index Buffer Cache Table Table SALES TABLESPACE FAST START TABLESPACE In-Memory Column Store DBFILE2 Fast Start Data IM Column Format auf Platte persistiert In-Memory Column Store Inhalt wird beim Beladen in Secure File LOB gespeichert (Checkpoints) Das Beladen des CS erfolgt beim DB Restart wesentlich schneller, da der Population Prozess direkt das Column Format von Platte liest Restore des CS schneller, da keine Formatumwandlung erfolgt (2-5x) 28

29 In-Memory Dynamic Scans SchnellereColumnar Scan Performance select SUM(total) from SALES where region = CA group by store_id In-Memory Column Store Thread 1 Thread 2 REGION = CA REGION = CA IMCU #1 IMCU #2 Thread 3 Thread 4 Dynamic Multi-Threaded Scan Mechanism Mehrere Threads pro Scan Prozess Jeder Thread scannt 1 IMCU zur gleichen Zeit Scannt mehrere IMCUs parallel in einem Single Scan Prozeß Erfolgt ohne Benutzereingriff Anzahl Threads vom Resource Manager kontrolliert Ziel: Vorhandene CPU Kerne effektiv nutzen REGION = CA IMCU #3 SALES REGION = CA IMCU #4 Ergänzt Parallel Query Jeder Parallel Query Slave kann mehrere Threads bedienen Bis zu 2x Performancezuwachs 29

30 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP BW Flat Cubes SAP BW Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 30

31 Live-Demos mit Oracle Database 18c XE - Bloom Filter - Vector Group By - Partition Pruning 31

32 Prerequisites in my Demo Environment: Download Oracle VirtualBox & Oracle Linux & SQL Developer Oracle Virtualbox Oracle Linux Oracle SQL Developer Java SE 32

33 Oracle Database 18c XE - Quick Start 1 Installation & Configuration Oracle Linux Download oracle-database-xe-18c x86_64.rpm Run yum -y localinstall oracle-database*18c* Run /etc/init.d/oracle-xe-18c configure 33

34 Oracle Database 18c XE - Quick Start 2 Installation & Configuration Red Hat compatible Linux distribution Download oracle-database-xe-18c x86_64.rpm Run curl -o oracle-database-preinstall-18c el7.x86_64.rpm acle-database-preinstall-18c el7.x86_64.rpm Run yum -y localinstall oracle-database*18c* Run /etc/init.d/oracle-xe-18c configure 34

35 Oracle Database 18c XE - Quick Start 3 Availability on Windows, Docker, VirtualBox Windows Windows download is not currently available, but is coming soon! Docker A Docker image is not currently available, but is coming soon! VirtualBox A VirtualBox image is not currently available, but is coming soon! 35

36 Oracle Database 18c XE - Quick Start 4 Connecting to Oracle Database XE SQL -- Connect string format: [username]/[password]@//[hostname]:[port]/[db service name] [AS SYSDBA] -- To connect to the Container Database (CDB) use: sqlplus sys/getstarted18c@//localhost:1521/xe as sysdba -- To connect to the first Pluggable Database (PDB) use: sqlplus sys/getstarted18c@//localhost:1521/xepdb1 as sysdba 36

37 Oracle Database 18c XE Database size limited to 2GB of RAM SQL> alter system set sga_target=3g scope=spfile; System altered. SQL> shutdown immediate SQL> startup ORA-56752: Oracle Database Express Edition (XE) memory parameter invalid or not specified ORA-01078: failure in processing system parameters 37

38 Oracle Technology Network Developer License Terms for Oracle Database Express Edition 38

39 Oracle Database 18c XE Make a Testdrive Download OOW 2018 Hands on Lab Guide and Scripts Monitoring the In-Memory Column Store Querying In-Memory Column Store Tables Some Queries with In-Memory Joins and Aggregation Database In-Memory and Partitioning Try other options: Multitenant (up to 3 PDBs), Advanced Analytics, Advanced Security 39

40 Partitionierung & DBIM 40

41 Partitionierung & DBIM 41

42 Agenda Übersicht Oracle Database In-Memory Kundenszenario SAP BW Flat Cubes SAP BW Flat Cubes & DBIM im Zusammenspiel Live-Demos auf Oracle Database 18c XE Results 42

43 Simple Query 1.2 Million Rows Star Schema: 9 Dimensions / 61 Measurements / 2 Join Dims. Flat Schema: 40 Keyvalues / 61 Measurements / 1 Join Dim. Query: 1 Result column 1 Attribute table GB Flat cube / Inmemory: Independent of table width Cheap access for low number of columns 43

44 Medium Query 6.5 Million Rows Star Schema: 8 Dimensions / 145 Measurements / 8 Join Dims. Flat Schema: 37 Keyvalues / 145 Measurements / 1 Join Dim. Query: 1 Result column 2 Attribute tables GB Flat cube / Inmemory: Independent of table width Cheap access for low number of columns 44

45 Complex Query 9 Million Rows Star Schema: 12 Dimensions / 129 Measurements / 11 Join Dims. Flat Schema: 46 Keyvalues / 129 Measurements / 1 Join Dim. Query: many Result columns 3 Attribute tables GB Flat cube / Inmemory: Many result columns Complex cross table predicates 45

46 Additional Resources Join the Conversation White Papers (otn.com) Oracle Database In-Memory White Paper Oracle Database In-Memory Aggregation Paper When to use Oracle Database In-Memory Oracle Database In-Memory Advisor Videos Oracle Database In-Memory YouTube Channel oracle.com Powering the Real-Time Enterprise Industry Experts Share Perspectives oracle.com/us/corporate/events/dbim/index.html YouTube - Juan Loaiza: Software in Silicon Additional Questions In-Memory blog: blogs.oracle.com/in-memory My markus.kissling@oracle.com 46

47 Q&A If you have more questions later, feel free to ask 47