Oracle Core für Einsteiger: InMemory Column Store

Transkript

1

2 Oracle Core für Einsteiger: InMemory Column Store Martin Klier Performing Databases GmbH Oracle Core für Einsteiger: InMemory Column Store 2/37

3 Referent Martin Klier Lösungsarchitekt und Datenbankspezialist Fachliche Schwerpunkte: Performanceoptimierung / Tuning hochverfügbare Systeme Architektur DBMS Linux seit 1997 Oracle Database seit Oracle Core für Einsteiger: InMemory Column Store 3/37

4 Referent Vorträge April 2014 Regionalgruppen Kontakt: Weblog: Oracle Core für Einsteiger: InMemory Column Store 4/37

5 Unternehmen Spezialisten für Datenbanktechnik Konzeptberatung und Vergabekompetenz Architektur- und Systemplanung Lizenzierung Realisierung und Troubleshooting Kontakt Performing Databases GmbH Wiesauer Straße Mitterteich Web: Oracle Core für Einsteiger: InMemory Column Store 5/37

6 Ziele Wiederholung Basisarchitektur Row- und Column basierte Daten Systemarchitektur mit InMemory Column Store Funktionsweise Lesezugriffe Transaktionen und Konsistenz Einsatzszenarien und Oracle Core für Einsteiger: InMemory Column Store 6/37

7 Oracle Core für Einsteiger: InMemory Column Store 7/37

8 Architekturschema (vereinfacht) SGA Listener :1521 Buffer Cache Shared Pool Server Server Server PGAs Log Buffer PMON CKPT LGWR TEMP SMON DBWn ARCn Online Tablespace Blöcke Undo Tbs. Redo Logs Archived Redo Oracle Core für Einsteiger: InMemory Column Store 8/37

9 Rows & Oracle Core für Einsteiger: InMemory Column Store 9/37

10 Row Data SELECT * WHERE ID IN (3,36). ID NAME1 NAME2 STREET ZIP CITY 2 John Doe 2 Wilbury Way Wesley 3 Alice Allison 108 Agora Alley Amberg 4 Sally Salinger 17 Samson St Salisbury Bob Bobson 42 Century Ct Oracle Core für Einsteiger: InMemory Column Store 10/37

11 Row Data ID NAME1 NAME2 STREET ZIP CITY 2 John Doe 2 Wilbury Way Wesley 3 Alice Allison 108 Agora Alley Amberg 4 Sally Salinger 17 Samson St Salisbury 8 Bob Bobson 42 Century Ct Taccanooga Block / Buffer Header / ITL Row Oracle Core für Einsteiger: InMemory Column Store 11/37

12 Lesevorgang Row Buffer SGA Listener :1521 Buffer Cache select... ; Shared Pool Server Sort, Hash, Merge PGAs TEMP Tablespace Oracle Core für Einsteiger: InMemory Column Store 12/37

13 Lesevorgang Row SGA Listener :1521 Server Buffer Cache Maximum 1,000,000 rows per second by design. (Tirthankar Lahiri, Oracle Oracle Core für Einsteiger: InMemory Column Store 13/37

14 Buffer Cache Access Cache Buffer Chains: Is this block in the BC? Chains CBC 4F BH 1 BH 77 CBC 51 BH 99 BH 32 Latches Buffer Headers (references in Shared Oracle Core für Einsteiger: InMemory Column Store 14/37

15 Buffer Cache Access Session 1 Locks the chain and looks for a buffer CBC 4F BH 1 BH 77 CBC 51 BH 99 BH 32 Spin Session 2 Same or diff. Buffer (Chain), same latch Oracle Core für Einsteiger: InMemory Column Store 15/37

16 Rows & Oracle Core für Einsteiger: InMemory Column Store 16/37

17 Columnar Data SELECT ID. WHERE ZIP.; SELECT COUNT(*). WHERE ZIP.; ID NAME1 NAME2 STREET ZIP CITY 2 John Doe 2 Wilbury Way Wesley 3 Alice Allison 108 Agora Alley Amberg 4 Sally Salinger 17 Samson St Salisbury Bob Bobson 42 Century Ct Oracle Core für Einsteiger: InMemory Column Store 17/37

18 Columnar Data ID NAME1 NAME2 STREET ZIP CITY 2 John Doe 2 Wilbury Way Wesley 3 Alice Allison 108 Agora Alley Amberg 4 Sally Salinger 17 Samson St Salisbury ROWID ID ZIP City AABBCC Wesley IMCU BBCCDD DDEEFF Amberg Salisbury Column Compression Units Oracle Core für Einsteiger: InMemory Column Store 18/37

19 In-Memory Oracle Core für Einsteiger: InMemory Column Store 19/37

20 In-Memory Population SGA In-Memory Compression Unit (1MB) Buffer Cache IMCO W001 W002 Tablespace Blöcke In-Memory Area IMCU- or 1MB pool In-Memory Coordinator Process Order- Priority per table critical medium high low none (=on Oracle Core für Einsteiger: InMemory Column Store 20/37

21 In-Memory Data Change SGA x Server Snapshot Metadata Unit (64k) Buffer Cache In-Memory Area SMU- or 64kB pool IMCU Tablespace Oracle Core für Einsteiger: InMemory Column Store 21/37

22 Lesevorgang Columnar SGA x Server Buffer Cache Sort, Hash, Merge? SMU PGAs In-Memory Area IMCU Optimierungen! Tablespace Oracle Core für Einsteiger: InMemory Column Store 22/37

23 In-Memory RePopulation SGA x Buffer Cache SMU In-Memory Area IMCO W001 W002 IMCU When? Tablespace Threshold per IMCU Trickle (constant) Oracle Core für Einsteiger: InMemory Column Store 23/37

24 InMemory Area IMCU SMU IMCU- or 1MB pool SMU- or 64kB pool Geteilt in 1MB-Pool (IMCUs) 64k-Pool (SMUs) In-Memory Area KEIN Least-Recently-Used-Mechanismus (LRU) First come, first serve! => Denke: Tablespace nicht Oracle Core für Einsteiger: InMemory Column Store 24/37

25 Using Column Oracle Core für Einsteiger: InMemory Column Store 25/37

26 With Or Without Oracle Core für Einsteiger: InMemory Column Store 26/37

27 When and When Oracle Core für Einsteiger: InMemory Column Store 27/37

28 Operation Pushdown Oracle Core für Einsteiger: InMemory Column Store 28/37

29 Operation Pushdown Oracle Core für Einsteiger: InMemory Column Store 29/37

30 Optimierungen Vector Processing (Single Instruction Multiple Data SIMD) z.b. Intel AVX / 256bit Register Picture: Wikimedia >1,000,000,000 rows per second (Tirthankar Lahiri, Oracle Oracle Core für Einsteiger: InMemory Column Store 30/37

31 Optimierungen Operation Pushdown: InMemory Scan (*) (ähnlich Exadata Smart Scan) Prädikat-Prüfung im Column Store (*) Aggregation im Scan Bloom Filter im IMCU Scan (*) In-Memory Storage Index (Auslassen unnötiger IMCUs bei In-Memory Scan) Predicate Optimization (wird eine IMCUs ohnehin vollständig benötigt, erfolgt auf ihr keine Prüfung des Oracle Core für Einsteiger: InMemory Column Store 31/37

32 Oracle Core für Einsteiger: InMemory Column Store 32/37

33 Vorteile IM Column St. Schneller bei spaltenbasierten Auswertungen Optimizer nutzt Shortcuts der Architektur Voll transparent, ideal für Mischbetrieb auf selbem Datenbestand OLTP Oracle Core für Einsteiger: InMemory Column Store 33/37

34 Nachteile IM Column St. Ressourcenbedarf RAM CPU für Compression Inhalt muss gepflegt / verwaltet werden => Advisor! Eingeschränkt deterministisch: Nutzen stark abhängig von Workload Inhalt Zustand Know your needs! Skalierung im RAC ohne Ausfallsicherheit (Nur auf Engineered Oracle Core für Einsteiger: InMemory Column Store 34/37

35 InMemory ist cool. Cool reicht nicht. UseCase muß passen. #FiveWordTechHorrors InMemory solves all performance Oracle Core für Einsteiger: InMemory Column Store 35/37

36 Q & A Download Präsentation und Whitepaper Oracle Core für Einsteiger: InMemory Column Store 36/37

37