DOAG Konferenz Was Sie bei modernen Datenbank-Systemen anders machen müssen!

Transkript

1 oracledeli.wordpress.com DOAG Konferenz 2015 Was Sie bei modernen Datenbank-Systemen anders machen müssen!

2 Matthias Schulz Selbständiger Software- und Datenbankentwickler: Consulting Schulungen Workshops Blog: oracledeli.wordpress.com Geschäftsführer: GmbH Tauberstraße Nürnberg Telefon (0911)

3 Matthias Schulz Schwerpunkt Oracle Entwicklung und Tuning: Datenbankdesign OLTP, OLAP, ETL SQL PL/SQL APEX Java in der Datenbank Spezialthemen: Programmoptimierung (Datenbanknutzung) Exadata Database Machine Exasol Exasolution Advanced Queueing Replikation objektorientiertes PL/SQL

4 Echte Praxisfälle? Alle vorgestellten Themen basieren auf echten Praxisfällen, die aus didaktischen und datenschutzrechtlichen Gründen abstrahiert und vereinfacht wurden.

5 oracledeli.wordpress.com Moderne Datenbanksysteme

6 Neue Technologien Flash Storage Exadata SMP Terrabyte RAM 100 Cpu Cores 12c In Memory RAC

7 Out of the Box Laufzeit einer repräsentativen Gruppe von Reports -16%

8 oracledeli.wordpress.com Alles nur Werbung?

9 Bottlenecks in modernen Architekturen Database Server CPU RAM Storage Area Network I/O Storage Server I/O CPU RAM Storage

10 oracledeli.wordpress.com Studie 1: Komprimieren

11 Komprimieren Storage Größe der Fakten-Tabelle 6x

12 Komprimieren Maximalwerte (gemessen bei einer Fakten-Aggregattabelle) 52x

13 Komprimieren I/O I/O einer repräsentativen Gruppe von Reports 6x

14 Komprimieren Laufzeit Laufzeit eines Reports 28 %

15 HCC Komprimierung mit Sortierung HCC Query High und sortiert geladene Daten 2x

16 Komprimieren - Testreihen Ermittlung von Komprimierungsfaktor, Lade- und Report-Laufzeiten Compression Mode Size (Bytes) Factor Insert Mode Insert Order non ,0 APPEND non FOR QUERY HIGH ,4 APPEND non FOR QUERY HIGH ,8 APPEND STARTTIME, COMPANY, DEVICE FOR QUERY HIGH ,8 APPEND STARTTIME, COMPANY, ATTRIBUTE_A, ATTRIBUTE_B FOR QUERY HIGH APPEND FOR QUERY low ,4 APPEND non FOR QUERY low ,7 APPEND STARTTIME, COMPANY, DEVICE FOR ARCHIVE HIGH ,3 APPEND non FOR ARCHIVE HIGH ,9 APPEND STARTTIME, COMPANY, DEVICE FOR ARCHIVE low ,6 APPEND non FOR ARCHIVE low ,8 APPEND STARTTIME, COMPANY, DEVICE FOR OLTP ,4 APPEND non FOR OLTP ,8 APPEND STARTTIME, COMPANY, DEVICE BASIC ,4 APPEND non BASIC ,8 APPEND STARTTIME, COMPANY, DEVICE

17 Komprimieren Fazit weniger Storage, weniger I/O, mehr CPU Database Server ++ CPU -- RAM Storage Area Network -- I/O ++ Storage Server I/O CPU RAM Storage

18 oracledeli.wordpress.com Studie 2: Parallelisieren

19 Parallelisieren Laufzeit einer repräsentativen Gruppe von Reports Konventionell Exadata 7x

20 Parallelisieren Fazit mehr Leistung (CPU-Einsatz), mehr I/O-Durchsatz Database Server ++ CPU RAM Storage Area Network ++I/O ++ Storage Server I/O CPU RAM Storage ++

21 oracledeli.wordpress.com Studie 3: Index und Reporting

22 Index und Parallel Query Laufzeit einer repräsentativen Gruppe von Reports mit Index

23 Ausführungsplan mit Index Id Operation Name Pstart Pstop SELECT STATEMENT PARTITION RANGE INLIST 18 PARTITION HASH SINGLE 19 VIEW * 20 TABLE ACCESS BY LOCAL INDEX ROWID FACT KEY(I) KEY(I) 21 BITMAP CONVERSION TO ROWIDS 22 BITMAP AND KEY(I) KEY(I) * 23 BITMAP INDEX SINGLE VALUE FEATURE_F_IDX KEY(I) KEY(I) 24 BITMAP OR * 25 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 26 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 27 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 28 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 29 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 30 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 50 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 51 BITMAP INDEX SINGLE VALUE FEATURE_B_IDX KEY(I) KEY(I)

24 Index und Parallel Query Laufzeit einer repräsentativen Gruppe von Reports +35 % mit Index ohne Index -62 %

25 Ausführungsplan: - Indexes unsichtbar - Optimizer ignoriert unsichtbare Indexes: Id Operation Name Pstart Pstop SELECT STATEMENT PARTITION RANGE INLIST KEY(I) KEY(I) 18 PARTITION HASH SINGLE VIEW * 20 TABLE ACCESS FULL FACT KEY(I) KEY(I)

26 Index & Komprimierung Laufzeit einer repräsentativen Gruppe von Reports mit Index ohne Index

27 Index & Laufzeit Laufzeit eines großen Reports 16x

28 Index & Exadata Laufzeit eines großen Reports auf Oracle Exadata 60x

29 Index & Storage Speicherbedarf der Fakten-Tabelle Tabelle Indexes

30 Ohne Index Fazit weniger CPU-Last, mehr I/O-Last Database Server -- CPU RAM Storage Area Network ++ I/O Storage Server I/O CPU RAM Storage ++ --

31 oracledeli.wordpress.com Studie 4: Mit und ohne Index? Invisible Index!

32 Index und Parallel Query Cache leer Laufzeit eines Reports -91 % Index No Index -95 %

33 Index und Parallel Query Cache perfekt Laufzeit eines Reports Index No Index

34 Index und Parallel Query Cache perfekt Laufzeit eines Reports +211 % -28 % Index No Index

35 Faktentabelle mit Bitmap Indexes Faktentabelle mit 6 Bitmap-Indexes: INDEX_NAME INDEX_TYPE VISIBILITY FEATURE_A_IDX BITMAP VISIBLE FEATURE_B_IDX BITMAP VISIBLE FEATURE_C_IDX BITMAP VISIBLE FEATURE_D_IDX BITMAP VISIBLE FEATURE_E_IDX BITMAP VISIBLE FEATURE_F_IDX BITMAP VISIBLE

36 Ausführungsplan Id Operation Name Pstart Pstop SELECT STATEMENT PARTITION RANGE INLIST 18 PARTITION HASH SINGLE 19 VIEW * 20 TABLE ACCESS BY LOCAL INDEX ROWID FACT KEY(I) KEY(I) 21 BITMAP CONVERSION TO ROWIDS 22 BITMAP AND KEY(I) KEY(I) * 23 BITMAP INDEX SINGLE VALUE FEATURE_F_IDX KEY(I) KEY(I) 24 BITMAP OR * 25 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 26 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 27 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 28 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 29 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 30 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 50 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 51 BITMAP INDEX SINGLE VALUE FEATURE_B_IDX KEY(I) KEY(I)

37 Unsichtbare Indexes Indexes unsichtbar machen: ALTER INDEX FEATURE_A_IDX INVISIBLE; ALTER INDEX FEATURE_B_IDX INVISIBLE; ALTER INDEX FEATURE_C_IDX INVISIBLE; ALTER INDEX FEATURE_D_IDX INVISIBLE; ALTER INDEX FEATURE_E_IDX INVISIBLE; ALTER INDEX FEATURE_F_IDX INVISIBLE; Optimizer soll unsichtbare Indexes ignorieren: ALTER SYSTEM SET OPTIMIZER_USE_INVISIBLE_INDEXES = TRUE;

38 Unsichtbare Indexes Faktentabelle mit 6 Bitmap-Indexes: INDEX_NAME INDEX_TYPE VISIBILITY FEATURE_A_IDX BITMAP INVISIBLE FEATURE_B_IDX BITMAP INVISIBLE FEATURE_C_IDX BITMAP INVISIBLE FEATURE_D_IDX BITMAP INVISIBLE FEATURE_E_IDX BITMAP INVISIBLE FEATURE_F_IDX BITMAP INVISIBLE

39 Ausführungsplan: - Indexes unsichtbar - Optimizer ignoriert unsichtbare Indexes: Id Operation Name Pstart Pstop SELECT STATEMENT PARTITION RANGE INLIST KEY(I) KEY(I) 18 PARTITION HASH SINGLE VIEW * 20 TABLE ACCESS FULL FACT KEY(I) KEY(I)

40 Unsichtbare Indexes Unsichtbare Indexes für aktuelle Session sichtbar machen: ALTER SESSION SET OPTIMIZER_USE_INVISIBLE_INDEXES = TRUE;

41 Ausführungsplan Id Operation Name Pstart Pstop SELECT STATEMENT PARTITION RANGE INLIST 18 PARTITION HASH SINGLE 19 VIEW * 20 TABLE ACCESS BY LOCAL INDEX ROWID FACT KEY(I) KEY(I) 21 BITMAP CONVERSION TO ROWIDS 22 BITMAP AND KEY(I) KEY(I) * 23 BITMAP INDEX SINGLE VALUE FEATURE_F_IDX KEY(I) KEY(I) 24 BITMAP OR * 25 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 26 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 27 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 28 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 29 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 30 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 50 BITMAP INDEX SINGLE VALUE FEATURE_E_IDX KEY(I) KEY(I) * 51 BITMAP INDEX SINGLE VALUE FEATURE_B_IDX KEY(I) KEY(I)

42 Unsichtbare Indexes OPTIMIZER_USE_INVISIBLE_INDEXES =? Einsatzbereich ALTER SYSTEM (default) ALTER SESSION (Spezialfall) OLTP TRUE Reporting Sessions: FALSE DWH FALSE Reports mit kleinen Datenmengen und hoher Index-Selektivität: TRUE

43 oracledeli.wordpress.com Studie 5: Kein Index? Partitionen!

44 Partitionierung Partitionen Ausgangslage Topic Type Value Count Partition Range year 10 Subpartition Hash company 64 Partitions Fact Table 640 Partitions Fact Table + 7 AggregateTables 5.120

45 Partitionierung nach Jahr und Firma 2 Tage benötigt, aber 1 Jahr gelesen! (ohne Index) Year 2015 Fakten Tabelle Company Report Company Region 1 Region 2

46 Partitionierung nach Tag und Firma 2 Tage benötigt = 2 Tage gelesen! (ohne Index) Day Fakten Tabelle Company Report Company Region 1 Region 2

47 Partitionierung I/O I/O einer repräsentativen Gruppe von Reports 3x

48 Partitionierung Partitionen Vergleich zweier Partitionierungsmodelle Modell A Modell B Topic Type Value Count Type Value Count Partition Range year 10 Interval day Subpartition Hash company 64 List company 35 Partitions Fact Table Partitions Fact Table + 7 AggregateTables

49 Partitionierung und Komprimierung I/O I/O einer repräsentativen Gruppe von Reports 17x Range (year) Hash 64 (company) Interval (day) List (company)

50 Feingranulare Partitionierung weniger Storage, weniger I/O, weniger CPU-Last Database Server -- CPU RAM Storage Area Network -- I/O -- Storage Server I/O CPU RAM Storage --

51 oracledeli.wordpress.com Studie 6: Exadata Optimierung

52 Konventionelle Oracle-Datenbank Eine bestimmte Abfrage liest auf einer konventionellen Oracle Datenbank 40 GB Daten aus dem Storage

53 Bottlenecks Konventionelle Datenbank Database Server ++ CPU RAM Storage Area Network ++ I/O Storage Server I/O CPU RAM Storage ++ ++

54 Exadata - Hybrid Columnar Compression Herkömmlich speichert Oracle Daten zeilenweise in Blöcken, auch bei Verwendung von Basic- oder OLTP-Compression Row Store id name city country 1 Meier Frankfurt Germany Storage Blocks Header Header Header Data Data Data 2 Meier Frankfurt Germany 3 Meier Berlin Germany 4 Meier Berlin Germany

55 Exadata - Hybrid Columnar Compression Bei HCC werden jeweils einige Zeilen spaltenweise zu Compression Units gebündelt und in Blöcken ablegen (bessere Komprimierung) Column Stores Storage Blocks id name city country Header Header Header Meier Meier Meier Meier Frankfurt Frankfurt Berlin Berlin Germany Germany Germany Germany Compression Unit Data Data Data

56 Exadata - Hybrid Columnar Compression Durch den Einsatz von Hybrid Columnar Compression wird die zu lesende Datenmenge im Storage komprimiert: 10x

57 Exadata -Storage Index Storage Indexes werden automatisch angelegt und kennen für jeden Storage-Chunk (ca. 1 MB) die Minimal- und Maximal-Werte "FACT" Storage Chunks Storage Index for Company

58 Exadata -Storage Index Es werden nur Storage-Chunks gelesen, bei denen der Wert zwischen Minimum und Maximum liegt SELECT * FROM fact WHERE company = 12 "FACT" Storage Chunks Storage Index for Company

59 Exadata -Storage Index Die Storage Indexes verringern die tatsächlich zu lesende Datenmenge weiter: 20x

60 Exadata - Smart Scan Der Smart Scan reduziert die Datenmenge auf benötigte Zeilen und Spalten SELECT company, day FROM fact WHERE company IN (12, 25) AND day = ' ' FACT company day units price , , , ,00

61 Exadata - Smart Scan Die gelesen 2 GB an Daten werden vor der Übertragung und Berechnung noch durch den Smart Scan reduziert: x

62 Konventioneller Server vs Exadata Exadata: weniger Storage, I/O, und Server-CPU durch Storage Cell-Einsatz Konventionelles System Database Server CPU 40 GB Storage Server Exadata Node CPU 0,0004 GB 40 GB 0,0004 GB Storage Cell ++ 2 GB 40 GB CPU 2 GB 4 GB Oracle Exadata

63 oracledeli.wordpress.com Alles nur Werbung?

64 Alles eine Frage der Optimierung! Laufzeit einer repräsentativen Gruppe von Reports Parallelisieren Komprimieren Partitionieren No Index -16% -92%

65 oracledeli.wordpress.com Fragen?

66 Urheberrecht Das Copyright an den verwendeten Text- und Bildmaterialien liegt, wenn es nicht anders angegeben ist, bei der GmbH. Eine Vervielfältigung und Verwendung der hier verwendeten Texte, Grafiken und Bilder in anderen elektronischen oder gedruckten Medien, ist ohne vorherige schriftliche Genehmigung der GmbH nicht gestattet. Genannte oder durch Dritte geschützte Marken unterliegen den jeweils geltenden gesetzlichen Bestimmungen des Kennzeichenrechts und den Besitzrechten des jeweils eingetragenen Eigentümers.

67 Haftungsausschluss Die GmbH übernimmt keine Haftung für Vollständigkeit, Aktualität und inhaltliche Richtigkeit der zur Verfügung gestellten Informationen. Ebenso wird keine Haftung für Fehler redaktioneller und technischer Art übernommen. Haftungsansprüche aus materiellen und immateriellen Schäden, welche sich durch die Nutzung fehlerhafter oder unvollständiger Informationen oder durch die Nutzung der angebotenen Informationen ergeben könnten, sind grundsätzlich ausgeschlossen, es sei denn, die GmbH trifft Vorsatz oder grob fahrlässiges Verschulden. Sollten Formulierungen im Haftungsausschluss oder Teile davon mit der geltenden Rechtslage nicht mehr oder nur noch partiell übereinstimmen, so bleibt hiervon die Gültigkeit der übrigen Teile dieses Textes mit seinem Inhalt unberührt.

68 oracledeli.wordpress.com Danke!