Oracle Database 11gR2 Effiziente Datenspeicherung

Transkript

1 Oracle Database gr2 Effiziente Datenspeicherung

2 Vorteile von Komprimierung Einsparung von Plattenplatz (Storage) Kosten- und Ressourcenreduktion (Green IT) Effizientere uffer Cache Nutzung Effizientere Nutzung der Netzwerkbandbreite Performance pplikationstransparent Nutzbar mit anderen Datenbankfeatures Zielgruppe: Typische DWH nwendungen Gemischte etriebe (auch OLTP) Contentmanagement nwendungen ackup-szenarios Effiziente Datenspeicherung Speicherplatzverteilung 55% Index Daten Strukturierte Daten Unstrukturierte Daten 33% 2% 2

3 Umfassende Komprimierung in Oracle Index itmap Index *Tree Index Komprimierung Tabelle Strukturierte Datentypen: DIRECT LOD Komprimierung OLTP Komprimierung Unstrukturierte Datentypen (ilder, Dokumente) ackup RMN Compression RMN Compression mit optimierten lgorithmen DTPUMP Data Guard Redotransport bei Dataguard bei Redo Gaps Umfassende Erweiterungen mit dvanced Compression Option in g Oracle Index Key Komprimierung eispiel : Single-Column Index ROWID0 ROWID02 ROWID03 ROWID04 ROWID05 ROWID06 ROWID07 ROWID08 ROWID09 ROWID0 ROWID ROWID2 ROWID3 3

4 Oracle Index Key Komprimierung eispiel : Single-Column Index ROWID0 ROWID02 ROWID03 ROWID04 ROWID05 ROWID06 ROWID07 ROWID08 ROWID09 ROWID0 ROWID ROWID2 ROWID3 Oracle Index Key Komprimierung eispiel 2: Multi-Column Index X ROWID0 X 2 ROWID02 X 2 3 ROWID03 Y 4 ROWID04 Y 3 C 5 ROWID05 Y 3 C 6 ROWID06 Y 3 D 7 ROWID07 X ROWID08 X 2 ROWID09 X C 3 ROWID0 X 3 4 ROWID X 3 C 5 ROWID2 X 3 C 6 ROWID3 4

5 Oracle Index Key Komprimierung eispiel 2: Prefix = X ROWID0 X 2 ROWID02 X 2 3 ROWID03 2 Werte Y 4 ROWID04 eliminiert Y 3 C 5 ROWID05 Y 3 C 6 ROWID06 Y 3 D 7 ROWID07 X ROWID08 X 2 ROWID09 X C 3 ROWID0 X 3 4 ROWID X 3 C 5 ROWID2 X 3 C 6 ROWID3 Prefix Suffix Oracle Index Key Komprimierung eispiel 2: Prefix = 2 X ROWID0 X 2 ROWID02 X 2 3 ROWID03 22 Werte Y 4 ROWID04 eliminiert Y 3 C 5 ROWID05 Y 3 C 6 ROWID06 Y 3 D 7 ROWID07 X ROWID08 X 2 ROWID09 X C 3 ROWID0 X 3 4 ROWID X 3 C 5 ROWID2 X 3 C 6 ROWID3 Prefix Suffix 5

6 Oracle Index Key Komprimierung eispiel 2: Prefix = 3 X ROWID0 2 ROWID ROWID03 30 Werte Y 4 ROWID04 eliminiert 3 C 5 ROWID05 3 C 6 ROWID06 3 D 7 ROWID07 X ROWID08 2 ROWID09 C 3 ROWID0 3 4 ROWID 3 C 5 ROWID2 3 C 6 ROWID3 Prefix Suffix Oracle Index Key Komprimierung eispiel 2: Prefix = 4 X ROWID0 2 ROWID02 X 2 3 ROWID03 28 Werte Y 4 ROWID04 eliminiert Y 3 C 5 ROWID05 C 6 ROWID06 D 7 ROWID07 X ROWID08 2 ROWID09 C 3 ROWID0 X 3 4 ROWID C 5 ROWID2 C 6 ROWID3 Prefix Suffix 6

7 Oracle Index Key Komprimierung eispiel 2: Prefix = 5 X ROWID0 X 2 ROWID02 X 2 3 ROWID03 5 Werte Y 4 ROWID04 eliminiert Y 3 C 5 ROWID05 6 ROWID06 Y 3 D 7 ROWID07 X ROWID08 2 ROWID09 X C 3 ROWID0 X 3 4 ROWID X 3 C 5 ROWID2 6 ROWID3 Prefix Suffix Oracle Index Key Komprimierung eispiel 2: Prefix = 6 X ROWID0 X 2 ROWID02 X 2 3 ROWID03 0 Werte Y 4 ROWID04 eliminiert Y 3 C 5 ROWID05 Y 3 C 6 ROWID06 Y 3 D 7 ROWID07 X ROWID08 X 2 ROWID09 X C 3 ROWID0 X 3 4 ROWID X 3 C 5 ROWID2 X 3 C 6 ROWID3 Prefix Suffix 7

8 Oracle Index Key Komprimierung Ermittlung der optimalen Prefix Länge Eliminierte Werte Prefix Länge Komprimierung January Customer January Customer 2 January Customer 3 January Customer January Customer 2 January Customer 3 January Customer February Customer February Customer 3 February Customer 3 February Customer 2 February Customer

9 Komprimierung Symbol-Tabelle January Customer January Customer 2 January Customer 3 January Customer January Customer 2 January Customer 3 January Customer February Customer February Customer 3 February Customer 3 February Customer 2 February Customer January February Customer Customer 2 Customer 3 Komprimierung Referenzen January February Customer Customer 2 Customer 3 9

10 Tabellen Komprimierung Oracle Implementierung Unkomprimierter lock Header Komprimierter lock Header Max = Eva Mustermann = Müller = D Max Mayer-Schulze 2 Eva Mustermann 3 Max Müller 4 Eva Mustermann 5 Gerd Müller Freiplatz Mayer-Schulze 2 3 D 4 5 Gerd D Freiplatz Lokale Symboltabelle Mehr Daten pro lock Komprimierte strukturierte Daten Tabellendaten Komprimierung einstellbar auf Tabellen -, Partition -, Tablespace - Ebene b Oracle 9i Release 2 Compression nur für ULK Loads/Direct Loads Konventionelles DML wird nicht komprimiert dvanced Compression Option Für alle DML-Operationen 0

11 Direct Load Operationen Stand g Vorteile von Direct Loads Performantes Laden von Massendaten Einsatz von Direct Load- Komprimierung Einsatz von NOLOGGING Direct Load- Operationen Direct Path Load beim SQL*Loader CRETE TLE S SELECT Paralleler INSERT Serieller INSERT mit PPEND Hint und Subquery Klausel Keine Unterstützung für INSERT, UPDTE Operationen Direct Load Operationen Neuer Hint in g Release 2 Release2 Hint PPEND_VLUES nun auch für INSERT Statements mit VLUES-Klausel : prod_ids NumList; EGIN FOR i IN..000 LOOP prod_ids(i) := i; END LOOP; FORLL j IN INSERT /*+ PPEND_VLUES */ INTO comp_tab VLUES (prod_ids(j),sysdate,...); :

12 Syntax Release2 eispiele CRETE TLE sales_history( ) COMPRESS CRETE TLE sales_history( ) COMPRESS FOR OLTP CRETE TLE sales_part (saleskey number,, region varchar2(0)) NOCOMPRESS PRTITION Y LIST (region) (PRTITION northwest VLUES ('NORTHWEST'), PRTITION southwest VLUES ('SOUTHWEST'), PRTITION northeast VLUES ('NORTHEST') COMPRESS FOR OLTP, ) Tabellen Komprimierung Oracle Database g OLTP Komprimierung pctfree leerer lock unkomprimierter lock komprimierter lock unkomprimierter lock komprimierter lock Legende Header... Symboltabelle Free Space Unkomprimierte Daten Komprimierte Data 2

13 Speicherplatzeinsparung ermitteln Vergleich der Segmente (komp. vs unkomp.) Überprüfung mit Packages und DD Views USER_SEGMENTS und USER_LOS (zusätzlich für LOS) Package DMS_SPCE (für Tabellen, Partitionen und SecureFile) Compression dvisor: Download von OTN compression-advisor.html set serveroutput on exec dbms_compression.getratio('sh','sles',0) b.2 automatisch enthalten mit veränderten Funktionen! Compression dvisor Neues Package DMS_COMPRESSION Release2 Wie ist der Nutzen von Komprimierung? Einsatz des Package DMS_COMPRESSION Ohne zusätzliche Installation Unterstützt partitionierte/nicht partitionierte Tabellen Funktionen: Erstellt temporäre Objekte um Komprimierungsratio zu berechnen nalysiert Zeilen auf Komprimierungstyp Einsatz auch für HCC Komprimierung 3

14 DMS_COMPRESSION Komprimierungstyp Release2 Mit Tabellenname und ROWID SELECT dbms_compression.get_compression_type('sh', 'NOCOMP','SOVEDDo8') Rate FROM dual; RTE ---- wobei : keine Compression 2: OLTP Compression DMS_COMPRESSION Komprimierungsratio declare b_cmp PLS_INTEGER; : begin DMS_COMPRESSION.GET_COMPRESSION_RTIO ( SCRTCHTSNME=> 'USERS', OWNNME => 'SH', TNME => 'SLES', PRTNME => 'SLES_Q_999', COMPTYPE => 2, LKCNT_CMP => b_cmp, LKCNT_UNCMP => b_uncmp, ROW_CMP => row_cmp, ROW_UNCMP => row_uncmp, CMP_RTIO => cmp_ratio, COMPTYPE_STR => cmp_str); : dbms_output.put_line('rtio => ' cmp_ratio); dbms_output.put_line('cmptype => ' cmp_str); : Release2 4

15 DMS_COMPRESSION Ergebnis Release2 : LKCNT_CMP => 5 LKCNT_UNCMP => 306 RTIO => 2,6 CMPTYPE => Compress For OLTP : Exadata Hybrid Columnar Compression Logical Compression Unit LOCK HEDER CU HEDER LOCK HEDER LOCK HEDER LOCK HEDER C C2 C3 C4 C5 C5 C6 C7 C8 Neue Kombination der nordnung nach Spalten und Zeilen Hybrid Columnar Compression (HCC) für Direct Load im RCHIVE Modus QUERY Modus CRETE TLE mass_tab ( ) COMPRESS FOR RCHIVE[LOW HIGH]; CRETE TLE mass_tab ( ) COMPRESS FOR QUERY [LOW HIGH]; 5

16 Unstrukturierte Daten b g Komprimierung für Contentmanagement- Daten wie z.. ilder, Dokumente usw. Separate Einstellung ist notwendig Voraussetzung ist Speicherung im SecureFile- Datentyp Speicherplatzeinsparungen abhängig von Datenformaten (Word,HTML,JPEG etc.) Performancegewinn abhängig von Queries Nutzbar auch im neuen gr2 Database Filesystem Neues LO-Management SecureFile ist neue Technologie für Large Objects Vorteile: essere Performance Vereinfachtes Lob-Management Mit Zusatzfunktionen: Komprimierung unabh. von Tabellenund Indexkomprimierung Deduplication Encryption (ES28, ES92 etc) Unabhängig von Table-Compression Wichtig: lle Programmierschnittstellen bleiben gleich! 6

17 Oracle SecureFiles Einige eispiele Release2 Einsatz von Compression CRETE TLE bilder (...bild LO) LO (bild) STORE S SECUREFILE (COMPRESS HIGH MEDIUM LOW...) Einsatz von DEDUPLICTE und Compression CRETE TLE media_secure (id NUMER,... lob LO) LO (lob) STORE S SECUREFILE (DEDUPLICTE COMPRESS HIGH) Secure hash Export Komprimierung Data Pump Metadaten Komprimierung seit Oracle 0g Oracle g erweitert Komprimierung auf Tabellendaten während des Exports Keine Dekomprimierung vor Import notwendig COMPRESSION={LL DT_ONLY [METDT_ONLY] NONE} Ein Schritt zur Komprimierung von Daten & Metadaten Komprimierte Daten direkt auf Platte (Komprimierung vor Schreiben) DumpFile Größe um bis zu 75% kleiner Transparent für pplikation Vollständiger Funktionsumfang von Data Pump für komprimierte Files verfügbar 7

18 Exportdateien Data Pump isher: Metadata Komprimierung (Default) mit expdp compression = METDT_ONLY... Neu: dvanced Compression expdp compression = LL DT_ONLY... Tabellendaten-Komprimierung während des Datapump Exports Keine Dekomprimierung vor dem Import notwendig pplikationstransparent: keine Einschränkung der Datapump- Funktionen Größenreduzierung bis zu 75% Netzwerk Komprimierung Data Guard Redo Transport Services Komprimiert Netzverkehr zwischen Primär- und Standby-Datenbank(en) In Netzwerken mit niedriger andbreite (<00Mbps) 5-35% weniger Zeit zum Transport von G Daten notwendig andbreitenverbrauch um bis zu 35% niedriger In Netzwerken mit hoher andbreite(>00 Mbps) Komprimierung reduziert Transportzeit nicht, aber andbreitenverbrauch um bis zu 35% niedriger Syntax: LOG_RCHIVE_DEST_3='SERVICE=denver SYNC COMPRESSION=ENLE [DISLE] 8

19 ackup Dateien RMN Komprimierung Release2 Vor g RMN ackup mit und ohne Komprimierung möglich Syntax für komprimiertes ackup RMN> CKUP S COMPRESSED CKUPSET DTSE; Mit dvanced Compression Option stehen unterschiedliche lgorithmen zur Verfügung RMN> CONFIGURE COMPRESSION LGORITHM 'SIC LOW MEDIUM HIGH'; ackup Dateien RMN Komprimierungsalgorithmen Release2 Komprimierung des ackupsets bevor auf Platte geschrieben wird Keine separate Dekomprimierung während eines Recovery notwendig isher: RMN Compression mit ZIP2 lgorithmus 3 neue lgorithmen mit dvanced Compression Option NME LGORITHM_DESCRIPTION COMPTIILITY SIC good compression ratio LOW maximum possible compression speed MEDIUM balance between speed and compression ratio HIGH maximum possible compression ratio

20 SP on Oracle: Development Update May 200 eispiel POC bei grossem deutschen Kunden Speicherbedarf für PoC-Tabellen in M Unkomprimiert OLTP und Secure Files Compress Exadata-HC- Query- Compress PoC-Tabelle mit Secure Files PoC-Tabelle PoC-Tabelle 3 mit Secure Files Speicherbedarf in M Speicherbedarf für Produktions-Daten in M Gesamtspeicherbedarf in T

21 Noch mehr Speicherplatz einsparen... Deferred Segment Creation Zero Size UNUSLE Index Release2 Dictionary-Only dd Column mit Default Wert (g) F &Fragen n t w o r t e n 2