DOAG 2008 LOB versus SecureFiles. Dr. Günter Unbescheid Database Consult GmbH Jachenau

Transkript

1 DOAG 2008 Dr. Günter Unbescheid Jachenau

2 Gegründet 1996 Kompetenzen im Umfeld von ORACLE-basierten Systemen Tätigkeitsbereiche Tuning, Installation, Konfiguration Expertisen/Gutachten Support, Troubleshooting, DBA-Aufgaben Datenmodellierung und design Datenbankdesign, Systemanalysen Programmierung: SQL,PL/SQL,Java, JSP, ADF UIX, BC4J Workshops 12/ Jachenau Folie 2 von 61

3 LOB-Erfahrungen Dokumenten-Speicherungssystem Strukturierte Ablage: Projekte Objekttypen Keys Row Level Security (VPD) derzeit ca. 1 Million Dokumente South Asian Languages Linguistische Datenbank noch in Entwicklung Texte Bibiographien Konkordanz linguistisches Tagging derzeit ca Dateien 12/ Jachenau Folie 3 von 61

4 Agenda Einführung: SecureFiles im Überblick Rückblick LOBs Features, Parameter, Internals Einblick SecureFiles Features, Parameter, Internals Kennzahlen 12/ Jachenau Folie 4 von 61

5 Einführung: SecureFiles 12/ Jachenau Folie 5 von 61

6 Originalton Oracle... SecureFiles is a major paradigm shift with the choice of files storage. SecureFiles offers the best-of-both-worlds architecture from both the database and filesystem worlds for storing unstructured data. SecureFiles is a completely new architecture inside the Oracle Database 11g for handling file or unstructured data. It features entirely new disk formats, network protocol, space management, redo and undo formats, buffer caching, and intelligent I/O subsystem. With SecureFiles, Oracle has perfected the use of the database for storage of all enterprise data. 12/ Jachenau Folie 6 von 61

7 Überblick SecureFiles Neues Feature in 11g zur Speicherung/Handhabung unstrukturierter Daten keine neuer Datentyp Superset der LOB-Schnittstellen Tablespace mit Automatic Segment Space Management ASSM Design-Ziele Performance dynamisch Speicherallokationen Speichereffizienz Compression, Deduplikation Sicherheit - Encryption Lizenz-Verhalten Basisfunktionalität enthalten in SE1, SE und EE Compression und Deduplication für EE mit Advanced Compression Option Encryption für EE mit Advanced Security Option 12/ Jachenau Folie 7 von 61

8 Überblick SecureFiles Komplette Überarbeitung von Speicherformat Space-/Memory-Management Zugriffsprotokoll (Netz) Caching und Locking Redo und Undo Algorithmen Cluster Verhalten Filesystem-Daten integrierbar in die Datenbank Konsistenz und Transaktionslogik einheitliche Security-Konfiguration einheitliche Backup-Verfahren Man erinnert sich... ifs (2000), Oracle Files (9i)... 12/ Jachenau Folie 8 von 61

9 Überblick SecureFiles Write Gather Cache puffert bis zu 4MB vor dem Schreiben auf Platte optimiert Speicherallokation ermöglicht optimiertes Platten-IO (reduzierte write-latency) alloziert vom Buffer-Cache auf Transaktionsbasis Space Management dynamische Allokation aufeinanderfolgender Blöcke auf Basis von in-memory Statisktiken Präallokation auf Basis vorausgehender Anforderungen optimierte Freigabe von Speicherplatz (deletes, updates) Pre-Fetching read-ahead Network Layer Lesen der bulk-daten ohne Staging 12/ Jachenau Folie 9 von 61

10 Überblick SecureFiles LOB-Index (10g) Zugriff auf Chunks + Verwaltung von Freiplatz (11g) Chunk-Verwaltung über eigene Meta-Blöcke (LOB- Segment) Reduzierte Parameter kein FREEPOOLS, FREELISTS, FREELIST GROUPS und PCTVERSION Speichereffizienz durch Komprimierung Standard-Algorithmen, Automatisierte Komprimierung Verschlüsselung Standard Algorithmen (3DES168, AES192 (default), AES256) transparentes Key-Management Integriert: XML DB, Multimedia, Spatial, Oracle UCM 12/ Jachenau Folie 10 von 61

11 Intermezzo: Dumps Syntaxüberblick 12/ Jachenau Folie 11 von 61

12 Formatierte Dumps - Tracefile Identifier alter session set tracefile_identifier = &tid; -- Segment Header dbms_space_admin.segment_dump -- Data Blocks alter system dump datafile &Fno block min &BMin block max &BMax; -- Undo Data alter system dump undo header '&RSN'; alter system dump undo block '&RSN' XID &USN &SLOT &SQN; -- Redo Data for Block Number alter system dump logfile '&LM' DBA min &Fno &Bno DBA max &Fno &Bno; 12/ Jachenau Folie 12 von 61

13 Rückblick: LOBs Features 12/ Jachenau Folie 13 von 61

14 LOB Komplette Überarbeitung des alten LONG-Typs Large Objects als Datentyp ab der Version 8.0 CLOB, BLOB, NCLOB und BFILE Maximalgrößen 10g/11g 1000 (LOB-)Spalten pro Tabelle Maximum size: (4 GB - 1) * DB_BLOCK_SIZE (8 TB to 128 TB) Maximum BFILE 4 GB Datenstrukturen Lob-Locator + Inode, LOB-Index, LOB-Segment Storage innerhalb der Row (<=4000 Bytes) oder LOB-Segment Speichereinheiten CHUNKs (LOB-Segment) 12/ Jachenau Folie 14 von 61

15 LOB-Welt 12/ Jachenau Folie 15 von 61

16 Rückblick: LOBs Internals 12/ Jachenau Folie 16 von 61

17 DDL-Beispiel (11g) -- db_securefile = PERMITTED (LOB per Default) -- db_block_size = LMTS Tablespace (System Managed) mit ASSM CREATE TABLE LOB.lt1 ( c1 NUMBER, c2 VARCHAR2(20), c3 CLOB) LOB (c3) STORE AS lob_lt1_c3 -- Variante: STORE AS BASICFILE lob_lt1_c3 ( TABLESPACE userlob STORAGE (INITAL 10M) -- ENABLE STORAGE IN ROW -- CHUNK 8192 INDEX ilob_lt1_c3 (STORAGE (INITIAL 2m)) ) TABLESPACE usertab STORAGE (INITIAL 1M); INSERT INTO lob.lt1 VALUES (1,'Test', null); INSERT INTO lob.lt1 VALUES (1,'Test', empty_clob()); 12/ Jachenau Folie 17 von 61

18 DDL Klauseln STORE AS <lob_segment_name> INDEX <lob_index_name> Klauseln erlauben explizite Namensgebung ansonsten: SYS_LOB<nn>$$, SYS_IL<nn>$$ TABLESPACE und STORAGE getrennt für Tabelle und (LOB-Segment + LOB-Index) möglich ACHTUNG: LOB-Index Storage wird ignoriert! ENABLE DISABLE STORAGE IN ROW maximale Speicherlänge in der Row 4000 (mit Overhead) CHUNK <chunk_size> kleinste(!) Speichereinheit für LOB-Segment-Daten (nicht Tabelle) Minimum Blockgrösse der LOB-Tablespace 12/ Jachenau Folie 18 von 61

19 DDL Klauseln CACHE / NOCACHE (LOB-Klausel) wirksam nur für LOB-Daten Zugriff per Buffer Cache oder direct read/write CACHE READS Zugriff per Buffer Cache nur für read-operations UNDO und Consistent Reads kein UNDO für LOB-Data nur für LOB-Locator und LOB-Index Änderungen CR per PCTVERSION (Anteil % von UNDO-Daten d. Segm.) oder RETENTION (= undo_retention init.ora) LOGGING volles REDO für LOB-Pages 12/ Jachenau Folie 19 von 61

20 Dump Legende: Blocktypen LOB Level 1 Bitmap Block (ASSM) Level 2 Bitmap Block (ASSM) Pagetable Segment Header Segment High Water Mark Lob-Locator (20 Bytes) Lob-Inode (16 Bytes) Extent-Ende Leerer oder unformatierter Block Daten Block Index Block (Dummy Row) Index Block PAGETABLE MANAGED LOB BLOCK 12/ Jachenau Folie 20 von 61

21 Internals create table enable storage insert empty_clob() Segment Map Table LOB Seg LOB Ind seg/obj: 0x115a9 csc: 0x00.27d94d itc: 2 flg: E typ: 1 DATA ntab=1 nrow=1 tl: 50 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 12 col 1: [ 6] 4b col 2: [36] c / Jachenau Folie 21 von 61

22 Internals LOB Locator: Length: 84(36) Version: 1 Byte Length: 1 LobID: Flags[ 0x02 0x0c 0x00 0x00 ]: Type: CLOB Storage: BasicFile Enable Storage in Row Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite Inode: Size: 16 Flag: 0x09 [ Valid DataInRow ] Future: 0x00 (should be '0x00') Blocks: 0 Bytes: 0 Version: Inline data[0] LOB-Locator identifiziert LOB-Instance Länge maximal/aktuell LOB-ID eindeutiger Identifizierer (2 Bytes für Index 8 Bytes OID) Inode Pointer zu Chunks nur bei enable storage in row 16 Bytes + maximal 12 DBAs á 4 Byte (48 Byte) ansonsten LOB-Index len(2), vsn(2), flg(4), bytl(2), lobid(10), inode(16), data 12/ Jachenau Folie 22 von 61

23 Internals create table enable storage insert clob 2000 rpad mit String bla seg/obj: 0x115b3 csc: 0x00.27eb5d itc: 2 flg: E typ: 1 DATA ntab=1 nrow=1 tl: 2052 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 13 col 1: [ 6] 4b col 2: [2036] c cc 07 e d c c c c c c c c c c c c c c c c c c c c c 12/ Jachenau Folie 23 von 61

24 Internals LOB Locator: Length: 84(2036) Version: 1 Byte Length: 1 LobID: cc Flags[ 0x02 0x0c 0x00 0x00 ]: Type: CLOB Storage: BasicFile Enable Storage in Row Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite Inode: Size: 2016 Flag: 0x09 [ Valid DataInRow ] Future: 0x00 (should be '0x00') Blocks: 0 Bytes: 2000 Version: Inline data[2000] LOB wird vollständig in variabler Länge mit der restlichen Rows im Datenblock gespeichert Byte Length 1 = BLOB/CLOB/BFILE LOB-Locator unverändert Inline data verweisen auf LOB- Storage len(2), vsn(2), flg(4), bytl(2), lobid(10), inode(16), data 12/ Jachenau Folie 24 von 61

25 Internals create table enable storage insert clob 2000 dann update auf Länge und ein weiteres Update tab 0, row tl: 62 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 14 col 1: [ 6] 4b col 2: [48] c c e b 0d b 0e b 1e 12/ Jachenau Folie 25 von 61

26 Internals LOB Locator: Length: 84(48) Version: 1 Byte Length: 1 LobID: Flags[ 0x02 0x0c 0x00 0x00 ]: Type: CLOB Storage: BasicFile Enable Storage in Row Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite Inode: Size: 28 Flag: 0x05 [ Valid InodeInRow(ESIR) ] Future: 0x00 (should be '0x00') Blocks: 2 Bytes: 3736 Version: DBA Array[3]: 0x01000b0d 0x01000b0e 0x01000b1e LOB wird ausgelagert in Chunks, Inode bleibt in Row DBAs zeigen auf Chunks des LOB-Segments Update erzeugt neue Lob-ID und neue Version des Inode len(2), vsn(2), flg(4), bytl(2), lobid(10), inode(16), data 12/ Jachenau Folie 26 von 61

27 Internals LOB Segment buffer tsn: 4 rdba: 0x01000b0c (4/2828) frmt: 0x02 chkval: 0x01db type: 0x28=PAGETABLE MANAGED LOB BLOCK Object Id LobId: PageNo 2 Version: 0x pdba: c c c c c c c c c c c c c c buffer tsn: 4 rdba: 0x01000b0d (4/2829) LobId: PageNo 0 buffer tsn: 4 rdba: 0x01000b0e (4/2830) LobId: PageNo 1 buffer tsn: 4 rdba: 0x01000b0f (4/2831) LobId: PageNo 0 buffer tsn: 4 rdba: 0x01000b10 (4/2832) LobId: PageNo 1 buffer tsn: 4 rdba: 0x01000b1e (4/2846) LobId: PageNo 2 12/ Jachenau Folie 27 von 61

28 LOB-Index BH (0x2abe4a9c) file#: 4 rdba: 0x01000b13 (4/2835) class: 4 ba: 0x2a81a000 frmt: 0x02 chkval: 0x0000 type: 0x23=PAGETABLE SEGMENT HEADER Highwater:: 0x01000b15 ext#: 0 blk#: 4 ext size: 8 Last Level 1 BMB: 0x01000b11 Last Level II BMB: 0x01000b BH (0x2b7ec6ec) file#: 4 rdba: 0x01000b14 (4/2836) class: 1 ba: 0x2b54c000 seg/obj: 0x115bd csc: 0x00.27f606 itc: 2 flg: E typ: 2 - INDEX Leaf block dump =============== kdxcolev 0 --> Level kdxconco 2 --> number of index Columns kdxconro 1 --> number of index entries kdxledsz 32 --> bytes ROWID data kdxlebksz > usable block size row#0[7982] flag: , lock: 2, len=50, data:(32): --> first part 3 RDBAs of "old" chunks b 0c b 0f b col 0; len 10; (10): aa col 1; len 4; (4): b 0c --> Page 2 of "old" LOB-Data end of chain end of leaf block dump / Jachenau Folie 28 von 61

29 LOB-Index disable storage row#0[7932] flag: ---D--, lock: 2, len=50, data:(32): e ff fc col 0; len 10; (10): a col 1; len 4; (4): row#1[7882] flag: , lock: 2, len=50, data:(32): e 9b fd fe b2 0e col 0; len 10; (10): b col 1; len 4; (4): Fixe Länge für data part: 4 8 DBAs LOB-IDs für alte und neue Daten 12/ Jachenau Folie 29 von 61

30 Internals Table-Segment create table disable storage insert clob BH (0x2fbf38ac) file#: 4 rdba: 0x01000b30 (4/2864) class: 1 ba: 0x2fa64000 seg/obj: 0x115e8 csc: 0x00.2aba02 itc: 2 flg: E typ: 1 - DATA tl: 34 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 16 col 1: [ 6] 4b col 2: [20] c LOB Locator: Length: 84(20) Version: 1 Byte Length: 1 LobID: c Flags[ 0x02 0x08 0x00 0x00 ]: Type: CLOB Storage: BasicFile Disable Storage in Row Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite 12/ Jachenau Folie 30 von 61

31 Internals LOB Index BH (0x2c7e4eac) file#: 4 rdba: 0x01000b3b (4/2875) frmt: 0x02 chkval: 0x0000 type: 0x23=PAGETABLE SEGMENT HEADER Highwater:: 0x01000b3d ext#: 0 blk#: 4 ext size: 8 BH (0x2fbece3c) file#: 4 rdba: 0x01000b3c (4/2876) seg/obj: 0x115ea csc: 0x00.2ab8e1 itc: 2 flg: E typ: 2 INDEX kdxcolev 0 kdxconro 3 row#0[7982] flag: ---D--, lock: 2, len=50, data:(32): col 0; len 10; (10): b col 1; len 4; (4): row#1[7932] flag: , lock: 2, len=50, data:(32): b b b b b 36 col 0; len 10; (10): c col 1; len 4; (4): row#2[7882] flag: , lock: 2, len=50, data:(32): b b b col 0; len 10; (10): c col 1; len 4; (4): Page Count Offset 1. Inode mit alter LOB-ID Neue LOB-ID mit den ersten 4 DBAs 12/ Jachenau Folie 31 von 61

32 Einblick: SecureFiles Features und Internals 12/ Jachenau Folie 33 von 61

33 Syntax-Strukturen 12/ Jachenau Folie 34 von 61

34 SecureFiles Voreinstellungen (init.ora) db_securefile ALWAYS versucht SF FORCE erzwingt SF oder scheitert PERMITTED SF nur wenn explizit genannt (Default) NEVER nicht erlaubt, SF Option erzeugen Fehler IGNORE keine SF, Options werden ignoriert -- Anlegen create table TEST (cpk number(10) not null, document clob) lob(document) store as SECUREFILE doc_sf (nocache logging retention auto COMPRESS DEDUPLICATE ENCRYPT) / 12/ Jachenau Folie 35 von 61

35 DDL-Beispiel (11g) -- db_securefile = PERMITTED (LOB per Default) -- db_block_size = 8192 CREATE TABLE LOB.lt1 ( c1 NUMBER, c2 VARCHAR2(20), c3 CLOB) LOB (c3) STORE AS SECUREFILE lob_lt1_c3 ( TABLESPACE userlob STORAGE (INITAL 10M) -- ENABLE STORAGE IN ROW -- CHUNK 8192 INDEX ilob_lt1_c3 ) TABLESPACE usertab STORAGE (INITIAL 1M) / INSERT INTO lob.lt1 VALUES (1,'Test', empty_clob()); UPDATE lob.lt1 SET c3 = rpad('bla',20, 'bla'); 12/ Jachenau Folie 36 von 61

36 SecureFiles Storage Klauseln RETENSION-Klausel regelt CR-Verhalten von SF in Abhängigkeit von UNDO-TS Wert MAX LOB-Segment wächst bis MAXSIZE bevor Undo- Platz freigegeben wird. Wert AUTO interne Kalkualtion der R-Periode Wert NONE keine Retention Wert MIN <n> - Vorhaltezeit in Sekunden FILESYSTEM_LIKE_LOGGING alternativ zu LOGGING oder NOLOGGING logging der Metadaten von SF ~ meatadata journaling 12/ Jachenau Folie 37 von 61

37 Internals Segment Map Table LOB Seg LOB Ind NGLOB: Lob Extent Header NGLOB: Hash Bucket NGLOB: Segment Header 12/ Jachenau Folie 39 von 61

38 Neue Blocktypen Lob Extent Header erster Block in jedem SF-LOB-Extent LOB Segment Header zweiter Block des ersten Extents Highwater Mark, Extent Map Übersicht über Hash Bucket Blöcke Hash Buckets variable Chunk-Grössen 7 Buckets für Chunks unterschiedlicher Größenordnungen 2k to 32K, 32k to 64k, 64k to 128k, 128k to 256k, 256k to 512k, 512k to 1m, 1m to 64m Freipaltzverwaltung über Committed Free Space (CFS) [Retention] und Uncommited Free Space (UFS) 12/ Jachenau Folie 40 von 61

39 Internals - Table BH (0x2e3f92dc) file#: 4 rdba: 0x01000b97 (4/2967) seg/obj: 0x115ff csc: 0x00.2af286 itc: 2 flg: E typ: 1 DATA tab 0, row tl: 64 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 18 col 1: [ 6] 4b col 2: [50] c e 00 1e c c c c c c c Lob-Locator mit Lob-ID 30 Bytes Lob-ID nach wie vor 10 Bytes Inline Daten 20 Bytes 12/ Jachenau Folie 41 von 61

40 Internals Table LOB Locator: Length: 84(50) Version: 1 Byte Length: 1 LobID: e Flags[ 0x02 0x0c 0x00 0x80 ]: Type: CLOB Storage: SecureFile Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite SecureFile Header: Length: 30 Old Flag: 0x48 [ DataInRow SecureFile ] Flag: 0x90 [ INODE Valid ] Layers: Lengths Array: INODE:24 INODE: Länge ohne Overhead (HEX) c c c c c c c 12/ Jachenau Folie 42 von 61

41 Beispiel 20000: Table SecureFiles mit disable storage in row Update CLOB auf Gesamtlänge von Bytes col 2: [44] c a e b LOB Locator: Length: 84(44) Version: 1 Byte Length: 1 LobID: a Flags[ 0x02 0x0c 0x00 0x80 ]: Type: CLOB Storage: SecureFile Characterset Format: IMPLICIT Partitioned Table: No Options: ReadWrite SecureFile Header: Length: 24 Old Flag: 0x40 [ SecureFile ] Flag: 0x90 [ INODE Valid ] Layers: Lengths Array: INODE:18 INODE: Chunk DBAs mit Längenbyte(s) e b / Jachenau Folie 43 von 61

42 Internals Segment Map Table LOB Seg E0 E1 E2 LOB Ind NGLOB: Lob Extent Header NGLOB: Hash Bucket NGLOB: Segment Header LOCAL LOBS NGLOB: Persistent Undo 12/ Jachenau Folie 44 von 61

43 Beispiel 3: Table SecureFiles mit disable storage in row Update CLOB verkürzt von Gesamtlänge auf 3 Bytes Itl Xid Uba Flag Lck Scn/Fsc 0x01 0x f1 0x00c002a5.01a0.0f C--- 0 scn 0x b1a5f 0x02 0x e 0x00c004cd.01b U- 1 fsc 0x b5aa2 tl: 51 fb: --H-FL-- lb: 0x2 cc: 3 col 2: [37] c f b LOB Locator: Length: 84(37) Version: 1 Byte Length: 1 LobID: f9 Flags... SecureFile Header: Length: 17 Old Flag: 0x40 [ SecureFile ] Flag: 0x90 [ INODE Valid ] Layers: Lengths Array: INODE:11 INODE: Chunk DBAs schrumpfen 12/ Jachenau Folie 45 von 61

44 Beispiel 3: LOB Segment frmt: 0x02 chkval: 0xd388 type: 0x3f=NGLOB: Segment Header Extent Map x length: 16 0x010008a9 length: 8 0x010008b1 length: 8 0x01000b49 length: 8 0x01000bb1 length: 8 BH (0x2cffd09c) file#: 4 rdba: 0x d (4/1933) class: 8 ba: 0x2cfda000 Hash Bucket Header Dump Range: 2k to 32k Inst:1 Flag:5 Total:0 FSG_COUNT:0 OBJD:71184 Inc:0 Free Space Chunk Summary Inst:1 Minc:1 Maxc: Count:3 Tot:5 MAXC:6 CFS Chunk List Chunk:0 DBA: 0x Len:1 Xid: 0x c7 Ctime:1 Chunk:1 DBA: 0x010008b0 Len:1 Xid: 0x cd Ctime: Chunk:2 DBA: 0x Len:2 Xid: 0x cd Ctime: Deleted Chunk:3 DBA: 0x Len:2 Xid: 0x f1 Ctime:1 Deleted Chunk:4 DBA: 0x Len:1 Xid: 0x e Ctime:1 Deleted Chunk:5 DBA: 0x010008b0 Len:1 Xid: 0x f1 Ctime: / Jachenau Folie 46 von 61

45 Beispiel 4: Table Einfügen Lob der Länge Bytes Itl Xid Uba Flag Lck Scn/Fsc 0x01 0x x00c029a9.01ab.0a fsc 0x x02 0x e 0x00c004cd.01b4.35 C--- 0 scn 0x b5aa2 ntab=1 nrow=2 tab 0, row tl: 53 fb: --H-FL-- lb: 0x1 cc: 3 col 2: [39] c c d cb e d 0a 28 LOB Locator: Length: 84(39) Version: 1 Byte Length: 1 LobID: c.20 SecureFile Header: Length: 19 Old Flag: 0x40 [ SecureFile ] Flag: 0x90 [ INODE Valid ] Layers: Lengths Array: INODE:13 INODE: cb e d 0a 28 1 Chunk der Länge 40 (0x28) DBA 01000d0a 12/ Jachenau Folie 47 von 61

46 Beispiel 4: LOB-Segment Extent Map x length: 16 0x010008a9 length: 8 Neues Extent 0x010008b1 length: 8 0x01000b49 length: 8 0x01000bb1 length: 8 0x01000d09 length: aus Hash Bucket Range: 256k to 512k Free Space Chunk Summary CFS Chunk List CFS committed free space deleted nicht frei Deleted Chunk:0 DBA: 0x01000d0a Len:40 Xid: 0x Ctime: Range: 512k to 1m Free Space Chunk Summary Inst:1 Minc:1 Maxc:1 Count:1 Tot:127 MAXC:1 CFS Chunk List Chunk:0 DBA: 0x01000d32 Len:87 Xid: 0x d6 Ctime: / Jachenau Folie 48 von 61

47 Beispiel 5: Extent Aufbau length: 16 length: 8 length: 8 length: 1024 length: 1024 length: 128 length: 128 length: 128 length: 1024 length: 1024 length: 1024 length: 1024 length: 128 -> 13x length: 1024 length: 8192 length: 1024 length: 1024 length: 1024 length: 1024 length: 2560 length: 2560 length: 2560 length: 2560 length: 2560 length: 2560 length: 2560 length: 2560 length: 2560 Aufbau von SF als BLOB mit Standardeinstellungen enable storage in row Einfügen einer Datei der Größe 144M Ungünstige Extent- Entwicklung bei Standard Storage Uniform Size (Beispiel 20M) zeigt kontrolliertere Entwicklung 12/ Jachenau Folie 49 von 61

48 Beispiel 5: Table SecureFile Header: Length: 357 Old Flag: 0x40 [ SecureFile ] Flag: 0x90 [ INODE Valid ] Layers: Lengths Array: INODE:351 INODE: Teil des LOB-Locators Gespeichert mit der Row Typ: hier 2 Längen-Byte f7 1c ce b ed c c a 7f d 8a a 7f a a f 0a a a Typ: hier 1 Längen-Byte a 01 4d f 8a a a 7f a 7f a 7f a 8a 7f a 7f a 7f a 7f c 8a 7f b 0a Länge (HEX) 7f b 8a 7f a 0a 7f a 7f d 0a 7f d 8a Chunk DBA 00 2c 0a 7f a 03 ff a fa 12/ Jachenau Folie 50 von 61

49 Write Cache / IO Pool SF nutzt Shared IO Pool zur Optimierung der IO-Operationen puffert writes Call-übergreifend optimiert IO bei kleineren Chunks Daten spezifisch für Session Infos per v$sgainfo und v$sga_dynamic_components _shared_io_pool_size 24 MB (default) (veränderbar) bei Überlauf Nutzung der PGA Statistiken hierzu in v$securefile_timer View NAME INVOCATIONS LAYER_NAME kdlw kcbi PGA alloc timer 0 Write gather cache kdlw kcbi PGA free timer 0 Write gather cache kdlw kcb PGA borrow timer 0 Write gather cache kdlw kcb PGA free timer 0 Write gather cache 12/ Jachenau Folie 51 von 61

50 Deduplication Eliminiert Redundanzen Speichereffizienz innerhalb eines LOB-Segmentes nicht Partitions-übergreifend secure hashes Individuelle LOB-IDs, individuelle Lob Locator Identität ermittelt über prefix hash und full hash Einstieg auf LOB-Segment über LOB-Index Redundanzfreie Speicherung in Chunks beachten: Blockgrösse = minimale Chunkgröße 12/ Jachenau Folie 52 von 61

51 Deduplication - Table seg/obj: 0x11685 csc: 0x00.2d8b47 itc: 2 flg: E typ: 1 DATA Itl Xid Uba Flag Lck 0x01 0x f3 0x00c003b9.01e U- 2 ntab=1 nrow=2 tl: 186 fb: --H-FL-- lb: 0x1 cc: 3 col 0: [ 2] c1 1a col 1: [ 6] 4b col 2: [172] LOB Locator: Length: 84(172) LobID: f.a5 SecureFile Header: Length: 152 Old Flag: 0x40 [ SecureFile ] Flag: 0x81 [ DEDUP Valid ] Layers: Lengths Array: DEDUP:146 DEDUP: Version: 0 Type: SHA1 (2) Flag: 0 Length: 146 Prefix Hash Key (20): 9c fd cd 88 c8 48 a7 3f 95 df f6 f7 26 6f d8 67 a1 Full Hash Key (20): 9c fd cd 88 c8 48 a7 3f 95 df f6 f7 26 6f d8 67 a1 12/ Jachenau Folie 53 von 61

52 Deduplikation LOB Index seg/obj: 0x11687 csc: 0x00.2d8a7c itc: 2 flg: E typ: 2 - INDEX Itl Xid Uba Flag Lck 0x01 0x x x02 0x f3 0x00c003b9.01e U- 1 kdxconco 3 kdxconro 1 Index enthält 3 Spalten kdxlebksz Row eingefügt row#0[7732] flag: , lock: 2, len=300, data:(255): f a b c c col 0; len 20; (20): 9c fd cd 88 c8 48 a7 3f 95 df f6 f7 26 6f d8 67 a1 col 1; len 20; (20): 9c fd cd 88 c8 48 a7 3f 95 df f6 f7 26 6f d8 67 a1 col 2; NULL DBA mit length Lob-ID Hash Keys 12/ Jachenau Folie 54 von 61

53 Compression und Encryption Wirkungsbereich: LOB-Segment Compression automatische Erkennung der Formate Auswirkungen: Latenzzeit, CPU-Last Encryption Algorithmen: 3DES168, AES128, AES192 (default), AES256 durchgeführt auf Blocklevel für LOB-Column <LOB compression clause> ::= { COMPRESS [ HIGH MEDIUM ] NOCOMPRESS } <LOB encryption clause> ::= { ENCRYPT [ USING 'encrypt_algorithm' ] [ IDENTIFIED BY password ] DECRYPT } 12/ Jachenau Folie 55 von 61

54 Einblick: SecureFiles Performance-Kennzahlen 12/ Jachenau Folie 56 von 61

55 Performancevergleich Throuput [MB/s] Cache/Logging write Cache/Logging read Faktor 8,18 Secure File Basic File Hardware: Pentium III@900MHz; Windows LobSize: 10MB 12/ Jachenau Folie 57 von 61

56 Performancevergleich Faktor 1,2 Faktor 2,9 Throuput [MB/s] Secure File Basic File 0 Cache/Logging write Cache/Logging read Hardware: Intel Xeon 2-CPU@3GHz - LobSize: 10MB 12/ Jachenau Folie 58 von 61

57 Resumee 12/ Jachenau Folie 59 von 61

58 Resumee SecureFiles Dynamische Chunkgrößen Entlastung des LOB-Index Eigene Space-Verwaltung über Hash-Bucket-Blöcke Eigene Persistent Undo-Blöcke Deutlich verbessert Schreib- und Leseraten Gewohntes API-Umfeld Vertraute Syntax Erben die RAC-Orientierung von ASSM 12/ Jachenau Folie 60 von 61

59 Danke für s Zuhören... 12/ Jachenau Folie 61 von 61