Space The Final Frontier

Transkript

1 DOAG Konferenz Space The Final Frontier Martin Hoermann info@ordix.de

2 Oracle7 Server Concepts Manual 1

3 Bedienungsanleitung segment.sql FAQ: Timestamp Ohne geht s leider nicht Zusätzliche Unterlagen Literatur Infos zum Nachschlagen 2

4 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 3

5 Unendliche Weiten CREATE TABLESPACE data DATAFILE '/oracle/app/oracle/oradata/startrek/data01.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 2G EXTENT MANAGEMENT LOCAL AUTOALLOCATE SEGMENT SPACE MANAGEMENT AUTO; 4

6 Datafile Fileheader (z. B. 8K) Datafile Extent Map (z. B. 1M) Freies Extent 200 MB aus SIZE Klausel Dateigröße im Betriebssystem 5

7 Data Dictionary DBA_TABLESPACE_USAGE_METRICS TABLESPACE_SIZE USED_SPACE (in Blöcken) YES USER_BYTES BYTES DBA_DATA_FILES AUTOEXTENSIBLE MAXBYTES 6

8 Kilo, Mega, Giga, Tera, Peta, Exa Bereich 2er Potenz Entspricht Byte oder 0 Kilobyte Byte Megabyte Kilobyte Gigabyte Megabyte Terabyte Gigabyte Petabyte Terabyte Exabyte Petabyte 7

9 Smallfile vs. Bigfile Tablespace 8 KB Block Size Smallfile Bigfile Max. Datafile 32 GB 32 TB Anzahl Datafiles je Tablespace Summe 31,94 TB 32 TB Physical Database Limit: Datendateien pro Datenbank Smallfile: ca. 64 Tablespaces Bigfile: Tablespaces 8

10 Tablespace & Co 10g: BIGFILE Type Tablespaces Versus SMALLFILE Type [ID ] Master Note for Tablespace Issues [ID ] Database Limits [ID ] What is the Maximum Datafile Size Limit In an Oracle Database? [ID ] 9

11 Bigfile Tablespace Database Maximale Größe der Datenbank (vereinfacht ohne Ausnahmen) 8 KB Block Size Smallfile Bigfile Max. Datafile 32 GB 32 TB Anzahl Datafiles (2 16 3) Summe TB TB ~ 2 PT ~ 2 EB Keine Bigfile Tablespaces bei UNDO TEMP SYSTEM 10

12 ASM-Limit Noch mehr speicher. Exadata ASM-Disk ASM total Nein 2 TB 20 PB Ja 4 PB 40 EB Vergrößert nicht das maximale Volumen einer einzelnen Datenbank 11

13 Früher war alles besser SYSTEM DATA INDEX REDO1 REDO2 12

14 Stripe an Mirror Everything SYSTEM DATA INDEX REDO1 REDO2 SAME 13

15 Think about it Trennung von Tabellen und Indizes sinnvoll?

16 Wie viele Tablespaces? Interne Tablespaces SYSTEM SYSAUX UNDO TEMP Tablespaces der Anwendungen Starte mit einem Tablespace, Ausnahmen wenn: Sehr viele / große Read Only Objekte (kürzere Backups) Datenbewirtschaftung mit Transportable Tablespaces Sehr große Datendateien wegen langer Restore-Zeiten 15

17 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 16

18 Was ist ein Segment segments.sql TYP Objekt? Segment? Table Ja Ja Index Ja Ja View Ja Nein Trigger Ja Nein Rollback Nein Ja Lobindex Nein Ja dynamischer Speicherbedarf Speicherbedarf nur Definition z. B. DB Verwaltung 17

19 Warums Extents Platzverbrauch vs. Anzahl Extents Jedes Extent = 1 Block Jedes Extent ist zu 100% gefüllt (Blockfüllgrad später) Jedes Extent = 64 MB Optimierung von Full Table Scans (db_file_multiblock_read_count) Optimales Pre-Fetch im Storage System Verwaltung Extents sehr sparsam 18

20 Locally Managed Tablespace Uniform Size Tablespace SIZE_S SIZE_M SIZE_L Size 64K 1M 64M Idee Je Tablespace eine ideale Größe Keine Extent-Fragmentierung Geringe Anzahl Extents Jedes Segment vorgesehene Größe 19

21 Locally Managed Tablespace Autoallocate Größe Anzahl 64 K 16 1 M 63 8 M M 64 MB 1 GB Extent-Größe abhängig von Oracle Version partitioniert oder nicht Platz im Tablespace Parallele Erstellung z. B. 8 MB in Partitionen and we said... Autoallocate is by definition Autoallocate - it is automatic and is not predicable. Well, it is predicable - but only version by version - it changes with releases. 20

22 Uniform vs. Autoallocate Followup November 30, am Central time zone: Actually, over the years since this was published - I've come to recognize that system allocated extents are very nice. I've changed my position on this entirely. Do not use uniform - just use system allocated extent sizes. Segments will start small and grow in extent size as needed. 21

23 DBA_EXTENTS SEGMENT EXTENT_ID BLOCK_ID BLOCKS PETROL YELLOW GRAY YELLOW PETROL YELLOW

24 DBA_FREE_SPACE BLOCK_ID BLOCKS

25 Deferred Segment Creation (11.2.0) Initiales Extent wird mit dem ersten Datensatz angelegt CREATE TABLE data ( id NUMBER PRIMARY KEY... ) SEGMENT CREATION DEFERRED ; 24

26 Deferred Segment Creation Keine Unterstützung Für Objekte der Schemata SYS, SYSTEM, PUBLIC, OUTLN, oder XDB Für index-organized tables, clustered tables, globale und Session-spezifische temporary tables, internal tables, typed tables, AQ tables, external tables Für Bitmap Join und Domain Indizes Für nicht-partitionierte Objekte in Dictionary-managed Tablespaces Exp exportiert keine Segmente ohne Extents Fehler bei Insert innerhalb von serialisierbaren Transaktionen Quota Prüfung erst beim Insert Erste Sequenznummer geht verloren

27 Deferred Segment Creation 11.2 Database New Feature Deferred Segment Creation [Video] [ID ] Bug OERI [kcbgtcr_1a] from MAX/MIN on table with deferred segment creation Bug ALTER TABLE.. ADD COLUMN causes problems with deferred segment creation Bug ORA-8176 from DML on an INTERVAL Partitioned Table OR table with deferred segment creation Bug ALTER TABLE MOVE creates segment with segment creation deferred table E-ORA: ERROR at line 73: ORA-00922: missing or invalid option / Segment Creation Deferred Bug ORA-600 [qesmagettblseg1] from deferred segment creation in RAC Bug DBMS_REDEFINITION does not use deferred segment creation in Bug ORA-604 ORA-959 on object with Deferred Segment Creation Bug Errors from SQLLDR loads into non-partitioned tables with deferred segment creation 26

28 Truncate Table TRUNCATE TABLE [DROP STORAGE] High Water Mark Extent 0 Extent 1 Extent 2 Extent 0 High Water Mark Annahme: MINEXTENTS = 1 27

29 Truncate Table TRUNCATE TABLE REUSE STORAGE High Water Mark Extent 0 Extent 1 Extent 2 High Water Mark Extent 0 Extent 1 Extent 2 28

30 Truncate Table TRUNCATE TABLE DROP ALL STORAGE High Water Mark Extent 0 Extent 1 Extent 2 Extent 0 High Water Mark 29

31 DBMS_SPACE_ADMIN ( ) BEGIN dbms_space_admin.materialize_deferred_segments ( schema_name => user, table_name => NULL -- ALLE ); dbms_space_admin.drop_empty_segments (schema_name => user, table_name => 'TABLE_XYZ' ); END; / High Water Mark High Water Mark Extent 0 Extent 0 30

32 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 31

33 Unendliche Weiten CREATE TABLE data ( id NUMBER PRIMARY KEY... ) SEGMENT CREATION IMMEDIATE ; 32

34 Blöcke Extent 0 Class 8 = 1 st Level Bitmap Block Class 9 = 2 nd Level Bitmap Block Class 4 = Segment Header Class 1 = Data SELECT * FROM v$bh; 33

35 Block Classes Class# Class 1 data block 2 sort block 3 save undo block 4 segment header 5 save undo header 6 free list 7 extent map 8 1st level bmb 9 2nd level bmb 10 3rd level bmb 11 bitmap block 12 bitmap index block 13 file header block 14 unused 15 system undo header 16 system undo block 17 undo header 18 undo block SELECT * FROM v$fixed_view_definition WHERE view_name = 'GV$WAITSTAT' 34

36 Block Structure (Class 1, data block) FILE#=7 BLOCK#=47 SCN=8889 TYPE=DATA OBJECT#=654 NextFreeBlock=121 1 I I I RBS 7 SCN 9711 TransX Block Header Row Directory Interested Transaction List (ITL) Datenbereich 3 Schröder Gerhard Plümeke Adenauer Kirchplatz 3. 1 Kohl An der Eiche SCN=8889 Block Footer 35

37 Block Structure, Row Directory FILE#=7 BLOCK#=47 SCN=8889 TYPE=DATA OBJECT#=654 NextFreeBlock=121 1 I I I RBS 7 SCN 9711 TransX Row Directory Row-Number Referenz auf ITL (Sperre) Länge in Bytes und damit Adresse der Felder Länge 0 = NULL NULL-Felder am Ende zusammengefasst 3 Schröder Gerhard Plümeke Adenauer Kirchplatz 3. 1 Kohl An der Eiche SCN=

38 Block Structure FILE#=7 BLOCK#=47 SCN=8889 TYPE=DATA OBJECT#=654 NextFreeBlock=121 1 I I I RBS 7 SCN 9711 TransX Interested Transaction List Referenz auf Transaktion die den Block verändert Bereich dynamisch (MINTRANS MAXTRANS) Verweis vom Row Directory 3 Schröder Gerhard Plümeke Adenauer Kirchplatz 3. 1 Kohl An der Eiche SCN=

39 Block Structure FILE#=7 BLOCK#=47 SCN=8889 TYPE=DATA OBJECT#=654 NextFreeBlock=121 1 I I I RBS 7 SCN 9711 TransX Schröder Gerhard Plümeke Adenauer Kirchplatz 3. 1 Kohl An der Eiche SCN=8889 Datenbereich Nur Werte (keine Feldtrenner) Wächst dynamisch pctfree Blockfüllgrad: Code Bedeutung 0000 Unformatted block 0001 Block logically full 0010 <25% free space % - 50% free % - 75% free 0101 >75% free space 38

40 Datentypen - Date Gruppe Datentyp Bytes Datum DATE 7 TIMESTAMP(6) 11 TIMESTAMP (6) WITH TIMEZONE 13 TIMESTAMP (6) WITH LOCAL TIMEZONE 11 Wähle alle Datentypen die den Anforderungen genügen Wähle von alle potentiellen Kandidaten den mit der geringsten Größe 39

41 Datentypen - Text Gruppe Datentyp Größe Text CHAR Je nach Definition VARCHAR2 / NVARCHAR2 Abhängig vom Inhalt CLOB / NCLOB / BLOB Abhängig vom Inhalt VARCHAR NLS_LENGTH_SEMANTICS VARCHAR2( 20 BYTE ) VARCHAR2( 20 CHAR ) Character Set Character Set / National Character Set Single Byte vs. Multi Byte 40

42 Datentypen - Zahl Gruppe Datentyp Größe Zahl NUMBER Abhängig vom Inhalt BINARY_FLOAT 4 BINARY_DOUBLE 4 NUMBER = 6 Byte = 2 Byte Wert = 1/3 NUMBER(10,3) = 3 Byte NUMBER = 21 Byte 41

43 Datentypen NULL? Kein Platzverbrauch (auch CHAR) im Datenbereich Benötigt 1 Byte im Row-Header Trailing NULL-Columns werden auf 1 Byte komprimiert Analyse dump vsize / sys_op_opnsize 42

44 DBMS_SPACE SQL> call show_space('tcom_performance_data'); Unformatted Blocks FS1 Blocks (0-25)... 1 FS2 Blocks (25-50)... 0 FS3 Blocks (50-75)... 0 FS4 Blocks (75-100) Full Blocks ,410 Total Blocks ,080 Unused Blocks

45 DBMS_SPACE Extent 0 Extent 1 Extent 2 Extent 3 SPACE_USAGE UNFORMATTED FS1-0% - 25% free FS2-25% - 50% free FS3-50% - 75% free FS4-75% - 100% free UNUSED_SPACE Last Used Block Last Extent File ID Last Extent Block ID Unused Blocks FULL_BLOCKS 44

46 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 45

47 Reorganisation Warum? Verdichtung der Daten Sortierung der Daten Verfahren Innerhalb des Segments oder außerhalb? Online vs. Offline Optionen wie Sortieren verfügbar? 46

48 Segment Reorganisation Extents HWM exp / imp Copy ALTER TABLE MOVE dbms_redefinition HWM Segment Header Block leer <25% <50% <75% <100% =100% 47

49 Segment Shrink Extents Shrink Compact HWM Shrink Cascade HWM HWM Segment Header Block leer <25% <50% <75% <100% =100% 48

50 Think about it Nachhaltig messbare Vorteile? 49

51 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 50

52 Kompression Index Compression Table Compression DWH Compression OLTP Compression Secure File Compress Deduplicate Exadata: Hybrid Columnar Compression 51

53 Indexkompression No Compress Compress Value RowID Meier 0x4711 Meier 0x2311 Meier 0x0815 Meyer 0x3333 Meyer 0x3477 Value RowID [... ] Meier 0x4711 0x2311 0x0815 Meyer 0x3333 0x3477 Meyerei 0x

54 Indexkompression analysieren ANALYZE INDEX i_name VALIDATE STRUCTURE; kunde id name vorname SELECT opt_cmpr_count, opt_cmpr_pctsave FROM index_stats; ALTER INDEX i_name REBUILD ONLINE COMPRESS 1; dba_indexes: blevel / leaf_blocks dba_segments: blocks Tuning I/O intensiver Systeme mit 9i DOAG Konferenz 2003

55 Tabellenkompression Tabelle PODIUM_LE_TOUR Tabelle PODIUM_LE_TOUR_COMP B Andreas KLÖDEN 07 0A Alexandre VINOKOUROV TEAM BIANCHI A 0B DISCOVERY CHANNEL TEAM 08 TEAM TELEKOM Daten- Tabelle Jan ULLRICH Ivan Basso 3 2 T-MOBILE TEAM TEAM CSC Lance ARMSTRONG 1 DISCOVERY CHANNEL TEAM Ivan Basso 3 TEAM CSC Andreas KLÖDEN 2 T-MOBILE TEAM Lance ARMSTRONG 1 US POSTAL-BERRY FLOOR Alexandre VINOKOUROV 3 TEAM TELEKOM Jan ULLRICH 2 TEAM BIANCHI Lance ARMSTRONG 1 US POSTAL-BERRY FLOOR S0B S0A S09 S08 S07 S06 S05 S04 S03 S02 S01 S00 TEAM CSC T-MOBILE TEAM US POSTAL-BERRY FLOOR Ivan Basso Jan ULLRICH Lance ARMSTRONG Symbol- Tabelle 54

56 Secure File - Compress Lustig weihnachtsmann.ppt (7 MB) Compress 55

57 Secure File - Deduplicate Lustig weihnachtsmann.ppt (7 MB) Deduplicate 56

58 Think about it Hohe Kompression = schlechtes Datenmodell? 57

59 Agenda Tablespaces & Data Files Segments & Extents Blocks & Datentypen Reorganisation Kompression Fazit 58

60 Tablespace 1 tablespace1.sql SELECT u.tablespace_name, ROUND( u.used_space*t.block_size / ) AS used_space_mb, ROUND( u.tablespace_size*t.block_size / ) AS tablespace_size_mb, round( u.used_percent, 2 ) AS used_percent FROM dba_tablespace_usage_metrics u, dba_tablespaces t WHERE u.tablespace_name = t.tablespace_name ORDER BY u.tablespace_name; 59

61 Tablespace 2 tablespace2.sql SELECT groesse_mb.tablespace_name, round( groesse_mb.a ) gesamt, round( nvl( groesse_belegt.b, 0 )) belegt, round( groesse_mb.a - nvl( groesse_belegt.b, 0 )) frei, round(( groesse_mb.a - nvl( groesse_belegt.b, 0 )) / groesse_mb.a * 100 ) pct_free, round( nvl( groesse_belegt.b, 0 ) / groesse_mb.a * 100 ) pct_used FROM ( SELECT tablespace_name, sum( bytes ) / 1024 / 1024 a FROM dba_data_files GROUP BY tablespace_name UNION SELECT tablespace_name, sum( bytes ) / 1024 / 1024 a FROM dba_temp_files GROUP BY tablespace_name ) groesse_mb, ( SELECT tablespace_name, sum( b ) b FROM ( SELECT tablespace_name, sum( bytes ) / 1024 / 1024 b FROM dba_segments GROUP BY tablespace_name UNION SELECT t.tablespace_name, sum( v.used_blocks * t.block_size ) / 1024 / 1024 b FROM v$sort_segment v, dba_tablespaces t WHERE v.tablespace_name = t.tablespace_name GROUP BY t.tablespace_name ) GROUP BY tablespace_name ) groesse_belegt WHERE groesse_belegt.tablespace_name (+) = groesse_mb.tablespace_name ORDER BY groesse_mb.tablespace_name; 60

62 Tablespace 2 verfügbarer Platz tablespace2.sql SELECT tablespace_name, sum( bytes ) / 1024 / 1024 a FROM dba_data_files GROUP BY tablespace_name UNION SELECT tablespace_name, sum( bytes ) / 1024 / 1024 a FROM dba_temp_files GROUP BY tablespace_name 61

63 Tablespace 2 belegter Platz tablespace2.sql SELECT tablespace_name, sum( bytes ) / 1024 / 1024 b FROM dba_segments GROUP BY tablespace_name UNION SELECT t.tablespace_name, sum( v.used_blocks * t.block_size ) / 1024 / 1024 b FROM v$sort_segment v, dba_tablespaces t WHERE v.tablespace_name = t.tablespace_name GROUP BY t.tablespace_name 62

64 Show Space show_space.sql create or replace procedure show_space ( p_segname in varchar2, p_owner in varchar2 default user, p_type in varchar2 default 'TABLE', p_partition in varchar2 default NULL )... SQL> call show_space('tcom_performance_data'); Unformatted Blocks FS1 Blocks (0-25)... 1 FS2 Blocks (25-50)... 0 FS3 Blocks (50-75)... 0 FS4 Blocks (75-100) Full Blocks ,410 Total Blocks ,080 Unused Blocks

65 Dump dump.sql SELECT dump( a_date ) FROM test; 64

66 Zentrale Paderborn Westernmauer Paderborn Tel.: Seminarzentrum Wiesbaden Kreuzberger Ring Wiesbaden Tel.: Zentrales Fax: ORDIX 0 Weitere Geschäftsstellen in Köln, Münster und Neu-Ulm info@ordix.de Internet: Vielen Dank für Ihre Aufmerksamkeit!