Safe Harbor Statement

Transkript

1

2 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, und may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, und should not be relied upon in making purchasing decisions. The development, release, und timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 2

3 DOAG & ORACLE Cinema Production proudly presents Directed by Frank Schneede Leitender Systemberater, BU Database Oracle Deutschland B. V. & Co. KG Exadata in der Clone- Praxis Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database

6 Herkömmlicher Test/Dev Lifecycle auf Exadata Produktion läuft auf Exadata Standby läuft (oft) auf Exadata Gemeinsame Test Master DB wird aus Prod oder Standby auf non-exadata HW (z. B. ZFS) erzeugt Maskieren sensibler Daten Test/Dev Datenbanken hier erzeugen Test/Dev Datenbanken profitieren von platzsparender Snapshot Technologie Snapshot Funktionalität der verwendeten non-exadata Technologie wird genutzt KEINE Exadata Schlüsselfunktionen! Produ ction ZFS Hardware John Test DB Exadata Hardware Test Master Jane Test DB Stand by Jim Dev DB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 6

7 Test/Dev Lifecycle mit Exadata Snapshots Native Funktionalität für platzsparende Snapshots auf Exadata Hardware Nutzung aller Exadata Schlüsselfunktionen; z.b. Smart Scan; Smart Log; Smart Flash Cache; EHCC; Unterstützt mehrere Sparse Datenbanken der gleichen Quell-Datenbank Einfaches Anlegen/Löschen der Sparse DB mit einem Befehl Neue Sparse DB ist sofort verfügbar Sofortige Speicher-Freigabe nach Löschen der Sparse DB Datenaktualisierung von Quell-Datenbank Produ ction Exadata Hardware John Test DB Test Master Jane Test DB Stand by Jim Dev DB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 7

8 Sparse Database und Sparse File Datenbank ist eine Sammlung von Dateien controlfile online redo logs tempfiles datafiles Datafiles (Sparse Files) in der Sparse Datenbank verweisen auf Datafiles in der Parent Datenbank. Am Anfang ist Sparse File leer Sparse File Block 0 enthält Filename des Parent File Sparse File allokiert nur Blöcke, die nach der Erzeugung geschrieben werden Sparse Datenbank enthält unabhängige Kopien aller anderen Datenbank Files Test Master DataFile1 DataFile2 DataFile3 John Test DB SparseFile1 SparseFile2 SparseFile3 Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 8

9 Sparse Diskgroup Sparse Files können nur in Sparse Diskgroups angelegt werden Neues Attribut cell.sparse_dg muss für Sparse DG auf allsparse gesetzt werden compatible.asm und compatible.rdbms müssen auf gesetzt sein 16fache Extent Size; für 4M AU, Extentgröße 64M Sparse Diskgroups nutzen Virtually Allocated Metadata SQL> create diskgroup SPARSEDG normal redundancy disk o/*/sparse_*' attribute 'compatible.asm' = ' , 'compatible.rdbms' = ' , 'cell.smart_scan_capable' = 'true, 'cell.sparse_dg' = 'allsparse, 'au_size' = '4M'; Produ ction Exadata Hardware Sparse Diskgroup John Test DB Test Master Jane Test DB Stand by Jim Dev DB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 9

10 Sparse Griddisk Sparse Diskgroup besteht aus Sparse Griddisks Exadata Storage Server Software unterstützt Sparse Griddisks maximale physical Size = free space der Celldisk maximale virtual Size = 100TB (zur Zeit) Sehr hohe virtual Size verursacht Kosten in ASM! Größen am echten Bedarf orientieren! Resize der virtual und physical Size möglich Sparse griddisk Virtual Address Space Sparse griddisk Physical Address Space Auf CellDisk sind 200G allokiert Im ASM sind 5TB bereitgestellt Cellcli> create griddisk all harddisk prefix=sparse size=200g, virtualsize=5tb Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 10

11 Größenkalkulation von Sparse Griddisk und Diskgroup Hardware - Quarter Rack 36 Griddisks in SPARSEDG Diskgroup Benötigt - 5TB Datenbank mit bis zu 10 Snapshots + 2TB Datenbank mit bis zu 12 Snapshots + 500GB Datenbank mit bis zu 12 Snapshots 80TB (5TB * 10 +2TB * TB * 12) virtual space in SPARSEDG Diskgroup benötigt Mit Normal Redundancy (80TB * 2) = 160TB Zusätzlicher Platz für Behandlung von Ausfällen = 180TB Virtual Size für jede Sparse Disk (180TB / 36 Disks) = 5TB Mit angenommenen ~4% Änderungen auf allen Sparse Datenbanken Benötigter Physical Space (180TB * 0.04) = 7.2TB Physical Space für jede Griddisk (7.2TB / 36 disks) = 200GB Cellcli> create griddisk all harddisk prefix=sparse size=200g, virtualsize=5tb Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 11

13 Anlegen einer Exadata Snapshot Datenbank Anlegen Sparse Griddisks auf den Zellen Anlegen Sparse Diskgroups auf der ASM Instanz Aufsetzen Test Master Datenbank Test Master Datenbank muss compatible > sein Anlegen Full Clone auf Diskgroup mit ASM Access Control und Rechten; ODER Konvertierung bestehender Full Clone auf Exadata in Test Master; ODER Konvertierung Standby Datenbank in Test Master Create Sparse Datenbank pluggable Datenbank mit SNAPSHOT COPY non container Datenbank mit CLONEDB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 13

14 Bestehenden Full Clone in Test Master konvertieren Access Control für Diskgroup mit Datafiles aktivieren Diskgroup muss auf Exadata liegen compatible.asm und compatible.rdbms müssen oder höher sein SQL> ALTER DISKGROUP DATAFILE SET ATTRIBUTE 'ACCESS_CONTROL.ENABLED' = 'TRUE'; Owner für alle Datafiles setzen SQL> ALTER DISKGROUP DATAFILE ADD USER 'scott'; SQL> ALTER DISKGROUP DATAFILE SET OWNERSHIP OWNER='scott' FOR FILE FILENAME ; Zur Fehlervermeidung Schreibrechte auf allen Datafiles entfernen RDBMS/ASM versucht das automatisch beim Anlegen des ersten Snapshots auszuführen Besser: Schritt explizit (und damit bewusst) in ASMCMD ausführen Mit SQL Befehlen können in der ASM Instanz nur read only Rechte vergeben werden Keine Möglichkeit, nur Schreibrechte in SQL zu entfernen Möglichkeit, dass Snapshots einen anderen Owner haben als die Basis DB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 14

15 Standby Datenbank als Test Master Redo Apply darf auf Standby Datenbank nicht laufen, so lange diese Test Master ist Für alle Datafiles muss ASM ACL aktiv und Owner gesetzt sein Regelmäßig Operationen: Löschen aller Snapshots incl. Datafiles alle Test Master Datafiles r/w setzen Refresh Test Master von Prod DB über Dataguard Redo Apply oder RMAN RECOVER FROM SERVICE Schließen Test Master und alle Test Master Datafiles r/o setzen Neuanlegen aller Test Snapshots für weitere Aktivitäten Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 15

17 Test Master in read write Datenbank konvertieren Löschen aller Snapshots incl. Datafiles Schreibrechte chmod +w für alle Test Master Datafiles setzen ASMCMD verwenden ASMCMD> chmod 660 FILENAME SQL in ASM Instanz zum setzen der Schreibrechte verwenden SQL> ALTER DISKGROUP datafile set permission owner=read write, group=read write, other=none for file FILENAME'; Test Master read/write öffnen SQL> Alter pluggable database TESTMASTER open; Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 17

18 Sparse Database aus PDB erzeugen Test Master read only öffnen Ausführen create pluggable database create_file_dest Diskgroup muss Sparse Diskgroup sein Produ ction Exadata Hardware Test Master Stand by SQL> alter pluggable database TestMaster open read only; Sparse DB SQL> create pluggable database JohnTest from TestMaster create_file_dest='+sparsedg' snapshot copy; John Test DB Jane Test DB Jim Dev DB Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 18

20 Agenda High Level Overview Monitoring und Statistiken Beispiel / Demo Einschränkungen / Weiterentwicklung Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 20

21 Monitoring und Statistiken Sparse IO Statistiken in der Datenbank Wait Events in der Datenbank v$ views v$asm_disk_sparse v$asm_disk_sparse_stat v$asm_diskgroup_sparse Interne Tabellen (x$ Views) Zellen Metriken Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 21

22 Systemstatistiken im Data Dictionary Neue Statistiken in v$sysstat und v$mystat Name Physical read snap IO request no data Physical read snap IO request base Physical read snap IO request copy Physical read snap bytes base Physical read snap bytes copy Meaning No physical IO done for these (i.e. wasted roundtrips) Number of physical IOs on base level Number of physical IOs on any snap hierarchy Number of bytes read from the base Number of bytes read from the snap Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 22

23 Systemstatistiken im Data Dictionary Aktualisierte Statistiken in v$sysstat und v$mystat Name Physical read total IO requests Physical read total multi block requests Meaning Number of physical IOs submitted by user Number of multi block IOs submitted by user Nur I/Os, die realen physischen I/O bewirken, werden berücksichtigt! Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 23

24 Neuer RDBMS Wait Event Einführung neuer Event cell sparse block physical read für Requests, die keine Daten zurückliefern Sehr schnelle Operation, da kein echter I/O stattfindet! Ansonsten würden die alten Bekannten u. U. verwässert: cell single block physical read cell multi block physical read cell list of blocks physical read... Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 24

25 Neue View: ASM Sparse Disk (v$asm_disk_sparse) Name GROUP_NUMBER DISK_NUMBER INCARNATION ALLOCATED_MAT_MB TOTAL_MAT_MB SPARSE_READS SPARSE_BYTES_READ SPARSE_READ_TIME Meaning Number of the diskgroup containing the disk Number assigned to the disk within this diskgroup Incarnation number for the disk Total used physical capacity on this disk Total physical capacity on this disk Number of read requests on sparse regions of this disk Bytes read from sparse regions of this disk Time taken by sparse read IOs Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 25

26 Beispiel: Abfrage v$asm_disk_sparse SQL> select DISK_NUMBER ALLOCATED_MAT_MB TOTAL_MAT_MB from V$ASM_DISK_SPARSE where GROUP_NUMBER = 5; dsk_num, alloc, total DSK_NUM ALLOC TOTAL Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 26

27 Neue View: ASM Sparse DG (v$asm_diskgroup_sparse) Name GROUP_NUMBER ALLOCATED_MAT_MB TOTAL_MAT_MB Meaning Cluster wide number assigned to the diskgroup Total used physical capacity of the diskgroup Total physical capacity of the diskgroup SQL> select ALLOCATED_MAT_MB alloc, TOTAL_MAT_MB total from V$ASM_DISKGROUP_SPARSE where GROUP_NUMBER = 5; ALLOC TOTAL Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 27

28 Zellen Metriken Name CL_IO_RQ_NODATA (c) CL_IO_RQ_NODATA_SEC (r) GD_SP_IO_RQ_PARTIAL (c) GD_SP_IO_RQ_PARTIAL (r) GD_SP_IO_BY_PARTIAL (c) GD_SP_IO_BY_PARTIAL_SEC (r) GD_SP_IO_BY_REDIRECTED (c) GD_SP_IO_BY_REDIRECTED_SEC (r) GD_SP_BY_ALLOCATED (i) GD_SP_PRCT_ALLOCATED (i) Meaning Cell number of I/O requests that returned nodata Cell number of I/O request/sec that returned nodata Griddisk number of I/O requests that return partial data Griddisk number of I/O req/sec that return partial data Griddisk bytes returned from partial I/Os Griddisk bytes/sec return from partial I/Os Griddisk sparse bytes redirected to parent Griddisk sparse bytes/sec redirected to parent Griddisk allocated physical space in bytes Griddisk allocated physical space in percentage Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 28

29 Agenda High Level Overview Monitoring und Statistics Beispiel / Demo Einschränkungen / Weiterentwicklung Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 29

30 Erzeugen eines multitenant Snap-Clone auf Exadata Mit Oracle Enterprise Manager geht es einfach! Oracle Learning Library (youtube): Snap Clone Multitenant on Exadata Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 30

31 ACL Owner auf OS User setzen (manuell) SQL> ALTER DISKGROUP DATAFILE ADD USER 'scott'; SQL> ALTER DISKGROUP DATAFILE SET OWNERSHIP OWNER='scott FOR FILE '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/system '; SQL> ALTER DISKGROUP DATAFILE SET OWNERSHIP OWNER='scott FOR FILE '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysaux '; SQL> ALTER DISKGROUP DATAFILE SET OWNERSHIP OWNER='scott FOR FILE '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysext '; SQL>ALTER DISKGROUP DATAFILE SET OWNERSHIP OWNER='scott FOR FILE '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/tbs_ '; OS User, der Owner der Files auf der DG werden soll, anlegen Neuen User als Owner für alle Datafiles des Test Master festlegen Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 32

32 ACL Owner auf OS User setzen (Skript) User hinzufügen SQL> ALTER DISKGROUP DATAFILE ADD USER 'scott'; Generisches Skript set_owner.sql erzeugen set newpage 0 set linesize 999 set pagesize 0 set feedback off set heading off set echo off set space 0 set tab off set trimspool on spool set_owner.sql select 'ALTER DISKGROUP datafile set ownership owner=user for file ' '''' name '''' ';' from v$datafile; exit set_owner.sql editieren (überflüssige Zeilen löschen) sed I '/SQL/d' set_owner.sql Skript in ASM Instanz laufen lassen (Skript vorher prüfen!) Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 33

33 CloneDB Überblick (JohnTest Snapshot vom TestMaster) Backup aktuelles Controlfile im TestMaster to Trace TestMaster Datenbank sauber herunterfahren Neue Instanz im Status nomount starten (db_name=johntest, controlfile=johntest_control_file) Neues Controlfile mit Verweis auf neue Logfiles, DB Name, TestMaster Datafiles anlegen Mit dbms_dnfs.clonedb_renamefile Parent-Child Beziehung für jedes Datafile im TestMaster zu Datafiles in JohnTest anlegen JohnTest Datenbank mit reset logs öffnen Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 34

34 CloneDB Backup Controlfile, shutdown Source, DB starten # place CREATE CONTROLFILE command into trace file with SQL> alter database backup controlfile to trace; # shutdown db SQL> shutdown; # create new init.ora based on old. $ cp init_testmaster.ora init_johntest.ora # modify init_johntest.ora with new db_name und new control_files. # e.g. db_name = JohnTest control_files = '+DATAFILE/JOHNTEST/control1.f' SQL> startup nomount pfile='init_johntest.ora'; Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 35

35 CloneDB Neues Controlfile anlegen (mit neuen Logs und alten DB Files) SQL> CREATE CONTROLFILE REUSE SET DATABASE TEST1 RESETLOGS MAXLOGFILES 32 MAXLOGMEMBERS 2 MAXINSTANCES 1 MAXLOGHISTORY 908 LOGFILE GROUP 1 '+DATAFILE/JOHNTEST/LOGFILE/t_log1.f' SIZE 100M BLOCKSIZE 512, GROUP 2 '+DATAFILE/JOHNTEST/LOGFILE/t_log2.f' SIZE 100M BLOCKSIZE 512 DATAFILE '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/system ', '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysaux ', '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysext ', '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/tbs_ ' CHARACTER SET WE8DEC; Liste der Datafiles aus dem Controlfile Dump to trace Log Files in JOHNTEST sind leer Datafiles verweisen noch auf TESTMASTER Files Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 36

36 CloneDB Parent-Child Beziehung einrichten (manuell) SQL> EXECUTE dbms_dnfs.clonedb_renamefile ( '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/system ', '+SPARSEDG/JOHNTEST/09D05108AB70216BE053D6CBF00AA041/DATAFILE/system '); SQL> EXECUTE dbms_dnfs.clonedb_renamefile ( '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysaux ', '+SPARSEDG/JOHNTEST/09D05108AB70216BE053D6CBF00AA041/DATAFILE/sysaux '); SQL> EXECUTE dbms_dnfs.clonedb_renamefile ( '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/sysext ', '+SPARSEDG/JOHNTEST/09D05108AB70216BE053D6CBF00AA041/DATAFILE/sysext '); SQL> EXECUTE dbms_dnfs.clonedb_renamefile ( '+DATAFILE/TESTMASTER/09D05108AB70216BE053D6CBF00AA040/DATAFILE/tbs_ ', '+SPARSEDG/JOHNTEST/09D05108AB70216BE053D6CBF00AA041/DATAFILE/tbs_ '); Parent-Child Beziehung einrichten durch update auf Block 0 des Spase Files Umbenennen der Filenamen im Controlfile der Sparse Datenbank Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 37

37 CloneDB Parent-Child Beziehung einrichten (Skript) Generisches Skript parentchild.sql erstellen Zweiten Dateinamen in der Ausgabe auf korrekte Ziele anpassen, d. h. set newpage 0 set linesize 999 set pagesize 0 set feedback off set heading off set echo off set space 0 set tab off set trimspool on spool rename_files.sql select 'EXECUTE dbms_dnfs.clonedb_renamefile (' '''' name '''' ',' '''' name '''' ');' from v$datafile; exit EXECUTE dbms_dnfs.clonedb_renamefile ( '+DATAFILE/TESTMASTER/ 09D05108AB70216BE053D6CBF00AA040/DATAFILE/ system ', '+SPARSEDG/JOHNTEST/ 09D05108AB70216BE053D6CBF00AA041/DATAFILE/ system_ '); parentchild.sql ausführen (Dateinamen vorher überprüfen!) Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 38

38 CloneDB mit reset logs öffnen JohnTest Datenbank mit RESETLOGS öffnen SQL> alter database open resetlogs; Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 39

39 Agenda High Level Overview Monitoring und Statistics Beispiel / Demo Einschränkungen / Weiterentwicklung Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 40

40 Voraussetzungen für Exadata Snapclone Grid BP5 Sparse Diskgroup compatible >= Parent Diskgroup compatible = möglich DB BP5 Parent Datenbank und Sparse Datenbank compatible >= Zelle Kein Downgrade mit Sparse DG auf dieser Zelle möglich Hardware Verfügbar nur auf X3 (oder aktuellerer) Hardware Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 41

41 Einschränkungen und Pitfalls Datafiles für Snapshots und Parent Datenbanken müssen im gleichen ASM Cluster liegen db_block_size muss >= 4K (und Vielfaches von 4K) sein Parent Datenbank kann sehr leicht gelöscht werden Parent Datenbank kann sehr leicht zum Schreiben geöffnet werden Nachdem die Datafile Schreibrechte gesetzt worden sind Eine Parent Datenbank (mit Snapshot) kann nicht umbenannt werden Test Master Datenbank (Parent) nur mit compatible > Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 42

42 Weiterentwicklung Snapshots von Snapshots (hierarchische Snapshots) RMAN Backup eines Sparse File verwendet nur verwendete Sparse Bereiche (kein Full Backup notwendig) Fast Creation von normalen Datafiles und Online Redo Logs auf Sparse Griddisk ASM berücksichtigt Parent/Child Beziehung Sparse Griddisks kennen allokierte Bereiche, daher brauchen nur diese Bereiche der Sparse Griddisk bereinigt werden Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 43

43 Mehr Tipps gefällig? Schauen Sie vorbei in der Deutschen DBA Community! Oder in der Mobilen App der BU Database! -Termine - Community Tipps - Dojos - Tweets Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 44

45 Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, und may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, und should not be relied upon in making purchasing decisions. The development, release, und timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. Copyright 2015, Oracle and/or its affiliates. All rights reserved. Frank Schneede, BU Database 46

47 G Konferenz 2015, Nürnberg Frank Schneede, BU Database