Migrationen von Datenbanken Jessica Steger Senior Solution Engineer Inforsacom Logicalis GmbH

Transkript

1 Migrationen von Datenbanken Jessica Steger Senior Solution Engineer Inforsacom Logicalis GmbH

2 Inforsacom Logicalis Über Ca. Umsatz im Fiskaljahr Mitarbeiter in Deutschland Niederlassungen in Über Kunden aus dem privaten und öffentlichen Bereich

3 Ein international einheitliches Solutions-, Services- und Cloud-Angebot Rechenzentren Managed Services Center Nordamerika Cincinnati (US) Phoenix (US) Edison (US) Dayton (US) Europa Slough (UK) Bracknell (UK) Guernsey (Kanalinseln) Lateinamerika São Paulo (Brasilien) Asien-Pazifik-Raum Shanghai (China) Cyberjaya (Malaysia) Sydney (Australien) Nordamerika Cincinnati (US) Detroit (US) Europa Slough (UK) Jersey (Kanalinseln) Cardiff (UK) München (Deutschland) Köln (Deutschland) Rijswijk (Niederlande) Madrid (Spanien) Barcelona (Spanien) Lateinamerika São Paulo (Brasilien) Buenos Aires (Argentinien) Asien-Pazifik-Raum Shanghai (China) Cyberjaya (Malaysia) Kuala Lumpur (Malaysia) Singapur Taipei (Taiwan) Nordamerika Lateinamerika Europa Asien-Pazifischer-Raum Niederlassungen USA (über 20) Niederlassungen Brasilien, Argentinien, Bolivien, Chile, Kolumbien, Ecuador, Mexiko, Peru, Paraguay und Uruguay Niederlassungen Großbritannien, Irland, Niederlande, Spanien, Kanalinseln und Deutschland Niederlassungen Australien, Singapur, Taiwan, Malaysia, Indonesien, China und Hongkong

4 Agenda Migrations-Szenarien im Überblick Migration mit klassischem Export / Import (Datapump) Migration mit Full Transportable Migration mit Transient Standby Migrationen von PDBs durch Kopieren der Files von ASM zu ASM über Remote Cloning mit gleichzeitigem Upgrade 3

5 4 Migrations-Szenarien

6 Gründe für eine Migration neue Hardware Wechsel des Betriebsystems neue Datenbank-Version mit geänderter Anforderung an Server Wechsel zentraler Datenbank-Konfiguration (Characterset, Blocksize) 5

7 Welche Migration mit welcher Methode? Expdp / Impdp TT / Full Transportable XTT mit RMAN incremental Transient Standby Copy & Upgrade HW mit gleichem OS OS evtl. mit RMAN Convert Master: Limit. : evtl. mit RMAN Convert 11g: c: ohne Endianess- Wechsel DB Version evtl. mit RMAN Convert Charset / Blocksize 6

8 Abhängigkeiten der Migrations-Methoden MOS Expdp / Impdp TT / Full Transportable XTT mit RMAN incremental Transient Standby Copy & Upgrade Komplexität gering mittel, einige Einschränkungen mittel, einige Einschränkungen hoch, viele Einschränkungen gering Downtime hoch je nach DDL- Menge je nach DDL- Menge gering ab Version ab 10g ab 10g ab mit physru.sh ab , dbms_rolling ab 12.1 Upgrade < 1h plus Copy 12.2 direkt ab

9 Migration mit Datapump

10 Migration mit expdp und impdp Grundsituation Server mit Oracle Server mit Oracle Dump Dumpfile Transfer 9

11 Expdp und Impdp 10 NETWORK_LINK=source_database_link => kein expdp, nicht für LONG, LONG RAW für kleinere Datenbanken oder ohne Limit der Downtime Reorg, da Import DDLs und DMLs enthält Konsistent mit FLASHBACK_TIME FLASHBACK_TIME=\"TO_TIMESTAMP\(TO_CHAR\(SYSDATE,\'YYYY-MM-DD HH24:MI:SS\'\),\'YYYY-MM-DD HH24:MI:SS\'\)\" ESTIMATE_ONLY für Prognose der Dumpfile-Größen EXCLUDE=STATISTICS Reduzierung Datenmenge über EXCLUDE => Beispiele in MOS , Workarround für ORA-06502

12 Charset Wechsel Single-Byte nach Multi-Byte prüfen mit csscan CSMIG EXCEED_SIZE select distinct 'alter table ' OWNER_NAME '.' TABLE_NAME ' modify ( ' COLUMN_NAME ' ' COLUMN_TYPE '(' MAX_POST_CONVERT_SIZE '));' from CSMIG.CSMV$COLUMNS where owner_name!='sys' and EXCEED_SIZE_ROWS > 0 order by 1; DATA_LOSS select 'select ' COLUMN_NAME ' from ' OWNER_NAME '.' TABLE_NAME ' where rowid=''' DATA_ROWID ''';' from CSMIG.CSMV$ERRORS where error_type='data_loss' order by owner_name; 11

13 Vorteile expdp / impdp Vorteile: Datenreduktion durch EXCLUDE (Schemas, Partitionen,etc) Data Dictionary ohne Restanten aus früheren Upgrades Daten-Reorganisation und De-Fragmentierung Characterset-Wechsel Wechsel der Endianness Wechsel der Blocksize kein tief-technisches Wissen notwendig 12

14 Nachteil expdp / impdp Hauptnachteil: lange Downtime Workarround über Beschleunigung des Imports (Mike Dietrich): 1. imdp EXCLUDE=INDEXES 2. Index DDLs erzeugen mit impdp INCLUDE=INDEXES SQLFILE=index.sql 3. index.sql DDL-Befehle auf mehrere Files verteilen (index1.sql, index2.sql...) 4. index1.sql, index2.sql etc parallel ausführen Reduktion der Downtime abhängig von Index-Menge 13

15 Migration mit Full Transportable

16 Full Transportable Grundsituation Server mit Oracle Server mit Oracle DBF DBF Dump Datafiles und Metadata-Dump Transfer 15

17 Full Transportable MOS Spezialfall der Transportable Tablespace Migration (TTS) Doku unter NETWORK_LINK=source_database_link => kein expdp => nicht für LONG, LONG RAW Spalten in SYSTEM, SYSAUX ab zum Upgrade in leere 12c Datenbank Metadaten-Export aus SYSTEM- oder SYSAUX User-Daten anderer TBs werden durch Kopie der DB-Files migriert 16

18 Workflow Full Transportable 1. User Tablespaces auf READ ONLY select 'alter tablespace ' NAME ' read only;' from v $tablespace order by 1; 2. expdp TRANSPORTABLE=ALWAYS FULL=Y VERSION=12.0 PARALLEL=x 3. parallel zum Export werden DB-Files kopiert 4. Kopieren der Dumpfiles (falls nicht Import über DB-Link) 5. Import auf Zielserver mit FULL=Y, PARALLEL=x und TRANSPORT_DATAFILES='Zielpfad/Zielfilename' Bei Import über DB-LINK mit Option TRANSPORTABLE=ALWAYS 6. bei Bedarf in Quell-DB TBs wieder auf READ WRITE 17

19 Sonderfall ASM im Schritt 3 DB-Files vom ASM in das Ziel-ASM kopieren select 'cp sys/pw@quell-vip.+asm:' FILE_NAME '.' from dba_data_files where TABLESPACE_NAME in (USER_TB_LISTE); Für 11g-Datenbanken vorher Patch einspielen (MOS ) wegen Bug werden über asmcmd OMF nur in Alias kopieren (MOS ) select 'cp sys/pw@quell-vip.+asm:' FILE_NAME ' +DATA/ ZIELDB/datafile/' substr(file_name,21,length(file_ name)-30) from dba_data_files; nach Import für OMF alter database move datafile 4 18

20 Migration mit Transient Standby

21 Transient Standby Grundsituation Server mit Oracle Server mit Oracle REDO-Transfer 20

22 Transient Standby Voraussetzungen Physical Standby Umgebung (Anlage mittels RMAN MOS ) Einschränkungen Physical Standby MOS (welche Plattformen, gleicher Oracle-Version) Einschränkungen Logical Standby MOS und Doku => Extended Datatype Support (MOS-Note ) Out-of-Place Upgrade Data Guard Broker disabled Flashback für Primary und Standby STANDBY_FILE_MANAGEMENT=AUTO, PROCESSES > (PARALLEL_MAX_SERVERS +100) LOG_ARCHIVE_DEST_n der Standby steht auf OPTIONAL Standby-Umgebung läuft nicht mit MAXIMUM PROTECTION 21

23 Einschränkung Logical Standby 11.2 Unsupported Datatypes : BFILE Collections (including VARRAYS and nested tables) Multimedia data types (including Spatial, Image, and Oracle Text) ROWID, UROWID User-defined types Unsupported Table Storage Types Tabellen enthalten nur (!) folgende Datentypen LOB (CLOB, NCLOB, BLOB) LONG LONG RAW OBJECT TYPE COLLECTIONS XML 22

24 Transient Standby mit physru.sh MOS Primary Physical Stdby Physical Stdby zu Logical 3. - Restore Point vor Upgrade - Upgrade Logical Stdby fehlende SQLs nachziehen 4. - Switchover - Flashback der Logical Stdby - Logical Stdby zu Physical 5. Neustart Physical Stdby mit OH 6. Redo-Transfer mit impl. Upgrade 23

25 physru.sh MOS physru Argumente: <username> = sys <primary_tns> = tns service name to primary <standby_tns> = tns service name to physical standby <primary_name> = db_unique_name of primary (or any identifying string) <standby_name> = db_unique_name of standby (or any identifying string) <upgrade_version> = Zielversion $ physru sys tns_prod tns_stby PROD STBY ab Oracle 12.1 DBMS_ROLLING MOS => benötigt Active Data Guard Lizenz! dbms_rolling_upgrades.htm#sbydb

26 Migrationen von PDBs

27 PDB Migrationen Umzug einer PDB in DB gleicher Version Upgrade durch Migration in CDB mit höherer Version P D B 26

28 Migration PDB durch Kopieren Teil 1 in alter CDB: 1. alter session set container=pdb; 2. Copy-Befehle erzeugen: select 'cp ' NAME ' sys/pw@zielserv.+asm1:+datac1/cdb/' substr(name,21) from v$datafile; 3. connect / as sysdba alter pluggable database PDB close immediate; 4. alter pluggable database PDB unplug into '/tmp/pdb.xml'; 5. später: drop pluggable database RMWPKICI keep datafiles; 6. scp PDB.xml oracle@zielserv:/home/oracle 27

29 Migration PDB durch Kopieren Teil 2 auf Zielserver: 1. Copy DB-Files ohne Undo in Ziel-ASM über Befehle aus 2., gleicher Bug MOS asmcmd p cd +DATAC1/CDB mkdir FEC5C9AE053B4201CACEF97/DATAFILE cp +DATAC1/CDB/ FEC5C9AE053B4201CACEF97/DATAFILE/system sys/pw@zielserv.+asm1:+datac1/cdb/ FEC5C9AE053B4201CACEF97/DATAFILE/system evtl. File-Pfade im XML-Datei anpassen 3. CREATE PLUGGABLE DATABASE PDB using /tmp/pdb.xml' NOCOPY; 4. alter pluggable database PDB open; 5. alter session set container=pdb; select 'alter database move datafile ' file# ' to ''+DATAC1'' ;' from v$datafile order by file#; -- ohne UNDO! 28

30 Migration PDB über Remote Clone Teil 1 in Quell-CDB: 1. ALTER SESSION SET CONTAINER=PDB; 2. CREATE USER CLONE IDENTIFIED BY Clonepw; GRANT CREATE SESSION, CREATE PLUGGABLE DATABASE TO CLONE; 3. CONN / AS SYSDBA ALTER PLUGGABLE DATABASE PDB CLOSE; ALTER PLUGGABLE DATABASE PDB OPEN READ ONLY; 29

31 Migration PDB über Remote Clone Teil 2 auf Ziel-Server: 1. tnsnames.ora Eintrag für PDB anlegen 2. sqlplus / as sysdba CREATE DATABASE LINK clone_link CONNECT TO CLONE IDENTIFIED BY Clonepw USING PDB'; 3. CREATE PLUGGABLE DATABASE PDBneu FROM PDB@clone_link; 4. SELECT name, open_mode FROM v$pdbs WHERE name = PDBneu ; ALTER PLUGGABLE DATABASE PDBneu OPEN; 30

32 Upgrade durch PDB Transfer Teil 1 in alter CDB: 1. sqlplus / as preupgrade_fixups.sql 3. exec dbms_stats.gather_dictionary_stats; 4. alter pluggable database PDB close; 5. alter pluggable database PDB unplug into /tmp/pdb.xml 6. drop pluggable database PDB keep datafiles; 31

33 Upgrade durch PDB Transfer Teil 2 32 in neuer CDB: 1. sqlplus / as sysdba create pluggable database PDB using /tmp/pdb.xml 2. alter pluggable database PDB1 open upgrade; 3. cd $ORACLE_HOME/rdbms/admin perl catctl.pl -c PDB n 8 4. sqlplus / as sysdba alter session set container=pdb; startup postupgrade_fixups.sql

34 33 Fazit

35 Projekt-Bericht SAP DB mit ca 1 TB Daten expdp länger als 24 h, kein Platz im Filesystem Mangels Zeit zur Vorbereitung und für Test wurde wg. Komplexität und Abhängigkeiten Transient Standby nicht gewünscht Migration über Full Transportable mit PARALLEL=4 Dauer expdp und impdp jeweils 9h wegen vieler DDLs => evtl. auch durch SAP Parameter Netzwerk-Link Import hätte 9 h des Exports erspart, für Vorab-Tests war leider keine Zeit 34

36 Vergleich der betrachteten Methoden Downtime Komplexität DB-Version Charset- Wechsel expdp / impdp hoch gering alle ja Full Transportable Transient Standby mittel mittel ab nein gering hoch ab nein PDB Migration und Upgrade sind schneller als für Non-CDB, aber trotzdem mit Downtime in 12.1 => ab 12.2 Hot Cloning 35

37 Vielen Dank Jessica Steger Senior Solution Engineer Inforsacom Logicalis GmbH