Moden Exportieren und Importieren ORACLE DATA PUMP. Seite 1. Gunther Pippèrr

Transkript

1 Moden Exportieren und Importieren ORACLE DATA PUMP Seite 1

2 Agenda Imp und Exp Vergangenheit und Zukunft Architektur und Grundlagen Erweiterte Funktionen Seite 2

3 IMP und EXP Importieren und Exportieren wie gehabt Wird vorerst weiter unterstützt Seite 3

4 Probleme bei Imp/Exp Schwieriger Neustart bei einem Fehler Ausführung vom Client in einem einzigen Thread Dump Files können relativ groß werden Optimierung der Performance nur bedingt möglich Überwachung des Exp/Imp Vorgangs schwierig Eingeschränkte Filterung der gewünschten Objekte Seite 4

5 Wo ist DataPump verfügbar? Feature des Database Core 10g D.h. auf allen Versionen verfügbar XE, Standard-One, Standard, Enterprise Parallelisierung aber nur unter der Enterprise Edition möglich! D:\>expdp parallel=2 schemas=oe8 dumpfile=myoe8.dmp Export: Release Production on Montag, 19 Juni, :38 Copyright (c) 2003, Oracle. All rights reserved. Benutzername: sys/oracle@xe as sysdba Angemeldet bei: Oracle Database 10g Express Edition Release Product ion ORA-39002: Ung³ltiger Vorgang ORA-39094: Parallelausf³hrung wird in dieser Datenbankedition nicht unterst³tzt Seite 5

6 Die ersten Schritte Einen einfachen Export durchführen 1. Versuch (wie gewohnt) expdp directory=/tmp dumpfile=gpi.dmp Export: Release bit Production on Dienstag, 16 Mai, :13:43 Copyright (c) 2003, 2005, Oracle. All rights reserved. Connected to: Oracle Database 10g Enterprise Edition Release bit Production With the Partitioning, OLAP and Data Mining options ORA-39002: invalid operation ORA-39070: Unable to open the log file. ORA-39087: directory name /TMP is invalid Seite 6

7 Die ersten Schritte (1) Pfad-Angabe über ein Oracle Directory SQL> create directory dmpdir as '/opt/oracle'; Directory created. SQL> grant read, write on directory dmpdir to scott; Grant succeeded. Standard Directory = DATA_PUMP_DIR SQL> SELECT directory_path FROM dba_directories WHERE directory_name = 'DATA_PUMP_DIR'; DIRECTORY_PATH /app/oracle/product/10.2.0/rdbms/log/ XE:=> D:\app\oracle\admin\XE\dpdu mp\ Seite 7

8 Die ersten Schritte Sicherung nach DATA_DUMP_DIR expdp directory =DATA_PUMP_DIR dumpfile=gpi.dmp Export: Release bit Production on Dienstag, 16 Mai, :50:11 Copyright (c) 2003, 2005, Oracle. All rights reserved. Connected to: Oracle Database 10g Enterprise Edition Release bit Production With the Partitioning, OLAP and Data Mining options Starting "GPI"."SYS_EXPORT_SCHEMA_01": directory=data_pump_dir dumpfile=gpi.dmp... Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS.. exported "GPI"."INGRAM_IMPORT" MB rows.. exported "GPI"."TECHDATA_IMPORT" MB rows exported "GPI"."TAS_PRO" 0 KB 0 rows Master table "GPI"."SYS_EXPORT_SCHEMA_01" successfully loaded/unloaded ****************************************************************************** Dump file set for GPI.SYS_EXPORT_SCHEMA_01 is: /opt/oracle/products/10.2.0/rdbms/log/gpi.dmp Job "GPI"."SYS_EXPORT_SCHEMA_01" successfully completed at 16:50:30 Seite 8

9 Die beteiligten Komponenten expdp impdp Enterprise Manager Weitere - Client Data Pump DBMS_DATAPUMP Data/Metadata movement engine External Table API Loader DataPump Direct Path API Metadata API: DBMS_METADATA Seite 9

10 Die Architektur Der Export/Import wird über eigene Serverprozesse auf dem Server durchgeführt CMD impdp/expdp Datenbank Job Starten Exp/Imp Prozess Kontrollprozess Worker Worker 1..n DumpFile DumpFile Master Table Schema Seite 10

11 Im Detail control Queue Master Table DumpFile DumpFile Set Shadow process Master Kontrollprozess MCP Logfile Worker process 1 Worker process 2 CMD impdp/expdp Status Queue Worker process n Seite 11

12 Ablauf Shadow-Prozess Client startet DB-Prozess (Shadow-Prozess) Mit DBMS_DATAPUMP.open wird ein neuer Job angelegt Die AQ-Tabellen werden angelegt Die Master-Tabelle wird angelegt Log-Tabelle des gesamten Export Vorganges mit den Namen des Export-Jobs Tabelle wird in den Export aufgenommen und dann gelöscht (muss auch immer in eine Export Datei passen!) Der Master-Control-Prozess gestartet Seite 12

13 Ablauf MCP Master Control Process Ein Kontroll-Prozess pro Job zuständig Prozessname: <instance>_dmnn_<pid> Überwacht und startet die Worker-Prozesse Überwacht das Datei-Handling Legt neue Dateien an Seite 13

14 Ablauf Worker-Prozesse Es können mehrere Prozesse pro Job gestartet werden Prozessname: <instance>_dwnn_<pid> Datenstrukturen der zu exportierenden Objekte werden extrahiert ( DBMS_METADATA) Daten werden aus / gelesen und in die DB oder Datendateien geschrieben Seite 14

15 Ausführung Worker-Prozesse Der Export wird mit Direct-Path-Export oder External Table von den Worker-Prozessen durchgeführt Die Export-Datei kann in bis zu 99 einzelne Dateien zerlegt werden dumpfile=exportname_%u.dmp filesize=650mb Seite 15

16 Monitoring (1) Jobs in der DB überwachen Views: DBA_DATAPUMP_JOBS DBA_DATADUMP_SESSIONS Seite 16

17 Monitoring (2) Kommando Status des Clients Export> status Job: SYS_EXPORT_SCHEMA_01 Operation: EXPORT Mode: SCHEMA State: EXECUTING Bytes Processed: 0 Current Parallelism: 1 Job Error Count: 0 Dump File: /opt/oracle/products/10.2.0/rdbms/log/dptest.dmp bytes written: Worker 1 Status: State: EXECUTING Object Schema: BHGVK2 Object Name: MYTEST Object Type: SCHEMA_EXPORT/PROCEDURE/ALTER_PROCEDURE Completed Objects: 2 Total Objects: 2 Worker Parallelism: 1 Seite 17

18 Die wichtigsten Funktionen Parallele Ausführung auf dem Server Direkte Kontrolle über die Ausführung durch dedizierten Kontrollprozess Status-Übersicht Restart eines Prozesses Neue Worker-Prozesse hinzufügen Seite 18

19 Die Größe eines Exports berechnen Parameterdatei JOB_NAME=MYEXPORT DIRECTORY=DATA_PUMP_DIR LOGFILE=DATA_PUMP_DIR:GPI.explog ESTIMATE_ONLY=Yes parfile=mypar.dpctl Auszug aus der Logdatei:.... estimated "GPI"."PRO_CON" 0 KB. estimated "GPI"."PROJECTS" 0 KB. estimated "GPI"."TASKS" 0 KB. estimated "GPI"."TAS_PRO" 0 KB Total estimation using BLOCKS method: MB Job "GPI"."GPIXXX" successfully completed at 14:36:05 Seite 19

20 1 99 Export-Datei erzeugen mit %U Parameterdatei JOB_NAME=MYEXPORT DIRECTORY=DATA_PUMP_DIR DUMPFILE=DATA_PUMP_DIR:GPI_%U.dmp LOGFILE=DATA_PUMP_DIR:GPI.explog STATUS=20 FILESIZE=132K parfile=mypar.dpctl Auszug aus der Log-Datei: Dump file set for GPI.GPIXXX is: /opt/oracle/products/10.2.0/rdbms/log/gpi_01.dmp /opt/oracle/products/10.2.0/rdbms/log/gpi_02.dmp /opt/oracle/products/10.2.0/rdbms/log/gpi_03.dmp Job "GPI"."GPIXXX" successfully completed at 14:31:01 Seite 20

21 Filter für DB-Objekte Erweiterte Auswahl von Filtern für DB-Objekte Mit include und exclude können für alle DB-Objekte Filterregeln gesetzt werden EXCLUDE = object_type[:name_clause] [,...] INCLUDE = object_type[:name_clause] [,...] Beispiele: SCHEMAS=scott EXCLUDE=SEQUENCE, TABLE:"IN ('EMP', 'DEPT')" SCHEMAS=scott INCLUDE=FUNCTION, PACKAGE, PROCEDURE, TABLE:"= 'EMP'" Entweder include ODER exclude! Siehe auch Metalink Doc ID Seite 21

22 DDL-Transformation Objekt-Meta-Daten werden als XML-Datei gespeichert Durch eine XSL-Transformation werden während dem Import Eigenschaften geändert IMPDP stellt zur Verfügung REMAP_SCHEMA (wie fromuser/touser beim alten IMP) REMAP_TABLESPACE,REMAP_DATAFILE TRANSFORM=<storge Klausel> Damit können die Storage-Klauseln entfernt werden Seite 22

23 Einen Job steuern Mit Ctrl-C kann der Job in den Edit-Modus versetzt werden The following commands are valid while in interactive mode. Note: abbreviations are allowed Command Description ADD_FILE Add dumpfile to dumpfile set. CONTINUE_CLIENT Return to logging mode. Job will be re-started if idle. EXIT_CLIENT Quit client session and leave job running. FILESIZE Default filesize (bytes) for subsequent ADD_FILE commands. HELP Summarize interactive commands. KILL_JOB Detach and delete job. PARALLEL Change the number of active workers for current job. PARALLEL=<number of workers>. START_JOB Start/resume current job. STATUS Frequency (secs) job status is to be monitored where the default (0) will show new status when available. STATUS[=interval] STOP_JOB Orderly shutdown of job execution and exits the client. STOP_JOB=IMMEDIATE performs an immediate shutdown of the Data Pump job. Seite 23

24 Restart Ein Restart ist immer dann möglich wenn: Die Master-Table ist noch intakt Die Dump file Set noch in Ordnung Neustart mit: Ein Client kann sich über ATTACH=<job_name> wieder verbinden Bei Problemen mit dem letzen zu exportierenden Objekt kann mit START=SKIP_CURRENT dieses übersprungen werden In Informationen über den Job sind immer in der aktuellen Master-Tabelle hinterlegt! Seite 24

25 Das Package DBMS_DATAPUMP Starten und verwalten von Import/Export aus der Datenbank heraus Benötigte Rollen: EXP_FULL_DATABASE und IMP_FULL_DATABASE Job anlegen mit: Dbms_DataPump.Open Seite 25

26 Einen Export aus der DB aufrufen Starten des Export-Jobs in der DB DECLARE h1 NUMBER; -- Data Pump job handle BEGIN h1 := DBMS_DATAPUMP.OPEN('EXPORT','SCHEMA',NULL,'JOBNAME','LATEST'); DBMS_DATAPUMP.ADD_FILE( handle => h1, filename =>'GPI05.dmp', directory => 'DMPDIR', filetype => 1 ); Dbms_DataPump.Add_File( handle => h1, filename => 'expdp_plsql.log', directory => 'DMPDIR', filetype => 3 ); KU$_FILE_TYPE_DUMP_FILE KU$_FILE_TYPE_LOG_FILE DBMS_DATAPUMP.METADATA_FILTER(h1,'SCHEMA_EXPR','IN (''GPI'')'); Typ 1 : Export Datei Typ 3 : Log Datei END; / DBMS_DATAPUMP.START_JOB(h1); Seite 26

27 Der Netzwerk-Modus Daten zwischen zwei Instanzen austauschen Nur zwischen gleiche DB-Versionen zu empfehlen Datenaustausch über DB-Link Daten werden über insert as select kopiert Kann auch Remote read only DBs exportieren, wenn die Ziel-Instanz die Jobs steuert Seite 27

28 Wie löst DataPump Abhängigkeiten auf? Siehe View: Database/Schema/Table_EXPORT_OBJECTS SQL> select object_path,comments from table_export_objects where object_path like 'TABLE%'; OBJECT_PATH COMMENTS TABLE/AUDIT_OBJ Object audits on the selected tables TABLE/COMMENT Table and column comments on the selecte d tables TABLE/CONSTRAINT Constraints (including referential const raints) TABLE/CONSTRAINT/REF Referential constraints _CONSTRAINT TABLE_EXPORT/TABLE/A Object audits on the selected tables Seite 28

29 Performance-Überlegungen I/O-Bandbreite ist der wichtigste Faktor DUMP File auf einen anderen Bereich als die Datendateien legen DUMPFILE=myDumpDirectory1:myExport%u.dmp,myDumpDirectory1:myExport%u.dmp Etwas mehr SGA für die JOB-Ausführung Auf genügend Platz in den Rollback -Segmenten achten Seite 29

30 Ein Performance-Vergleich Export eines Schemas Versuch EXP time exp file=test.dmp Versuch EXPD time expdp schemas=bhgvk2 dumpfile=dptest.dmp real 25m58.134s user Dump 12m53.760s file ca MB sys 4m50.485s Ergebnis: - Datapump ca. 3-4 mal so schnell - Dumpfile-Größe ähnlich real 6m11.165s user 0m0.311s Dump File ca. 925 MB sys 0m0.148s Seite 30

31 Trace für DataPump anlegen Mit trace= kann für den Master Control Process (MCP) und den Worker-Prozess ein Trace angelegt werden Metalink Doc ID: Note: Seite 31

32 Sicherheitsüberlegungen Problematik des Überschreibens und das Anlegen von Dateien im Betriebssystem Dateien werden mit den Rechten des Oracle-Prozesses in Verzeichnisse geschrieben Seite 32

33 Bekannte Probleme Export / Import von Objekt-Typen ORA-39083: Objekttyp TYPE konnte nicht erstellt werden, Fehler: ORA-02304: Ungültiges Objektidentifizierungsliteral Fehlerhafte SQL ist: CREATE TYPE "OE9"."CUST_ADDRESS_TYP" OID '88A4AF6A4CD1656DE E0EE3D' ( street_address VARCHAR2(40), postal_code VARCHAR2(10), city VARCHAR2(30), state_province VARCHAR2(10), country_id CHAR(2) ); AS OBJECT Seite 33

34 Vor- und Nachteile Vorteil: Ausführung aus PL/SQL über eigene API Restart möglich Wesentlich performanter Nachteil: Je nach dem, läuft nur auf dem Server Nur zu 10g kompatibel Für Installationsroutinen für das Verteilen eines Schematas zu viel Vorarbeit notwendig Seite 34

35 Zusammenfassung Export/Import direkt aus der Datenbank ausführen Wesentlich bessere Steuerung als mit IMP/EXP Deutlich bessere Performance Seite 35

36 Oracle Data Pump F Fragen & A Antworten Seite 36