Oracle Data Pump. DOAG Regionaltreffen München/Südbayern. Montag, 19. Juni 2006 um 17:00 Uhr

Transkript

1 Ihr Partner für Schulung, Betreuung und Beratung rund um die Oracle Datenbank Oracle Data Pump DOAG Regionaltreffen München/Südbayern Montag, 19. Juni 2006 um 17:00 Uhr Netcos AG (c) S e i te 1

2 Agenda Imp und Exp Vergangenheit und Zukunft Architektur und Grundlagen Erweiterte Funktionen Netcos AG (c) S e i te 2

3 IMP und EXP Importieren und Exportieren wie gehabt Wird vorerst weiter unterstützt Netcos AG (c) S e i te 3

4 Probleme bei Imp/Exp Schwieriger Neustart bei einem Fehler Ausführung vom Client in einem einzigen Thread Dump Files können relativ groß werden Optimierung der Performance nur bedingt möglich Überwachung des Exp/Imp Vorgangs schwierig Eingeschränkte Filterung der gewünschten Objekte Netcos AG (c) S e i te 4

5 Wo ist DataPump verfügbar? Feature des Database Core 10g D.h. auf allen Versionen verfügbar XE, Standard One, Standard, Enterprise Parallelisierung aber nur unter der Enterprise Edition möglich! D:\>expdp parallel=2 schemas=oe8 dumpfile=myoe8.dmp Export: Release Production on Montag, 19 Juni, :38 Copyright (c) 2003, Oracle. All rights reserved. Benutzername: sys/oracle@xe as sysdba Angemeldet bei: Oracle Database 10g Express Edition Release Product ion ORA-39002: Ung³ltiger Vorgang ORA-39094: Parallelausf³hrung wird in dieser Datenbankedition nicht unterst³tzt Netcos AG (c) S e i te 5

6 Die ersten Schritte Einen einfachen Export durchführen 1. Versuch (wie gewohnt) expdp directory=/tmp dumpfile=netcos.dmp Export: Release bit Production on Dienstag, 16 Mai, :13:43 Copyright (c) 2003, 2005, Oracle. All rights reserved. Connected to: Oracle Database 10g Enterprise Edition Release bit Production With the Partitioning, OLAP and Data Mining options ORA-39002: invalid operation ORA-39070: Unable to open the log file. ORA-39087: directory name /TMP is invalid Netcos AG (c) S e i te 6

7 Die ersten Schritte (1) Pfad Angabe über ein Oracle Directory SQL> create directory dmpdir as '/opt/oracle'; Directory created. SQL> grant read, write on directory dmpdir to scott; Grant succeeded. Standard Directory = DATA_PUMP_DIR SQL> SELECT directory_path FROM dba_directories WHERE directory_name = 'DATA_PUMP_DIR'; DIRECTORY_PATH /app/oracle/product/10.2.0/rdbms/log/ XE:=> D:\app\oracle\admin\XE\dpdump\ Netcos AG (c) S e i te 7

8 Die ersten Schritte Sicherung nach DATA_DUMP_DIR expdp directory =DATA_PUMP_DIR dumpfile=netcos.dmp Export: Release bit Production on Dienstag, 16 Mai, :50:11 Copyright (c) 2003, 2005, Oracle. All rights reserved. Connected to: Oracle Database 10g Enterprise Edition Release bit Production With the Partitioning, OLAP and Data Mining options Starting "NETCOS"."SYS_EXPORT_SCHEMA_01": directory=data_pump_dir dumpfile=netcos.dmp... Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS.. exported "NETCOS"."INGRAM_IMPORT" MB rows.. exported "NETCOS"."TECHDATA_IMPORT" MB rows exported "NETCOS"."TAS_PRO" 0 KB 0 rows Master table "NETCOS"."SYS_EXPORT_SCHEMA_01" successfully loaded/unloaded ****************************************************************************** Dump file set for NETCOS.SYS_EXPORT_SCHEMA_01 is: /opt/oracle/products/10.2.0/rdbms/log/netcos.dmp Job "NETCOS"."SYS_EXPORT_SCHEMA_01" successfully completed at 16:50:30 Netcos AG (c) S e i te 8

9 Die beteiligten Komponenten expdp impdp Enterprise Manager Weitere Client Data Pump DBMS_DATAPUMP Data/Metadata movement engine External Table API Loader DataPump Direct Path API Metadata API: DBMS_METADATA Netcos AG (c) S e i te 9

10 Die Architektur Der Export/Import wird über eigene Serverprozesse auf dem Server durchgeführt CMD impdp/expdp Datenbank Job Starten Exp/Imp Prozess Kontrollprozess Worker Worker 1..n DumpFile DumpFile Master Table Schema Netcos AG (c) S e i te 1 0

11 Im Detail control Queue Master Table DumpFile DumpFile Set Shadow process Master Kontrollprozess MCP Worker process 1 Worker process 2 Logfile CMD impdp/expdp Status Queue Worker process n Netcos AG (c) S e i te 1 1

12 Ablauf Shadow Prozess Client startet DB Prozess (Shadow Prozess) Mit DBMS_DATAPUMP.open wird ein neuer Job angelegt Die AQ Tabellen werden angelegt Die Master Tabelle wird angelegt Log Tabelle des gesamten Export Vorganges mit den Namen des Export Jobs Tabelle wird in den Export aufgenommen und dann gelöscht (muss auch immer in eine Export Datei passen!) Der Master Control Prozess gestartet Netcos AG (c) S e i te 1 2

13 Ablauf MCP Master Control Process Ein Kontroll Prozess pro Job zuständig Prozessname: <instance>_dmnn_<pid> Überwacht und startet die Worker Prozesse Überwacht das Datei Handling Legt neue Dateien an Netcos AG (c) S e i te 1 3

14 Ablauf Worker Prozesse Es können mehrere Prozess pro Job gestartet werden Prozessname: <instance>_dwnn_<pid> Datenstrukturen der zu exportierenden Objekte werden extrahiert ( DBMS_METADATA) Daten werden aus / gelesen und in die DB oder Datendateien geschrieben Netcos AG (c) S e i te 1 4

15 Ausführung Worker Prozesse Der Export wird mit Direct Path Export oder External Table von den Worker Prozessen durchgeführt Die Export Datei kann in bis zu 99 einzelne Dateien zerlegt werden dumpfile=exportname_%u.dmp filesize=650mb Netcos AG (c) S e i te 1 5

16 Monitoring (1) Jobs in der DB überwachen Views: DBA_DATAPUMP_JOBS DBA_DATADUMP_SESSIONS Netcos AG (c) S e i te 1 6

17 Monitoring (2) Kommando Status des Clients Export> status Job: SYS_EXPORT_SCHEMA_01 Operation: EXPORT Mode: SCHEMA State: EXECUTING Bytes Processed: 0 Current Parallelism: 1 Job Error Count: 0 Dump File: /opt/oracle/products/10.2.0/rdbms/log/dptest.dmp bytes written: Worker 1 Status: State: EXECUTING Object Schema: BHGVK2 Object Name: MYTEST Object Type: SCHEMA_EXPORT/PROCEDURE/ALTER_PROCEDURE Completed Objects: 2 Total Objects: 2 Worker Parallelism: 1 Netcos AG (c) S e i te 1 7

18 Die wichtigsten Funktionen Parallele Ausführung auf dem Server Direkte Kontrolle über die Ausführung durch dedizierten Kontrollprozess Status Übersicht Restart eines Prozesses Neue Workerprozesse hinzufügen Netcos AG (c) S e i te 1 8

19 Die Größe eines Exports berechnen Parameterdatei JOB_NAME=MYEXPORT DIRECTORY=DATA_PUMP_DIR LOGFILE=DATA_PUMP_DIR:NETCOS.explog ESTIMATE_ONLY=Yes parfile=mypar.dpctl Auszug aus der Logdatei:.... estimated "NETCOS"."PRO_CON" 0 KB. estimated "NETCOS"."PROJECTS" 0 KB. estimated "NETCOS"."TASKS" 0 KB. estimated "NETCOS"."TAS_PRO" 0 KB Total estimation using BLOCKS method: MB Job "NETCOS"."NETCOSXXX" successfully completed at 14:36:05 Netcos AG (c) S e i te 1 9

20 1 99 Export Datei erzeugen mit %U Parameterdatei JOB_NAME=MYEXPORT DIRECTORY=DATA_PUMP_DIR DUMPFILE=DATA_PUMP_DIR:NETCOS_%U.dmp LOGFILE=DATA_PUMP_DIR:NETCOS.explog STATUS=20 FILESIZE=132K parfile=mypar.dpctl Auszug aus der Logdatei: Dump file set for NETCOS.NETCOSXXX is: /opt/oracle/products/10.2.0/rdbms/log/netcos_01.dmp /opt/oracle/products/10.2.0/rdbms/log/netcos_02.dmp /opt/oracle/products/10.2.0/rdbms/log/netcos_03.dmp Job "NETCOS"."NETCOSXXX" successfully completed at 14:31:01 Netcos AG (c) S e i te 2 0

21 Filter für DB Objekte Erweiterte Auswahl von Filtern für DB Objekte Mit include und exclude können für alle DB Objekte Filterregeln gesetzt werden EXCLUDE = object_type[:name_clause] [,...] INCLUDE = object_type[:name_clause] [,...] Beispiele: SCHEMAS=scott EXCLUDE=SEQUENCE, TABLE:"IN ('EMP', 'DEPT')" SCHEMAS=scott INCLUDE=FUNCTION, PACKAGE, PROCEDURE, TABLE:"= 'EMP'" Entweder include ODER exclude! Siehe auch Metalink Doc ID Netcos AG (c) S e i te 2 1

22 DDL Transformation Objekt Metadaten werden als XML Datei gespeichert Durch eine XSL Transformation werde während dem Import Eigenschaften geändern IMPDP stellt zur Verfügung REMAP_SCHEMA (wie fromuser/touser beim alten IMP) REMAP_TABLESPACE,REMAP_DATAFILE TRANSFORM=<storge Klausel> Damit können die Storage Klauseln entfernt werden Netcos AG (c) S e i te 2 2

23 Einen Job steuern Mit Ctrl-C kann der Job in den Edit-Modus versetzt werden The following commands are valid while in interactive mode. Note: abbreviations are allowed Command Description ADD_FILE Add dumpfile to dumpfile set. CONTINUE_CLIENT Return to logging mode. Job will be re-started if idle. EXIT_CLIENT Quit client session and leave job running. FILESIZE Default filesize (bytes) for subsequent ADD_FILE commands. HELP Summarize interactive commands. KILL_JOB Detach and delete job. PARALLEL Change the number of active workers for current job. PARALLEL=<number of workers>. START_JOB Start/resume current job. STATUS Frequency (secs) job status is to be monitored where the default (0) will show new status when available. STATUS[=interval] STOP_JOB Orderly shutdown of job execution and exits the client. STOP_JOB=IMMEDIATE performs an immediate shutdown of the Data Pump job. Netcos AG (c) S e i te 2 3

24 Restart Ein Restart ist immer dann möglich wenn: Die Mastertable ist noch intakt Die Dump file Set noch in Ordnung Neustart mit: Ein Client kann sich über ATTACH=<job_name> wieder verbinden Bei Problemen mit dem letzen zu exportierenden Objekt kann mit START=SKIP_CURRENT dieses übersprungen werden In Informationen über den Job sind immer in der aktuellen Mastertabelle hinterlegt! Netcos AG (c) S e i te 2 4

25 Das Package DBMS_DATAPUMP Starten und verwalten von Import/Export aus der Datenbank heraus Benötigte Rollen: EXP_FULL_DATABASE und IMP_FULL_DATABASE Job anlegen mit: Dbms_DataPump.Open Netcos AG (c) S e i te 2 5

26 Einen Export aus der DB aufrufen Starten des Export Jobs in der DB DECLARE h1 NUMBER; BEGIN -- Data Pump job handle h1 := DBMS_DATAPUMP.OPEN('EXPORT','SCHEMA',NULL,'JOBNAME','LATEST'); DBMS_DATAPUMP.ADD_FILE( handle => h1, filename =>'netcos05.dmp', directory => 'DMPDIR', filetype => 1 ); Dbms_DataPump.Add_File( handle => h1, filename => 'expdp_plsql.log', directory => 'DMPDIR', filetype => 3 ); KU$_FILE_TYPE_DUMP_FILE KU$_FILE_TYPE_LOG_FILE DBMS_DATAPUMP.METADATA_FILTER(h1,'SCHEMA_EXPR','IN (''NETCOS'')'); Typ 1 : Export Datei Typ 3 : Log Datei END; / DBMS_DATAPUMP.START_JOB(h1); Netcos AG (c) S e i te 2 6

27 Der Netzwerk Modus Daten zwischen zwei Instanzen austauschen Nur zwischen gleiche DB Versionen zu empfehlen Datenaustausch über DB Link Daten werden über insert as select kopiert Kann auch Remote read only DB's exportieren, wenn die Ziel Instanz die Jobs steuert Netcos AG (c) S e i te 2 7

28 Wie löst DataPump Abhängigkeiten auf? Siehe View: Database/Schema/Table_EXPORT_OBJECTS SQL> select object_path,comments from table_export_objects where object_path like 'TABLE%'; OBJECT_PATH COMMENTS TABLE/AUDIT_OBJ Object audits on the selected tables TABLE/COMMENT Table and column comments on the selecte d tables TABLE/CONSTRAINT Constraints (including referential const raints) TABLE/CONSTRAINT/REF Referential constraints _CONSTRAINT TABLE_EXPORT/TABLE/A Object audits on the selected tables Netcos AG (c) S e i te 2 8

29 Performance Überlegungen I/O Bandbreite ist der wichtigste Faktor DUMP File auf einen anderen Bereich als die Datendateien legen DUMPFILE=myDumpDirectory1:myExport%u.dmp,myDumpDirectory1:myExport%u.dmp Etwas mehr SGA für die JOB Ausführung Auf genügend Platz in den Rollback Segmenten achten Netcos AG (c) S e i te 2 9

30 Ein Performance Vergleich Export eines Schemas Versuch EXP time exp file=test.dmp Versuch EXPD real 25m58.134s user 12m53.760s sys 4m50.485s Dump file ca MB time expdp schemas=bhgvk2 dumpfile=dptest.dmp Ergebnis: - Datapump ca. 3-4 mal so schnell - Dumpfilegröße ähnlich real 6m11.165s user 0m0.311s sys 0m0.148s Dump File ca. 925 MB Netcos AG (c) S e i te 3 0

31 Trace für DataPump anlegen Mit trace= kann für den Master Control Process (MCP) und den Worker Process ein Trace angelegt werden Metalink Doc ID: Note: Netcos AG (c) S e i te 3 1

32 Sicherheitsüberlegungen Problematik des Überschreibens und das Anlegen von Dateien im Betriebssystem Dateien werden mit den Rechten des Oracle Prozesse in Verzeichnisse geschrieben Netcos AG (c) S e i te 3 2

33 Bekannte Probleme Export / Import von Objekt Typen ORA-39083: Objekttyp TYPE konnte nicht erstellt werden, Fehler: ORA-02304: Ungültiges Objektidentifizierungsliteral Fehlerhafte SQL ist: CREATE TYPE "OE9"."CUST_ADDRESS_TYP" OID '88A4AF6A4CD1656DE E0EE3D' ( street_address VARCHAR2(40), postal_code VARCHAR2(10), city VARCHAR2(30), state_province VARCHAR2(10), country_id CHAR(2) ); AS OBJECT Netcos AG (c) S e i te 3 3

34 Vor- und Nachteile Vorteil: Ausführung aus PL/SQL über eigene API Restart möglich Wesentlich performanter Nachteil: Je nach dem, läuft nur auf dem Server Nur zu 10g kompatibel Für Installationsroutinen für das Verteilen eines Schematas zu viel Vorarbeit notwendig Netcos AG (c) S e i te 3 4

35 Zusammenfassung Export/Import direkt aus der Datenbank ausführen Wesentlich bessere Steuerung als mit IMP/EXP Deutlich bessere Performance Netcos AG (c) S e i te 3 5

36 Oracle Data Pump Kontakt: Gunther Pippèrr F Fragen & A Antworten Netcos AG Richard-Strauss-Str München Ihr Ansprechpartner für: - Oracle Workshops und Training - Oracle Projekte mit Forms/Reports - Java- und XML-Projekte - Schnittstellen-Entwicklung - Oracle-Lizenzen - Remote Wartung und Adminstration - Oracle Security Netcos AG (c) S e i te 3 6