Datentransfer mit Oracle Tools

Transkript

1 Datentransfer mit Oracle Tools Was ist möglich? Christian

2 About me Christian Gohmann Senior Consultant at Trivadis GmbH, Düsseldorf Instructor since 2014 O-AI (Oracle Architecture and Internals) O-AI-DBA (Oracle Architecture and Internals for DBAs) Tool Owner of TVD-Backup Experiences with Oracle since 2006 (8i 19c) Architecture, Installation & Configuration High Availability Solutions (RAC, Data Guard) Migration Projects Backup & Recovery (RMAN, Data Pump) Blog:

3 Agenda 1. Einleitung 2. Data Pump 3. SQL*Loader 4. SQL Developer 5. SQL*Plus / SQLcl 6. External Tables

4 Einleitung

5 Zeichenkodierung 1/3 Zeichensatz wird beim Anlegen der Datenbank festgelegt Legt fest, welche Zeichen in der Datenbank gespeichert werden können Heutzutage wird immer häufiger der Unicode Zeichensatz (z.b. AL32UTF8) eingesetzt Zeichen müssen zwischen Client und Datenbank korrekt konvertiert werden Anderenfalls kommt es zu logischer Datenkorruption Bei identischen Zeichensatz findet keine Validierung statt Auf Client-Seite muss die Umgebungsvariable NLS_LANG korrekt gesetzt sein Legt fest welchen Zeichensatz der Client verwendet (z.b. WE8MSWIN1252) Standard Zeichensatz ist US7ASCII $> set/export NLS_LANG=GERMAN_GERMANY.WE8MSWIN1252 Unter Windows kann NLS_LANG auch über einen Registry Key unter dem Zweig HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\<Home Name> gesetzt werden

6 Zeichenkodierung 2/3 Bei der Verarbeitung einer Datei muss NLS_LANG ggf. anders gesetzt werden Zeichensatz muss mit dem Kodierung der Datei übereinstimmen Vor dem Einlesen einer Datei immer die Kodierung überprüfen $> file data_unicode.txt data_unicode.txt: UTF-8 Unicode text, with no line terminators $> export NLS_LANG=GERMAN_GERMANY.AL32UTF8 $> file data_ansi.txt data_ansi.txt: ISO-8859 text, with CRLF line terminators $> export NLS_LANG=GERMAN_GERMANY.WE8ISO8859P15 Windows Endof-Line Marker P15 unterstützt das -Zeichen Unter Windows kann die Kodierung einer Datei mit externen Tools, wie zum Beispiel Notepad++ ausgelesen werden.

7 Zeichenkodierung 3/3 Für die Überprüfung, ob die Daten korrekt in der Datenbank gespeichert wurde, sollte ein Unicode Client, wie zum Beispiel der SQL Developer verwendet werden Die aktuelle Version des SQL Developers kann über das Oracle Technology Network ( bezogen werden.

8 Data Pump

9 Allgemeines Eingeführt mit Oracle 10g als Nachfolger des Export/Import Utility Server-basiertes Werkzeug zum Entladen und Laden von Metadaten und Daten Verwendet intern das Datenbank-Jobsystem Ist vollständig in PL/SQL geschrieben (DBMS_DATAPUMP, DBMS_METADATA) Legacy Mode zur Verwendung der alten Export/Import Skripte Nur für den Austausch von Daten zwischen Oracle Datenbanken geeignet Speicherung der Daten erfolgt in dem proprietären Stream Format der Direct Path API Alternativ kann ein Datenbank-Link zwischen Quelle und Ziel verwendet werden Dumpfile wird auf dem Server abgelegt (DIRECTORY Objekt) Nicht kompatibel mit den Dumpfiles des Export/Import Utility Die Client Werkzeuge expdp und impdp dienen lediglich der Interaktion mit der Data Pump API.

10 Data Pump Export/Import Modi Full (FULL=YES) Entladen der vollständigen Datenbank bzw. Laden aller Objekte des Dumpfiles Tablespace (TABLESPACES=CRM_DATA,ERP_DATA) Entladen/Laden der Objekte von einem oder mehreren Tablespaces Transportable Tablespace (TRANSPORT_TABLESPACES=CRM_DATA,ERP_DATA) Entladen/Laden der Metadaten der Objekte der zu transportierenden Tablespaces Schema (Default) (SCHEMAS=USER1,USER2, ) Entladen/Laden vollständiger Schemas Table (TABLES=SCOTT.EMP,SCOTT.DEPT) Entladen/Laden von einzelnen Tabellen oder Partitionen Objekte von System-Schemas, wie zum Beispiel SYS, ORDSYS oder MDSYS werden nicht exportiert.

11 Beispiele Konsistenter, vollständiger Export der Datenbank Benutzer benötigt die Rolle EXP_FULL_DATABASE (z.b. SYSTEM) Paralleler Export nur mit der Enterprise Edition nöglich $> expdp system DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_full_%U.dmp \ LOGFILE=expdp_full.log FULL=YES FLASHBACK_TIME=SYSTIMESTAMP PARALLEL=2 Export des Schemas SCOTT, ohne Objekt-Statistiken Auf Undo Retention achten $> expdp system DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ SCHEMAS=SCOTT LOGFILE=expdp_scott.log EXCLUDE=STATISTICS Generierung SQL-Skript für ein bestehndes Dumpfile $> impdp system DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ SQLFILE=scott.sql SCHEMAS=SCOTT

12 Reduzierung der Spaltenanzahl und Datenmenge Bei einem Tabellen Export wird immer die vollständige Tabelle, inkl. aller Spalten exportiert. Lediglich die Datenmenge kann durch Angabe des QUERY Parameters eingeschränkt werden $> expdp scott/tiger DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ TABLES=EMP QUERY=EMP:"WHERE deptno = 10" NOLOGFILE=YES Ab Oracle 12c kann eine View definiert werden, die dann als eigenständige Tabelle exportiert wird Erlaubt das Ausblenden sensibler/nicht benötigter Spalten Erlaubt die Ergebnismenge einer komplexen Abfrage (z.b. Joins) zu exportieren Intern wird eine Vorlagen-Tabellen mit den Spalten der View, aber ohne Daten erstellt $> expdp scott/tiger DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ VIEWS_AS_TABLES=V_EMP_DEPT10 NOLOGFILE=YES

13 Manipulation von Metadaten und Daten 1/2 Data Pump erlaubt das Manipulieren der als XML gespeicherten Metadaten Parameter: REMAP_TABLESPACE, REMAP_SCHEMA, REMAP_TABLE, TRANSFORM $> impdp scott/tiger DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ TABLES=EMP REMAP_TABLESPACE=SCOTT_DATA:EMP_DATA TRANSFORM="PCTSPACE:20" \ NOLOGFILE=YES Zusätzlich wird die Manipulation von Daten mittels REMAP_DATA ermöglicht Vor dem Schreiben der Daten wird eine Funktion eines PL/SQL Pakets aufgerufen Wird auf Spaltenebene definiert $> impdp scott/tiger DIRECTORY=DATA_PUMP_DIR DUMPFILE=expdp_scott.dmp \ TABLES=EMP REMAP_DATA=EMP.ENAME:DATA_TRANSFORM.HIDE_NAME NOLOGFILE=YES

14 Manipulation von Metadaten und Daten 2/2 Beispiel: PL/SQL Funktion, die den Namen auf den ersten Buchstaben kürzt SQL> CREATE OR REPLACE PACKAGE DATA_TRANSFORM IS FUNCTION HIDE_NAME (name IN VARCHAR2) RETURN VARCHAR2; END DATA_TRANSFORM; / SQL> CREATE OR REPLACE PACKAGE BODY DATA_TRANSFORM IS FUNCTION HIDE_NAME (name IN VARCHAR2) RETURN VARCHAR2 IS BEGIN RETURN SUBSTR(name, 0, 1) '.'; END HIDE_NAME; END DATA_TRANSFORM; / Die PL/SQL Funktion sollte kein Rollback oder Commit auslösen.

15 Data Pump API Schema Export DECLARE h1 number; begin h1 := DBMS_DATAPUMP.OPEN (operation => 'EXPORT', job_mode => 'SCHEMA', job_name => 'EXP_SD_ _17_24, version => '12.2'); DBMS_DATAPUMP.SET_PARALLEL(handle => h1, degree => 1); DBMS_DATAPUMP.ADD_FILE(handle => h1, filename => 'expdp_scott-' TO_CHAR(SYSDATE,'hh24_mi_ss') '.log, directory => 'DATA_PUMP_DIR', filetype => 3); Liste der Schemas DBMS_DATAPUMP.SET_PARAMETER(handle => h1, name => 'KEEP_MASTER', value => 1); DBMS_DATAPUMP.METADATA_FILTER(handle => h1, name => 'SCHEMA_EXPR', value => 'IN(''SCOTT'')'); DBMS_DATAPUMP.ADD_FILE(handle => h1, filename => 'expdp_scott-' TO_CHAR(SYSDATE,'hh24_mi_ss') '.dmp, directory => 'DATA_PUMP_DIR', filesize => '500M', filetype => 1); DBMS_DATAPUMP.SET_PARAMETER(handle => h1, name => 'INCLUDE_METADATA', value => 1); DBMS_DATAPUMP.DATA_FILTER(handle => h1, name => 'SUBQUERY', value => 'WHERE DEPTNO = 10', table_name => 'EMP, schema_name => 'SCOTT'); DBMS_DATAPUMP.SET_PARAMETER(handle => h1, name => 'FLASHBACK_SCN', value => DBMS_FLASHBACK.GET_SYSTEM_CHANGE_NUMBER); DBMS_DATAPUMP.SET_PARAMETER(handle => h1, name => 'DATA_ACCESS_METHOD', value => 'AUTOMATIC'); DBMS_DATAPUMP.SET_PARAMETER(handle => h1, name => 'ESTIMATE', value => 'BLOCKS'); DBMS_DATAPUMP.START_JOB(handle => h1, skip_current => 0, abort_step => 0); DBMS_DATAPUMP.DETACH(handle => h1); END; /

16 Data Pump Export Wizard 1/8

24 SQL Developer

25 Allgemeines Ergebnisse von SQL Abfragen können direkt im SQL Worksheet exportiert werden Über das Kontextmenu Export im Query Result Reiter zu finden Unterstützte Formate: CSV, DELIMITED, HTML, JSON, T2, TSV, XML Microsoft Excel, PDF INSERT, FIXED, LOADER Externe Textdateien (CSV, DELIMITED, TSV) können über den Import Wizard geladen werden Aufruf über das Kontextmenü (Import Data ) einer Tabelle im Connections Browser Kann verwendet werden, um ein SQL*Loader Controlfile zu generieren

26 Export Wizard 1/2

27 Export Wizard 2/2

28 Import Wizard 1/5 Vorschau der Daten, bei Problemen Encoding ändern

29 Import Wizard 2/5

33 SQL*Loader

34 Allgemeines Laden von externen Dateien in die Datenbank Die flexible Parsing Engine erlaubt das Laden von nahezu beliebig formatierten Dateien Inklusive dem Laden von XML Dateien Unterstützung unterschiedlicher Load-Methoden Direct Path: Formatierte Oracle Blöcke werden direkt in die Datafiles geschrieben (verbesserte Performance) Conventional Path: Ausführung von klassischen INSERT Anweisungen in Kombination mit einem Bind-Array-Buffer Tabellen werden nicht automatisch durch SQL*Loader erstellt Konfiguration des SQL*Loader erfolgt in der Regel über ein Control File Für einfache Ladevorgänge kann der SQL*Loader Express Mode verwendet werden Der SQL*Loader kann auch in den Instant Client integriert werden (Paket: Tools).

35 SQL*Loader Control File Einfache Textdatei zum Steuern eines SQL*Loader Ladevorganges Unterteilt in drei große Bereiche Sitzungsinformationen Tabellen- und Feldinformationen Eingabedaten (BEGINDATA, optional) Kommentare können mit -- eingeleitet werden Escape-Zeichen: \ (Backslash) $> vi emp.ctl LOAD DATA INFILE 'emp*.csv BADFILE 'emp.bad' DISCARDFILE 'emp.dis' APPEND INTO TABLE EMP WHEN deptno = '10' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ( EMPNO ":EMPNO ", ENAME "UPPER(:ename)", JOB, MGR, HIREDATE DATE "dd.mm.yyyy", SAL, COMM, DEPTNO Eingabedateien, Verwendung von Wildcards ab 12c möglich Filterung von Datensätzen ) $> sqlldr scott/tiger CONTROL=emp.ctl Manipulation der Daten Die vom SQL*Loader generierten BADFILE (fehlerhafte Zeilen) und DISCARDFILE (aussortierte Zeilen) Dateien können wiederum als INFILE verwendet werden.

36 SQL*Loader Express Mode Verfügbar ab Oracle 12c Release 1 CSV Dateien können direkt in die dazugehörige Tabelle geladen werden Der Name der Eingabedatei entspricht dem Namen der Zieltabelle Im Hintergrund wird automatisch ein DIRECTORY Objekt angelegt Existiert bereits ein entsprechendes Objekt, so wird dies genommen Für das Anlegen benötigt der Benutzer das CREATE ANY DICTIONARY Privileg Beispiel: Laden von Datensätzen in die Tabelle EMP $> vi EMP.dat 9999,GOHMANN,CEO,,01-JAN-70,10000,,10 $> sqlldr scott/tiger TABLE=EMP Bei größeren Eingabedateien empfiehlt sich die Aktivierung der Resumable Operation (resumable=yes), damit Ladevorgänge nicht direkt abbrechen, wenn ein Tablespace vollgelaufen ist.

37 SQL*Plus / SQLcl

38 Generierung einer CSV Ausgabe mit SQL*Plus 1/3 Verfügbar ab Oracle 12c Release 2 Ausgabe der Ergebnismenge einer Abfrage als Comma Separated Values (CSV) Änderung des Trennzeichens (DELIMITER) und ob Anführungszeichen bei Zeichenketten (QUOTE) verwendet werden sollen ist möglich SQL> SET MARKUP CSV ON DELIMITER ";" QUOTE ON SQL> SELECT * FROM scott.emp WHERE ename = 'SCOTT'; "EMPNO";"ENAME";"JOB";"MGR";"HIREDATE";"SAL";"COMM";"DEPTNO" 7788;"SCOTT";"ANALYST";7566;"19-APR-87";3000;;20 Das verwendete Trennzeichen wird in Zeichenketten nicht escaped Die Generierung einer HTML Ausgabe gab es bereits in früheren Versionen von SQL*Plus.

39 Generierung einer CSV Ausgabe mit SQL*Plus 2/3 Formatierung von Spalten über COLUMN Kommandos ist möglich COLUMN FORMAT COLUMN HEADING COLUMN NULL SQL> COLUMN empno FORMAT SQL> COLUMN ename HEADING emp_name SQL> COLUMN comm NULL 'N/A' SQL> SELECT * FROM scott.emp WHERE ename = 'SCOTT'; "EMPNO";"EMP_NAME";"JOB";"MGR";"HIREDATE";"SAL";"COMM";"DEPTNO" ;"SCOTT";"ANALYST";7566;"19-APR-87";3000;N/A;20 Weitere COLUMN Kommandos, wie z.b. NOPRINT können (negative) Auswirkungen auf das Resultat haben.

40 Generierung einer CSV Ausgabe mit SQL*Plus 3/3 Ausgabe als CSV kann direkt beim Starten von SQL*Plus aktiviert werden Praktisch für die automatisierte Generierung von CSV Dateien Bestehende SQL Skripte müssen nicht erweitert werden $> sqlplus -S -M "CSV ON DELIMITER ';'" sed '/^$/d' Leerzeilen können z.b. mit sed entfernt werden Ggf. bei geänderten glogin.sql weitere Zeilen entfernen Die Ausgabe als HTML kann analog dazu aktiviert werden Durch Verwendung des -S Parameters wird SQL*Plus im Silent Mode verwendet.

41 Wechseln der Formatierung in SQLcl SQLcl erlaubt es mit SET SQLFORMAT das Format der Ausgabe zu ändern SQL> SET SQLFORMAT csv Folgende Formate werden unterstützt: CSV, HTML, JSON, XML ANSICONSOLE, INSERT, LOADER, FIXED, DELIMITED Die Angabe des Formats kann über ein spezielles Kommentar angegeben werden SQL> SELECT /*csv*/ * FROM emp; Zusätzlich besteht die Möglichkeit eigene Formate zu definieren (Java Script) Siehe SET SQLFORMAT und das spezielle Kommentar können im SQL Developer ebenfalls verwendet werden.

42 External Tables

43 Allgemeines Spezieller Objekttyp, der lesenden Zugriff auf Dateien außerhalb der Datenbank erlaubt Manipulation der Daten ist nicht möglich, entladen von Daten dagegen schon Dateien können nahezu beliebig formatiert sein Es wird eine Untermenge der Funktionalitäten des SQL*Loaders verwendet Lediglich Metainformationen zu der Tabelle werden im Data Dictionary abgelegt View: DBA_EXTERNAL_TABLES Ab Oracle 18c können Inline External Tables verwendet werden SQL> SELECT * FROM EXTERNAL(...); Kann wie eine normale Tabelle in SQL Anweisungen verwendet werden Zugriff auf die Daten erfolgt über einen Access Driver, die unterschiedliche Funktionalitäten bereitstellen Objektstatistiken sollten auch für External Tables mittels DBMS_STATS gesammelt werden.

44 Access Drivers ORACLE_LOADER (Default) Lesender Zugriff auf Textdateien außerhalb der Datenbank ORACLE_DATAPUMP Entladen der Ergebnismenge einer Abfrage in ein binäres Dumpfile Zugriff auf Inhalte von binären Dumpfiles Kann nicht von Data Pump gelesen werden ORACLE_HIVE Ab Oracle 12c Release 2 Lesender Zugriff auf Daten einer Apache Hive Datenquelle ORACLE_HDFS ab Oracle 12c Release 2 Lesender Zugriff auf Dateien in einem Hadoop Distributed File System (HDFS)

45 Preprocessor Erlaubt das automatische Ausführen eines Betriebssystembefehls/-skriptes Nicht verfügbar, wenn Database Vault aktiv ist Parameter an einen Befehl können nicht übergeben werden Z.B.: Entpacken der gezippten Eingabedateien, Manipulation der Inhalte Steht nur für den Access Driver ORACLE_LOADER zur Verfügung Es werden EXECUTE Privilegien für das DIRECTORY Objekt benötigt ACHTUNG: Der Benutzer kann dann jedes Skript in dem Verzeichnis ausführen SQL> GRANT EXECUTE ON DIRECTORY data_dir TO SCOTT; Unter Windows sollte die erste Anweisung in einem off sein Anderenfalls würden die ausgeführten Befehle als Eingabedaten verwendet werden Ein eigenes Verzeichnis für die ausführbaren Preprocessor Dateien verwendet.

46 Partitionierte External Tables Ab Oracle 12c Release 2 können partitionierte External Tables angelegt werden Eine Partition entspricht einer oder mehrerer Eingabedateien Bis auf Ebene Subpartition möglich Korrektheit der Daten gegenüber dem Partition Key wird nicht geprüft DBA ist verantwortlich für die Konsistenz der Daten Wird von allen Access Drivern unterstützt Optimizer kann z.b. Partition Pruning einsetzen, um die Performance der Abfrage zu verbessern

47 ORACLE_LOADER Beispiel SQL> CREATE DIRECTORY ext_data_dir AS '/data'; SQL> CREATE TABLE emp_xt4 ( empno NUMBER(4), ename VARCHAR2(10), deptno NUMBER(2) ) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY ext_data_dir ACCESS PARAMETERS ( RECORDS DELIMITED BY NEWLINE Preprocessor PREPROCESSOR 'unzip_emp.sh' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' )) REJECT LIMIT UNLIMITED Partitionierung PARTITION BY LIST (deptno) (PARTITION emp_dept10 VALUES ('10') LOCATION ('emp_dept10a.csv, 'emp_dept10b.csv'), PARTITION emp_dept20 VALUES ('20') LOCATION ('emp_dept20.csv'));

48 Entladen von Daten Access Driver ORACLE_DATAPUMP erlaubt das Entladen von Daten in eine externe Datei Daten werden in einem binären, proprietären Format (Dumpfile) gespeichert Kann wiederum nur mittels ORACLE_DATAPUMP eingelesen werden SQL> CREATE TABLE emp_xt ORGANIZATION EXTERNAL (TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY data_dir LOCATION ('ext_xt.dmp')) AS SELECT empno, ename FROM emp WHERE deptno = 10; SQL> CREATE TABLE emp_deptno10_xt (empno NUMBER(4), ename VARCHAR2(10)) ORGANIZATION EXTERNAL (TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY data_dir LOCATION ('ext_xt.dmp')); Parallelisierung ist durch Angabe von PARALLEL mit mehreren Dumpfiles möglich Das Dumpfile ist plattform- und betriebssystemunbhängig.

49 Further Information SQL Developer Documentation Oracle Utilities Guide 19c My Oracle Support

50 Questions and answers.. Christian Gohmann Senior Consultant Tel