Data Warehousing mit Oracle9i [E]TL mit External Tables & Table Functions. Peter Welker - Trivadis Deutschland GmbH

Transkript

1 Data Warehousing mit Oracle9i [E]TL mit External Tables & Table Functions Peter Welker - Trivadis Deutschland GmbH

2 Agenda DWH-Features für die ETL-Prozesse Change Data Capture External Tables Table Functions Multitable INSERT MERGE Statement PL/SQL Bulk Operations Resumable Operations Multiple Block Sizes Fazit (E)TL mit External Tables und Table Functions Copyright Trivadis AG 2

3 Architektur eines Data Warehouses Data Warehouse Data Marts Quellsysteme ETL Features RDBMS Features OLAP Features (E)TL mit External Tables und Table Functions Copyright Trivadis AG 3

4 ETL (I) Data Warehouse Quellsysteme Extraction Transformation Loading (E)TL mit External Tables und Table Functions Copyright Trivadis AG 4

5 ETL (II) Staging Area Data Warehouse Quellsysteme Extraction Loading Transformation (E)TL mit External Tables und Table Functions Copyright Trivadis AG 5

6 ETL (III) Data Warehouse Quellsysteme Extraction Loading & Transformation (E)TL mit External Tables und Table Functions Copyright Trivadis AG 6

7 Typischer Ablauf eines ETL-Prozesses mit 8i Schritt 1: Loading File mit SQL*Loader in Stagingtabelle einlesen Schritt 2: Data Cleansing Daten bereinigen und Duplikate eliminieren über Zwischentabelle Schritt 3: Transformation Ermitteln von Surrogate Keys über Zwischentabelle Schritt 4: Insert Einfügen von Daten in Fakttabelle bspw. mit Direct-Load INSERT SQL*Loader CTAS DAT_xxx CTAS TMP_xxx_CLEAN Direct-INSERT 3 TMP_xxx_DWH FCT_xxx (E)TL mit External Tables und Table Functions Copyright Trivadis AG 7

8 Typischer Ablauf eines ETL-Prozesses mit 9i Schritt 1: Loading, Data Cleansing, Transformation, Insert File ist als External Table sichtbar, Zugriff direkt via SQL möglich Zugriff auf Quellsystem mit Change Data Capture Daten bereinigen und Duplikate eliminieren mit Table Functions Ermitteln von Surrogate Keys mit Table Functions Einfügen von Daten in Fakttabelle mit Direct-Load INSERT Subscriber View EXT_xxx External Table Change Data Capture Table Function Table Function Direct-INSERT FCT_xxx (E)TL mit External Tables und Table Functions Copyright Trivadis AG 8

9 Agenda DWH-Features für die ETL-Prozesse External Tables Table Functions Fazit (E)TL mit External Tables und Table Functions Copyright Trivadis AG 9

10 External Tables Oracle9i kann Daten direkt aus Flat Files lesen und weiterverarbeiten Tabellenstruktur in der Datenbank Tabellendaten in externem File External Tables sind Read-Only (kein DML) (E)TL mit External Tables und Table Functions Copyright Trivadis AG 10

11 External Tables DDL für External Table besteht aus zwei Teilen: 1. Tabellenstruktur (Attribute, Datentypen) 2. Map auf ausgelagerte Daten CREATE CREATE TABLE TABLE sales_transactions_ext sales_transactions_ext ( ( PROD_ID PROD_ID NUMBER(6), NUMBER(6), CUST_ID CUST_ID NUMBER, NUMBER, TIME_ID TIME_ID DATE, DATE, CHANNEL_ID CHANNEL_ID CHAR(1), CHAR(1), PROMO_ID PROMO_ID NUMBER(6), NUMBER(6), QUANTITY_SOLD QUANTITY_SOLD NUMBER(3), NUMBER(3), AMOUNT_SOLD AMOUNT_SOLD NUMBER(10,2)) NUMBER(10,2)) ORGANIZATION ORGANIZATION EXTERNAL EXTERNAL ( ( TYPE TYPE oracle_loader oracle_loader DEFAULT DEFAULT DIRECTORY DIRECTORY data_file_dir data_file_dir ACCESS ACCESS PARAMETERS PARAMETERS ( ( RECORDS RECORDS DELIMITED DELIMITED BY BY NEWLINE NEWLINE CHARACTERSET CHARACTERSET WE8ISO8859P1 WE8ISO8859P1 BADFILE BADFILE log_file_dir:'sh_sales_ext.bad' log_file_dir:'sh_sales_ext.bad' LOGFILE LOGFILE log_file_dir:'sh_sales_ext.log' log_file_dir:'sh_sales_ext.log' FIELDS FIELDS TERMINATED TERMINATED BY BY " " " " LDRTRIM LDRTRIM ) ) LOCATION('sh_sales.dat')) LOCATION('sh_sales.dat')) REJECT REJECT LIMIT LIMIT UNLIMITED; UNLIMITED; (E)TL mit External Tables und Table Functions Copyright Trivadis AG 11

12 External Tables Definition der External Table ist getrennt von der File-Struktur, d.h. File kann mehr Felder haben als die Tabelle, Daten- Typ kann unterschiedlich sein Prüfung der Kompatibilität des Files und der Tabelle wird durch den Access Driver während dem Load gemacht (Runtime) Unterstützung von verschiedenen Formaten FIXED length VARIABLE size DELIMITED (E)TL mit External Tables und Table Functions Copyright Trivadis AG 12

13 External Tables External Tables verwenden Oracle Directories CREATE CREATE OR OR REPLACE REPLACE DIRECTORY DIRECTORY data_file_dir data_file_dir AS AS 'D:\TechnoCircle_DWH\data'; 'D:\TechnoCircle_DWH\data'; GRANT GRANT READ READ ON ON DIRECTORY DIRECTORY data_file_dir data_file_dir TO TO sh; sh; CREATE CREATE OR OR REPLACE REPLACE DIRECTORY DIRECTORY log_file_dir log_file_dir AS AS 'D:\TechoCircle_DWH\log'; 'D:\TechoCircle_DWH\log'; GRANT GRANT WRITE WRITE ON ON DIRECTORY DIRECTORY log_file_dir log_file_dir TO TO sh; sh; CREATE CREATE TABLE TABLE sales_transactions_ext sales_transactions_ext ( ( ) ) ORGANIZATION ORGANIZATION EXTERNAL EXTERNAL ( ( TYPE TYPE oracle_loader oracle_loader DEFAULT DEFAULT DIRECTORY DIRECTORY data_file_dir data_file_dir ACCESS ACCESS PARAMETERS PARAMETERS ( ( RECORDS RECORDS DELIMITED DELIMITED BY BY NEWLINE NEWLINE CHARACTERSET CHARACTERSET US7ASCII US7ASCII BADFILE BADFILE log_file_dir:'sh_sales_ext.bad' log_file_dir:'sh_sales_ext.bad' LOGFILE LOGFILE log_file_dir:'sh_sales_ext.log' log_file_dir:'sh_sales_ext.log' FIELDS FIELDS TERMINATED TERMINATED BY BY " " " " LDRTRIM LDRTRIM ) ) LOCATION('sh_sales.dat')) LOCATION('sh_sales.dat')) REJECT REJECT LIMIT LIMIT UNLIMITED; UNLIMITED; (E)TL mit External Tables und Table Functions Copyright Trivadis AG 13

14 External Tables Indizes können nicht erstellt werden DROP TABLE löscht das File nicht...aber Optimizer-Statistiken können berechnet werden Nur mit dbms_stats! SQL> SQL> ANALYZE ANALYZE TABLE TABLE sales_transactions_ext sales_transactions_ext COMPUTE COMPUTE STATISTICS; STATISTICS; * * ERROR ERROR at at line line 1: 1: ORA-30657: ORA-30657: operation operation not not supported supported on on external external organized organized table table SQL> SQL> EXEC EXEC dbms_stats.gather_table_stats('sh','sales_transactions_ext'); dbms_stats.gather_table_stats('sh','sales_transactions_ext'); PL/SQL PL/SQL procedure procedure successfully successfully completed. completed. (E)TL mit External Tables und Table Functions Copyright Trivadis AG 14

15 External Tables Können auch automatisch mit SQL*Loader erstellt werden mit der Option EXTERNAL_TABLE NOT_USED (Default) EXECUTE GENERATE_ONLY Generierte Syntax befindet sich im Log file sqlldr sqlldr userid=etl/etl userid=etl/etl control=loadfile.ctl data=test.dat data=test.dat external_table=generate_only Hervorragend für Migration vom SQL*Loader auf External Tables geeignet! (E)TL mit External Tables und Table Functions Copyright Trivadis AG 15

16 External Tables Zugriff auf External Table via SQL INSERT INTO SELECT CREATE TABLE AS SELECT Spalten können auch durch SQL, PL/SQL oder Java Funktionen umgewandelt werden Joins mit Datenbank-Tabellen sind möglich Queries können parallelisiert werden DOP (Degree of Parallelism) per Hints oder Parallel Clause definieren Macht nur Sinn mit grossen Files (E)TL mit External Tables und Table Functions Copyright Trivadis AG 16

17 External Tables Beispiel: Join von External Table mit Dimensionstabelle SQL> SQL> SELECT SELECT p.prod_name, p.prod_name, 2 2 SUM(s.quantity_sold) SUM(s.quantity_sold) quantity_sold, quantity_sold, 3 3 SUM(s.amount_sold) SUM(s.amount_sold) amount_sold amount_sold 4 4 FROM FROM sales_transactions_ext sales_transactions_ext s, s, products products p p 5 5 WHERE WHERE s.prod_id s.prod_id = = p.prod_id p.prod_id 6* 6* GROUP GROUP BY BY p.prod_name; p.prod_name; Execution Execution Plan Plan SELECT SELECT STATEMENT STATEMENT Optimizer=CHOOSE Optimizer=CHOOSE SORT SORT (GROUP (GROUP BY) BY) HASH HASH JOIN JOIN TABLE TABLE ACCESS ACCESS (FULL) (FULL) OF OF 'PRODUCTS' 'PRODUCTS' EXTERNAL EXTERNAL TABLE TABLE ACCESS ACCESS (FULL) (FULL) OF OF 'SALES_TRANSACTIONS_EXT' 'SALES_TRANSACTIONS_EXT' (E)TL mit External Tables und Table Functions Copyright Trivadis AG 17

18 External Tables Syntax-Validierung beim SELECT und nicht bei der Erstellung select select count(*) count(*) from from addresses_xt addresses_xt * * ERROR ERROR at at line line 1: 1: ORA-29913: ORA-29913: error error in in executing executing ODCIEXTTABLEOPEN ODCIEXTTABLEOPEN callout callout ORA-29400: ORA-29400: data data cartridge cartridge error error KUP-00554: KUP-00554: error error encountered encountered while while parsing parsing input input commands commands KUP-01005: KUP-01005: syntax syntax error: error: found found "terminated": "terminated": expecting expecting one one of: of: "comma, "comma, char, char, date, date, defaultif, defaultif, decimal, decimal, double, double, float, float, integer, integer, (, (, nullif, nullif, oracle_date, oracle_date, oracle_number, oracle_number, position, position, raw, raw, recnum, recnum, ), ), unsigned, unsigned, varrawc, varrawc, varchar, varchar, varraw, varraw, varcharc, varcharc, zoned" zoned" KUP-01007: KUP-01007: at at line line 7 7 column column ORA-06512: ORA-06512: at at "SYS.ORACLE_LOADER", "SYS.ORACLE_LOADER", line line ORA-06512: ORA-06512: at at line line 1 1 (E)TL mit External Tables und Table Functions Copyright Trivadis AG 18

19 External Tables Behandlung von NULL-Werten ist falsch SQL> SQL> SELECT SELECT ename, ename, sal, sal, comm comm FROM FROM emp_xt emp_xt WHERE WHERE comm comm IS IS NULL; NULL; ENAME ENAME SAL SAL COMM COMM SMITH SMITH JONES JONES BLAKE BLAKE rows rows selected. selected. SQL> SQL> SELECT SELECT COUNT(*) COUNT(*) FROM FROM emp_xt emp_xt WHERE WHERE comm comm IS IS NULL; NULL; COUNT(*) COUNT(*) Funktioniert aber mit 9i Release 2! (E)TL mit External Tables und Table Functions Copyright Trivadis AG 19

20 External Tables Konvertierung mit, als Dezimalzeichen funktioniert nicht (NLS korrekt) CREATE CREATE TABLE TABLE books_ext books_ext ( (...betrag1...betrag1 number(12,2), number(12,2), mit mit Werten Werten wie wie 20,05 20,05 SQL> SQL> SELECT SELECT betrag1 betrag1 FROM FROM books_ext; books_ext; * * FEHLER FEHLER in in Zeile Zeile 1: 1: ORA-29913: ORA-29913: Fehler Fehler bei bei der der Ausführung Ausführung von von Aufruf Aufruf ODCIEXTTABLEFETCH ODCIEXTTABLEFETCH ORA-30653: ORA-30653: Grenzwert Grenzwert für für Zurückweisung Zurückweisung erreicht erreicht ORA-06512: ORA-06512: in in "SYS.ORACLE_LOADER", "SYS.ORACLE_LOADER", Zeile Zeile ORA-06512: ORA-06512: in in Zeile Zeile 1 1 logfile: logfile: error error processing processing column column BETRAG1 BETRAG1 in in row row 1 1 for for ORA-01722: ORA-01722: invalid invalid number number Workaround: Als VARCHAR2 laden und beim Weiterverarbeiten konvertieren (E)TL mit External Tables und Table Functions Copyright Trivadis AG 20

21 External Tables Data Dictionary SQL> SQL> SELECT SELECT table_name, table_name, default_directory_name, default_directory_name, access_parameters access_parameters 2 2 FROM FROM user_external_tables; user_external_tables; TABLE_NAME TABLE_NAME DEFAULT_DIRECTORY_NAME DEFAULT_DIRECTORY_NAME ACCESS_PARAMETERS ACCESS_PARAMETERS SALES_TRANSACTIONS_EXT SALES_TRANSACTIONS_EXT DATA_FILE_DIR DATA_FILE_DIR RECORDS RECORDS DELIMITED DELIMITED BY BY NEWLINE NEWLINE CHARACTERSET CHARACTERSET US7ASCII US7ASCII BADFILE BADFILE log_file_dir:'sh_sales_ext.bad' log_file_dir:'sh_sales_ext.bad' LOGFILE LOGFILE log_file_dir:'sh_sales_ext.log' log_file_dir:'sh_sales_ext.log' FIELDS FIELDS TERMINATED TERMINATED BY BY " " " " LDRTRIM LDRTRIM SQL> SQL> SELECT SELECT * * FROM FROM user_external_locations; user_external_locations; TABLE_NAME TABLE_NAME LOCATION LOCATION DIR DIR DIRECTORY_NAME DIRECTORY_NAME SALES_TRANSACTIONS_EXT SALES_TRANSACTIONS_EXT sh_sales.dat sh_sales.dat SYS SYS DATA_FILE_DIR DATA_FILE_DIR (E)TL mit External Tables und Table Functions Copyright Trivadis AG 21

22 External Tables: Fazit + Lade-Prozesse werden einfacher + Flexibler als SQL*Loader (SQL-Funktionen, etc.) + Performance wie SQL*Loader Direct Path + Parallel Query Funktionalität + Generierung aus SQL*Loader Control-Files möglich - DDL-Syntax etwas schwerfällig - Noch Kinderkrankheiten (NULL-Werte, Dezimalzeichen) (E)TL mit External Tables und Table Functions Copyright Trivadis AG 22

23 Agenda DWH-Features für die ETL-Prozesse External Tables Table Functions Fazit (E)TL mit External Tables und Table Functions Copyright Trivadis AG 23

24 Table Functions External Table Table Functions Data Warehouse (E)TL mit External Tables und Table Functions Copyright Trivadis AG 24

25 Table Functions Was ist eine Table Function? Eine Table Function ist eine PL/SQL Funktion, welche mehrere Zeilen als Output liefern kann Eine Table Function nimmt das Resultat von einem SELECT als Input-Parameter und gibt eine variable Anzahl von Records als Return- Parameter zurück Das Ergebnis kann in einem INSERT oder als Input für eine weitere Table Function verwendet werden (E)TL mit External Tables und Table Functions Copyright Trivadis AG 25

26 Table Functions Beispiel: SALES_SOURCE MONTH DIRECT_SALES TELE_SALES CATALOG INTERNET PARTNERS MONTH DIRECT_SALES TELE_SALES CATALOG INTERNET PARTNERS SALES_TARGET MONTH CHANNEL AMOUNT MONTH CHANNEL AMOUNT S S T T C C I I P P S S T T C C I I P P S S T T C C I I P P S S T T C C I I P P (E)TL mit External Tables und Table Functions Copyright Trivadis AG 26

27 Table Functions Vorbereitung CREATE CREATE OR OR REPLACE REPLACE TYPE TYPE sales_type sales_type IS IS OBJECT OBJECT (month (month VARCHAR2(7) VARCHAR2(7),channel,channel VARCHAR2(1) VARCHAR2(1),amount,amount NUMBER(10,2)); NUMBER(10,2)); / / CREATE CREATE OR OR REPLACE REPLACE TYPE TYPE sales_table_type sales_table_type IS IS TABLE TABLE OF OF sales_type; sales_type; / / CREATE CREATE OR OR REPLACE REPLACE PACKAGE PACKAGE pkg_cursors pkg_cursors IS IS TYPE TYPE refcur_type refcur_type IS IS REF REF CURSOR; CURSOR; END END pkg_cursors; pkg_cursors; / / (E)TL mit External Tables und Table Functions Copyright Trivadis AG 27

28 Table Functions CREATE CREATE OR OR REPLACE REPLACE FUNCTION FUNCTION fn_tab_sales fn_tab_sales (in_cursor (in_cursor pkg_cursors.refcur_type) pkg_cursors.refcur_type) RETURN RETURN sales_table_type sales_table_type PIPELINED PIPELINED IS IS v_source v_source sales_source%rowtype; sales_source%rowtype; v_month v_month VARCHAR2(7); VARCHAR2(7); v_channel v_channel VARCHAR2(1); VARCHAR2(1); v_amount v_amount NUMBER(10,2); NUMBER(10,2); BEGIN BEGIN LOOP LOOP FETCH FETCH in_cursor in_cursor INTO INTO v_source; v_source; EXIT EXIT WHEN WHEN in_cursor%notfound; in_cursor%notfound; v_month v_month := := v_source.month; v_source.month; PIPE PIPE ROW ROW (sales_type(v_month, (sales_type(v_month, 'S', 'S', v_source.direct_sales)); v_source.direct_sales)); PIPE PIPE ROW ROW (sales_type(v_month, (sales_type(v_month, 'T', 'T', v_source.tele_sales)); v_source.tele_sales)); PIPE PIPE ROW ROW (sales_type(v_month, (sales_type(v_month, 'C', 'C', v_source.catalog)); v_source.catalog)); PIPE PIPE ROW ROW (sales_type(v_month, (sales_type(v_month, 'I', 'I', v_source.internet)); v_source.internet)); PIPE PIPE ROW ROW (sales_type(v_month, (sales_type(v_month, 'P', 'P', v_source.partners)); v_source.partners)); END END LOOP; LOOP; RETURN; RETURN; END END fn_tab_sales; fn_tab_sales; / / (E)TL mit External Tables und Table Functions Copyright Trivadis AG 28

29 Table Functions SALES_SOURCE MONTH DIRECT_SALES TELE_SALES CATALOG INTERNET PARTNERS MONTH DIRECT_SALES TELE_SALES CATALOG INTERNET PARTNERS SALES_TARGET MONTH CHANNEL AMOUNT MONTH CHANNEL AMOUNT S S T T C C I I P P S S T T C C I I P P S S T T C C I I P P S S T T C C I I P P INSERT INTO INTO sales_target SELECT * FROM FROM TABLE(fn_tab_sales(CURSOR (SELECT * FROM FROM sales_source))); (E)TL mit External Tables und Table Functions Copyright Trivadis AG 29

30 Table Functions Table Functions sind für komplexe Aufbereitungsprozesse geeignet, wo SQL die Aufarbeitung der Daten nicht in einem Schritt machen kann und deshalb temporäres Speichern der Zwischenresultate (staging area) notwendig wäre Dank dieser neuen Funktionalität können solche Verarbeitungsprozesse verschachtelt werden Übergabe von Parametern muss dafür folgendes erlauben: eine grosse Row-Menge übernehmen als Resultat wieder eine grosse Row-Menge zurückliefern (E)TL mit External Tables und Table Functions Copyright Trivadis AG 30

31 Table Functions Transformation mit Stage Tables: Stage Table 1 Stage Table 2 Source File Transformation 1 Transformation 2 Target Table Transformation mit Table Functions: Source File Transformation 1 Transformation 2 Target Table (E)TL mit External Tables und Table Functions Copyright Trivadis AG 31

32 Table Functions Table Functions werden in der FROM-Klausel verwendet INSERT INTO INTO target SELECT * FROM FROM TABLE(my_tab_func(CURSOR(SELECT * FROM FROM source))); Table Functions können verschachtelt werden INSERT INTO INTO target SELECT * FROM FROM TABLE(my_tab_func_2(CURSOR (SELECT * FROM FROM TABLE(my_tab_func_1(CURSOR (SELECT * FROM FROM source)))))); (E)TL mit External Tables und Table Functions Copyright Trivadis AG 32

33 Table Functions Table Functions können parallelisiert und pipelined werden: Source File Target Table Transformation 1 Transformation 2 (E)TL mit External Tables und Table Functions Copyright Trivadis AG 33

34 Table Functions Table Function kann Daten in Stage Table auslagern: Stage Table Stage Table wird in autonomous transaction geschrieben Verwendung z.b. für Fehlerbehandlung oder Log- Informationen (E)TL mit External Tables und Table Functions Copyright Trivadis AG 34

35 Table Functions Table Functions können implementiert werden in PL/SQL C oder Java Verwendet ODCI (Oracle Data Cartridge Interface) (E)TL mit External Tables und Table Functions Copyright Trivadis AG 35

36 Table Functions Performanceaspekte: "Pures" SQL ist schneller als Table Functions Table Functions sind schneller als PL/SQL- Funktionen für jede Row Empfehlungen: Wenn möglich nur SQL verwenden Table Functions nur für komplexere Transformationen verwenden Bei grösseren Datenmengen Pipelining und eventuell Parallelisierung verwenden (E)TL mit External Tables und Table Functions Copyright Trivadis AG 36

37 Table Functions: Fazit + Ermöglicht komplexe Transformationen + Verarbeitung ohne Zwischentabellen + Verschachtelungen sind erlaubt + Parallelisierung möglich + Pipelining möglich - Umständlich in der Anwendung (E)TL mit External Tables und Table Functions Copyright Trivadis AG 37

38 ETL Features: Fazit +Viele neue Features für ETL +Vereinfachung von ETL-Prozessen +Performancegewinn - Zum Teil (noch) komplizierte Syntax & Kinderkrankheiten (E)TL mit External Tables und Table Functions Copyright Trivadis AG 38

39 External Tables und Table Functions Vielen Dank! Fragen? (E)TL mit External Tables und Table Functions Copyright Trivadis AG 39