1001 Möglichkeiten eine Staging Area zu füllen. Sven Bosinger its-people GmbH

Transkript

1 Ausgangslage Szenarien Populate the Stage Möglichkeiten eine Staging Area zu füllen Sven Bosinger its-people GmbH 1

2 Sven Bosinger Solution Architect BI und Portfoliomanagement BI its-people GmbH 2

3 IT Management Services Projekt-, Qualitäts-, Release-Mgmt its-people auf einen Blick Das Team Unternehmensphilosophie Zusammenschluss selbständiger IT-Experten unter einer gemeinsamen Marke Bündelung von umfassendem IT- Wissen Partnerschaft auf Augenhöhe Gemeinsam sind wir stärker Unternehmensdaten Gründung: 2003 Anzahl der Experten: 70 Leistungsangebot Datenbank Technologien Oracle, MS SQL, My SQL, DB2 Plattform & Anwendungsentwicklung Best Practice ERP Mediation, Integration, Migration Business Intelligence & DWH Oracle, Microsoft, IBM, Informatica, BO Architektur, Design & Implementierung Stärken Kompetenz, Exzellenz und Qualität aus praktischer Erfahrung Partnerschaft auf Gegenseitigkeit Kundenorientierung auf höchster Ebene Zuverlässigkeit und Umsetzungsstärke Teams für komplexe Projektaufgaben Dienstleistungen von Menschen für Menschen Nähe zum Kunden its-people GmbH Competence Center Datenbank- Technologie/ IT- Management Services" Büdesheimer Str. 17, Nidderau Tel.: its-people ERP Beratungs-GmbH Competence-Center ERP Lyoner Str , Frankfurt am Main Tel.: its-people GmbH Competence-Center BI & DWH Lyoner Straße 44-48, Frankfurt am Main Tel: Gemeinsame Besuchsadresse: Lyoner Str , Frankfurt am Main. 8. OG 3

4 Aufgabenstellung Transport Umsatz-Tabelle im ERP- System Initialer Insert von Datensätze Inkrementeller Update von Datensätze Inkrementeller Insert von Datensätzen Tranasport der intialen und inkrementellen Datensätze Flagen der Datensätze, ob Insert oder Update Lösungsalternativen Flat-File mit SQL-Loader Flat-File mit external Table External Table mit Datapump IAS über DB-Link CTAS über DB-Link Datapump Trigger auf Quelltabelle (direkt) Trigger auf Quelltabelle (indirekt) Trigger auf Quelltabelle mit AQ Change Data Capture Transportable TBS ODI und Golden Gate Stabilität Geschwindigkeit Komplexität/Wartbarkeit Funktionalität Aufwand/Kosten 4

5 Füllen der Stage-Tabelle ERP - System DWH - System Stage Umsatz Inserts Inserts Updates Populate Umsatz Inserts Inserts 5

6 1. Alternative: Flat-File mit SQL-Loader ERP-DB ERP-Server DWH-Server DWH-DB File-Copy Umsatz UTIL-File SQL-Loader Umsatz 6

7 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 1. Alternative: Flat-File mit SQL-Loader ERP -- Spool Initial( Sätze) begin admin_umsatz.spool(p_datum=>to_date(' ','dd.mm.yyyy')); end; / DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase01.csv m:\erp-daten\umsatz-doag2013_erp_showcase01.csv -- SQL/Loader sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_initial.ctl ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / -- Spool Inkrement ( Sätze) begin admin_umsatz.spool(p_datum=>trunc(sysdate)); end; / DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase01.csv m:\erp-daten\umsatz-doag2013_erp_showcase01.csv -- SQL/Loader sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_change.ctl 7

8 1. Alternative: Flat-File mit SQL-Loader Vorteile: Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten Nachteile: Systembruch Daten verlassen DBs Aufruf SQL-Loader außerhalb PL/SQL Kein Realtime möglich Keine Wiederaufsetzbarkeit 8

9 2. Alternative: Flat-File mit external Table ERP-DB ERP-Server DWH-Server DWH-DB File-Copy Umsatz UTIL-File ext. Table Umsatz 9

10 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 2. Alternative: Flat-File mit external Table ERP -- Spool Initial( Sätze) begin admin_umsatz.spool(p_datum=>to_date(' ','dd.mm.yyyy')); end; / DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase02.csv m:\erp-daten\umsatz-doag2013_erp_showcase02.csv -- Insert insert /*+ append */ into umsatz select * from umsatz_ext where... ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / -- Spool Inkrement ( Sätze) begin admin_umsatz.spool(p_datum=>trunc(sysdate)); end; / DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase02.csv m:\erp-daten\umsatz-doag2013_erp_showcase02.csv -- SQL/Loader insert /*+ append */ into umsatz select * from umsatz_ext where... 10

11 2. Alternative: Flat-File mit external Table Vorteile: Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Nachteile: Systembruch Daten verlassen DBs Kein Realtime möglich Keine Wiederaufsetzbarkeit 11

12 3. Alternative: External Table mit Datapump ERP-DB ERP-Server DWH-Server DWH-DB File-Copy Umsatz Datapump ext. Table Umsatz 12

13 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 3. Alternative: External Table mit Datapump ERP -- Spool Initial( Sätze) create table umsatz_initial_ext organization external (type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP')) as select * from umsatz; DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase03.dmp m:\erp-daten\umsatz-doag2013_erp_showcase03.dmp -- Insert insert /*+ append */ into umsatz select * from umsatz_initial_ext... ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / create table umsatz_inkremetal_ext organization external (type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP')) as select * from umsatz where datum >= trunc(sysdate); DWH -- File Copy copy /y n:\erp-daten\umsatz-doag2013_erp_showcase03.dmp m:\erp-daten\umsatz-doag2013_erp_showcase03.dmp -- SQL/Loader insert /*+ append */ into umsatz select * from umsatz_inkremetal_ext... 13

14 3. Alternative: External Table mit Datapump Vorteile: Einfach zu realisieren Leicht zu warten Entkoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Daten können komprimiert werden Nachteile: Systembruch Daten verlassen DBs Kein Realtime möglich Keine Wiederaufsetzbarkeit 14

15 4. Alternative: Insert as Select (IAS) über DB-Link ERP-DB ERP-Server Insert as Select DWH-Server DWH-DB Umsatz Database Link Umsatz 15

16 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 4. Alternative: Insert as Select (IAS) über DB-Link DWH ERP -- Insert insert /*+ append */ into umsatz select * from umsatz@dbl_erp#doag2013_erp_showcase04; -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert insert /*+ append */ into umsatz select * from umsatz@dbl_erp#doag2013_erp_showcase04 where datum >= trunc(<datum>); 16

17 4. Alternative: Insert as Select (IAS) über DB-Link Vorteile: Einfach zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Sehr schnell Nachteile: ERP-DB muss verfügbar sein DB-Link eventuell wegen Policy nicht möglich Kein Realtime möglich Eingeschränkte Wiederaufsetzbarkeit 17

18 5. Alternative: Create Table as Select (CTAS) über DB-Link ERP-DB ERP-Server Create Table as Select DWH-Server DWH-DB Umsatz Database Link Umsatz 18

19 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 5. Alternative: Create Table as Select (CTAS) über DB-Link DWH -- Insert create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05; ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05 where datum >= trunc(<datum>); 19

20 5. Alternative: Create Table as Select (CTAS) über DB-Link Vorteile: Einfach zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Sehr schnell Nachteile: ERP-DB muss verfügbar sein DB-Link eventuell wegen Policy nicht möglich Strukturänderungen im laufenden Betrieb Kein Realtime möglich Eingeschränkte Wiederaufsetzbarkeit 20

21 6. Alternative: Datapump ERP-DB ERP-Server Datapump DWH-Server DWH-DB Umsatz Database Link Umsatz 21

22 6. Alternative: Datapump Vorteile: Leicht zu realisieren Leicht zu warten Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Sehr schnell Nachteile: ERP-DB muss verfügbar sein DB-Link eventuell wegen Policy nicht möglich Kein Realtime möglich Eingeschränkte Wiederaufsetzbarkeit 22

23 7. Alternative: Trigger auf Quelltabelle (direkt) ERP-DB ERP-Server After Insert/Update Trigger DWH-Server DWH-DB Umsatz Database Link Umsatz 23

24 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 7. Alternative: Trigger auf Quelltabelle (direkt) ERP -- Trigger create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row begin if inserting then insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id,...) values (:new.id,...,'i'); end if; -- if updating then insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id,...) values(:new.id,...,'u'); end if; end trg_umsatz_iu; / ERP -- Initialerzeugen begin admin_umsatz.fill; end; / ERP -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / 24

25 7. Alternative: Trigger auf Quelltabelle (direkt) Vorteile: Mittelschwer zu realisieren Wartung ist mittel aufwendig Eng gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Realtime Nachteile: ERP-DB und DWH-DB müssen verfügbar sein DB-Link eventuell wegen Policy nicht möglich Beeinflussung der ERP-DB durch DWH Langsame Einzelsatzverarbeitung 25

26 8. Alternative: Trigger auf Quelltabelle (indirekt) ERP-Server ERP-DB DWH-Server DWH-DB Umsatz Trigger Temp Insert As Select Umsatz Database Link 26

27 Ausgangslage Schnittstellen GSA Benefits Live-Demo Global Staging Area - Implementierung einer zentralen Datendrehscheibe 8. Alternative: Trigger auf Quelltabelle (indirekt) ERP -- Trigger create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row begin if inserting then insert into umsatz_tmp values (:new.id,...,'i'); end if; -- if updating then insert into umsatz_tmp values(:new.id,...,'u'); end if; end trg_umsatz_iu; / ERP DWH ERP -- Initialerzeugen begin admin_umsatz.fill; end; / -- Insert insert /*+ append */ into umsatz select * from umsatz_tmp@dbl_erp#doag2013_erp_showcase08; -- Inkrement erzeugen begin admin_umsatz.ins; admin_umsatz.upd; end; / DWH -- Insert insert /*+ append */ into umsatz select * from umsatz_tmp@dbl_erp#doag2013_erp_showcase08 where datum >= trunc(<datum>); 27

28 8. Alternative: Trigger auf Quelltabelle (indirekt) Vorteile: Mittelschwer zu realisieren Wartung ist mittel aufwendig Lose gekoppelte Systeme Geringe Kosten Kein Produkt außerhalb PL/SQL Nachteile: ERP-DB muss verfügbar sein DB-Link eventuell wegen Policy nicht möglich Langsame Einzelsatzverarbeitung beim Trigger Datensätze werden doppelt geschrieben 28

29 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) ERP-Server ERP-DB DWH-Server DWH-DB enqueue dequeue Umsatz Outbox AQ's Message Propagation Infrastructure Inbox Umsatz 29

30 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) Livedemo 30

31 9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ) Vorteile: Wartung ist mittel aufwendig Lose gekoppelte Systeme Kein Produkt außerhalb PL/SQL Realtime ist möglich Wiederaufsetzbarkeit Nachteile: Aufwendig zu realisieren DB-Link eventuell wegen Policy nicht möglich Langsame Einzelsatzverarbeitung Zusätzliches Monitoring 31

32 10. Alternative: Change Data Capture (CDC) Change Data Capture Architecture 32

33 10. Alternative: Change Data Capture (CDC) Asynchronous Distributed HotLog 33

34 10. Alternative: Change Data Capture (CDC) Vorteile: Lose gekoppelte Systeme Kein Produkt außerhalb PL/SQL Realtime ist möglich RedoLogs werden genutzt Wiederaufsetzbarkeit Nachteile: Sehr aufwendig zu realisieren Wartung ist sehr aufwendig Langsame Einzelsatzverarbeitung Zusätzliches Monitoring 34

35 11. Alternative: Transportable Tablespaces ERP-Server ERP-DB DWH-Server DWH-DB Umsatz 1. Copy Datafiles 2. Import TBS Umsatz Insert/ Update Umsatz Tablespace Tablespace 35

36 11. Alternative: Transportable Tablespaces Vorteile: Lose gekoppelte Systeme Sehr schnell Mehrere Tabellen auf einmal Nachteile: Wenig aufwendig zu realisieren Wartung wenig aufwendig Downtime auf ERP-DB Kein Delta Kein Realtime Keine Wiederaufsetzbarkeit 36

37 12. Alternative: CDC mit ODI und Golden Gate 37

38 11. Alternative: Transportable Tablespaces Vorteile: Lose gekoppelte Systeme Sehr schnell Sehr stabil Keine Beschränkung auf Oracle Wiederaufsetzbarkeit Nachteile: Aufwendig zu realisieren Wartung ist sehr aufwendig Zusätzliche Lizenzkosten 38

39 skriterien Stabilität Geschwindigkeit Komplexität/ Wartbarkeit Funktionalität Aufwand/Kosten Verfügbarkeit Insert Einrichtung Realtime Realisierung Fehlertoleranz Transformation Betrieb Update Änderung Wartung Wiederaufsetzbarkeit Filterung Lizenzen Abhängigkeit Datenmengen Monitoring Regeln Ausbildung 39

40 Stabilität Transportable Tablespace Change Data Capture ODI und Golden Gate Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Insert as Select Verfügbarkeit Fehlertoleranz Wideraufsetzbar Abhängigkeit Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) 40

41 Geschwindigkeit Transportable Tablespace Change Data Capture ODI und Golden Gate Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Insert as Select Insert Update Datenmengen Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) 41

42 Komplexität/Wartbarkeit Transportable Tablespace ODI und Golden Gate Flat-File mit SQL-Loader 4 3,5 3 2,5 2 1,5 1 Flat-File mit External Table Datapump mit External Table 0,5 Einrichtung Change Data Capture 0 Insert as Select Änderung Monitoring Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) 42

43 Funktionalität Transportable Tablespace Change Data Capture ODI und Golden Gate Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Insert as Select Realtime Transformation Filterung Regeln Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) 43

44 Aufwand/Kosten Transportable Tablespace Change Data Capture ODI und Golden Gate Flat-File mit SQL-Loader 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Flat-File mit External Table Datapump mit External Table Insert as Select Realisierung Betrieb Wartung Lizenzen Ausbildung Advanced Queuing Create Table as Select Trigger (indirekt) Datapump Trigger (direkt) 44

45 Flat-File mit SQL-Loader Flat-File mit External Table Datapump mit External Table Insert as Select Create Table as Select Datapump Trigger (direkt) Trigger (indirekt) Advanced Queuing Change Data Capture Transportable Tablespace ODI und Golden Gate Vorstellung Ergebnis Stabilität o o - o + + o + Geschwindigkeit o o Komplexität/Wartbarkeit o - + o Funktionalität o o o + + o Aufwand/Kosten o

46 Schlussfolgerung 46

47 Kontakt: Home Blog