Near Realtime ETL mit Oracle Golden Gate und ODI. Lutz Bauer

Transkript

1 Near Realtime ETL mit Oracle Golden Gate und ODI Lutz Bauer

2 Facts & Figures Technologie-orientiert Branchen-unabhängig Hauptsitz Ratingen 240 Beschäftigte Inhabergeführt 24 Mio. Euro Umsatz Gründung 1994 Zertifizierter Partner von Oracle, Microsoft und SAP Ausbildungsbetrieb Niederlassung Frankfurt am Main 2

3 Near Realtime ETL mit Oracle Golden Gate und ODI Agenda Ausgangssituation Near Realtime (NRT) was verstehen wir darunter? Core Data Warehouse Near Realtime Load Golden Gate & Drittanbieter ETL Golden Gate & ODI Learnings 3

4 Ausgangssituation OLTP Quellsystem Stage Area Core DWH Exa01 Exa02 IBM Data Stage ETL Server 4

5 Ausgangssituation Optimierung DWH Bewirtschaftung Situation: Laufzeit DWH Beladung wird Anforderungen nicht mehr gerecht Delta-Berechnung für DWH erfolgt auf Ebene ETL Werkzeug Haupt-Quellsystem unterstützt keine Extraktion von Änderungssätzen per Schnittstelle Ziel PoC: Darstellung Machbarkeit Datenreplikation per Golden Gate im Zusammenspiel mit ETL Werkzeug Darstellung mögliche Kostenersparnis(!) aufgrund Verrechnungsmodell ETL Server Erweiterter PoC: Darstellung Nutzen ODI Darstellung Machbarkeit Near-Realtime Load bis Data Mart 6% 8% Misc 32% Data Mart Jobs Delta Berechnung 54% CoreWH Jobs Gesamtlaufzeit Daily DWH Load: 12h-16h Anteil Delta Berechung: 4h 6h 5

6 Near Realtime ETL mit Oracle Golden Gate und ODI Agenda Ausgangssituation Near Realtime (NRT) was verstehen wir darunter? Core Data Warehouse Near Realtime Load Golden Gate & Drittanbieter ETL Golden Gate & ODI Learnings 6

7 Near Realtime (NRT) was verstehen wir darunter? Quelle: Oracle 7

8 Near Realtime ETL mit Oracle Golden Gate und ODI Agenda Ausgangssituation Near Realtime (NRT) was verstehen wir darunter? Core Data Warehouse Near Realtime Load Golden Gate & Drittanbieter ETL Golden Gate & ODI Learnings 8

9 Allgemeines ETL Ladeverfahren per OGG + Change-Log Table OLTP Quellsystem Stage Area & ODS Core DWH OLTP Table Change Log Table Hist. Tabelle Golden Gate Tickle Load ETL Tool Minibatch Load 9

10 Definition Change Log Tables Technische Attribute für Delta-Verarbeitung Befüllung durch Golden Gate (OGG) COLUMN_NAME SOURCE_SYSTEM_SCN SOURCE_SYSTEM_TIMESTAMP COMMENTS Transaktionsnummer (SCN) für den Commit-Zeitpunkt Quellsystem Zeitstempel Quellsystem-Transaktion (Commit) OGG_REPLICATION_TIMESTAMP Zeitstempel OGG auf Zielsystem IUD_MODUS THIS_KEY I INSERT U Update D Delete P Primary Key Update Load Sequence <Sämtliche Spalten der replizierten Tabelle> Im Fall I / U : Neues Abbild der Zeile Im Fall D : Altes Abbild der Zeile 10

11 Verarbeitung Change-Log Table: generisches Verfahren Dieses Verfahren funktioniert unabhängig von der eingesetzten ETL Technologie SOURCE_SYSTEM_SCN > #ODI_GOLDENGATE.last_source_system_scn and SOURCE_SYSTEM_SCN <= #ODI_GOLDENGATE.new_source_system_scn and MAX_THIS_KEY = THIS_KEY IUD_MODUS in ('I','U') max(this_key) over (partition by BRF_CODE,BRF_VRS_NUMMER, case when IUD_MODUS='D' then 'D' else 'IU' end) IUD_MODUS in ('D') 11

12 Architektur auf Basis Golden Gate & ODI Wo ist der Mehrwert des ODI bei der Integration mit OGG - gegenüber 3rd Party ETL Tool? 12

13 Mehrwert Integration OGG mit ODI Einige Aspekte OGG wird direkt in die Journalising Funktionalität des ODI integriert Transparenz: ODI Mappings werden als Full Load Mappings designed, und per Schalterstellung für Delta-Load per JKM aktiviert Consistency / Wiederaufsetzbarkeit / Purge wird ebenfalls vom JKM übernommen Nachträgliche Anbindung vergleichsweise einfach Infinite Tickle Load per ODI Packages möglich -> ODIWaitForData ODI übernimmt die Konfiguration der OGG Replikation Aktivierung zu replizierender Tabellen im ODI Modell Add to CDC OGG Konfigurationsskripts werden erzeugt Unterstützung Publish / Subscribe Z.B. mehrerer Subscriber um unterschiedliche Ladeintervalle zu realisieren Reduzierter Aufwand: Implementierung von Change-Log Tables plus abhängiger Logik geschieht hinter den Kulissen des ODI (JKM) 13

14 Aktivierung CDC für Modelle Modellordner Definition Consistent Set möglich CDC auf Datastore Ebene möglich Schritte 1. JKM Oracle to Oracle Consistent OGG festlegen 2. Add to CDC 3. Golden Gate Skripte ausrollen 4. Subscriber definieren (z.b. LADEGRUPPEx) 5. Start Journal 14

15 Aktivierung Delta-Load in ODI Mappings (1) 15

16 Aktivierung Delta-Load in ODI Mappings (2) 16

17 Near-Realtime ETL: Tickle Load (Endlosschleife) mit ODI Jobsteuerung Package ermöglicht konsistentes Laden von Tabellengruppen per Tickle Feed 1. Watchdog: Wartet auf OGG Änderungen (Schwellwert: Global Row Count) 2. Sperrt J$ Tabellen für nachfolgende Mappings 3. Ausführung Mappings (hier nur: Load TRG_CUSTOMER) 4. Entsperren & Purge 5. Und das ganze von vorne 17

18 Near Realtime ETL mit Oracle Golden Gate und ODI Agenda Ausgangssituation Near Realtime (NRT) was verstehen wir darunter? Core Data Warehouse Near Realtime Load Golden Gate & Drittanbieter ETL Golden Gate & ODI Learnings 18

19 Was passiert Unter der Haube : Standardweg ODI JKM für OGG OLTP Quellsystem Stage Area Core DWH OLTP Table J$ Table 1:1 Stage Table JV$D View Hist. Tabelle Golden Gate (automatische Konfiguration durch ODI) Manuell anzulegen ODI Mapping per Groovy erzeugt Eigene SCD Logik CDC + Erweiterungen für Delta Verarbeitung z.b. in Data Marts 19

20 Gewählter Weg OLTP Quellsystem Stage Area & ODS Core DWH OLTP Table Change Log Table Hist. Tabelle Golden Gate Skript per modifiziertem JKM erzeugt DDL Skript per LKM erzeugbar (tbd) ODI Mapping per Groovy erzeugt 20

21 Learnings aus dem PoC Entscheidung Begründung Wie Change-Log Table statt ODI Journalizing Keine 1:1 Kopie der Source- Table notwendig Angepasst: KM_JKM_Oracle_to_Oracle_Con sistent OGG_Online_ Erzeugung Core DWH Mappings Nicht Standard-Versionierung Keine Werkzeugunterstützung Migration IBM Data Stage Jobs Modifiziertes IKM Groovy Historisierte Data Mart Tabellen Anforderung Kunde Modifiziertes IKM 21

22 Fazit Integration ODI / OGG gut konzipiert Reihe von Vorteilen macht Einsatz sinnvoll, wenn Standard-Verfahren mit 1:1 Kopie und J$ Tabelle gewünscht Aufwandsreduzierung Einfach Aktivierung von Delta-Verarbeitung Replikations-Verarbeitung bis auf ODI Package Ebene implementiert Einschränkungen Komplexe Mappings z.b. Multi-Joins -> J$ Kompatibilität ggf. eingeschränkt (noch zu prüfen) Manuelles Deployment der OGG Skripte 22

23 BACKUP Folien 23

24 Modifikation OGG KM replicat REP_TEC1 setenv (ORACLE_HOME="/u01/app/oracle/product/ /dbhome_1") setenv (ORACLE_SID="X691") userid odi_staging, password odi_staging discardfile dis<nameprozesszb TECH>, purge sourcedefs /u01/app/oracle/product/gg12.2/oggcore_2/dirdef/ext_tech.def map TECH.EREIGNISPROTOKOLLE, TARGET ODI_STAGING.EREIGNISPROTOKOLLE, KEYCOLS (EPRT_ID); map TECH.EREIGNISPROTOKOLLE, target ODI_STAGING.J$EREIGNISPROTOKOLLE, KEYCOLS (EPRT_ID, WINDOW_ID), INSERTALLRECORDS, & COLMAP ( EPRT_ID = EPRT_ID, WINDOW_ID 'FILERBA'), RIGHTZERO, 10))); 24