Fallstricke & Lösungen bei der OWB-ODI Migration: Ein Praxisbericht

Transkript

1 Fallstricke & Lösungen bei der OWB-ODI Migration: Ein Praxisbericht Jürgen Günter Senior Berater BI & DWH

2 Agenda Ausgangslage Migration der Prozesssteuerung Migration der Mappings OWB- Locations OWB- Mappings OWB- Process Flows Grenzen der Migration Utility Q & A ODI Objekte

3 Ausgangslage

4 Ausgangslage - Architektur 4

5 Ausgangslage - Prozesssteuerung DWH 1: CDW Steuerung über: OWB process flows 1 Start process flow 77 Unter - process flows 562 Einzelschritte 124 Mappings 35 Dimensionen 5

6 Migration der Prozesssteuerung DWH 1: CDW Vollständiger Neubau notwendig Keine Migrationsweg für die OWB Process Flows von Oracle angeboten Vorteile: Wissensaufbau bei Mitarbeitern, Optimierungspotential Nachteil: Aufwand 6

7 Ausgangslage - Prozesssteuerung DWH 2: RDW Steuerung über: Aufruf der OWB Mappings in PL/SQL 116 Mappings zentrale PL/SQL Funktion 7

8 Migration der Prozesssteuerung DWH 2: RDW Neubau notwendig ODI Mappings / Scenarios können nicht direkt in PL/SQL ausgeführt werden Lösung: Aufruf über einen webservices Vorteil: geringer Aufwand 8

9 Ausgangslage - Prozesssteuerung DWH 2: RDW Aufruf der ODI Scenarios über http 9

10 Migration der Mappings

11 Migration der Mappings Oracle Migrationspfad OWB 11gR2 zu ODI 12c Kommandozeilenbasierte Migration Utility Was konnte migriert werden: Mappings & Datenmodelle Module Locations Was konnte nicht migriert werden (Stand 2016): Process Flows Dimensionen (ebenfalls keine Mappings mit Dimensionen) Objekte mit Delete Strategie 11

12 Migration der Mappings OWB Repository Migration-Utility (auf Client-PC) ODI Repository Lesen Schreiben (Verbindung) (Verbindung) Config-File Inhalt OWB & ODI REPOSITORY Verbindungsinformationen MIGRATION_MODE FAST_CHECK, DRY_RUN, RUN MIGRATE_DEPENDENCIES SPLIT_JOIN_FOR_ANSI_ SYNTAX MIGRATION_STRATEGY MIGRATION_OBJECTS Config Log Log + + Report Report Aufruf MIG-Utility set "JAVA_HOME=C:\Program Files\Java\jdk1.8.0_92 set "ODI_HOME=C:\oracle\odi_12c_x64 C:\oracle\ora11g_owb_x86\...\ migration.bat <PW_ODI_MASTER> <PW_ODI_USER> <PW_OWB_WORKSPACE_OWNER> <CONFIG_FILE_PATH> > <LOG_FILE_PATH> 12

13 Migration der Mappings Log-Datei OWB- Mappings Report ODI- Mappings Klick und fertig? 13

14 Grenzen der Migration Utility

15 Grenzen der Migration Utility Migrationsablauf Migration Simulation (Dry Run) Migration (Run) Mapping Validierung (Groovy) Mapping Öffnen & Ausführen Datenvalidierung Technische Migration Problemanalyse und -behebung, Tests 223 x Migrierte Mappings Validierung ok Mapping läuft Daten richtig 77 x Nicht migrierte Mappings Validierung n. ok Mapping läuft n. Daten falsch Probleme: 32 x Dimensionen (Neubau) 44 x Delete-Komponente Sonstiges Probleme: OWB-Parameter Physical Design Ungebundene Objekte Zu viele Komponenten Probleme: Sequence Fehlerhafte Joins Lookup-Problem Kommentare in Expression Undef-Werte Joins statt Filter Probleme: Cross References Lookup-Problem Begin/End Command Falsche Attribut- Parametrisierung Klammersetzung Aufwand als Kaffeemetrik 15

16 Grenzen der Migration Utility Validierung aller migrierten Mappings per Groovy-Skript Mapping-Übersicht in Excel: 16

17 Grenzen der Migration Utility Problem: OWB Parameter Lösung: Groovy-Skript 17

18 Grenzen der Migration Utility Problem: Fehlerhafte Joins Mehr als 2 Datenmodelle pro Join-Komponente 18

19 Grenzen der Migration Utility Problem: Fehlerhafte Joins Lösung: 19

20 Grenzen der Migration Utility Problem: Sequences 20

21 Grenzen der Migration Utility Problem: Sequences OWB-SQL war i.o.: Lösung / Work-Around: BEFORE INSERT TRIGGER oder Identity Column 21

22 Grenzen der Migration Utility Problem: Zu viele Lookups/Komponenten in einem Mapping 22

23 Grenzen der Migration Utility Problem: Zu viele Lookups/Komponenten in einem Mapping 23

24 Grenzen der Migration Utility Problem: Zu viele Lookups/Komponenten in einem Mapping Lösung: Umstellung der Lookups. Effekt: 24

25 Grenzen der Migration Utility Problem: Physische Deletes Delete Beispiel 1: Warnung [WARNING: Mapping component STG_A_SECS_DEL has no input or output connections.] Delete Beispiel 2: Keine Warnung Weder Fehler noch Warnung, aber ein doppelter Insert. 25

26 Grenzen der Migration Utility Problem: Physische Deletes Lösung: Eigenes Knowledge Modul 26

27 Grenzen der Migration Utility Verschiedene Fehler: Fehlerhafte Daten Migriertes Objekt Falsche Klammersetzung: ODI: select GESCHAEFTSNUMMER from EXP MINUS select GESCHAEFTSNUMMER from X UNION select GESCHAEFTSNUMMER from Y UNION select GESCHAEFTSNUMMER from Z Lösung: OWB: select GESCHAEFTSNUMMER from EXP MINUS ( select GESCHAEFTSNUMMER from X UNION select GESCHAEFTSNUMMER from Y UNION select GESCHAEFTSNUMMER from Z ) 27

28 Grenzen der Migration Utility Verschiedene Fehler: Join-Komponente statt Filter Problem Lösung 28

29 Migration Utility - Fazit Tipps zur Migration Migration-Utility: Hilfe, aber kein Selbstläufer Keine Warnungen & Fehler!= es passt alles Eigentliche Arbeit beginnt nach der technischen Migration Gründliche Vor-Analyse & Auswertung essentiell Regressionstests von enormer Wichtigkeit Keine Quick-Wins, sondern nachhaltige Lösungen: Architektur & Variablen nach Migration aufräumen direkt Knowledge Module für Custom Code & Deletes einsetzen Logik-Wiederverwendung durch User Functions & Reusable Mappings Einsatz von Groovy zur Automatisierung 29

30 Migrationsprojekt - Fazit Start: April Go Live: November 2016 Der Go Live verlief nach Plan Kein Funktionsverlust bei der ETL Strecke OWB- Locations OWB- Mappings OWB- Process Flows Optimierung der Logik und Coaching Es traten keine nachgelagerten Probleme auf ODI Objekte Das Projekt war in Zeit und in Budget 30

31 Facts & Figures Technologie-orientiert Branchen-unabhängig Hauptsitz Ratingen 240 Beschäftigte Inhabergeführt 24 Mio. Euro Umsatz Gründung 1994 Oracle Platinum Partner Ausbildungsbetrieb Niederlassung Frankfurt am Main 31

32 Welche Fragen darf ich beantworten? Jürgen Günter

33 Vorträge der MT AG Dienstag, Mittwoch, Donnerstag, Freitag, JavaScript Tuning in modernen Web-Applikationen Uhr Foyer Tokio Till Albert Ein Snapshot ist kein Backup 8.00 Uhr Raum Shanghai Angelina Weinschenk Jetlag: Oracle JET und APEX 9.00 Uhr Raum Kopenhagen Oliver Lemm Pimp my igrid Uhr Raum Kopenhagen Moritz Klein APEX (Hoch)verfügbar? Darf etwas Open Source sein? Uhr Raum Seoul Ernst Leber Besserer Java Code, außerhalb der Automatismen 9.00 Uhr Raum Helsinki Wolfgang Nast Java 9: Endlich Jigsaw! Uhr Raum Budapest Salem Ben Nasr Ihre Datenbank startet nicht? Oder Anatomie des Startup- Prozesses einer Oracle- Datenbank Uhr NCC Ernst Leber Workshop Mit Augenhöhe und Aufmerksamkeit Projekte zum Erfolg führen Uhr Raum Kiew Carsten Firus OWB-ODI Migration: Fallstricke & Lösungen im Praxisbericht Uhr Raum Oslo Jürgen Günter So bringen Sie Ihr DWH Projekt zum Scheitern Uhr Raum Stockholm Irina Gotlibovych Java Script und Offline First Uhr Raum Kopenhagen Kai Donato Wieder verschätzt? Uhr Raum Singapur Oliver Lemm Java Script und PL/SQL das dynamische Duo für APEX Uhr Raum St. Petersburg Moritz Klein APEX open Mic Night Uhr Raum Istanbul Niels de Bruijn JSON in Java mit Schema und JsonPath Uhr Raum Oslo Wolfgang Nast