Das Ende von OWB was nun? Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando

Transkript

1 Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

2 Agenda 1. Einleitung 2. ODI der offizieller Nachfolger von OWB 3. Migration nach PL/SQL 4. bigenius DWH Generator 5. Kommerzielle ETL Tools (Informatica) 6. OpenSource ETL Tools (Talend) 7. Entscheidungskriterien

3 1. Einleitung

4 Unser Unternehmen. Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: B E T R I E B Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme Trivadis Das Unternehmen

5 Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. KOPENHAGEN HAMBURG 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. DÜSSELDORF Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. FRANKFURT Finanziell unabhängig und nachhaltig profitabel. GENF BASEL BERN LAUSANNE FREIBURG BRUGG ZÜRICH STUTTGART MÜNCHEN WIEN Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden Trivadis Das Unternehmen

6 Wer wir sind Dani Schnider Principal Consultant, Trainer und DWH Lead Architect bei Trivadis Zürich Stanislav Lando Senior Consultant und DWH Location Architect bei Trivadis Düsseldorf Trivadis Das Unternehmen

7 OWB Support läuft aus Oracle Statement of Direction Die Basisfunktionalität ( OWB Basic ETL ) bleibt vorerst bestehen 12c Release1 erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt Oracle Data Integrator ist offizieller Nachfolger vom OWB. Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten. Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur Verfügung

8 Welche Migrationsszenarien sind möglich? Handlungsbedarf Oracle 12C Zeit zu handeln Nicht CDB-Architektur ist DEPRECATED seit Oracle Warehouse Builder on a pluggable database operates the same as a multi-instance or an OWB_HOME configuration. ODI- EE license is required to use this functionality

9 2. ODI der offizieller Nachfolger von OWB

10 Oracle Data Integrator (ODI) 2006 Übernahme durch Oracle Oracle Datenstrukturen/Modelle ETL Strecken mit DB-Mitteln Einbindung von PL/SQL Neu im Vergleich zu OWB Einbindung von heterogenen Umgebungen: DB, SOA, WebServices AGENT Konzept mit zeitgesteuerter Jobverarbeitung Knowledge Module Konzept Version12c Übernahme der OWB Bedienkonzepte OWB Migration Utility

11 ODI Migration Utility Textbasierte Verarbeitung mit Config-Dateien Voraussetzung OWB ab v patch und ODI ab v migrierbar nach ODI sind nicht migrierbar nach ODI sind Module: Quelle und Ziel Locations Datenobjekte: Tabellen, Views, MViews Dateien, Sequenzen, externe Tabellen Mappings: klassisch set-based, code templates, pluggable Operatoren: fast alle OWB2ODI MIGRATION CHECK Datenobjekte: Partitionen, Attribute Sets, Data Rules, Locations für externe Tabellen Dimensionale, Discoverer und OBIEE Metadaten Eigene PL/SQL Prozeduren und Packages Queues, Streams, CDC Konfigurationen, Benutzerdefinierte Datentypen Process Flows Data Quality, Data Profilies Mappings: row-based, mit o.g. Elementen OMB*Plus Skripte

12 ODI Migration Utility migration.config ODI_MASTER_USER=SUPERVISOR OWB_WORKSPACE_OWNER=OWB_OWNER OWB_URL=localhost:1521:orcl.. MIGRATION_MODE=DRY #CHECK DRY RUN.. >./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config OdiStartOwbJob WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.>

13 3. Migration nach PL/SQL

14 PL/SQL Migrationsoption 1 IST OWB IM HINTERGRUND NICHT PL/SQL? WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2, task_type IN VARCHAR2, task_name IN VARCHAR2, custom_params IN VARCHAR2 DEFAULT NULL, system_params IN VARCHAR2 DEFAULT NULL, oem_friendly IN NUMBER DEFAULT 0, background IN NUMBER DEFAULT 0 ) RETURN NUMBER;

15 PL/SQL Migrationsoption 2 Sollte RUN_TASK unter der nächster DB Version nicht laufen? WB_RT_API_EXEC.RUN_TASK (...); OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten Anpassung des Repository mit weiteren DB Versionen möglich Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code Zeilen Code pro Mapping OWB PL/SQL Code ohne grafische Oberfläche

16 PL/SQL Migrationsoption 3 PL/SQL-Extraktion über Intermediate Results Einfache Extraktion der Logik durch Intermediate Results (set-based) Fehlerbehandlung wird unterstützt (LOG ERRORS INTO) Row-based Extraktion mit größerem Aufwand möglich Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung neu umgesetzt werden müssen

17 PL/SQL Migrationsoption 4 PL/SQL-Extraktion mit PL/SQL Analyser Extraktion der Logik durch PL/SQL-Parser Automatisierung für viele Mappings (>1000) möglich Command Line Utility mit XML Parse-Tree Ausgabe Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt werden

18 4. bigenius

19 bigenius Funktionsübersicht Business Department BRE Business Requirements Engineering MGD Modelling Generation Deployment BI Architect Technical Documentation Business Blueprints Data Mart DWH Core LCM Load Control Monitoring DWH Admin Generated Objects: - Tables - Views - ETL Processes Source Cleansing Area Staging Area Source Source DQT Data Quality Testing Data Steward

20 Standardisierte DWH-Architektur Beispiel: 10 Dimensionen 5 Faktentabellen Data Mart 20 Entities 25 Quelltabellen DWH-Core Generierte DWH-Objekte: 100 Tabellen 175 Views Cleansing Staging 100 ETL-Packages Source Source Source

21 Migration eines standardisierten OWB-Projekts Import der Quell- und Zielstrukturen in bigenius Metadatenbank Zuordnung Quell- und Zielattribute Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind Manuelle Zuordnung von Spezialfällen Nachbearbeitung in bigenius Applikation Metadaten für Historisierung und Dimensionshierarchien Bei Bedarf Anpassungen von Templates Für Spezialfälle separate Templates aus Intermediate Results Generierung von Tabellen, Views und Packages mittels PL/SQL Generator

22 ETL-Logik in Templates

23 5. Kommerzielle ETL Tools

24 Warum ein anderes ETL Tool als ODI? Mögliche Gründe Strategisches Tool im Unternehmen Bestehendes Knowhow vorhanden Heterogene DWH-Systeme Marktanteil des Herstellers Verbreitete kommerzielle ETL Tools Informatica PowerCenter IBM InfoSphere DataStage SAP Business Objects Data Services

25 Beispiel: Informatica PowerCenter Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014) Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren Ausführung der Transformationen im separaten ETL-Server ETL-Steuerung durch Integration Services (ETL in Blackbox) Datenzugriff durch ODBC, JDBC + native DB Treiber Systemüberwachung der Nodes (Domains) durch Service Management Prozess Lizenzierung pro Kern des Domain-Servers

26 Migration nach Informatica PowerCenter Die Migration ist mit manuellem Aufwand verbunden Import der Quell- und Zielstrukturen in PowerCenter Repository Manuelle Neuentwicklung der Mappings Ähnliche Transformationen wie OWB-Operatoren Stored Procedures können in Mappings eingebaut werden Nachbau der Ladeläufe mit Workflow Manager

27 Migration nach Informatica PowerCenter (Alternative) Extraktion von SQL Statements in OWB Via Intermediate Results Nur für set-based Mappings SQL Statements in PowerCenter Mapping verwenden SQL Override SQL Transformation Achtung Schlechte Wartbarkeit der Mappings Nur als Übergangslösung zu empfehlen!

28 6. OpenSource ETL Tools

29 Warum OpenSource? Hauptgrund für OpenSource-Produkte Geringere Lizenzkosten Achtung: OpenSource Gratis OpenSource ETL Tools Talend Open Studio Pentaho Kettle

30 Beispiel: Talend Open Studio Open Source ETL Studio für wenig Geld Java Architektur Über 500 Components Vergleichbar mit Operatoren für OWB Row-based Verarbeitung Mengenbasierte Ausführung umständlich möglich Lizenzkosten pro Entwickler Talend Job Designer für die Ablaufsteuerung

31 Migration nach Talend Import der Quell und Zielstrukturen in die Metadatenbank Automatische Migration nicht möglich Arbeitsweise unterscheidet sich von OWB Mögliche Lösung Extraktion von SQL aus OWB (Intermediate Results) SQL in Talend Component roraclerow kopieren Gleiche Problematik wie SQL Override in Informatica Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich

32 7. Entscheidungskriterien

33 Funktionsumfang Arbeitsweise Bedienbarkeit Plattformunabhängigkeit Arbeitsweise Grafisches ELT-Tool, Ausführung Grafische Darstellung der Knowledge Module für zahlreiche ODI in Zieldatenbank Datenflüsse Quell- und Zielplattformen Bedienbarkeit Prozedureale Programmierung in Programmierung in Datenbank- PL/SQL Oracle-spezifisch Datenbank Editor, z.b. SQL Developer Plattformunabhängigkeit bigenius Kommerziell OpenSource Metadatenbasierter PL/SQL- Generator, Ausführung in Zieldatenbank Grafisches ETL-Tool, Ausführung durch ETL-Server Grafisches ETL-Tool, Ausführung durch ETL-Server GUI zur Erfassung und Pflege der Metadaten Grafische Darstellung der Datenflüsse Grafische Darstellung der Datenflüsse Generatoren für Oracle und SQL Server Unterstützung zahlreicher Quellund Zielplattformen Unterstützung zahlreicher Quellund Zielplattformen

34 Migration von OWB Projekten Migrationsaufwand Zeitaufwand Manuelle Nachbearbeitung Zusätzlicher Betriebsaufwand ODI Automatisierte Migration durch OWB Migration Utility gering Nachbau von Workflows und speziellen Operatoren zusätzlich Server pro Agent PL/SQL Generierter OWB-Code kann übernommen werden mittel, für große Projekte automatisierbar Implementierung von Fehlerbehandlung, Logging, etc. keiner bigenius Importieren von Quell- und Zielstrukturen, Generierung der ETL-Prozesse für standardisierte Projekte gering, für Spezialfälle groß Für Speziallogik müssen Templates erstellt oder angepasst werden keiner Kommerziell Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQL- Statements in Logik des ETL- Tool ETL-Server OpenSource Manuelle Übernahme von SQL-Statements in ETL-Tool hoher manueller Aufwand Überführung von SQL- Statements in Logik des ETL- Tool ETL-Server

35 Zusätzliche Kosten ODI PL/SQL Schulungsaufwand notwendig, aber für OWB-Entwickler gering PL/SQL-Knowhow bei OWB-Entwickler meistens vorhanden Lizenzkosten pro CPU der Zieldatenbank in Datenbanklizenz enthalten bigenius notwendig abhängig von Projektgröße Kommerziell notwendig pro CPU im Domain-server (Informatica) OpenSource notwendig pro Arbeitsplatz (Talend)

36 Wartung und Weiterentwicklung ODI PL/SQL bigenius Kommerziell OpenSource Wartbarkeit Sehr gut Schlecht wartbar Sehr gut Sehr gut Sehr gut Performance & Tuning Mengenbasierte Ausführung in der Zieldatenbank Mengenbasierte Ausführung in der Zieldatenbank Mengenbasierte Ausführung in der Zieldatenbank datensatzbasierte Ausführung über ETL- Server datensatzbasierte Ausführung über ETL- Server

37 Trivadis White Paper: Migrationspfade für OWB-Projekte

38 Vielen Dank Dani Schnider Stanislav Lando