Beam me up! OWB Migration nach 11gR2 DOAG Konferenz 2011 Beat Flühmann Senior Consultant BI & DWH Trivadis AG Zürich, 1 BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1
Trivadis Facts & Figures 11 Trivadis Niederlassungen mit über 550 Mitarbeitern Hamburg Finanziell unabhängig und nachhaltig profitabel Kennzahlen 2010 Düsseldorf ~180 MA Umsatz CHF 101 / EUR 73 Mio. Frankfurt Dienstleistungen für über 700 Kunden in mehr als 1 800 Projekten Über 170 Service Level Agreements Stuttgart Freiburg München Wien Mehr als 5'000 Trainingsteilnehmer Basel Bern Zürich Lausanne ~350 MA ~20 MA Forschungs- und Entwicklungsbudget: CHF 5.0 / EUR 3.6 Mio. 2
Das Besondere Kundenindividuelle Lösungskompetenz und Herstellerunabhängigkeit Technologiekompetenz Lösungs- und Integrations-Know-how Begleitung über den gesamten IT-Projekt- Lifecycle bietet fundierte Methodenkenntnisse und eigenentwickelte Vorgehensweisen garantiert wiederholbare Qualität und Realisierungssicherheit hat über 17 Jahre Expertise in Oracle und Microsoft verfügt über ein eigenes Technology Center und setzt auf technologische Exzellenz hat eine breite, branchenübergreifende Kundenbasis und jährlich über 1800 Projekte verbindet technologisches Spezialistenwissen mit dem Verständnis für die Business-Spezifika des Kunden begleitet den gesamten IT-Projekt-Lifecycle mit einem modularen Dienstleistungsportfolio bietet für jeden Reifegrad die passende Dienstleistungs- und Lösungskombination 3
Der Referent Beat Flühmann BI & DWH Oracle Lösungs- und Beratungs-Know-how Beratung über den gesamten DWH/BI- Projekt Lifecycle dipl. Informatik Ingenieur (ETH Zürich) seit 2004 bei Trivadis vorher 7 Jahre bei Oracle (Schweiz) seit 1995 tätig als Consultant in Data Warehousing & Business Intelligence Oracle 7, 8i, 9i 10g, 11g Consulting Projektleitung Review Performance-Tuning Analyse & Design Architektur von Data Warehouses Datenmodellierung ETL inklusive Data Profiling Reporting / BI Tools 4
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen Upgrade oder Migration 3. Installationsvorgang OWB Server Oracle Workflow OWB Client 4. OWB Migration Export Setup Import Deployment 5
Motivation für eine OWB Migration Datenbank-Upgrade auslaufender Support OWB GA Premier Extended Sustaining neue Funktionalitäten Lizenzkosten bessere Performance Release Date 9.2 Jul 2003 Support Ends Oct 2007 Support Ends Not Available Support Ends Oct 2010 oder soll besser gewartet werden, bis OWB und ODI ganz verschmelzen? 10.1 Apr 2004 10.2 Jul 2005 Jul 2007 Jul 2010 Not Available Jul 2013 Jul 2010 Indefinite 11.1 Aug Aug Aug Indefinite 2007 2012 2015 11.2 Sep Jan Jan Indefinite 2009 2015 2018 6
Oracle Warehouse Builder & Oracle Data Integrator 2007 2008 2009 2010 2011 OWB 11.1 OWB 11.2 ODI 10.1 ODI 11.1 ODI 11.2 2012 2013 Converged data integration platform 7
Design- und Runtime-Repository Umgebung Design Center Control Center Manager Deploy, Execute Design-Datenbank Control Center Service Ziel-Datenbank Design Design Repository Runtime Repository Target Schema Repository Browser Local OC4J Browser Server Design Metadaten Design (History) Runtime Metadaten Deployments & Executions (History) Target Schema Reporting 8
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen Upgrade oder Migration 3. Installationsvorgang 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 9
Vorabklärungen Verfügbarkeit Server - in Datenbank integriert seit 11gR1 Client - mit Datenbank mitinstalliert - auch auf 64-bit, aber nicht supported! - OWB11gR2 Standalone Software Kompatibilität Client vs Server 10
Upgrade oder Migration? Upgrade gesamtes Repository auf einmal - in-place Upgrade (gleiche DB) - via MDL Datei kein Redeployment nötig historisierte Design- und Runtime-(Deployments, Executions) Audit- Metadaten nur OWB10gR2 und 11gR1 Migration Export & Import der Design Metadaten nur einzelne Projekte auch OWB10gR1 und 9iR2 nur aktuelle Metadaten Redeployment 11
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installationsvorgang OWB Server Oracle Workflow OWB Client 4. OWB Migration 12
Installation OWB Server Oracle Database 11gR2 Keine zusätzliche Installation von OWB notwendig OWB 11.2.0.2 Megapatch V3 (12874883) Verfügbar auf allen Plattformen mit Oracle 11gR2 OWB11gR2 Standalone Software OWB11gR2 auf anderen DB-Versionen - Oracle 10gR1, Oracle 10gR2, Oracle 11gR1 (OWB Design Client auf anderer Plattform) (OWB Control Center Agent auf anderer Plattform) OWB DB 10.2 10.2.0.4/5 11.1 11.2 10gR1 X 10gR2 X X X X 11gR1 X X X 11gR2 X 13
Installation OWB Server (Forts) neue Datenbank Oracle 11gR2 SQL> connect sys as sysdba SQL> @?/owb/unifiedrepos/cat_owb.sql SQL> @?/owb/unifiedrepos/reset_owbcc_home.sql SQL> alter user owbsys identified by... account unlock; SQL> alter user owbsys_audit identified by... account unlock; Upgrade Oracle 11gR1 SQL> connect sys as sysdba SQL> @?/owb/unifiedrepos/cat_owb_reposupgrade.sql SQL> @?/owb/unifiedrepos/reset_owbcc_home.sql 14
Installation Oracle Workflow Verwendung von Process Flows in OWB Workflow 11i $ORACLE_HOME/owb/wf/install/Wfinstall.csh/bat 15
Installation OWB Client Design Center Repository Assistant Control Center Manager Verfügbarkeit auf Plattform abklären auf Server vorinstalliert (auch 64 bit, aber nicht supported!) Exakt selbe Komponenten Release Nummer wie die Datenbank 16
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installationsvorgang 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 17
OWB9gR2: Repositories unterschiedliche Design, Runtime und Target Repositories je ein eigenes Schema Oracle Instance Control Center Service Design Repository Owner: Administrator: Runtime Repository Target Repository Target Repository 18
OWB10gR2: OWB Unified Repository n Unified OWB Repositories je ein eigenes Schema und je ein Control Center Oracle Instance Owner: Repository 1 Administrator: User: Control Center Service 1 Control Center Service 2 Owner: Repository 2 Administrator: User: 19
OWB11gR1/R2: Workspaces pro DB ein OWB Repository (OWBSYS)und ein Control Center mehrere Workspaces pro Repository möglich Oracle Instance Control Center Service Repository Owner OWBSYS Workspace Owner Workspace 1 Admin: User: Workspace 2 Admin: User: Workspace Owner Workspace 3 Admin: User: 20
OWB11gR2 Setup: Workspace 21
Lizenzmodell seit OWB10gR2 Enterprise ETL Option Data Profiling and Quality Option Connectors Option ETL Core Features ohne Aufpreis in der DB Lizenz enthalten 22
Lizenzmodell ab OWB11gR2 $23 000.- pro Prozessor Oracle Data Integrator Enterprise Edition Data Profiling and Quality Option Connectors Option ETL Core Features ohne Aufpreis in der DB Lizenz enthalten 23
Änderung Lizenzmodell The following features, previously licensed with the Oracle Warehouse Builder ETL Option, are no longer licensed with the Oracle Database. Instead, they are licensed via the Oracle Data Integrator Enterprise Edition: Slowing Changing Dimensions (SCD) Type 2 and 3 XML Files as a target Transportable ETL modules, multiple configurations, and pluggable mappings Operators for pluggable mapping, pluggable mapping input signature, pluggable mapping output signature Design Environment Support for RAC Target load ordering Seeded spatial and streams transformations Process Flow Activity templates Process Flow variables support Process Flow looping activities such as For Loop and While Loop Process Flow Route and Notification activities Metadata lineage and impact analysis Metadata change propagation Schedulable Mappings and Process Flows Metadata Extensibility Deployment to Discoverer EUL Deployment to Oracle BI Beans catalog 24
OWB11gR2 Struktur Datenbank 1 1 Repository 1 n Workspace 1 n Project 1 n Module 1 1 Oracle Instance OWB Repository Workspace A Project 1 Project 2 Project 3 Module X Module Y Workspace B Oracle File Process 25
Datenbankuser für OWB OWBSYS OWB Repository (Design und/oder Runtime Repository) OWBSYS_AUDIT * Zugriff von Control Center Agent auf Runtime Repository [Workspace Owner 1], [Workspace Owner 2] * Administrator des Workspaces [OWB User 1], [OWB User 2] * Entwickler mit Zugriff auf Workspace [Target Schema 1], [Target Schema 2] Zielschemas * Diese User haben keinen eigenen Objekte 26
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installationsvorgang 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 27
1) Validierung Design Metadaten Altlasten eliminieren Ausgangsdaten müssen fehlerfrei sein weniger Folgefehler Konsistenzprüfung Referenz-Log foreach ProjName [OMBLIST PROJECTS] { OMBVALIDATE PROJECT $ProjName } 28
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installationsvorgang 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 29
Upgrade von OWB10gR2 Vorbereitung SQL> connect sys as sysdba SQL> @?/owb/unifiedrepos/cat_owb.sql SQL> @?/owb/unifiedrepos/reset_owbcc_home.sql SQL> alter user owbsys identified by... account unlock; SQL> alter user owbsys_audit identified by... account unlock; Upgrade mit Repository Assistant Bestehendes Repository wird in MDL-Files exportiert und in OWBSYS importiert 1. 2. 3. auch über Datenbankgrenzen hinweg 30
Upgrade von OWB11gR1 Vorbereitung SQL> connect sys as sysdba SQL> @?/owb/unifiedrepos/cat_owb_reposupgrade.sql SQL> @?/owb/unifiedrepos/reset_owbcc_home.sql Upgrade mit Repository Assistant Bestehendes Repository in OWBSYS wird upgraded 1. 2. 31
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installation 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 32
Export aus bestehendem OWB Release Export mit Design Center 1. Public Project 2. Locations & Control Centers 3. Projekte (einzeln) Analyse der Logs foreach Projekt [OMBLIST PROJECTS] { OMBCC $Projekt OMBEXPORT MDL_FILE $Projekt.mdl } 33
Import in OWB11gR2 Design Center Import mit Design Center 11gR2 1. Public Project 2. Locations & Control Centers 3. Projekte (einzeln) Zwischenschritt über 11gR2-MDL-Datei foreach Projekt {Projekliste} { OMBIMPORT MDL_FILE $Projekt.mdl } 34
Analyse Import Logs Strukturprobleme Lizenzverletzungen Migrations-Bugs Property Settings bei Merge striktere Validierung - ALL_CONSTRAINTS auf Tabellen ohne Constraints - Bound von Objekten über Projektgrenzen in OWB10gR2 Konzept nicht-oracle Datenbanken 35
AGENDA 1. Motivation für eine OWB Migration 2. Vorabklärungen 3. Installationsvorgang 4. OWB Migration Setup OWB11gR2 Validierung Upgrade Export / Import Deployment 36
Deployment Registrierung der Locations Deployment der Objekte Vorsicht bei datenhaltenden Objekten (Tabellen, MViews, Sequences) Testing. 37
DEN TRIVADIS- STAND FINDEN SIE AUF EBENE 3, STAND NR. 304 Trivadis AG Beat Flühmann Europastr. 5 CH-8152 Glattbrugg/Zürich Tel. +41-44-808 70 20 Fax +41-44-808 70 21 beat.fluehmann@trivadis.com www.trivadis.com BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 38