BIRDS. ODI und OBI bringen ein DWH zum Fliegen! Copyright 2012 Actelion Pharmaceuticals Ltd

Transkript

1 BIRDS ODI und OBI bringen ein DWH zum Fliegen! Copyright

2 WIE ALLES BEGANN VOR DEM BIRDS PROJECT : Viel manuelle Nachbearbeitung notwendig Keine einheitlichen Daten, nicht 1 Wahrheit Besseres Query-Tool als Frontend Validierung nicht mehr ausreichend Zeitverlust Reaktionszeiten zu hoch, nicht flexibel genug Viele Diskussionen über die Korrektheit der Zahlen Komplexität Datenmodell ARGUS 2

3 BIRDS Was ist BIRDS? 3

4 BIRDS BIRDS PROJECT : BI SOLUTION DEVELOPED BY GDSS Business Intelligence Reports for Drug Safety 4

5 BIRDS DATA WAREHOUSE CONCEPT

6 BIRDS VALIDATION OVERVIEW BFE TFE BBE TBE 6

7 BIRDS Generelle Regeln 7

8 GENERELLE REGELN OBI Alle Kalkulationen liegen vorbereitet im DWH 1 Mart = 1 Subject Area (SADEFxx) Im OBI Repository wird nur noch durchgeschleust und per Modellierung angereichert Development ist Development ist Development Keine Entwicklung auf anderen Systemen -> die heile Welt 8

9 GENERELLE REGELN ODI Transformations-Regeln aufgrund der Validierung in Kontrolltabellen verwaltet weniger als 10 Knowledge Module Klare Definition der Strategien Source Core = nur Head- und Versionstabellen Im Zweifel werden die Daten nach SCD2 versioniert 9

10 BIRDS Die Data Warehouse Architektur 10

11 BIRDS DESIGN OVERVIEW 11

12 THE DATA WAREHOUSE ARCHITECTURE PHYSICAL ENVIRONMENT 12

13 THE DATA WAREHOUSE ARCHITECTURE DATA WAREHOUSE AREA S 13

14 HELFERLEIN METADATA TABELLEN DWH_RULES Contains rules necessary to transform data, which are needed to load into CLEANSE and into CCORE. Rules of course are versioned DWH_SINGLETON Contains default values for columns, e.g. -1, Not available etc., which are needed when loading into CCORE. Also Singleton table is versioned DWH_SOURCE Contains the source systems data is load from DWH_LOAD_PROC All load processes are contained here 14

15 BIRDS Oracle Data Integrator 15

16 ORACLE DATA INTEGRATOR DIE ODI-ARCHITEKTUR 16

17 ORACLE DATA INTEGRATOR BIRDS LOGICAL DATA SERVERS / CONTEXTS Logical: Abstract definition of objects Context: responsible for mapping physical to logical objects before runtime 17

18 BIRDS Die verwendeten Strategien 18

19 DIE STRATEGIEN IN KNOWLEDGE MODULES WAS IST EIN KNOWLEDGE MODUL? Ein Code Template für die generische Erzeugung einer Implementierungs-Strategie Es gibt unterschiedliche KM-Typen Loading KM (LKM) Integration KM (IKM) Check KM (CKM) Journalization KM (JKM) etc. Beispiele für in KMs implementierte Strategien Implementierung SCD Implementierung Insert / Update Implementierung Merge Implementierung Index creation etc.

20 KNOWLEDGE MODULES SPECIAL KM S All special KM s can be identified by the following informations: -- ******************************************************************* -- Name: IKM ACT STAGE Name of KM Purpose: Integration Knowledge Module to load data from a staging to a target database. -- This is done using the JDBC Driver or an DB-Link in case of a table with LOB fields Author: Serge Strubel -- Date: Creation date Version: Latest change date Modification (Date/User/Purpose): Change log /sstr/Creation of this IKM /ano/Changes because TRUNCATE option was not running on DBSynonym /sstr/Add Hint APPEND to all INSERT statement to avoid REDO generation ******************************************************************* Options: - TRUNCATE: Truncates the target Table if TRUE (default: FALSE) - TRACE: Only simulates execution, inserts corresponding SQL statements into DWH_TRACE table

21 KNOWLEDGE MODULES FUNCTIONS BEHIND THE SPECIAL KM S CKM Oracle Check KM to check data loaded RKM Oracle Reverse Engineer KM to get metadata from Oracle DB Dictionary Customized to derive also DB Links and DB synonyms IKM ACT STAGE Integration KM to integrate data into DWH Staging area Uses the JDBC driver or the DB Link when CLOB s are loaded IKM ACT CLEANSE Integration KM to integrate data into DWH Cleansing area Uses anonymous PL/SQL block to execute transformation rules for affected columns stored in table DWH_RULES

22 KNOWLEDGE MODULES FUNCTIONS BEHIND THE SPECIAL KM S IKM ACT CORE SCD1 Integration KM to integrate data not versioned into SCORE Uses anonymous PL/SQL block to execute insert and update of dimension header table IKM ACT CORE SCD2 Integration KM to integrate versioned data into SCORE Uses anonymous PL/SQL block to execute insert and update of dimension version table IKM ACT CORE Common Integration KM to integrate data into Common CORE During this integration the Singletons are inserted IKM ACT MART Integration KM to integrate data into corresponding DWH Area

23 ODI Administration und Maintenance 23

24 ORACLE DATA INTEGRATOR BIRDS LOADPLANS STAGE, CLEANSE, SCORE, CCORE and MART are loaded in parallel steps Each step hierarchy (layer) is executed serial Each DWH area has a Pre and Post tasks step hierarchy

25 ORACLE DATA INTEGRATOR BIRDS LOADPLAN EXCEPTIONS 2 step hierarchies 1. Another Load Process is running with SET_STILL_RUNNING_TO_LOAD_PLAN_INFORMATION and This procedure: checks whether another loadplan is still running and cancels newly initiated loadplan execution if the case.

26 ORACLE DATA INTEGRATOR BIRDS LOADPLAN EXCEPTIONS 1. f 2. Birds Major Exception with Two scenario steps to be executed _TO_ADMIN and SET_ERROR_TO_LOAD_PLAN_INFORMATION This procedure: Sends a mail to the ODI Admin group Sets the load plan to status error in metadata table DWH_LOAD_PROC

27 THE FRONTEND TOOL ORACLE BI Die OBI-Architektur and Umgebung 27

28 ORACLE BUSINESS INTELLIGENCE DESIGN ÜBERSICHT 28

29 SPEZIALITÄTEN OBI 1. Skins und Styles Wurden an Firmenfarben angepasst 2. Standard-Layout Analyse Header <ReportName> Footer For internal use only Automatische Anzeige des Filters Tabelle 3. Übersichtsseite aller Variablen 4. Welcome Dashboard Seite 5. Getrennte OBI Katalog Bereiche für Standard(=validierte) Reports und andere Analysen

30 VERFÜGBAR SUBJECT AREAS Mar 2013

31 WELCOME PAGE WHAT YOU SEE After the login you see the following welcome page. From here you can jump to the various analysis available 31

32 REIFEPROZESS EINER BI-LÖSUNG AGILES VORGEHEN 1. OBIEE -> Argus Aufbau der ersten Mockups über direkten Zugriff von OBI auf Argus Resultat: Diskussion, Abnahme, Transparenz gegenüber Endbenutzer 2. OBIEE -> Stage Erstellen einer Parallel-Struktur mit SQL Bordmitteln, tägliches Laden der kompletten Daten aus Argus, Zugriff auf die selben Daten, aber aus Stage Danach unbekümmerte Entwicklung&Validierung der DWH-Lösung Resultat: zufriedene Endbenutzer, ungestörte Entwickler 3. OBIEE -> DWH Während Aufbau des DWH Umstellung auf inkrementelles Laden, nur Änderungen werden täglich verarbeitet Resultat: optimierte Ladeläufe, bessere Performance, Near RealTime BI ohne grossen Aufwand realisierbar

33 DAS ERGEBNIS Wie sah es vorher aus und wie jetzt 33

34 DAS ERGEBNIS FRONTEND 1. Umfangreiches, verlässliches Reporting in OBI auf Basis von validierten, mit ODI, bereitgestellten Daten 2. Offizielle Berichte für Health Authorities werden aus BIRDS bereitgestellt 3. Zentralisierung des GDS Reporting bei Power Usern End User fragt an, Power User erstellt Report Resultat: Schnellere Bereitstellung der Daten (ca. 1 Woche früher mit SAS, mit OBI jetzt 2-3 Stunden ) Grössere Flexibilität

35 DAS ERGEBNIS BACKEND 1. Die Daten sind jederzeit nachvollziehbar Alle Änderungen sind entweder in DWH oder ODS vorhanden 2. Source-Systeme weniger belastet Extrakte für SAS werden direkt aus BIRDS DWH bereitgestellt 3. Modularer Aufbau bietet maximale Flexibilität

36 LESSONS LEARNED Was sind die Erfahrungen aus dem Projekt 36

37 LESSONS LEARNED KNOWLEDGE MODULES MIT PL/SQL Pro Contra

38 LESSONS LEARNED SOURCE CORE Pro Contra

39 LESSONS LEARNED COMMON CORE Pro Contra

40 NÄCHSTE SCHRITTE 40

41 DIE NÄCHSTEN SCHRITTE WAS KOMMT 1. Erweiterung des DWH um weitere Quellen SmartTrack, CCT, FDA Public Domain Daten 2. Mehrmaliges Laden der Daten pro Tag Unterschiedliche Zeitzone (CH, NJ, SSF etc.) 3. Ergänzung des BIRDS DWH um historische Data Marts für PSUR 4. Ausarbeitung OBI - Coaching für weitere Ausbaustufen 5. Evtl. Umstellung auf Scrum als Projektvorgehensmethode

42 RESÜMÉE Die wichtigsten Ergebnisse 42

43 RESÜMÉE KURZ UND KNACKIG 1. Strategisch planen zahlt sich aus 2. Standardisierung macht das Leben leichter 3. Ein DWH nutzt auch den anderen IT-Abteilungen Die Migration von Argus wurde mittels BIRDS stark erleichtert 4. Deployment noch nicht ausgereift, obwohl viele Lösungen da sind (Solutions, Smart Export/Import etc.) Momentan im Einsatz ist Export / Import zwischen Repositories Hat hier jemand Erfahrungen? Dann bitte gerne melden.