Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Wolfgang Rütter Bereichsleiter OPITZ CONSULTING Gummersbach GmbH DOAG-Konferenz 2008 Nürnberg, 01.12.2008 Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 1
Agenda / Inhalte 1. Datenbewirtschaftung Der Anspruch - Entwicklung - Herausforderung - Markt 2. Oracle Tools Die Protagonisten - OWB und ODI - 3. Einsatzszenarien Die Wahl des richtigen Tools - Auswahlkriterien - 4. Ausblick Wohin geht die Reise? - Fakten und Anregungen - Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 2
Was existiert im Unternehmen zuerst, 1 Datenbewirtschaftung die Business Intelligence Strategie oder Der Anspruch Entwicklung Herausforderung Markt das Business Intelligence Competency Center? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 3
Datenbewirtschaftung Begriff und Bedeutung Begriff ist i.d.r. bekannt aus dem Umfeld von Data Warehouse und Business Intelligence Projekten Weitgehend synonym verwendete Begriffe in diesem Umfeld Datenbewirtschaftung Datenaufbereitung Datengewinnung Datenkonsolidierung Datenintegration Datenmanagement - Ohne die richtigen Daten am richtigen Ort bekommen Unternehmen ihre Prozessorganisation nicht in den Griff - Quelle: Computerwoche 20/2006 Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 4
Datenbewirtschaftung Basisanspruch Ursprüngliche Anforderungen hergeleitet vom Begriff ETL Extraktion Transformation Laden Workflow Extraktion: Zugriff auf unterschiedliche Datenquellen Transformation: Harmonisierung, Anreicherung, Aggregation Laden: Konsolidierte Persistierung (im DWH) Workflow: Bedarfsgrechte Steuerung (Zeit und Reihenfolge) Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
Weitere Anforderungen im ähnlichen Kontext Datenbewirtschaftung Erweiteter Anspruch Datenqualität Flexible Datenzugriffe Datenmigration ETL EAI Flexible Datenbereitstellung Datensynchronisation Metadaten- Management Masterdata- Management Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
Marktübersicht ETL- bzw. Datenintegrations-Tools Datenbewirtschaftung Markt Informatica Powercenter Microsoft SSIS (Integration Service) Sybase IQ Syncsort DMExpress Kettle (Open Source) iway DataMigrator Oracle Data Integrator Talend OpenStudio (Open Source) AbInitio co>operator Oracle Warehouse Builder SAP Netweaver BI BO/SAP Data Integrator Hummingbird Genio IBM InfoSphere DataStage (Data Mirror) Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - SAS Data Integration
2 ORACLE Tools Die Protagonisten Oracle Warehouse Builder und Oracle Data Integrator Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 8
ODI und OWB im Oracle Produktstack EPM-Workspace Applikationen Business Intelligence Performance Management BI-Foundation Essbase BI Server Predictive Analytics Fusion Middleware SOA Data Integration/ Data Quality Identity Management Content Management Oracle Datenbank Oracle Warehouse Builder Oracle Partitioning Oracle Data Mining Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Oracle OLAP Seite 9
ODI im Überblick Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Quelle: Oracle ODI Präsentation
OWB im Überblick Architektur Komponenten Client Server Design Center Repository Browser Control Center Service Oracle DB OWB Repository Work space Target Schema C o r e E T L EETL Data Quality EPM/CRM Konnektoren Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
E T L im Vergleich zu E L T Datenbewirtschaftung klassisch E T L Datenquellen ETL-Server Data Warehouse Transformieren Extrahieren Laden Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 12
E T L im Vergleich zu E L T Datenbewirtschaftung E - L T Datenquellen Data Warehouse Extrahieren Laden Transformieren Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 13
Anforderungsprofil Featureliste Überblick Anforderung Repository Heterogene externe Quellen Datentransformation Grafische Modellierung Performante Lademechanismen Data Quality Ablaufsteuerung Analysefunktionen Administration Implementierung auf Metadatenebene Nativer Zugriff auf unterschiedliche Automatische Möglichkeiten zur Datenquellen (Systeme, Dokumentation Abbildung von Transformations- Datenbanken, Grafischer Editior Excel, zur prozessen Flatfiles Abbildung etc.) von Unterstützung Transformations- von Optimierungsfunktionen Default prozessen Funktionalitäten (Bulk, Data Profiling Parallelisierung, Partionierung, spez. DB- Funktionen Data Cleansing etc.) Workflow-Unterstützung Vorgefertigte Prozessüberwachung Routinen Impact-/Lineage-Analyse über Allgmeine Metadaten Administration Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 14
Anforderungsprofil Featureliste Abdeckung Anforderung OWB ODI Repository Heterogene externe Quellen Datentransformation Grafische Modellierung Performante Lademechanismen Data Quality Ablaufsteuerung Analysefunktionen (Metadaten) Administration Gibt es überhaupt Unterschiede zwischen den Tools? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
Anforderungsprofil Blick unter die Haube Datenmodellierung Change Data Capture Nutzung DB-Features Zielsysteme Flexibiltät Ladeverfahren Transformationen Unterstützung BI-Tools Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
Oracle Warehouse Builder vorhanden keine direkte grafische Modellierung (Ansicht von Einzelkomponenten) DB-Objekte inkl. Storage und Datenbank-Properties Relational und Multidimensional Deployment in beliebig viele Datenbanken Import von Datenstrukturen möglich Anforderungsprofil Datenmodellierung Datenmodellierung Oracle Data Integrator nicht vorhanden Import von Datenstrukturen Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 17
Anforderungsprofil Change Data Capture Change Data Capture Oracle Warehouse Builder Oracle Data Integrator Nur Zugriff auf Quellen keine Implementierung von eigenen Mechanismen In Ansätzen über Connectoren möglich (z.b. SAP-Connector) Angewiesen auf Change- Infos im Quellsystem Passive Delta-Erkennung Echtes CDC möglich Einsatz von CDC Knowledge Modulen Implementiert über Trigger oder Datenbank-Logs Aktive Delta-Erkennung Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 18
Zielsysteme Anforderungsprofil Zielsysteme Oracle Warehouse Builder Oracle Data Integrator Oracle Datenbank ODBC, Flatfiles, XML Andere Systeme nur über Umwege möglich (Transparent Gateway) Fast beliebig Über vorgefertigte Knowledge Module Erweiterbar durch neue Module z.b.: Oracle, Terradata, MS SQL Server, SAS, DB2,. Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 19
Anforderungsprofil Nutzung DB-Features Nutzung DB-Features Oracle Warehouse Builder Oracle Data Integrator Optimiert für Oracle DB i.d.r. alle DB-Features Automatische Feature- Nutzung je nach DB- Release möglich Ausnutzung von DB- Features möglich Hängt wesentlich von der Qualität des Knowledge Moduls ab Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 20
Oracle Warehouse Builder Flexibiltät Anforderungsprofil Flexibilität Oracle Data Integrator Beschränkt auf Standardfunktionalität des OWB Automatisierung bzw. Wiederverwendung durch OMB+ und Experts möglich Sehr flexibel anpassbar Möglichkeit der Implementierung neuer Knowledge Module Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 21
Ladeverfahren Anforderungsprofil Flexibilität Oracle Warehouse Builder Oracle Data Integrator Daten- bzw. Zeitgetriebenes Laden von Daten Event- und Messagebasiert über Umwege aus der Datenbank möglich Daten- bzw. Zeitgetriebenes Laden von Daten Ereignis-/Meldungsbasiertes Laden Bedarfsgerechtes Laden durch Web-Services (SOA) Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 22
Transformationen Anforderungsprofil Transformationen Oracle Warehouse Builder Viele vorgefertigte Transformationen Pivotisierung/Unpivotisierung Deduplikator Aggregator Filter Joiner Splitter Wizards Match / Merge Name and Adress Oracle Data Integrator Eingeschränkter Umfang an fertigen Transformationen Filter Joins Mapping-Expressions I.d.R. über individuelle Programmierung (SQL-Code) Kann über Anpassung der Knowledge-Module erweitert werden Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 23
Anforderungsprofil Unterstützung BI-Tools Unterstützung BI-Tools Oracle Warehouse Builder Oracle Data Integrator Unterstützung Oracle Discoverer und BI-Beans Übernahme von Meta-Daten Keine direkte Unterstützung von BI-Tools auf Metadaten- Ebene ab Version 11gR2: Unterstützung Oracle BI-EE (BI-Server) Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 24
Anforderungsprofil Blick unter die Haube Fazit Datenmodellierung Change Data Capture Zielsysteme Nutzung DB-Features Flexibiltät Ladeverfahren Transformationen Unterstützung BI-Tools Vorteil OWB Vorteil ODI Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools -
Was existiert im Unternehmen zuerst, 3 Einsatzszenarien die Auswahlkriterien Business Intelligence Strategie oder Die Wahl des richtigen Tools das Business Intelligence Competency Center? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 26
Einsatzszenarien Szenario 1: Aufbau eines klassischen Data Warehouse Szenario 2: Flexible Datenbereitstellung in einem SOA-Umfeld Szenario 3: Datenmigration von System A nach System B Szenario 4: Aufbau EAI oder Masterdatamanagement Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 27
Welches Zielsystem ist vorgesehen? Ziel: Oracle Datenbank Relationales Modell Multidimensionales Modell (OLAP) Ziel: Nicht Oracle Datenbank Welche? Einsatzszenarien exemplarische Auswahlkriterien Welche Datenquellen liegen vor? Datenbanken ERP/CRM-Systeme Flatfiles Web-Service / SOAP Kommen BI-Tools zum Einsatz? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 28
Einsatzszenarien exemplarische Auswahlkriterien Wie werden Ladedaten (Delta-Daten) identifiziert? Delta-Information über Quellsystem vorgegeben Delta-Information in Quelle nicht vorhanden Wie zeitnah müssen Daten zur Verfügung stehen? In regelmäßigen Zyklen (Zeitgesteuert) Event-getrieben On Demand Ist Modellierung von DWH-Strukturen erforderlich? Relationale DWH-Objekte Multidimensionale DWH-Strukturen Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 29
Einsatzszenarien Tool-Vorschläge Szenario 1: Aufbau eines klassischen Data Warehouse Wenn Oracle OWB sonst ODI Szenario 2: Flexible Datenbereitstellung in einem SOA- Umfeld Szenario 3: Datenmigration ODI Wenn Oracle OWB sonst ODI Szenario 4: EAI und Masterdatamanagement Wenn Oracle OWB sonst ODI Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 30
Was existiert im Unternehmen zuerst, 4 Ausblick die Fakten und Anregungen Business Intelligence Strategie oder Wohin geht die Reise? das Business Intelligence Competency Center? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 31
Fazit Die Tools haben eine sehr große Schnittmenge an Funktionalitäten Wahl des richtigen Tools vielfach nicht ohne weiteres möglich Es gibt z.t. Kriterien, die für das eine oder andere Tools sprechen Warum nicht die Vorteile der beiden Tools kombinieren? Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 32
Ausblick - Fakten Quelle: Oracle OWB Roadmap Aussagen von ORACLE Tools bleiben vorerst Stand-alone, werden jedoch zukünftig weiter zusammen wachsen Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 33
& Fragen & Antworten Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 34
Kontakt: Wolfgang Rütter OPITZ CONSULTING Gummersbach GmbH wolfgang.ruetter@opitz-consulting.de +49 2261 6001 0 Vielen Dank für Ihre Aufmerksamkeit! Datenbewirtschaftung mit ORACLE Tools - Die Wahl des richtigen Tools - Seite 35