TDWI Speed Dating Datenintegration

Transkript

1 TDWI Speed Dating Datenintegration Status quo, aktuelle Entwicklungen und Fragen an die Software-Anbieter Timm Grosser Analyst BARC Agenda 14:45-15:15 Einführungsvortrag Datenintegration 15:15-15:30 Business Objects 15:30-15:45 IBM 15:45-16:00 Now!Consulting g( (Informatica) 16:00-16:30 Pause 16:30-16:45 Oracle 16:45-17:00 Pentaho 17:00-17:15 SAS 17:15-17:30 Syncsort 17:30-17:45 Talend 17:45-18:00 Ab Initio ab 18:00 Fragen an die Hersteller 2

2 Der Markt für Datenintegrationswerkzeuge Spezialist Anbieter liefert keine Datenbank oder BI-Frontend Suite-Anbieter Anbieter hat auch Datenbank und/oder BI-Frontends im Portfolio Open Source Spezialisten oder Suite-Anbieter Ergebnisse aus den BARC Software Evaluationen für Data Warehousing und Datenintegration Methodenkonvergenz ETL/ELT (Extraktion, Transformation, Laden): zyklische Überführung und Anpassung großer Datenmengen EAI (Enterprise Application Integration): ti Systemübergreifende Prozessausführung durch direkte Übertragung kleiner Datenmengen Föderation: Logische Sicht auf Datenquellen zur Abfrage, Einbeziehung heterogener Datenquellen Unterstützung verschiedener Ansätze zur Umsetzung von Datenintegration (ETL, ELT) Breiteres Funktionsangebot durch Integration von Methoden zur Verbesserung und Überwachung der Datenqualität Entwicklung hin zu Datenintegrationsplattformen

3 Ergebnisse aus den BARC Software Evaluationen für Data Warehousing und Datenintegration Performance und Skalierbarkeit weiterhin Thema in jedem Release Entwicklung zur SOA: Integrationsservices für Stamm-, Meta und Bewegungsdaten in strukturierte und unstrukturierte Form Verbesserungen im Metadatenmanagement (Administration, Auswertung und Austausch) Insbesondere die dimensionale Datenmodellierung wird von wenigen Anbietern unterstützt Einbeziehung neuer Datenquellen wie RFID-Daten und Erweiterung der Standardkonnektoren für Applikationen und Datenbanken Transformationen werden von allen Werkzeugen gut bis sehr gut unterstützt Open Source: Definition Eine Software ist Open Source, wenn sie unter einer anerkannten Lizenz der Open Source Initiative steht. (

4 Open Source: Lizenzen Open Source Initiative (OSI) ist ein Kollegium zur Prüfung und Anerkennung von Open Source Lizenzen. Die Open Source Definition (OSD) ist der Standard an dem Open Source Lizenzen durch die Open Source Initiative gemessen werden. Die wichtigsten Punkte der OSD Copyleft: Veränderter Quellcode muss wieder veröffentlicht werden Offener Quelltext (nicht-binäre Form) Das Recht die Software zu kopieren und zu verbreiten Das Recht die Software zu verändern und weiterzuverbreiten Keine Einschränkung von Nutzerkreisen, Software und Technologien Integriät des Quellcodes (neue Versionsnummer oder Name der Software) General Public License (GPL) und Lesser GPL (LGPL) sind die meist verwendeten Open Source Lizenzen. Open Source: Markttrends OS ist inzwischen in vielen Bereichen etabliert (Linux, Apache Webserver, Red Hat Application Server, MySQL, ) Meist werden die Systeme nicht mehr von einzelnen Entwicklern oder einer Community, sondern durch Unternehmen gesteuert Professioneller Support Roadmap, stabilere Entwicklung und Abschätzbarkeit der Lebensfähigkeit it Zunehmend auch Übernahme von Open Source Unternehmen durch kommerzielle Anbieter (Suse durch Novell, MySQL durch Sun) Seit einigen Jahren neben o.g. technischen Systemen auch Angebote im Bereich von Anwendungssystemen (ERP, CRM), seit etwa 2001 auch erste Teillösungen für BI Im Bereich BI zunehmend Angebote von BI Komplettanbietern

5 Open Source: Geschäftmodell Wagniskapital i (Laut 451group im 1. Quartal 2008 über 200 Mio. USD) Kostenpflichtiger Support mit garantierter Reaktionszeit und für eine definierte Anzahl von Anfragen Zusatzleistungen wie Schulung und Beratung / Implementierung Subskriptionen: Funktional erweiterte Software, meist kombiniert mit Schulungs- und Supportpaketen In geringem Umfang kostenpflichtige Partnermodelle Open Source: Chancen Einfache Beschaffung: Die Software kann schnell per Download beschafft und ausprobiert werden. Community Ungefilterter Kontakt zu anderen Anwendern Entwicklung des Produkts nach Anforderungen aus dem Anwenderkreis Erweiterbarkeit und Anpassbarkeit Offene Schnittstellen, daher gut in (Java-) Eigenentwicklungen integrierbar Kostenfreie Beschaffung und günstiger Support. Dies sagt jedoch nichts über den TCO aus.

6 Open Source: Risiken Wirtschaftliche h Stabilität und Reifegrad eines Projekts ist schwerer einzuschätzen Zusätzliche Risiken durch die verteilte Entwicklung ng in der Community Problem des Betriebs durch mangelnde Support-Kapazität auf Anbieterseite Rechtliche Problematik durch verschiedene Open Source Lizenzmodelle Kontrollverlust der IT / Wildwuchs durch unkontrollierte Beschaffung der Lösungen Know how im relativ jungen OS-BI-Umfeld ist in geringerem Umfang vorhanden im Gegensatz zu etablierten kommerziellen Lösungen Marktüberblick Datenintegration Open Source Open Source Hersteller Produktname Ansatz Apartar Apartar Spezialist ETL Kinetics Networks, Inc. KETL Spezialist ETL Menta Jasper Tserv Suite - Code-Generator OpenSys CloverETL Spezialist Code-Generator ObjectWeb Enhydra Octupus Spezialist Middleware Jedox Palo ETL Suite - ETL Pentaho Data Integration (Kettle) Suite - ETL Talend Open Studio Spezialist - Code Generator

7 Funktionaler Vergleich Open Source gegen kommerzielle Software Breitere Methoden- und Architekturunterstützung t tüt zur Verarbeitung hochvolumiger Anforderungen Open Source Lösungen bieten ein offenes Entwicklungsframework und richten sich eher an Entwickler individueller Lösungen Klare Defizite von Open Source Software im Bereich Host-Zugriff und Verarbeitung von Host-Dateien Anbindung von Standardapplikationen (bspw. SAP ERP) bei kommerzieller Software breiter unterstützt Funktionaler Vergleich Open Source gegen kommerzielle Software Vorteile von kommerzieller Software im Bereich Metadatenmanagement, insbesondere im Austausch und Auswertungsmöglichkeiten Wie auch viele kommerzielle Produkte setzen viele Open Source Produkte für die Mehrbenutzerunterstützung und Versionierung auf externe Werkzeuge Grundlegende Datenqualitätsfunktionen bei Open Source Software vorhanden

8 Fragen an die Software-Anbieter Wie viele Installationen gibt es im deutschsprachigen hi Raum (Referenzen)? Wieviel Prozent der Anwender nutzen das Werkzeug für Data Warehousing? Welche Funktionen werden angeboten (ETL, EAI, EII, Datenqualität, etc.)? Welche Schnittstellen gibt es? Welche Konzepte stellen Performance und Skalierbarkeit sicher? Kontakt Timm Grosser Analyst BARC GmbH Steinbachtal 2b D Würzburg Tel. +49 (0)931/ Fax +49 (0)931/

9 Enterprise Information Management EIM mehr als nur `ETL` Bettina Wieser Business Development Manager EIM EMEA BusinessObjects an SAP company -

10 SAP, BO und FUZZY! Alles Gute aus einer Hand

11 WAS IST ENTERPRISE INFORMATION MANAGEMENT? Informationen sind nur so verlässlich wie ihre Quellen SLIDE 3 COPYRIGHT 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED.

12 DATA SERVICES DIE EIM-PLATTFORM Business Intelligence Platform Information Discovery & Delivery Query, Reporting, & Analysis Reporting Analysis Dashboards Search Information Delivery Advanced Analytics Predictive Data Services Platform Enterprise Information Management Data Integration Data Quality Metadata Management Data Mart Solutions Business Applications & Structured Data Unstructured Data www Cloud Data

13 BUSINESS INTELLIGENCE End2End POA Planning, Consolidation, Scorecarding Analysis IDD Reporting Enterprise Information Management Master Data Mgmt Source Data BI Plattform EII ETL Data Cleansing Text Mining Data Profiling Metadata Management Data Lineage Metadata + Impact Manager Analysis

14 DATENINTEGRATION DATA INTEGRATOR Entwicklerproduktivität Ein Entwicklungswerkzeug Web-basierte Administration Metadaten: Quelle bis Report Skalierbarkeit Services-basierte Architektur Viele vorbereitete, wieder verwendbare Transformationen Durchgängig parallelisiert und intelligente, verteilte Verarbeitung Benutzerakzeptanz Change Management: End-to-End Impact Analyse und Data Lineage SLIDE 6 COPYRIGHT 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED.

15 DATENINTEGRATION RAPID MARTS Vorgefertigte DWH Lösungen für Applikationen von SAP, Oracle, PeopleSoft u.a. Beschleunigte Implementierung bei niedrigeren BI Gesamtkosten Vorgefertigtes Datenmodell und Schema Vorgefertigte ETL Prozesse Vorgefertigte Universen und Berichte SLIDE 7 COPYRIGHT 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED. Confidential and proprietary. Copyright 2006 Business Objects S.A. All rights reserved.

16 UNTERNEHMENSWEITER DATENZUGRIFF Grosse Bandbreite an Verbindungen zu Datenbanken, Applikationen, Legacy-Systemen, File Formaten und unstrukturierten Daten Databases: Applications: Files/Transport: Mainframe: Unstructured Data: Oracle DB2 Sybase & IQ SQL Server Informix Teradata ODBC MySQL Netezza JD Edwards Oracle Apps PeopleSoft Siebel Salesforce.com SAP BI SAP R/3 ABAP BAPI Text delimited Text fixed width EBCDIC XML Cobol Excel HTTP JMS SOAP (Web ADABAS ISAM VSAM Enscribe IMS/DB RMS Both direct and change data Any text file type 32 languages IDoc Services)

17 Rapid Marts für z.b. SAP ERP (R/3) Purchasing PO ranked listings Cycle times Purchasing performance PO history PO status Vendor performance Price analysis Exception reporting Production Planning Bill of material explosion Routing explosion Where used Capacity planning Cost analysis Lead time MRP requirements Yield analysis Human Resources Employee benefits Eligibility and enrollment Salary comparisons EEO comparable worth Employee pay history Turnover analysis Employee events Vacation reporting Inventory Daily inventory trends Stock turnover/outages Batch management Inventory valuation Stock level optimization Expenditure Replenishment Make-to-order status Sales Bookings Returns Lifetime sales Delivery efficiency Delivery service levels Margins Discounting Backlog Accounts Payable Open payables Configurable periods Payment history PO/invoice reconciliation Checks issued Short-term cash outflow Department workload Financial effectiveness Project Systems Project costs Plan, actual, variance Earned value Progress analysis Material reservations Capacity planning Project schedules Project elements Cost Center Costs Allocations Plan, actual, variance Cost center hierarchies Cost element hierarchies Internal orders Fiscal year Reporting periods Plant Maintenance Life time performance Bad actors Maintenance hours Planning efficiency Material consumption Damage analysis Downtime MTBR and MTTR Accounts Receivable Aged receivables Configurable periods Largest balances Customer payments Clearing vs. invoices Dunning and credit Short-term cash flow Department workload

18 ÜBER 6000 KUNDEN, DIE SICH FÜR BO-EIM ENTSCHIEDEN HABEN Confidential and proprietary. Copyright 2006 Business Objects S.A. All rights reserved.

19 Danke für Ihre Aufmerksamkeit! Thank you! Kontaktdaten: Bettina Wieser Business Development Manager Enterprise Information Management EMEA BusinessObjects Deutschland GmbH -an SAP company- Georg-Brauchle-Ring München Tel. +49 (0) Mobil +49 (0) SAP 2007 / Page 11

20 Information Management Software Datenintegration: Open Source und kommerzielle Lösungen im Vergleich IBM Information Server Harald Gröger Consulting IT Specialist Speed Dating München, 04. Juni IBM Corporation Information Management Software Speed Dating Fragen Wie viele Installationen gibt es im deutschsprachigen Raum (Referenzen)? Wie viel Prozent der Anwender nutzen das Werkzeug für Data Warehousing? Welche Funktionen werden angeboten (ETL, EAI, EII, Datenqualität, etc.)? Welche Schnittstellen gibt es? 2 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation

21 Information Management Software Installationen, Referenzen, Data Warehouse Nutzung IBM führend bei Datenintegration, ETL und Datenqualität IBM Information Integration solutions are used by more than 5000 customers. More than 100 partners support these solutions. Since its introduction, IBM Information Server has been installed by nearly 200 organizations worldwide. 3 Gartner Magic Quadrant The Forrester WAVE : Gartner Magic Quadrant Data Integration Tools Oktober 2007 Enterprise ETL, Q Data Quality Tools Juni Gartner, Inc Forrester Research, Inc Gartner, Inc. IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten (ETL, EAI, EII, Datenqualität, etc.)? IBM Information Server - Bereitstellung von zuverlässigen Informationen IBM Information Server Datenqualität ETL EII Erkennen / Modellieren von Informationsstruktur und inhalt Standardisieren, Verknüpfen und Korrigieren von Informationen Kombinieren und Restrukturieren von Informationen Synchronisieren und Vitualisieren heterogener Informationen Plattform Services EAI 4 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation

22 Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig Arbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig Arbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig Arbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Information Management Software Welche Funktionen werden angeboten? Verstehen Bereinigen Transformieren Liefern Datenqualität: Schrittweise Analyse der Quelldaten Analysieren der Quelldaten Analysieren, Verstehen und Reports Generierung von Metadaten Quellen-übergreifend Schrittweise Analyse Spalten (Datentypen, Füllungsgrad) g Primary Key (eindeutige Schlüssel) Foreign Key (Abhängigkeiten) Tabellen übergreifend (Abhängigkeiten) Plattform Parallel Verbindung Metadaten Admin Deployment Information Analyzer 5 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Verstehen Bereinigen Transformieren Liefern Datenqualität: Standardisierung und Bereinigung Bereinigung der Qualität Fehlende Informationsstandards Unerwartete / versteckte Daten in einzelnen Feldern Fehlende Daten Duplikate In das ETL GUI integriert Investigate (Regelwerke) Standardize (Regelwerke) Match Frequency Reference / Unduplicate Match Passes, Blocking, Matching Survive MNS / WAVES QualityStage Plattform Parallel Verbindung Metadaten Admin Deployment Kate A. Roberts 416 Columbus Ave #2, Boston, Mass Catherine Roberts Four sixteen Columbus APT2, Boston, MA Mrs. K. Roberts 416 Columbus Suite #2, Suffolk County IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation

23 Information Management Software Welche Funktionen werden angeboten? Verstehen Bereinigen Transformieren Liefern Extrahieren, Transformieren und Laden Transformation: Umfassende vordefinierte Funktionen Performance: Parallelisierung und Skalierbarkeit Anbindung: Unterschiedlichste Quellen / Ziele Wiederverwend- Parametrisierung und Kapselung barkeit: Sequenzen: Scheduling: Latenzzeit: Reports: Standards: Erweiterbarkeit Überwachung: Metadaten: Qualität: Prozessabläufe / Fehlerbehandlung Definierte Termine und Zeiten Batch, Echtzeit und Services Prozessabläufe / automatisiert Information Services / SOA C++, Kommandos, Java, Commands GUI mit Monitor / Log / Grafik Übergreifende Information / Analyse Analyse und Bereinigung integriert Plattform Parallel Verbindung Metadaten Admin Deployment DataStage 7 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Verstehen Bereinigen Transformieren Liefern EII: Verfügbarkeit aktuellster Daten Föderation: Eine grosse virtuelle Datenbank Zugriff auf unterschiedliche und verteilte Informationen, als befänden diese sich in einem einzigen System Echtzeitzugriff von Analyseanwendungen auf integrierte Informationen Plattform Parallel Verbindung Metadaten Admin Deployment Synchronisierung: Konsistente Informationen Abgleich zwischen Datenbanken, Hochverfügbarkeit, Migration Datenänderungen starten Anwendungen SQL SQL Content Classic Federation Server for z/os Federation Server Information Integrator Content Edition Anwendung 8 IBM Software für Information on Demand IBM Information Server IBM InfoSphere Event Publisher / CDC (DataMirror) Replication Server 2008 IBM Corporation

24 Information Management Software Welche Funktionen werden angeboten? Datenqualität + ETL + EII + Plattform 4711 Peter Berk Kardinalität, Frequenz, Abhängigkeiten (Cross) Hamburg Kennedy 13 Analysieren der Quelldaten Analysieren, Verstehen und Reports Quellen-übergreifend 0000 Peter Berg Hamburg Kennedystr Berg 2258J Hamburg Kennedystr. 13 Verbesserung der Qualität Duplikate, Referenz Match, Selektion Fehlende Informationsstandards Fehlende Daten / Duplikate 4711 Peter Berg Hamburg Kennedystr Joins, Aggregation, Geschäfts-Regeln Extraktion, Transformation, Laden Von Daten zu Geschäftsinformationen Vordefiniert, wiederverwendbar 4711 Peter Berg Hamburg Kennedystr Transparenter Zugriff Echtzeit-Daten Aktuellste Daten Echtzeitzugriff durch Föderation Konsistente Daten durch Synchronisierung Peter Berg Hamburg Kennedystr IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation Information Management Software Schnittstellen und weitere Plattform Services Verstehen Bereinigen Transformieren Liefern IBM Information Server Information Services Plattform Parallel Verbindung Metadaten Admin Deployment SAP BW SAS Siebel Oracle Applications JD Edwards EnterpriseOne PeopleSoft Enterprise Salesforce.com Datenbanken, Files, Echtzeit, ERP, CRM,... Admin-Konsole Report-Konsole Variable Parallelisierung Geschäfts-Definitionen Informations-Services Entkoppelte Entwicklung Abhängigkeits-Analysen Information Server Blades 10 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation

25 Information Management Software Welche Funktionen werden angeboten? Verstehen Bereinigen Transformieren Liefern Von Excel Definitionen zu ETL Jobs Plattform Parallel Verbindung Metadaten Admin Deployment Excel mit Geschäftsregeln Komplettierung in FastTrack ETL Job Generierung IBM Information Server FastTrack 11 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation Information Management Software IBM Information Server Bereitstellung von zuverlässigen Informationen wann und wo sie gebraucht werden IBM Information Server Erkennen / Modellieren von Informationsstruktur und inhalt Standardisieren, Verknüpfen und Korrigieren von Informationen Kombinieren und Restrukturieren von Informationen Synchronisieren und Vitualisieren heterogener Informationen Plattform Services 12 IBM Software für Information on Demand IBM Information Server 2008 IBM Corporation

26 Data Integration mit Informatica Wie Informatica Sie dabei unterstützt, den Wert Ihrer Unternehmensdaten zu maximieren Informatica vertraulich 1 Die Herausforderung Kosten der Datenfragmentierung Laut TDWI kostet schlechte Datenqualität US-Firmen jährlich ca. 600 Mrd. US$ 55% aller Firmen werden auf hohem h Niveau Mitarbeiter und Budget in das Thema Datenintegration investieren (TDWI) 60% der IT-Budgets werden momentan für Integration ausgegeben (Ventana Research) Ohne eine ganzheitliche Strategie werden die Integrations- kosten unverhältnismässig hoch bleiben (Gartner) Informatica vertraulich 2

27 Die Lösung: Datendienste Komplexität entwirren Zugriff auf Daten in unterschiedlichsten Quellen, umfassende Verfügbarkeit Abgleich der Datendefinitionen hinsichtlich Konsistenz und Wiederverwendbarkeit Zertifizierung der Datenqualität, Gewährleistung von Exaktheit und Vollständigkeit et Umwandlung von Daten aus allen Formaten in produktives Kapital Informatica vertraulich 3 Die Produktplattform von Informatica Den Datenintegrationszyklus automatisieren Prüfen, Überwachen, Darstellen Datenkonsistenz gewährleisten, Auswirkungen analysieren, kontinuierlich die Qualität überwachen Data Explorer Data Quality Zugreifen Erkennen Bereinigen Integrieren Liefern Auf jedes System, in Batch oder Echtzeit Daten von jeder beliebigen Quelle finden und analysieren Alle Datentypen validieren, berichtigen und standardisieren Alle Datentypen transformieren und abgleichen Jederzeit die richtigen Daten im richtigen Format bereitstellen t PowerExchange PowerCenter Weiterentwickeln & verwalten Entwicklung und Zusammenarbeit auf gemeinsamem Repository und mit geteilten Metadaten Informatica vertraulich 4

28 Informatica vertraulich 5 Informatica vertraulich 6

29 Informatica vertraulich 7 Informatica vertraulich 8

30 Informatica vertraulich 9 Informatica vertraulich 10

31 Informatica vertraulich 11

32 <Insert Picture Here> Data Integration Alfred Schlaucher Data Warehouse Architect, BU Database Entwicklung von Oracles Integrationslösungen im DWH Standalone Tool Pervasive Service Batch ETL / ELT Right Time Delivery Oracle Centric Ht Heterogeneous Passive Data Quality Active Data Quality

33 Convergence Pervasive information management services Standalone Tool Pervasive Service Goal Create one pervasive data management service for database users One Repository Achieved by Embed the repository in the Oracle database One User Interface Leverage Oracle s IDE Create a single tool for all database development and design with one repository One Install with the database Install all required components at database install time Transform and Deliver Transform any data and deliver through data services Batch ETL / ELT Batch ETL / ELT Right Time Delivery Goal Deliver data through SOA to the right users at the right time in a heterogeneous environment 11.2 Enable heterogeneous data transformations and processes for an SOA architecture Achieved by Allow publishing of any process to a web service Support deployment of web services on non-oracle platforms Full spectrum of data integration patterns ETL/ELT Data Federation (EII) Data Replication Message based integration (EAI) Change Data Capture

34 Access Heterogeneous data integration Oracle Centric Heterogeneous Goal Deliver heterogeneous information integration to Oracle database customers High performance native read and write to and from any platform Heterogeneous Change Data Capture Generate and maintain BI tool metadata on any platform Achieved by Native data access using Knowledge Modules (KM) Allow creation / import / maintenance of KMs Data virtualization using Database Gateways Native change data capture using KMs Partnerships (Golden Gate, Attunity, DataDirect) Derive and maintain Oracle BI EE metadata from any data object in OWB Exchange metadata with any BI tool Deliver attribute level lineage and impact analysis from source to report with any BI tool Governance Active data quality in the database tier Passive Data Quality Active Data Quality Goal Make data quality smart and apply it to specific applications via the database tier Active data quality Applied data quality Achieved by Active auditing and monitoring solutions Data quality fire walls Deliver pre-built content for specific domains Verticals (Retail, banking, telco etc.) Horizontals (MDM for customer, product etc.) Smart data quality Integrated data quality Self learning data quality engine Auto-tuning of algorithms and algorithm extensibility Leverage Oracle Data Mining for data quality Deterministic and probabilistic algorithms Single repository for DQ, ETL and data modeling Auto-generate data corrections Validate data rules

35 Oracles Integration Lösungen die am häufigsten eingesetzte ETL-Lösung Lösung Oracle Database Zentriert Oracle Warehouse Builder (OWB) Any Database Oracle Data Integrator (ODI) Native-Access zu nahezu allen Plattformen Integriertes Data Quality Paket Universelles Metadaten-Repository Mehr als Installationen Bestes Preis-/Leistungsverhältnis BI Application Reporting Dashboards Query Consolidation Performance Measurement Business Logic Data Quality and state reporting Business Access Layer Realtime interaction Data Delivery Layer Service Orien nted Infrastru ucture Realtime interaction End User Specific (Data Mart) (Enterprise) Normalized Datastore (DWH) Stage core processes Reg Org. Linie Zeit Prod Rel. Structure Multidimensional De-Normalization Normalization No 1:1 Copies, Reduction of Complexity, Cleanse, checks, transformations Embedded Data Mining Pre aggregated generic and public measures. Also historic and dimensional data. Automated and embedded rule based Data Quality Integrated a nd data centric c data moveme ent Any operational system Inventory of all obects Business, semantical technical metadata Unified Generic Repository

36 Integrierte Funktionalität Single User Interface Data Data Data Data Modeling Compliance Integration Quality Relational Modeling Dimensional Modeling Analytical Modeling Life Cycle / Change Management Data Profiling Anomaly Detection Enforce Business Rules Audit Lineage + Impact Analysis Bulk ETL / ELT Event driven Message-driven DB Distribution Query Replication Standardization Match/ Merge De-duplication Enrichement Unified Metadata Management Enterprise Information Management Techniken und Lösungen auf der Basis der Oracle Datenbank Mission Critical Applications Packaged Applications Data Movement Master Data Management Data Governance Business Intelligence Data Warehousing Content Management Data Migration Unified Database Development IDE Rel. Data Modeler Dim. Data Modeler SQL Worksheet PL/SQL Debugger Data Flow Designer Proc Flow Designer SOA Deployment in Heterogeneous Environments Integration Service Transformation Service Data Quality Service Metadata Service Data Profiler Dependency Analyzer Data Auditor Metadata Browser Integration Service Foundation Data Integration Data Quality and Profiling Database Core Services Consolidation (ETL) Change data capture Data Profiling Data Auditing Data Dictionary PL/SQL Federation (Gateway) Archive/Restore (ILM) Matching/Merging Data Rules SQL Engine OLAP Engine Replication (Streams) Real time Standardization Intelligent Clustering Data Mining RAC / Grid Unified Metadata Extensible Common Models Lineage/Impact Change Management Metadata Exchange Data Connectivity Relational Databases Non-Relational DBs Various File Formats XML Data Packaged Applications Standard Msg Formats Message Queues Semi-Structured Data Oracle or 3 rd Party: Applications Analytics Identity SOA Platforms Data Grid Content Management Search 10

37 Vorteile des Datenbank-basiertes ETL durch OWB native SQL /Set based Multiple Insert, Merge Object Relational XML DB PL/SQL / row based Table Function Embedded Java Streams + CDC Schlankere Ladeläufe Weniger Umwege / On Place Minimierung Netzlast Bessere Performance Mischformen bei komplexen Anforderung 100% Oracle Datenbank-Ausnutzung Wiederverwendung Hardware Wiederverwendung von Know How Homogene Sprachenanwendung (SQL) Oracle Warehouse Builder Heterogenität im Oracle Data Warehouse OWB 11gR2 (Aug 08) System A System B System C System D Oracle OLTP SQL Server DB2 Any native SQL TNS native SQL Agent native SQL Agent native SQL Agent Oracle DWH Service Oriented Systems Agent Oracle Warehouse Builder hochkomplexehk native SQL + Transformationen PL/SQL (Set Based / Row based)

38 Data Quality Management Process Data Quality Dashboard Data Profiling Data Audit Generation of Correction Mögliche Integrationszenarien

39 Klassische Datenbank-Anwendung Erzeugen, Befüllen und Pflegen von Oracle OLAP Strukturen Unterstützen beliebiger BI-Werkzeuge Full design support for complex OLAP objects Life-cycle support for managing OLAP objects Transparent loading of OLAP using standard OWB constructs Flexibility in loading strategies (incremental / replace) Data Sources End-to-end lineage Reporting capabilities for Oracle OLAP Siebel CRM Oracle EBS Other Sources SAP/R 3 M PeopleSoft es sa g e Q u e u es Load Data Import Metadata Data Transformations using OWB ETL Create ETL OWB Repository Load and Build Create Objects Oracle OLAP Relational Star Enable Summary Management Master Data Management Anwendung von OWB Data Profiling und Correction Rules Data Validation with pre-built rules Target Sources Siebel CRM Oracle EBS SAP/R 3 PeopleSoft Other M Sources sa g e Q u e u es Connector Connector Connector Connector OWB Repository CDH Rules PIM Rules UCM Rules OWB In-Database Processing Corrected and validated data ready for MDM master Connector Connector Connector Oracle Master Data Management CDH Interface UCM Interface PIM Interface MDM Base Tables Validate Rules Correct Data

40 Fusion Applications Migration von Anwendungen Source Database (A) Fusion Database (B) Staging (A ) Finalize Source Tables Source Tables Custom Fusion Tables CDC OWB Redo Logs Incremental Replication Source Change Logs Upgrade Mappings Fusion Services MDS IDM Security DM AMX Metadaten-Support im BI-Environment Integrating with OBI SE/EE (Oracles Business Intelligence Suite) Data Sources Oracle Warehouse Builder Oracle BI EE Siebel CRM Oracle EBS Other Sources SAP/R 3 PeopleSoft Data Metadata Data Warehouse ETL Data Objects Data Quality Database Repository Data OBIEE Enterprise Semantic Layer (RPD) Distribute Metadata BI EE Server Dashboards OBI SE End User Layer Ad-Hoc Reports Lineage & Impact Change Propagation Runtime Statistics 18