Copyright 2014 Oracle and/or its affiliates. All rights reserved.

Transkript

1

2 The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle.

3 Oracle Data Integration Moving Data to Transform Business Oracle Data Integrator for Big Data Dr. Holger Dresing Oracle: Data Integration Solutions EMEA

4 Agenda Oracle Data Integration Overview Oracle Data Integrator Overview Oracle Data Integrator und Big Data Overview Demo

5 Data Integration Trends Data Integration Tools Today Need to Do More Big data ist das neue Normale Real-time Daten springt an die Spitze Applikationsdaten werden in der Cloud gehalten und in einer Zielzahl unterschiedlicher Umgebungen Konventionelle ETL tools verfehlen häufig die Performance Anforderungen

6 Umfangreiche Daten- Integrations- & Governance Lösungen Real-Time Data Movement Geringe Last durch capture, bereitgestellt in Hadoop Durchgehende Datenverfügbarkeit Data Transformation Bewegen von Massendaten Pushdown Data Processing Data Federation Virtualisierte Data Services Data Quality & Verification Sichert die Qualität auf der Quelle Verifiziert Datenkonsistenz Metadata Management Lineage und Impact Analyse Business Glossary Semantics Oracle GoldenGate (Movement) Data Governance Foundation Oracle Data Integrator (Transformation) ELT Processing on Hadoop or SQL Continuous Availability Enterprise Data Quality (Profile, Cleanse, Match and De-duplicate) Fast Load Data Service Integrator (Federation) GoldenGate Veridata (Online Data Verification) Enterprise Metadata Management & Business Glossary (Business Glossary, Data Lineage, Impact Analysis and Data Provenance)

7 Unterschiedliche technische Ansätze Dynamic Data Movement Real-time CDC ist der Standart, nicht ETL Geringste Belastung auf der Quelle Beste Performanz Integrated Oracle Capture/Apply Keine ETL Engines Verlegt die Ausführung zu den Daten; nicht die Daten zu den Prozessen übertragen Optimiert die (Arbeits-) Last auf die vorhandenen Engines s (Hadoop oder SQL) Most Heterogeneous Unterstützt Open Source Hadoop, nicht die properitären Distributionen Hadoop ist der zentrale Ansatz, nicht die ETL Werkzeuge Offene Metadaten Standards Oracle GoldenGate (Movement) Data Governance Foundation Oracle Data Integrator (Transformation) ELT Processing on Hadoop or SQL Continuous Availability Enterprise Data Quality (Profile, Cleanse, Match and De-duplicate) Fast Load Data Service Integrator (Federation) GoldenGate Veridata (Online Data Verification) Enterprise Metadata Management & Business Glossary (Business Glossary, Data Lineage, Impact Analysis and Data Provenance)

8 Data Reservoir Use Case mit Oracle Daten-Integration Oracle GoldenGate Sqoop Initial Load Oracle Data Integrator Oracle Data Service Integrator Federated Queries Sqoop Load OLTP Databases Social Media Sensor Data Logs CDC to HDFS, Hive, Flume, HBase File Load Impala Pig Transformations with HDFS, Hive, Hbase, Pig Oracle Enterprise Metadata Management Oracle Enterprise Data Quality OLH / OSCH Big Data SQL Data Warehouses, Datamarts Oracle Confidential Internal/Restricted/Highly Restricted 8

9 Oracle Data Integrator Überblick

10 Oracle Data Integrator E-LT: High Volume Data Processing and Fast Data Transformation Cloud Apps Database Big Data Oracle Data Integrator High Performance E-LT Declarative Design Extensible Knowledge Modules Data Services Structured & Unstructured Data Zertifiziert for alle führenden Technologien um schnell Vorteile zu generieren Hoch Performant, geringe Cost of Ownership E-LT Architektur Lightweight Deployment Flexible, einfach zu erweiternde Funktionalität

11 Marktführende Performance Extrem gute Performance zu reduzierten Kosten Konventionelle ETL Architektur Extract Transform Load Architektur der nächsten Generation E-LT Extract Load E-LT bietet eine flexible Architektur mit optimierter Performance Benefits generiert set-based Transformationen Verbessert die Lade-Performance, keine Netzwerk Engpässe Nutzt die Vorteile der eingesetzten Infrastruktur: Hardware und Software Transform Transform

12 Declarative Design Improved Developer Productivity For Faster Time to Solution Einfach und universell zum Entwurf von einfachen bis komplexen Mappings Robust und wiederverwendbar: Mappings nur einmal erstellen für unterschiedliches physisches Design Schnell zu definieren and wieder nutzbare Abbildungen, hoch Automatisiert Erweiterbares Modell für alle Integrationsmechanismen Vorteile ODI Declarative Design 1 Definiere Was Sie wollen? 2 Automatisch generierter Workflow Signifikantes Reduzieren der Lernkurve Definiere Wie: Knowledge Modules Verkürzte Implementierungszeiten Einfachere Pflege und Support

13 Knowledge Modules Einfaches physisches Design und kürzere Implementierungezieten Pluggable Knowledge Modules Architektur Reverse Engineer Metadata Journalize (CDC) Load from Source to Staging Check Constraints Integrate, Transform Data Service Beispiele für out-of-the-box Knowledge Modules Oracle Sqoop Hive HBase SAP BW Oracle Spatial Oracle Datapump Siebel Oracle DBLink ebusiness Suite JMS Oracle Merge External Tables SAP ERP Teradata IBM DB2 Netezza DBaaS Wesentliche Vorteile der Architektur Schnellere Entwicklung und einfachere Wartung durch Templates Einfach zu erweitern auf Basis der Best Practices Vorhersehbares Verhalten und geringere Cost of Ownership

14 Neue Big Data Features in ODI Core ODI Big Data Neue Hive JDBC Driver Neue Knowledge Modules für Hive, Sqoop, OLH/OSCH, HDFS Erweiterte Tools für HDFS file copy, management, FTP Neue Komponenten wie Flatten and Jagged ODI Advanced Big Data Option (zusätzliche Lizenz erforderlich) Codegenerierung für Spark Codegenerierung für Pig Ausführen mit Oozie Oracle Confidential Internal/Restricted/Highly Restricted 14

15 Hive: Transformationen ausführen Hive SQL

16 Pig: Transformationen ausführen

17 Spark: Transformationen ausführen

18 Hive Updates Neuer Weblogic Hive JDBC Driver: Bessere JDBC-compliant als Apache Unterstützt mehrere Hive Versionen Verbesserte Performance und Stabilität Neue Hive Knowledge Modules Bei LKMs benutzt, nahrlos integrierbar, Beispiel: Sqoop RDBMS HBase Join Write to Hive LKMs schreiben direkt ins Ziel ohne IKM und Staging Area. Neue KMs: XKM Hive Sort, Hive to File New/Updated Hive component-style KMs: LKM SQL to Hive SQOOP LKM SQL to File SQOOP Direct LKM SQL to HBase SQOOP Direct LKM HBase to SQL SQOOP LKM File to SQL SQOOP LKM Hive to SQL SQOOP LKM File to Hive LOAD DATA LKM File to Hive LOAD DATA Direct LKM HBase to Hive HBASE-SERDE LKM Hive to HBase Incremental Update HBASE- SERDE Direct IKM Hive Append LKM Hive to File Direct LKM Hive to Oracle OLH-OSCH LKM File to Oracle OLH-OSCH Direct LKM Hive to Oracle OLH-OSCH LKM Hive to Oracle OLH-OSCH Direct XKM Hive Sort Oracle Confidential Internal/Restricted/Highly Restricted 18

19 Oozie Hadoop Workflow Engine Wird bei 90% der Enterprise Hadoop Anwendungsfälle eingesetzt Alternative zu ODI Agent in Big Data Umgebungen Nutzt Hadoop-native Technologien Deploy an Hadoop Umgebungen ohne ODI footprint, keine Installation notwendig Nutzt native Hadoop Werkzeuge um Processe und View Logs zu administrieren Oracle Company Confidential 19

20 Oracle Data Integrator und Big Data

21 Oracle Data Integrator for Big Data Heterogene Integration mit Hadoop Environments Access Transform Oracle Data Integrator Loads Supports Hadoop standards Reverse Engineer Hadoop Metadaten Check, Validate und Sichern der Datenintegrität mit Hadoop Load Data nach HDFS/Hive Generate HiveQL und execute in Hadoop Hadoop Transformationen wirksam einsetzen

22 Big Data Transformation Services Oracle Data Integrator Hive Control Knowledge Module Metadata Focused Approach Selectable Hive Transformations Easy to use & Guided Hive Function Support

23 Oracle Data Integrator for Big Data Heterogene Integration in Hadoop Umgebungen Vereinfacht das Erstellen von Hadoop and MapReduce Code zum Verbesseren der Produktivität Integriert Big Data mit Industry Standards: Hadoop, MapReduce, Hive, NoSQL, HDFS Vereinheitlicht Integrationswerkzeuge mit unstrukturierten/semi-strukturierten und strukturierten Daten Optimiert das Laden von Big Data in die Oracle Exadata mit Oracle Big Data Connectors Engineered zum Ausführen und Integrieren mit Oracle Big Data Appliance mit den Big Data Connectors

24 Knowledge Module für Big Data IKM File To Hive (Load Data) IKM Hive Control Append IKM Hive Transform IKM File-Hive to Oracle (OLH) CKM Hive RKM Hive LKM HBase to Hive IKM Hive to HBaseRKM Hbase IKM SQL to Hive- HBase-File (SQOOP) IKM File-Hive to SQL (SQOOP)

25 Logisches und physische Design mit ODI Logical Design Oracle Hive Hive MySQL Physical Design MySQL Sqoop Sqoop LKM LKM IKM Oracle Hive

26 ODI Demo mit VM Big Data Lite

27 Ausgangssituation Oracle OpenWorld

28 Werden Sie Mitglied der Data Integration Community Twitter twitter.com/orclgoldengate LinkedIn Oracle Data Integration Facebook facebook.com/oracledataintegration Oracle s Data Integration blog blogs.oracle.com/dataintegration Data Integration YouTube channel youtube.com/oraclegoldengate ODI Getting Started Book Oracle.com/goto/dataintegration

29 Questions & Answers

30

31 Oracle OpenWorld