Hadoop Eine Erweiterung für die Oracle DB?

Transkript

1 Hadoop Eine Erweiterung für die Oracle DB? Nürnberg, , Matthias Fuchs Sensitive

2 Über mich 10+ Jahre Erfahrung mit Oracle Oracle Certified Professional Exadata Certified Oracle Engineered Systems Exadata Exalytics Big Data Exalogic DWH, Hadoop, Monitoring, Audit Senior Solution Architect

3 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 3

4 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 4

5 Capgemini eine starke Gruppe Umsatz 2014: 10,57 Mrd. Operative Marge : 970 Mio. Operativer Gewinn : 853 Mio. Jahresgewinn : 580 Mio. Netto-Barmittel und bargleiche Mittel : 1.22 Mrd. Cap Gemini S.A. ist im CAC 40 gelistet; Paris, ISIN code: FR Unsere Marke ist Capgemini, an der Pariser Börse sind wir unter Cap Gemini S.A. gelistet. Umsatz nach Geschäftsbereichen* Umsatz nach Branchen* Local Professional Services 15% 4% Consulting Services Customer Products, Retail, Distribution & Transportation 16% 14% Energy, Utilities & Chemicals Other Managed Services 23% 58% Application Services Manufacturing, Automotive & Life Sciences 17% Public Sector 19% 7% 23% 4% Financial Services Others Telecom, Media & Entertainment * Stand: 1. Halbjahr 2015 * Stand: 1. Halbjahr

6 In über 40 Ländern engagieren sich Mitarbeiter für unsere Kunden (Stand Juli 2015) Kanada USA Europa China Japan Mexico Guatemala Marokko Vereinigte Arabische Emirate Indien Vietnam Taiwan Philippinen Kolumbien Malaysia Singapur Brasilien Chile Argentinien Südafrika Australien Mitarbeiter Offshore Neuseeland 6

7 Capgemini kombiniert seine hohe fachliche Kompetenz mit fundiertem Branchen-Know-how Ausgewählte Referenzkunden Automotive Energy, Utilities & Chemicals Financial Services Manufacturing, Retail & Distribution Public Sector Telecom, Media & Entertainment 7

8 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 8

9 Warm up Beispiel Uber Architektur Quelle: 9

10 Warm up Oracle and Cloudera RDBMS 10

11 Warm up RDBMS Quelle: 11

12 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 12

13 Hadoop Überblick Processing Layer Big Data SQL Resource Management YARN + MapReduce Storage Layer Filesystem (HDFS) 13

14 Impala HAWQ Drill Big Data SQL Hadoop Überblick SQL Queries Hadoop Hive Query HCatalog SerDes OTA4H MapReduce Spark* Tez Hadoop Storage HDFS HBase, Kudu ** External Tools Processing Layer SQL Engines Auswahl Storage Managers * Spark SQL über Hive, Hive Spark nicht für Produktion ** Kudu beta 14

15 Process Engines General Purpose Processing Frameworks, Apache Projekte MapReduce Erstes Process Framework auf Hadoop, Batchverarbeitung Tez schneller als MapReduce, interaktive Datenverarbeitung, in Memory Verarbeitung, Integration in YARN Spark Performance ähnlich Tez, auch Standalone möglich Weitere wie z.b. Flink Humboldt Uni Berlin Auf Basis der Engines laufen viele SQL Frameworks, das wichtigste Hive Es gibt auch SQL Frameworks mit eigener Process Engine wie z.b. Impala 15

16 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 16

17 Beispiel Hadoop Auslagern von Rechenlast 17

18 Mit Oracle Big Data SQL/Connectoren Part Demands Details Aggregates Oracle Big Data SQL 18

19 Vorteile Oracle Integration Hadoop - Datenbank Datenfluss mit Oracle Table Access for Hadoop and Spark (OTA4H) Big Data SQL Ein Einstiegspunkt Sicherheit Analog Datenbank Höhere Performance durch Verwendung optimierter Zugriffslayer Keine Änderungen in der Applikation Big Data SQL Big Data Appliance Exadata (!) 19

20 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 20

21 Big Data SQL und Hadoop Oracle Big Data SQL Cloudera Hadoop NOSQL R Advanced Analytics Connectors ODI Exadata Advanced Analytics Advanced Security 21

22 Was ist Big Data SQL? Externe Tabelle Hive HDFS DBMS_HADOOP Paket für Automatischen Import Schema-for-read Parallelität CREATE TABLE OEM_DATA (target_name VARCHAR2(4000), target_guid.. key_value6 VARCHAR2(4000), collection_timestamp VARCHAR2(4000)) ORGANIZATION EXTERNAL (TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS ( com.oracle.bigdata.cluster=bigdatalite com.oracle.bigdata.tablename=default. oem_data) ) ; 22

23 Big Data SQL - Schritte Übersicht Big Data SQL Create Rows and Columns Scan Detail Use scan and row methods to query any data format Smart Scn Storage Index Use data definition and column deserializations as exist in Hadoop Data Node RecordReader => Scans data (keys and values) InputFormat => Defines parallelism SerDe => Makes columns Metastore => Maps DDL to Java access classes Third level 23

24 Oracle and Hadoop Big Data SQL Big Data SQL 1.x Erste Version mit Smart Scan auf Hadoop und NoSQL Optimierte Joins - Bloom filter mit Hadoop Daten Fan-out Parallelität auf Hadoop /2015 Storage Indexes für Big Data SQL Reduzierter IO auslassen von HDFS Blöcken aufgrund des Storage Index Minimierung User Administration Future Optimizer Columnar Parquet Partition pruning - Exadata? 24

25 Copy To BDA Big Data Appliance and Exadata? Export data pump file aus der Datenbank Kopieren des Files auf die BDA (hdfs put) Externe Tabelle in Hive einrichten auf das Data Pump File Abfrage als Hive Tabelle 25

26 Oracle Table Access for Hadoop and Spark (OTA4H) OTA4H AD Hoc Abfragen, direkte Abfragen Security Features der Datenbank bleiben erhalten Management, Column Masking, and Label and Row Security. Direkter Zugriff von Hadoop and Spark APIs sowie bei Tools wie Pig oder MapReduce CREATE[TEMPORARY] EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENTcol_comment],...)] [COMMENT table_comment] STORED BY 'oracle.hcat.osh.oraclestoragehandler' [WITHSERDEPROPERTIES(...)] [TBLPROPERTIES (property_name=property_value,...)] 26

27 Oracle SQL Connector for HDFS Connetoren Daten Data Pump files in HDFS Delimited text files in HDFS Delimited text files in Apache Hive tables Systeme BDA Hadoop Apache Cluster 27

28 Mehr Connectoren Oracle Loader for Hadoop Daten nach Hadoop Laden (ODI) Oracle XQuery for Hadoop: Auswertung XML Queries in Parallel Hadoop Oracle R Advanced Analytics for Hadoop R analog wie in der DB in Hadoop Oracle Data Integrator Jobs können im Hadoop Cluster laufen 28

29 Agenda Über Capgemini Warmup Hadoop RDBMS und Hadoop Oracle and Hadoop Demo Performance Oracle and Hadoop 29

30 Demo BDA and Exadata Generating CSV Files, DB Monitoring DATA HDFS HIVE Big Data SQL DB BDA Exadata 30

31 Load HIVE External Table Big Data SQL DB BDA Exadata 31

32 Calculation 1. Hash creation inside EXA 2. Hash creation inside BDA DB HIVE External Table Exadata BDA 32

33 The information contained in this presentation is proprietary. Copyright 2015 Capgemini. All rights reserved.