Hadoop & SQL Oracle BI & DWH Konferenz /20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH

Transkript

1 Hadoop & SQL Oracle BI & DWH Konferenz /20. März 2013, Kassel Carsten Herbe metafinanz Informationssysteme GmbH

2 In unserer Business Line Business Intelligence & Risk gibt es fünf Bereiche: Risk, Insurance Reporting, Insurance Analytics, Customer Intelligence und Data Warehousing. Data Warehousing Leistungen Technologien Wir unterstützen den kompletten Lebenszyklus von DWH-Projekten: von der Anforderungsanalyse bis zum Tuning bestehender ETL- Prozesse. Unser Team besteht aus Architekten, ETL-Entwicklern und Projektmanagern mit langjährigen Erfahrungen im DWH-Bereich. DWH Architekturen & Dimensionale Modellierung Data Quality (Profiling & Cleansing) Datenbanken (Oracle, in-memory., spaltenorientiert) ETL Prozesse & Tools (OWB & SAS DI) Turning Data into Information Projekt- Management Big Data (Hadoop, NoSQL) Ihr Ansprechpartner Mehr als 8 Jahre DWH-Erfahrung Architekturen, Oracle DB & OWB Certified Hadoop Developer Performance Tuning Schulungen (Oracle, DWH, Hadoop, etc.) Carsten Herbe mail carsten.herbe@metafinanz.de phone Hadoop & SQL Seite 2

3 Inhalt 1 Motivation Hadoop & SQL 6 Partitionierung 2 Hive 7 Indexes & Explain Plans 3 Tabellen und Daten 8 Hadoop & RDBMS 4 HiveQL 9 Fazit 5 User Defined Functions Hadoop & SQL Seite 3

4 1 Motivation Hadoop & SQL

5 Hadoop besteht aus einem verteiltem Filesystem (HDFS) und einem Java-Framework zur parallelen Datenverarbeitung (MapReduce). Datenverarbeitung bedeutet Programmierung. Überblick Hadoop Hadoop & SQL Seite 5

6 Mit HIVE lässt sich SQL (mit ein paar Einschränkungen) auf einem Hadoop-Cluster nutzen. Voraussetzung sind natürlich entsprechend strukturierte Daten. Hadoop & SQL Hadoop & SQL Seite 6

7 2 Hive

8 Der Driver übersetzt HiveQL in MapReduce Jobs. Als (fat) Client dient CLI oder man nutzt den Thrift Server. Hive Architektur Hive Hadoop HiveQL (SQL) CLI Thrift Driver Job Tracker /... metastore /user/hive/warehouse Hadoop & SQL Seite 8

9 3 Tabellen und Daten

10 Neben einigen primitiven Typen unterstützt Hive auch komplexe Datentypen: Komplexe Datentypen STRUCT Zusammengesetzter Typ z.b. bei einer Spalte c mit dem Datentyp STRUCT {a INT; b INT} wird mit dem Ausdruck c.a auf den Wert a zugegriffen MAP Key-Value-Paare Zugriff erfolgt bei Spalte x per X[ element name ] ARRAYS Zugriff erfolgt per zero-based Index z.b. bei einer Spalte c mit den Werten [ a, b, c ] gibt c[1] den Wert b zurück Hadoop & SQL Seite 10

11 Bei Managed Tables werden Daten und Metadaten von Hive verwaltet. Managed Tables CREATE TABLE station_data_input ( stations_id STRING, stations_hoehe STRING, geograph_breite FLOAT, geograph_laenge FLOAT, von FLOAT, bis FLOAT, stationsname STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' STORED AS TEXTFILE; Hadoop & SQL Seite 11

12 Daten müssen in HIVE in Tabellen geladen werden. Dies geschieht über das LOAD DATA INPATH-Statement. Laden von Daten Zum Laden von Daten verwendet Hive das LOAD DATA INPATH-Statement. Hierzu müssen die Daten bereits in HDFS vorliegen. Diese werden dann kopiert. LOAD DATA INPATH "data/singlefile/station-data" INTO TABLE station_data_input; Wenn die Daten im lokalen Filesystem vorliegen (noch nicht in HDFS), können sie über LOAD DATA LOCAL INPATH geladen werden. Die Daten werden dann automatisch in HDFS abgelegt. LOAD DATA LOCAL INPATH "data/singlefile/station-data" INTO TABLE station_data_input; Hadoop & SQL Seite 12

13 Bei externen Tabellen bleiben die Daten an ihrem ursprünglichen Ort in HDFS liegen. In Hive werden nur die Metadaten verwaltet. External Tables CREATE EXTERNAL TABLE station_data_input ( stations_id STRING, stations_hoehe STRING, geograph_breite FLOAT, geograph_laenge FLOAT, von FLOAT, bis FLOAT, stationsname STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\;' LOCATION '/data/my_location'; Hadoop & SQL Seite 13

14 4 HiveQL

15 Hive ist keine relationale Datenbank. Es gelten die gleichen Einschränkungen wie für das direkte Arbeiten mit Hadoop und HDFS. INSERT und SELECT werden in Teilen unterstützt. HiveQL: SQL Funktionalität INSERT UPDATE DELETE MERGE SELECT Hadoop & SQL Seite 15

16 Es ist nur Bulk Insert (INSERT mit SELECT) möglich. Einzelsätze können nicht hinzugefügt werden. INSERT Die Syntax lautet hier (im Gegensatz zu z.b. Oracle) INSERT INTO TABLE targettable SELECT... FROM sourcetable; MIT INSERT OVERWRITE werden bestehende Daten in der Tabelle ersetzt INSERT OVERWRITE INTO TABLE targettable SELECT... FROM sourcetable; Hadoop & SQL Seite 16

17 Sämtliche Join-Arten werden von Hive voll unterstützt. Die Join-Bedingung darf aber nur gleich sein! Selects & Joins Unterstützt wird der normale INNER JOIN, LEFT OUTER JOIN, RIGHT OUTER JOIN und FULL OUTER JOIN SELECT s.stations_id, s.stationsname, w.windgeschwindigkeit FROM station_data s INNER JOIN weather_data w ON s.stations_id = w.stations_id WHERE s.stations_id = ; Weitere Join-Typen und Beispiele finden sich hier: Hadoop & SQL Seite 17

18 Sub-Selects müssen in Hive ein Alias haben, sonst funktioniert die Abfrage nicht. Subselects SELECT i.s, i.l FROM ( SELECT trim(stationsname) AS s, length(trim(stationsname)) AS l FROM station_data ) i; Hadoop & SQL Seite 18

19 Spalten in ORDER BY müssen auch selektiert werden, ansonsten endet das Parsen der Abfrage mit einem Fehler. ORBER BY: Besonderheit SELECT stations_id FROM weather_data ORDER BY mess_datum ; SELECT stations_id, mess_datum FROM weather_data ORDER BY mess_datum ; Hadoop & SQL Seite 19

20 Hive unterstützt Queries mit GROUP BY und HAVING. GROUP BY und HAVING SELECT stations_id, sum(sonnenscheindauer), min(mess_datum), max(mess_datum) FROM weather_data WHERE year(mess_datum) = 2007 GROUP BY stations_id HAVING sum(sonnenscheindauer) > 100 ; Hadoop & SQL Seite 20

21 In Hive kann eine neue Tabelle mit dem Resultat einer SQL-Query erzeugt werden. Die Datentypen der Spalten werden hierbei automatisch bestimmt. CTAS (Create Table As Select) CREATE TABLE station_data AS SELECT cast(trim(stations_id) as int) AS stations_id, cast(trim(stations_hoehe) as int) AS stations_hoehe, geograph_breite, geograph_laenge, von, bis, stationsname FROM station_data_input; Hadoop & SQL Seite 21

22 Correleated Subqueries werden nicht unterstütz. Einschränkung: Correleated Subqueries SELECT * FROM station_data WHERE stations_id IN ( SELECT stations_id FROM weather_data WHERE stations_id = ) ; FAILED: ParseException line 3:22 cannot recognize input near 'select' 'stations_id' 'from' in expression specification Hadoop & SQL Seite 22

23 5 User Defined Functions

24 Mit User Defined Functions lässt sich die Funktionalität von HiveQL mittels Java erweitern. User Defined Functions (UDF) User Defined Functions Argument: eine Zeile (d.h. ein oder mehrere Werte) Rückgabe: ein einziger Wert Bsp: round(), floor(), User Defined Aggregate Functions User Defined Table Generating Functions Argument: eine oder mehrere Zeilen (mit je einem oder mehreren Werten) Rückgabe: ein einziger Wert Bsp: sum(), min(), Argument: eine Liste von Werten Rückgabe: eine oder mehrere Zeilen Bsp: SELECT explode(array(1,2,3)) FROM dual; Was nicht geht: SELECT stadt, explode(array(1,2,3)) FROM demo_tab; Hadoop & SQL Seite 24

25 6 Partitionierung

26 Bei partitionierten Tabellen ist der Partition Key nicht explizit als Spalte zu definieren. Die Daten müssen manuell in die richtige Partition geschrieben werden. Partitionierte Tabellen: DDL CREATE TABLE demo_tab ( stadt STRING, geograph_breite FLOAT,... ) PARITIONED BY (land); Hadoop & SQL Seite 26

27 Die Daten müssen manuell in die richtige Partition geschrieben werden. Für jede Partition wird ein eigenes Verzeichnis angelegt. Subpartitioning funktioniert analog. Partitionierte Tabellen: Laden von Daten INSERT TABLE demo_tab PARTITION (land='de') SELECT....../demo_tab/country=DE/....../demo_tab/country=US/... Hadoop & SQL Seite 27

28 Abfragen auf partitionierte Tabellen funktionieren analog zu Oracle. Zusätzlich lässt sich Hive so konfigurieren, dass auf Partitionen eingeschränkt werden muss. Partitionierte Tabellen: Abfragen Abfragen von Daten einer Partition: SELECT * WHERE land='de'; Strict Mode aktivieren: hive> set hive.mapred.mode=strict; Abfragen ohne Einschränkung auf eine Partition führen im Strict Mode zu einem Fehler: SELECT t.city FROM demo_tab t; FAILED: Error in semanctic analysis: No partition predicate found for Alias "t" Table "demo_tab" Hadoop & SQL Seite 28

29 Bei dynamischer Partitionierung wird die letzte Spalte als Partition Key verwendet. Die Anzahl der Partitionen ist abhängig von der Anzahl der unterschiedlichen Werte! Dynamische Partitionierung Dynamische Partitionierung muss explizit eingeschaltet werden: hive> set hive.exec.dynamic.partition=true; INSERT OVERWRITE TABLE demo_tab PARTITION (land) SELECT..., t.country FROM demo_stg t; Per Default wird der Mode auf strict (Partitionen müssen eingeschränkt werden) gesetzt, um das Erzeugen von unnötig vielen Partitionen zu vermeiden. Dieser kann aber manuell ausgeschaltet werden: hive> set hive.exec.dynamic.mode=nonstrict; Hadoop & SQL Seite 29

30 7 Indexes & Explain Plans

31 Neben den Compact und Bitmap Indextypen kann man eigene Custom Indexes durch Implementierung des entsprechenden Interfaces erstellen. Index Typen Compact Speichert für jede Ausprägung der indizierten Spalte(n) den Bucket und eine Liste von Block-Offsets der entsprechenden Zeilen: 102 hdfs:// /000000_0 [1324,1140] 164 hdfs:// /000000_0 [2658,1508,3422,3615,1886,3036,2465,1693] 183 hdfs:// /000000_0 [3808,4572,4950,4757,4379,4186,3993,5143] Bitmap Speichert zu jeder Zeile für jede mögliche Ausprägung der indizierten Spalte(n), ob die Spalte der Ausprägung entspricht (1) oder nicht (0) Besonders effizient bei geringer Kardinalität (wenige mögliche Ausprägungen) Custom Eigene Indexstrukturen können in Java implementiert werden, indem man das vordefinierte Interface HiveIndexHandler implementiert Hadoop & SQL Seite 31

32 Aufbau und Verwendung von Indexes funktioniert (noch) nicht zuverlässig (Hadoop 2.0, Cloudera CDH4). Indexes CREATE TABLE demo_tab ( land STRING, stadt STRING, geograph_breite FLOAT,... ); CREATE INDEX demo_idx ON TABLE demo_tab (land) AS 'org.apache.hadoop.hive.ql.index.compact.compactindexhandler' WITH DEFERRED REBUILD IN TABLE demo_tab_idx; ALTER INDEX demo_idx ON demo_tab REBUILD; Hadoop & SQL Seite 32

33 Mit EXPLAIN [EXTENDED] SELECT lässt sich der Ausführungsplan anzeigen, d.h. die verschiedenen MapReduce Jobs. Explain Plan (1/2) EXPLAIN SELECT stations_id, COUNT(1) FROM station_data WHERE stations_id BETWEEN 1000 AND 2000 GROUP BY stations_id; [...] Stage: Stage-1 Map Reduce Alias -> Map Operator Tree: [...] predicate: expr: stations_id BETWEEN 1000 AND 2000 type: boolean Select Operator expressions: expr: stations_id type: int outputcolumnnames: stations_id Group By Operator aggregations: expr: count(1) Hadoop & SQL Seite 33

34 Man erkennt die einzelnen Map- und Reduce-Phasen. Explain Plan (2/2) Reduce Operator Tree: Group By Operator aggregations: expr: count(value._col0) keys: expr: KEY._col0 type: int mode: mergepartial outputcolumnnames: _col0, _col1 Select Operator expressions: expr: _col0 type: int expr: _col1 type: bigint outputcolumnnames: _col0, _col1 [...] Hadoop & SQL Seite 34

35 8 Hadoop & RDBMS

36 Um Daten zwischen Hadoop und Oracle auszutauschen bieten sich sqoop (Open Source) und die Oracle Konnektoren (kommerziell) an. Hadoop & RDBMS (Oracle) Hadoop & SQL Seite 36

37 Sqoop ist ein Tool zum Austauch von Daten zwischen Datenbanken und Hadoop. Es gibt JDBC-basierte Treiber für die gängigen Datenbanksysteme. Sqoop Architektur Enterprise Data Warehouse Document Based Systems REST UI Relational Database CLI browser Sqoop Server Connectors Metadata Hadoop Map Task Sqoop Client Reduce Task Metadata Repository HDFS/ HBase/Hive Hadoop & SQL Seite 37

38 Die Imports erfolgen als Map-Only Jobs. Import nach HDFS (2) Submit Map-Only Job Sqoop Import (1) Gather Metadata Sqoop Job HDFS Storage Map Map ORDERS Map Map Hadoop Cluster Hadoop & SQL Seite 38

39 Der Export aus HDFS erfolgt als Map-Only Jobs. Export aus HDFS (2) Submit Map-Only Job Sqoop Export (1) Gather Metadata Sqoop Job HDFS Storage Map Map ORDERS Map Map Hadoop Cluster Hadoop & SQL Seite 39

40 Oracle Big Data Konnektoren ermöglichen die Analyse von HDFS Daten innerhalb der Datenbank. Oracle Big Data Konnektoren Oracle Hadoop Job Tracker SQL Table Loader for Hadoop datapump External Table Direct Connector for HDFS delimited_text Hadoop & SQL Seite 40

41 Oracle bietet eine Reihe von Konnektoren zur Integration der Oracle Datenbank mit Apache Hadoop. Oracle Konnektoren Oracle Loader for Hadoop Tool zum Laden von Daten aus dem HDFS in eine Oracle Datenbank. Unterstützt Datapump Format => Performantes Laden Oracle Direct Connector for HDFS Abfrage von Daten aus dem HDFS erfolgt mit Hilfe einer Externen Tabelle direkt in der Oracle Datenbank. Join mit Oracle Tabellen möglich. Oracle R Connector for Hadoop Package im statistischen Open-Source R Framework. Mapper und Reducer Funktionen können in R erstellt und ausgeführt werden. Oracle Data Integrator Application Adapter for Hadoop Hadoop Integration in dem ODI Generiert optimierten HiveQL Code, der dann als MapReduce Job umgesetzt wird Erfordert ODI Lizenz Hadoop & SQL Seite 41

42 9 Fazit

43 Hive ist kein Ersatz für eine relationale Datenbank, erleichtert aber die Arbeit mit (eher) strukturierten Daten in HDFS im Vergleich zu MapReduce. Fazit HIVE SQL(-like) Leichter Einstieg in Hadoop für DB ler In vielen Fällen einfacher als MapReduce (Joins!) SELECTs bis auf wenige Einschränkungen möglich Aber nur (eher) strukturierte Daten Nur BULK Keine Einzelsätze Kein UPDATE, MERGE, DELETE Kein Realtime MapReduce hat Initialisierungsaufwand Batch-orientierte Datenverarbeitung Hadoop & SQL Seite 43

44 Hive arbeitet batch-orientiert. Für real-time Analysen bieten sich eher Tools wie Impala, Drill oder Hadapt an. Eine Alternative für batch-etl wäre noch PIG. Was es sonst noch so gibt SQL real-time Analysen Cloudera Impala Apache Drill Hadapt PIG Kein SQL! Skriptbasiertes ETL in Hadoop Alternative zu Hive MapReduce Mehr Freiheiten und Möglichkeiten mehr Programmieraufwand und Komplexität Auch für unstrukturierte Daten Hadoop & SQL Seite 44

45 Wir bieten offene Kurse sowie maßgeschneiderte Schulung, welche speziell auf die Bedürfnisse unserer Kunden abgestimmt sind. Schulungsangebot metafinanz Big Data mit Hadoop NEW 2013/Q2 Einführung Oracle in-memory Datenbank TimesTen Data Warehousing & Dimensionale Modellierung Klassiker Oracle Warehouse Builder 11.2 New Features OWB Skripting mit OMB*Plus Oracle SQL Tuning Einführung in Oracle: Architektur, SQL und PL/SQL Mehr Information unter All trainings are also available in English on request. Hadoop & SQL Seite 45

46 Besuchen Sie auch unseren Info-Stand im Foyer! Fragen? Jetzt oder später? Carsten Herbe Head of Data Warehousing mail phone Hadoop & SQL Seite 46

47 Vielen Dank! metafinanz Informationssysteme GmbH Leopoldstraße 146 D München Phone: Fax: Data Warehousing & Big Data! Besuchen Sie uns auch auf: