SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

Transkript

1 SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

2 War nicht BigData das gleiche NoSQL? 2

3 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3

4 ! No SQL!? Kylin Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce 4

5 Agenda Warum SQL, Anwendungfälle Überblick Hive Wie kann Hive verbessert werden SQL-Engines: Welche für was? Zusammenfassung 5

6 Warum jetzt doch SQL? Türöffner zur BigData-Welt Kenntnisse weit verbreitet Software:Treiber vorhanden flickr.com/salynaz 6

7 No SQL? Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Hive-on-Tez Tajo BigSQL Shark Hive Phoenix Apache Drill Lingual Presto Impala Trafodion Hadapt Aster SQL/Mapreduce CitusDB Spark SQL IBM BigSQL 7

8 Hive ursprünglich von Facebook Compiliert HiveQL, ein SQL-Dialekt, zu MapReduce-Jobs Schema wird separat zu den Daten abgelegt: Metastore ursprünglich von Facebook 8

9 Hive Architektur Anwender Hive Query Hadoop Hive Server2 Meta store Parser, Analyzer, Compiler 9

10 Hive ETL: gut geeignet Ad-hoc: Zu hohe Latenz Analytics: Latenz, Sprachumfang ungenügend ETL: gut geeignet 10

11 Was kann man besser machen? Oder: Warum ist Hive wie es ist 11

12 Hive auf Mapreduce Zieltabelle HDFS Reduce Rot: Plattenzugriff Shuffle Map Reduce-side Join Reduce HDFS HDFS Temporärtabelle Map-Side Join Shuffle HDFS Map Map HDFS HDFS HDFS HDFS Kunden Adressen Käufe Produkte 12

13 Optimiertes Hive: DAGs Adressen HDFS Shuffle Reduce Reduce Reduce-side Join HDFS Map Shuffle HDFS Map-Side Join HDFS Map HDFS Kunden Adressen Käufe Produkte 13

14 Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigQuery Aster SQL/Mapreduce 14

15 MPP (massive parallel processing) Datenbanken Master Slave Slave Slave Slave (blackbox) (blackbox) (blackbox) (blackbox) HDFS HDFS HDFS HDFS 15

16 MPP-basiert Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce 16

17 No SQL!? Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce 17

18 Stinger initiative Hortonworks/Microsoft Hive weiterentwickeln Geschwindigkeit: Tez, ORC SQL-Features, Analytische Queries (OVER) Security (GRANT) 18

19 Tez und Spark TEZ Spark YARN Hive Spark MR YARN: Tez, Spark und Hive nebeneinander Tez: Neuer, spezialisierter Spark: generischer, viel Monumentum 19

20 Impala MPP-basiert Queries zu nativem Code Speicherhungrig, empfohlen 128GB keine strukturierten Datentypen Zwischenergebnisse müssen in RAM passen (bis Impala 2.0) 20

21 Facebooks Presto MPP-Engine Discovery-Server + Worker-Nodes Struktur-Datentypen -> JSON Hive, Cassandra, MySQL Anwendung bei Facebook: Fact-table in Hive, Dimensions in MySQL einfaches Deployment 21

22 Apache Drill MapR s Schema-on-Read Connectoren für Hive, HBase, JSON, CSV. Joins über mehrere Quellen hinweg Compliliert Queries zu Java-Byte-Code Version

23 Kylin Sehr neu, entwickelt von ebay (M)OLAP Engine Aggregate werden in HBase gespeichert 23

24 Saiku - Beispiel 2 24

25 Mondrian mit Hive / Impala + Saiku UI 25

26 Mondrian mit Kylin 26

27 Doch einige Zahlen 70,00& 60,00& 50,00& 50,91& 40,00& 30,00& 34,31& 30,96& 39,43& 20,00& 16,69& 10,00& 5,25& 9,25& 0,00& Hive& Shark& Shark/Cluster& Impala& Presto& Drill& Tajo& 27

28 Resume I Schnell Connectivity Drill Impala Tajo Presto Ausgereift Tez/Spark Hive Sprach- Umfang Zahlen noch unzuverlässig 28

29 Resumé Extrem schnell wachsendes, sich änderndes Umfeld. Unübersichtlich Keine One-Size-Fits-All Lösung bisher Anhand des individuellen Anwendungsfalles zu evaluieren.

30 Vielen Dank für Eure Aufmerksamkeit! Kontakt! Hans-Peter Zorn Data Management & Analytics! inovex GmbH Office Karlsruhe Ludwig-Erhard-Allee Karlsruhe! hzorn@inovex.de! 30