Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?

Transkript

1 Hans-Peter Zorn Inovex GmbH Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?

2 War nicht BigData das gleiche NoSQL?

3 Data Lake = Keine Struktur? flickr/matthewthecoolguy

4 Oder gar ein Hadump? flickr/autohistorian

5 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile?

6 Kylin Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce

7 Agenda Warum SQL, Anwendungfälle Überblick Hive Wie kann Hive verbessert werden SQL-Engines: Welche für was? Zusammenfassung

8 Warum jetzt doch SQL? Türöffner zur BigData-Welt Kenntnisse weit verbreitet Software:Treiber vorhanden flickr.com/salynaz

9 Wo wird SQL auf Hadoop eingesetzt? ETL Adhoc-Analyse Reporting

10 Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Hive-on-Tez Tajo BigSQL Shark Hive Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce

11 Hive ursprünglich von Facebook Compiliert HiveQL, ein SQL-Dialekt, zu MapReduce-Jobs Schema wird separat zu den Daten abgelegt: Metastore

12 Hive Architektur Anwender Hive Query Hadoop Hive Server2 Meta store Parser, Analyzer, Compiler

13 Hive ETL: gut geeignet Ad-hoc: Zu hohe Latenz Analytics: Latenz, Sprachumfang ungenügend

14 Was kann man besser machen? Oder: Warum ist Hive wie es ist

15 Hive auf Mapreduce Zieltabelle HDFS Reduce Rot: Plattenzugriff Shuffle Map Reduce-side Join Reduce HDFS HDFS Temporärtabelle Map-Side Join Shuffle HDFS Map Map HDFS HDFS HDFS HDFS Kunden Adressen Käufe Produkte

16 Was kann man besser machen? Unnötige Maps oder Reduces vermeiden Temporärdaten direkt weiterleiten Effizientere Datenspeicherung Query-Optimierung (cost-based) Arbeitsspeicher nutzen

17 Optimiertes Hive: DAGs Adressen HDFS Shuffle Reduce Reduce Reduce-side Join HDFS Map Shuffle HDFS Map-Side Join HDFS Map HDFS Kunden Adressen Käufe Produkte

18 Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigQuery Aster SQL/Mapreduce

19 MPP (massive parallel processing) Datenbanken Master Slave Slave Slave Slave (blackbox) (blackbox) (blackbox) (blackbox) HDFS HDFS HDFS HDFS

20 MPP-basiert Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce

21 Spalten vs Zeilenorientiert Stuttgart D Stuttgart München Berlin London München D Berlin D London GB D D D GB

22 ORC / Parquet Hortonworks/ Microsoft Spaltenindizes, Vektorisierte Queries Blöcke von Zeilen können über Index übersprungen werden Twitter/Cloudera/ Criteo Plattform- und Hive unabhängig. (z.b. Pig) Verschachtelte Datenstrukturen (Listen, Maps) - Kann ORC auch Hive Datentypen

23 No SQL!? Oracle Hadoop Connector Splice InfiniDB Hive on Spark Pivotal HAWQ Kylin Shark Hive-on-Tez Tajo Hive BigSQL Phoenix Apache Drill Lingual Presto Impala Hadapt Trafodion Spark SQL CitusDB IBM BigSQL Aster SQL/Mapreduce

24 Stinger initiative Hortonworks/Microsoft Hive weiterentwickeln Geschwindigkeit: Tez, ORC SQL-Features, Analytische Queries (OVER) Security (GRANT)

25 Tez und Spark TEZ Spark YARN Hive Spark MR YARN: Tez, Spark und Hive nebeneinander Tez: Neuer, spezialisierter Spark: generischer, viel Monumentum

26 Cloudera Impala MPP-basiert Queries zu nativem Code Speicherhungrig, empfohlen 128GB keine strukturierten Datentypen Zwischenergebnisse müssen in RAM passen (bis Impala 2.0)

27 Facebooks Presto MPP-Engine Discovery-Server + Worker-Nodes Struktur-Datentypen -> JSON Hive, Cassandra, MySQL Anwendung bei Facebook: Fact-table in Hive, Dimensions in MySQL einfaches Deployment

28 Apache Drill MapR s Schema-on-Read Connectoren für Hive, HBase, JSON, CSV. Joins über mehrere Quellen hinweg Compliliert Queries zu Java-Byte-Code Version 0.5.0

29 Apache Tajo MPP-like Fokus auf Query-Plan Optimierung, nicht Caching (wie Impala) SQL-Abdeckung noch nicht so weit In unseren Tests sehr schnell Kerberos in Arbeit

30 stinger.next Queries unter einer Sekunde MPP-Ähnliche Architektur (LLAP) Updates und Transaktionen SQL:2011 Analytics

31 Kylin Sehr neu, entwickelt von ebay (M)OLAP Engine Aggregate werden in HBase gespeichert

32 Features Impala Hive 0.14 Presto Drill Tajo SQL HiveQL HiveQL SQL92 ANSI SQL? Windowfunction s Security Fileformats Nested! Data nein yes yes no 0.9 Sentry RC, Parquet, Text, Seq Filesyste m+ Hive viele - - alle von hive + connector n alle von hive + connector en - (Kerbero RC, Parquet, Text,Seq nein ja via JSON ja no

33 Doch einige Zahlen 70,00& 60,00& 50,00& 50,91& 40,00& 30,00& 34,31& 30,96& 39,43& 20,00& 16,69& 10,00& 5,25& 9,25& 0,00& Hive& Shark& Shark/Cluster& Impala& Presto& Drill& Tajo&

34 Resume I Schnell Connectivity Drill Impala Tajo Presto Ausgereift Tez/Spark Hive Sprach- Umfang

35 Resumé II Welche Distribution will ich nutzen? Will ich heterogene Datenquellen nutzen (Cassandra, HBase, MySQL)? Will ich vorhandene Software anbinden (MicroStrategy, Tableau, SAP)? Welche Antwortzeiten brauche ich? Welche Datentypen nutze ich? Security?

36 Wer gewinnt also? Extrem schnell wachsendes, sich änderndes Umfeld. Unübersichtlich Keine One-Size-Fits-All Lösung bisher Anhand des individuellen Anwendungsfalles zu evaluieren.

37 Dankeschön! Fragen?