Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe

Transkript

1 Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe

2 Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern und auswerten kann. Aufgabe Alice:Java,Hadoop,MapReduce,Hive,Pig Bob:Oracle,SQL Chris:Hadoop,Hive,SQL Dean:Oracle,SQL,Hive Eve:Java,Hadoop,MapReduce,Hive,Pig,Oracle,SQL Alice;Java Alice;Hadoop Eve;Oracle Eve;SQL Hadoop Demo Seite 2

3 In der Demo laden wir die Datei nach HDFS, bereiten sie mit Pig auf und werten sie schließlich mit Hive (SQL) aus. Wir nutzen die Konsole und das Web-Interface Hue. Demo $> $> hadoop fs Hadoop Demo Seite 3

4 A1 Backup

5 Wir legen in HDFS ein neues Verzeichnis an und kopieren unsere Datei von Linux nach HDFS. Dateitransfer von Linux nach HDFS $ cd /home/cloudera/demo $ hadoop fs -mkdir /user/cloudera/demo $ cat employees.txt Alice:Java,Hadoop,MapReduce,Hive,Pig Bob:Oracle,SQL Chris:Hadoop,Hive,SQL Dean:Oracle,SQL,Hive Eve:Java,Hadoop,MapReduce,Hive,Pig,Oracle,SQL $ hadoop fs -put employees.txt /user/cloudera/demo $ hadoop fs -ls /user/cloudera/demo Found 1 items -rw-r--r-- 3 cloudera cloudera :20 /user/cloudera/demo/employees.txt Hadoop Demo Seite 7

6 Pig ist eine Data Flow Language zum verarbeiten von strukturierten aber auch semistrukturierten Daten. Laden der Datei mit Pig und Aufteilen der Liste $ Pig grunt> text = LOAD '/user/cloudera/demo/employees.txt' USING PigStorage(':') AS (name: chararray, skills: chararray); grunt> skilltuples = FOREACH text GENERATE name, TOKENIZE (skills) AS skills; grunt> DUMP skilltuples (Alice,{(Java),(Hadoop),(MapReduce),(Hive),(Pig)}) (Bob,{(Oracle),(SQL)}) (Chris,{(Hadoop),(Hive),(SQL)}) (Dean,{(Oracle),(SQL),(Hive)}) (Eve,{(Java),(Hadoop),(MapReduce),(Hive),(Pig),(Oracle),(SQL)}) (,) grunt> Hadoop Demo Seite 8

7 Pig wird nicht nur für ETL eingesetzt, sondern auch gerne zur interaktiven Datenanalyse. Laden der Datei mit Pig und Aufteilen der Liste grunt> skilllist = FOREACH skilltuples GENERATE name, FLATTEN (skills) AS skill; grunt> skilllistfiltered = FILTER skilllist BY name IS NOT NULL; grunt> DUMP skilllistfiltered; (Alice,Java) (Alice,Hadoop) (Alice,MapReduce) (Alice,Hive) (Alice,Pig)... (Eve,Pig) (Eve,Oracle) (Eve,SQL) grunt> Hadoop Demo Seite 9

8 Aus dem Pig Latin werden MapReduce-Jobs generiert. Die Anzahl der Reducer bestimmt die Anzahl der Ergebnis-Dateien. Speichern der Ergebnisse grunt> STORE skilllistfiltered INTO '/user/cloudera/demo/employees.csv' USING PigStorage (';'); Success! grunt> QUIT $ hadoop fs -ls /user/cloudera/demo Found 2 items drwxr-xr-x - cloudera cloudera :40 /user/cloudera/demo/employees.csv $ hadoop fs -ls /user/cloudera/demo Found 3 items -rw-r--r-- 3 cloudera cloudera :40 /user/cloudera/demo/employees.csv/_success drwxr-xr-x - cloudera cloudera :39 /user/cloudera/demo/employees.csv/_logs -rw-r--r-- 3 cloudera cloudera :40 /user/cloudera/demo/employees.csv/part-m $ Hadoop Demo Seite 10

9 Neben der Kommandozeile lassen sich die meisten Tools auch über das Web Interface Hue bedienen. Es gibt auch einen File Browser, Job Browser, Admin Tools, Hue Web Interface für Hadoop Hadoop Demo Seite 11

10 Bevor Daten mit HiveQL (=SQL) ausgewertet können, müssen die Metadaten (Tabellenstrukturen) definiert werden. Hive: Metadaten erzeugen Hadoop Demo Seite 12

11 Auch HiveQL wird in MapReduce-Jobs übersetzt. SELECT * FROM emp; Hadoop Demo Seite 13

12 Der Sprachumfang von Hive wird ständig erweitert und nährt sich ANSI SQL. In Java lassen sich übrigens eigene User Defined Functions (UDFs) implementieren. SELECT * FROM emp WHERE upper(skill) = 'HIVE' ORDER BY name DESC; Hadoop Demo Seite 14

13 Vielen Dank für Ihre Aufmerksamkeit! metafinanz Informationssysteme GmbH Leopoldstr. 146 Phone: Fax: Unser Fachblog und Forum zu Solvency II: Besuchen Sie uns auch auf: