Hadoop. Simon Prewo. Simon Prewo

Transkript

1 Hadoop Simon Prewo Simon Prewo 1

2 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert Die Lösung für einiges, was heute zusätzlich gespeichert wird: Hadoop 2

3 Hadoop als Basistechnologie für Big Data Was ist Hadoop? Hadoop Was ist das? Eine Middleware zur Nutzung großer Computercluster Hadoop macht nichts Neues; nur die Masse ist neu Open Source Java Framework Hadoop umfasst zwei Grundkomponenten MapReduce: Verteilungskonzept für große Batch-Jobs HadoopDataFileSystem (HDFS): Ein verteiltes Dateisystem 3

4 HDFS - allgemein Hadoop Data File System (HDFS) = Ein verteiltes Dateisystem Zentrale Features: Spiegelung der Daten auf mehreren Knoten Sequentieller Zugriff auf Daten (Gegenbsp.: Öffnen von Word- Datei) 4

5 Vor dem Einfügen HDFS Redundanz PC 1 40 GB von 40 GB frei PC 2 40 GB von 40 GB frei PC 3 40 GB von 40 GB frei Nach dem Einfügen: PC 1 20 GB von 40 GB Datei frei Ort 1 20 GB groß Datei 20 GB groß PC 2 20 Datei GB von Ort 402 GB frei 20 GB groß PC 3 40 GB von 40 GB frei 5

6 HDFS Die Details HDFS wird als Filesystem-im-Filesystem installiert Idee: HDFS = Anstecken eines USB-Sticks Zwei Arten von Knoten: Namenode Speichert Metadaten, verteilt, balanciert Last usw. Datanode Speichert stupide ab (wird mit 64MB großen Blöcken zugetackert ) 6

7 Die wesentlichen Befehle: HDFS Live Demo Von Linux Maschine in HDFS kopieren: bin/hadoop dfs put <Lokale-Datei> <Zielverzeichnis-im-HDFS> Von HDFS in Linux downloaden : bin/hadoop dfs -copyfromlocal <Datei-im-HDFS> <Lok.- Zielverzeichnis> Verzeichnis vom HDFS anzeigen: bin/hadoop dfs -ls Im Grunde alles, was ein normales Unix-Dateisystem bietet. Aber 7

8 HDFS Grundlegende Eigenschaften HDFS basiert auf Grundannahmen: Die Daten im HDFS werden häufig ergänzt und wachsen ständig selten gelöscht oder verändert Daher gibt es im HDFS keine Möglichkeit Dateien zu ändern oder Teile zu löschen HDFS basierenden BigData-Datenbanksysteme können nie einzelne Datensätze löschen, ändern usw. 8

9 HDFS Architekturrelevante Eigentschaften Die HDFS-Idee: Daten werden häufig ergänzt und wachsen ständig selten gelöscht oder verändert Wo trifft sie zu? Log-Files (z. Bsp. Web-Server-Logs: Wie oft wurde Website besucht?) Usage-Daten (z. Bsp. Sensoren im Auto: Wie viel Zeit verbringt ein Auto im Leerlauf?) 9

10 HDFS Architekturrelevante Eigentschaften Vorteile für Betrieb/Hardware Auslagerung der Redundanz in die Software Keine teuren RAID-Controller mehr notwendig Keine teuren Enterprise-Festplatten mehr notwendig 10

11 MapReduce Was MapReduce macht Verteilung einer sehr großen Aufgabe über ein Cluster mit unbeschränkter Erweiterbarkeit des Cluster (10 PC, 100 PC ) mit unterschiedlicher Hardware im Cluster mit enorme Fehlertoleranz MapReduce (und ein großes Computercluster) im Dialog MapReduce: Gib mir zwei Funktionen Map und Reduce. Ich: Map-Funktion lautet und Reduce-Funktion lautet MapReduce: Sehr gut. Ich verteile die Aufgabe über das Cluster. 11

12 MapReduce und HDFS im Zusammenspiel Beispiel Word Count Problemstellung: Von allen vorkommenden Wörtern, die Anzahl zählen Beispiel-Text: Ich finde Pizza toll. Pizza ist super. Pizza ist toll. Wie könnte man dieses Problem aufteilen? (2 Arbeiter) Arbeiter A: Ich finde Pizza toll. 1x ich, 1x finde, 1x Pizza, 1x toll Arbeiter B: Pizza ist super. Pizza ist toll. 2x sie, 2x ist, 1x toll, 1x super Arbeiter A zusammenführen: (1+0)x finde, (1+0)x Pizza, (1+1)x toll, (0+2)x ist, Map- und Reduce-Funktionen dazu Map(String EingabeTeil) { return Wörter, Anzahl(Wörter); } Reduce(String Wort, Int[] values) { return sumuparray(values);} 12

13 MapReduce und HDFS im Zusammenspiel Beispiel Word Count Map Ich finde Pizza toll 1x ich 1x finde 1x Pizza 1x toll Reduce 1x ich 1x finde 1x die 3x Pizza Pizza ist super. Pizza ist toll. 2x Pizza 2x ist 1x toll 1x super 2x toll 2x ist 2x super 13

14 Lösung mit MapReduce Eine sogenannte Map-Funktion MapReduce Idee Jeder Texteil wird unabhängig durchgezählt Map-Funktion fühlt sich lokal Eine sogenannte Reduce-Funktion Ergebnisse der einzelnen Textteile werden zusammengefasst Reduce-Funktion schrumpft den Output der Map-Funktion zusammen Bereitstellung von diesen Funktionen Hadoop erledigt den Rest 14

15 Map Map MapReduce und HDFS im Zusammenspiel PC 1 Ich finde die Pizza toll. PC 2 Sie ist super. Sie ist toll. nur wenige Programmcode transferieren Master MapReduce & HDFS bei WordCount Eine ganze Bibliothek (Text aller Bücher ins HDFS) laden Dann soll MapReduce benutzt werden Für Map-Funktionen muss nun kein Input mehr transferiert werden 15

16 Hadoop Fundamentals Moving Computation is Cheaper than Moving Data 16

17 MapReduce und HDFS im Zusammenspiel Moving Computation is Cheaper than Moving Data Idee SQL: SELECT AVG(Erloes) FROM Verkauf (Größe ca. 30 Byte) Daten: Datensätze (Größe MB) Skript Wirkt auf Daten 17

18 MapReduce und HDFS im Zusammenspiel public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { } private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(longwritable key, Text value, } OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.tostring(); StringTokenizer itr = new StringTokenizer(line); while (itr.hasmoretokens()) { } word.set(itr.nexttoken()); output.collect(word, one); public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { } public void reduce(text key, Iterator<IntWritable> values, } int sum = 0; OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { while (values.hasnext()) { } sum += values.next().get(); output.collect(key, new IntWritable(sum)); 18

19 Hadoop-Datenbanken Klassische Datenbanken: Datenbankmanagementsystem z. Bsp. MySQL Datenbank Storage-Engine z. Bsp. InnoDB oder MyISAM Hadoop-Datenbanken Systeme: Datenbank z. Bsp. Pig Dateien im HDFS z. Bsp. kunden.txt (Name, Vorname... Tab-separiert) 19

20 Hadoop-Datenbanken Pig OK. Aber wie funktioniert das jetzt? Ein kurzes Beispiel in Pig: LOAD: K = LOAD kunde.txt' USING PigStorage('\t') AS (name, umsatz ); PROCESS: G = FILTER K BY umsatz > 100; STORE: STORE G into gutekunden.txt' USING PigStorage(); 20

21 Pig So sitzt Pig auf Hadoop Generiert Java Code Verteilt Programm auf Cluster 21