MapReduce-Konzept. Thomas Findling, Thomas König

Transkript

1 MapReduce - Konzept 1

2 Inhalt 1. Motivation 2. Einführung MapReduce Google Rechenzentren Vergleich MapReduce und Relationale DBS 3. Hadoop Funktionsweise Input / Output Fehlerbehandlung 4. Praxis-Beispiel 5. Zusammenfassung 2

3 Motivation Das automatische Erfassen von Daten (Log-Dateien, Aktienkurse, Social Networks,...) erzeugt riesige Datenmengen Speicherkapazitäten von Festplatten sind in den letzten Jahrzehnten stark angestiegen Mittlere Zugriffszeiten und Transferraten haben sich vergleichsweise wenig verbessert Die Zeit zum Auslesen einer kompletten Festplatte wird immer größer 2000: 40 GB, 32 MB/s, 9,5 ms 21 Minuten 2009: 1000 GB, 125 MB/s, 8,5 ms 136 Minuten 3

4 Motivation Mehrere Recheneinheiten mit eigenen Plattenspeichern werden zu Clustern verbunden Verteilte Speicherung der Daten Deutliche Zeitreduzierung bei Zugriffsoperationen Parallele Verarbeitung von großen Datenmengen möglich, z.b. 100te TB bis PB 4

5 MapReduce 5

6 MapReduce Programmiermodell zur Verarbeitung von großen unstrukturierten oder semi-strukturierten Datensätzen MapReduce nutzt verteilte Speicherung der Daten in Blöcken (sorgt für Datenqualität bei fehlerhaften Schreiboder Lesevorgängen) MapReduce-Framework sorgt für die Aufteilung der Berechnungen auf mehrere Recheneinheiten Dadurch parallele Ausführung auf mehreren Rechnern Nach Beendigung der Berechnungen aggregiert das Framework die Ergebnisse 6

7 MapReduce Entwickler von verteilten Anwendungen müssen nur das Framework benutzen, keine Codeänderungen bei der Änderung der Client-Anzahl nötig Verwendung von handelsüblichen Computern möglich Keine Notwendigkeit für spezielle High-End Server 7

8 MapReduce Konzept: 2 separate Abläufe: Map Reduce Daten-Input: eine ganze Menge unstrukturierte Daten Basis von Map und Reduce-Tasks: Schlüssel-/WertePaare Formel: (k, v ) (k2, v2) 1 1 [k, list(v )] (k, v )

9 MapReduce - Beispiel 9

10 MapReduce - Beispiel 1. unstrukturierte Wetterdaten einlesen FM V N N N :00 1ADDGF ,2 C FM V N N N ADDGF

11 MapReduce - Beispiel 2. Zuordnung von Datei-Inhalt zu Positionen Jede Zeile wird anhand des Byte-Offsets identifiziert Byte-Offset verweist jeweils auf den Beginn der Zeile (k1, v1) = (long, String) 11

12 MapReduce - Beispiel 3. Map: Transformieren dieser Schlüssel-/Werte-Paare in intermediate Schlüssel-/Werte-Paare Benötigte Daten werden aus den Zeilen extrahiert Es entstehen viele Key/Value-Paare Jahr Temperatur

13 MapReduce - Beispiel 4. Map: Erzeugen von gruppierten Schlüssel-/Werte-Paaren Sortieren der Schlüssel Zuordnen von Werten zu einem Schlüssel Jeder Mapper schreibt den sortierten Output ins Filesystem Pro Jahr wird ein eigener Reducer auf einem Rechner im Cluster ausgeführt Jahr Temperatur

14 MapReduce - Beispiel 5. Reduce: Zusammenfassung der Werte (hier: Maximum finden) Pro Schlüssel nur noch ein Wert Jahr Temperatur

15 MapReduce - Beispiel 6. Ausgabe in eine Datei 15

16 MapReduce - Beispiel Parallele Abarbeitung Zusammenführung der parallelen Ergebnisse (merge) 16

17 Google's Rechenzentren 17

18 Google's Rechenzentren Welche Hardwarebasis steckt hinter der Such-Engine von Google? Erstellen der Suchindexe und Page-Rank-Tabellen erzeugt riesige Datenmengen Notwendigkeit für Rechenzentren Ein Rechenzentrum besteht aus 45 Containern mit insgesamt Servern Einsatz von vielen und großen Rechenzentren seit 2005 Energieverbrauch beläuft sich auf 10 Megawatt Einsatz von wasserbetriebenen Kühltürmen Eigenes Kraftwerk 18

19 Google's Rechenzentren 45 Container, in jedem befinden sich Server: 19

20 Google's Rechenzentren Standorte: 20

21 Vergleich mit Relationalen DBS 21

22 Vergleich mit Relationalen DBS MapReduce Datenverarbeitung als Streams, lineare Skalierung geeignet für: Batch-Verarbeitung von Daten unstrukturierte / semi-strukturierte Daten nicht-normalisierte Daten Relationale DBS Suchanfragen (langsamer), nicht-lineare Skalierung geeignet für: gezielte Abfragen und Updates strukturierte Daten normalisierte Daten 22

23 Vergleich mit Relationalen DBS Traditional RDBMS MapReduce Data Size Gigabytes Petabytes Access Interactive and Batch Batch Updates Structure Read and write many times Static schema Write once read many times Dynamic schema Integrity High Low Scaling Nonlinear Linear 23

24 Hadoop 24

25 Hadoop Hadoop ist eine Implementierung des MapReduceKonzepts Open Source Projekt der Apache Software Foundation offen für freiwillige Teilnehmer zur Verarbeitung großer Datenmengen Zusammenschluss von Recheneinheiten zu Clustern parallele Abarbeitung auf den Recheneinheiten des Clusters hohe Fehlertoleranz, durchschnittlich passieren 1,2 Hardware-Fehler pro Job 25

26 Hadoop Download für Unix/Linux verfügbar unter Windows nur mit Cygwin Programmierung mit Java, Python, C++, etc. möglich Hadoop selbst benötigt Java 1.6 Hadoop Distributed File System (HDFS) dient als gemeinsames Dateisystem für das Cluster Eingabe-Dateien müssen erst in das HDFS kopiert werden, bevor sie verwendet werden können es werden auch andere Dateisysteme unterstützt (z.b. CloudStore/Kosmos, S3) 26

27 Hadoop - Funktionsweise Job Tracker koordiniert Jobs splittet Job in Tasks Task Tracker führt die Map und Reduce-Tasks aus Ein Task je Prozessor-Kern Dateisystem stellt die Job-Ressourcen bereit Daten werden in Blöcke gesplittet Daten werden redundant gespeichert 27

28 Hadoop Schritt 1 Aufruf von runjob() Erzeugung einer neuen JobClient-Instanz 28

29 Hadoop Schritt 2 Aufruf von getnewjobid() Erzeugung einer neuen Job-ID 29

30 Hadoop Schritt 3 kopieren aller Job-Daten in das gemeinsame Filesystem (Programm und Bibliotheken) Übertragung der Konfigurationsdaten 30

31 Hadoop Schritt 4 Aufruf von submitjob() Job wird an den Job Tracker übergeben Überprüfung von Input und Output Spezifikationen 31

32 Hadoop Schritt 5 Initialisierung des Jobs Verwaltung der Jobs mit einer Job-Warteschlange Einteilung eines Jobs in mehrere Tasks 32

33 Hadoop Schritt 6 Abholung der Input Splits Input Splits sind logische Referenzen auf einen Block im HDFS 33

34 Hadoop Schritt 7 einzelne Tasks werden den Task Trackern gemäß dem Job Scheduling zugeteilt heartbeat meldet dem Job Tracker Statusmeldungen, z.b. dass der Task Tracker zur Verfügung steht Task Tracker können nur begrenzte Anzahl an Tasks gleichzeitig bearbeiten 34

35 Hadoop Schritt 8 Abholung der Daten und Bibliotheken zum aktuellen Task Tasks bearbeiten nur lokal vorhandene Input Splits jeder Map-Task verarbeitet einen Input Split 35

36 Hadoop Schritt 9 TaskRunner Instanz startet neue JVM zur Ausführung eines Tasks Für jeden Task wird eine eigene JVM gestartet 36

37 Hadoop Schritt 10 Ausführung des Tasks Child-Prozess kommuniziert mit dem Parent-Task Tracker melde finished oder failed an Task Tracker wenn alle Tasks fertig, melde Job als completed 37

38 Nodes Job Tracker Node nur einmal vorhanden verwaltet Jobs Task Tracker Node beliebig viele möglich führt Tasks aus Name Node nur einmal vorhanden verwaltet Dateisystem/Zugriffe Data Node beliebig viele möglich enthält Datenblöcke direkter Zugriff auf Ressourcen 38

39 Fehlerbehandlung Task-Fehler Abbruch/Timeout: Task Tracker meldet "failed" (Timeout: 10min) andere Task Tracker starten Task neu (max. 4 Versuche) wenn Limit erreicht, wird Job als "failed" markiert (konfigurierbar) Task Tracker-Fehler Abbruch/Timeout: Entfernung aus dem Task Tracker Pool Blacklisting: Task Tracker mit zu vielen Task-Fehlern Slowdown: Task Tracker ist zu langsam Tasks von unvollständigen Jobs werden auf Task Tracker verteilt Job Tracker-Fehler schwerwiegender Fehler, noch keine Lösungsmöglichkeit 39

40 Input / Output Formate Allgemein Input Splits sind logische Referenzen auf einen Teil der Daten Input Splits repäsentieren einen Block im HDFS RecordReader erzeugt daraus Records (Key/Value-Paare) Records werden an den Mapper übergeben der Map-Output muss das Format des Reduce-Inputs haben Text Input / Output Record besteht aus Byteoffset / Nummer und Inhalt einer Zeile bei XML werden Records an start- und end-tags angepasst Binary Input / Output besteht aus Sequenzen von binären Key/Value-Paaren Kompression möglich 40

41 Input / Output Formate Database Input / Output Nutzung relationaler Datenbanken möglich Zugriff via JDBC Multiple Input / Output für Input-Formate können mehrere Mapper definiert werden Map-Output muss aber immer gleich sein es können mehrere Output-Files oder -Formate genutzt werden Lazy Output OutputWrapper, für jedes Output-Format geeignet auch ohne Output wird immer eine Output-Datei erzeugt 41

42 Praxis-Beispiel 42

43 Praxis-Beispiel Aufgabe Berechnung des günstigsten Preises Daten ca. 3,5 Mio Datensätze von preisvergleich.de 3,8 GB semi-strukturierte Daten in 44 Dateien beinhaltet Produktname, Preis, Händler, Zustand, usw. Map-Phase Key/Value-Zuordnung: Produktname Preis Reduce-Phase finde für jeden Key (Produktname) kleinste Value (Preis) ca. 2,5 Mio verbleibende Datensätze (= ca. 1 Mio Preisvergleiche) 43

44 Praxis-Beispiel Durchführung 44

45 Praxis-Beispiel Vergleich Single Core, Dual Core und Cluster Pentium M, 1 * 2,0 GHz 464 s = 7:42 min Core Duo, 2 * 2,0 GHz 364 s = 6:04 min Cluster, 3 * 2,0 GHz 227 s = 3:47 min Kolb-Cluster, 10 * 2,66 GHz 2 * 2,66 GHz 8 * 2,66 Ghz 94 s = 1:34 min 500 Zeitdauer (s) Single Core Dual Core Cluster Kolb-Cluster 45

46 Zusammenfassung 46

47 Zusammenfassung MapReduce Parallele Verarbeitung von großen Datenmengen führt zu einer deutlichen Zeitreduzierung bei Zugriffsoperationen MapReduce-Framework koordiniert automatisch die Ausführung von Tasks auf mehreren Rechnern (Dateioperationen, Berechnungen, Fehlertoleranz, ) Handelsübliche Computer einsetzbar Bei großen Datenmengen ist die Stream-Verarbeitung von MapReduce schneller als Suchanfragen auf relationale DBS 47

48 Zusammenfassung Hadoop Hadoop ist eine Implementierung des MapReduceKonzepts Für Unix/Linux frei verfügbar Task Tracker und Job Tracker koordinieren die Ausführung der Tasks Bei fehlerhaften Daten oder bei zu langen Antwortzeiten wird ein Task Tracker automatisch blockiert Er wird aus der Task Tracker-Liste entfernt und die Tasks werden automatisch auf die restlichen Task Tracker aufgeteilt 48

49 Zusammenfassung Hadoop Daten sind als Blöcke im HDFS gespeichert Daten werden immer als Key-/Value-Paare verarbeitet (Records) Es gibt Text-, Binary- und Database-Input / Output 49

50 Vielen Dank für Ihre Aufmerksamkeit! 50

51 Quellen Tom White (2009): Hadoop The Definite Guide, O'Reilly Media, Inc. MapReduce: Simplified data processing on large clusters An Introduction to MapReduce Google Data Center Video Map of all Google data center locations Apache Hadoop Running Hadoop On Ubuntu Linux (Single-Node Cluster) Running Hadoop On Ubuntu Linux (Multi-Node Cluster) Preisinformationen vom Preisvergleich.de-FTP-Server ftp.preisvergleich.de 51