Cloud Data Management Kapitel 4: MapReduce(Teil3)

Transkript

1 Cloud Data Management Kapitel 4: MapReduce(Teil3) Dr. Eric Peukert Wintersemester 2017 Universität Leipzig, Institut für Informatik

2 Inhaltsverzeichnis MapReduce MapReduce-Umsetzung für populäre Algorithmen Termhäufigkeit und Inverted Index Ähnlichkeitsberechnung im Vector Space Modell PageRank k-means Clustering Hadoop-Framework MR-Ausführungsmodell Architektur Hadoop 2.x, YARN

3 News

4 4 Titelzeile alle Folien

5 5 Titelzeile alle Folien

6 Hadoop Googles MapReduce 2004 veröffentlicht Proprietär, nicht verfügbar Hadoop ist Open Source Alternative Inspiriert von Googles MR/GFS Apache Top-Level-Projekt Unix-ähnliche OS (Shell Skripte, passwortloses SSH) Java 6 Große Community Fertige Distributionen zur Ausführung in Amazon EC2 Sieger des Terabyte Sort Benchmark 2008 & TB Integer in 173 Minuten mit 3452 nodes (2 Quadcore Xeons, 8 GB Memory, 4 SATA)

7 Hadoop Ökosystem Relevante Systeme: Bildquelle:

8 Hadoop Ecosystem (2) 8 Titelzeile alle Folien

9 Hadoop MapReduce: Beispiel jobconf.setinputformat(textinputformat.class); TextInputFormat.setInputPath(jobConf, new Path( /usr/xyz/abc.txt )); public void map(longwritable key, Text val, Context context ) throws IOException{ String line = val.tostring(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasmoretokens()) { word.set(tokenizer.nexttoken()); context.write(word, new IntWritable(1)); }} public void reduce(text key, Iterable<IntWritable> vals, Context context ) throws IOException { int sum = 0; for (IntWritable val : vals) { sum += val.get(); } context.write(key, new IntWritable(sum)); } k 1 v 1 map k 2 v 2 k 2 list(v 2 ) reduce k 3 v 3

10 MR-Ausführung - Beziehung zu HDFS Job Tracker versucht Datenlokalität auszunutzen Reduce profitiert (meist) nicht von Datenlokalität da er von verschiedenen Map-Tasks Daten bezieht. JobTracker TaskTracker TaskTracker TaskTracker NameNode DataNode 0 DataNode 1 DataNode 2 B1-> 0,1 B3 -> 1,2 B1, B2 TCP/IP Communication B2, B3, B1 B1, B3 Master (Metadata) Workers (Data)

11 Hadoop: Ausführungsmodell Tasktracker (TT) startet beim Hochfahren eine statisch konfigurierte Anzahl an Map- bzw. Reduce-Prozessen ( Slots ) Jeder Map/Reduce-Prozess kann zu einem Zeitpunkt einen Map-Task (=Eingabepartition) bzw. Reduce-Task (=Key-Gruppe) bearbeiten Die Summe aller Map-Slots entspricht max. Anzahl von Map-Tasks, die im Cluster gleichzeitig bearbeitet werden können Die Summe aller Reduce-Slots entspricht max. Anzahl von Reduce- Tasks, die im Cluster gleichzeitig bearbeitet werden können Jobtracker (JT) verwaltet Menge der erfolgreichen, fehlgeschlagenen und ausstehenden Map- und Reduce-Tasks Jeder HDFS-Block (InputSplit) wird durch einen Map-Task bearbeitet Pro MR-Job ist Anzahl an Reduce-Tasks vorgegeben (r) JT wählt einen TT zur Bearbeitung ausstehender Tasks aus (Datenlokalität)

12 Hadoop: Ausführungsmodell (2) Map-Task Anwenden von map auf jedes Eingabe-Key-Value-Paar Ausgabepaare werden mittels part(key) partitioniert und mittels sort(key) sortiert (Sortierte) Partitionen werden im lokalen Dateisystem des TTs gespeichert Quelle: Hadoop The Definitive Guide, 2009, Tom White, O Reilly

13 Hadoop: Ausführungsmodell (2) Reduce-Task (Index i [0, r-1]) Zuständiger TT kopiert die Partition i der Zwischenergebnisse von allen TT Zusammenführen der eingehenden (sortierten) Key-Value-Paare mit sort(key) Gruppieren der sortierten Key-Value-Paare Aufruf von reduce je Gruppe (Ergebnis HDFS) Quelle: Hadoop The Definitive Guide, 2009, Tom White, O Reilly

14 Hadoop: Ausführungsmodell (2)

15 Hadoop: Ausführungsmodell - Beispiel Map Reduce Prozesse Tasks (m) part group Prozesse Tasks (r)

16 Hadoop: Ausführungsmodell - Beispiel Map Reduce Prozesse Tasks (m) part group Prozesse Tasks (r) 1 2 nach Farbe nach Farbe und Form 2 3

17 Hadoop: MR-Job Submission 2 Arten von Knoten Jobtracker - Koordinator Tasktracker - Ausführung der Map und Reduce-Funktionen (Tasks) Jeder Tasktracker hat feste Anzahl an Slots für Map- und Reduce Tasks Abhängig von #Cores und Hauptspeicher Tasktracker sind gleichzeitig Datanodes (=Chunkserver) des HDFS Jobtracker weist Tasks an Tasktracker mit freien Slots zu Berücksichtigung der Datenlokalität Quelle: Hadoop The Definitive Guide, 2009, Tom White, O Reilly

18 Hadoop: Distributionen Vorkonfigurierte stabile Distributionen für Produktivbetrieb z.b. Hadoop, HBase, Hive, Pig, Mahout,Spark, Regelmäßige Update- und Releasezyklen Support, Lizensierung und Consulting, Paketierung für verschiedene Plattformen Beispiele Hortonworks Data Platform (HDP) Aktuell 2.6 (Hadoop 2.7.3) Cloudera Distribution Including Apache Hadoop (CDH) Aktuell CDH 5.x releases (basiert auf Hadoop und später)

19 Hortonworks Data Platform

20 Cloudera 20 Titelzeile alle Folien

21 21 Titelzeile alle Folien

22 Beschränkungen des MR-Modells Unabhängige Ausführung Map- und Reduce-Tasks zufällige Reihenfolge, d.h. keine Annahmen über Vorhandensein von Zwischenergebnissen kein Zugriff auf Daten eines anderen Tasks Eingeschränkter Zugriff auf Werte in Reduce-Funktion Liste der Werte kann nur per Cursor sequentiell gelesen werden (Iterator- Interface) Reduce-Phase kann erst starten, wenn der letzte Map-Task beendet keine Stream-Verarbeitung möglich Ziel: gleichmäßige Auslastung aller Map-Prozesse Programm-Ende wenn der letzte Reduce-Task beendet ist Ziel: gleichmäßige Auslastung aller Reduce-Prozesse Fehlertoleranz erzwingt Materialisierung des Map-Outputs Knotenausfall darf nicht zu Datenverlust führen à Checkpointing Keine Indexierung der Eingabedaten

23 Hadoop 2.x Aktuell Hadoop 2.8.x (3.0 Beta) Einführung von YARN für Cluster Ressource Management

24 YARN (=MRv2=MapReduce 2.0): Motivation Schlechte Auslastung der Cluster-Ressourcen Statische Konfiguration der Slots für Map-/Reduce-Tasks pro Tasktracker Map-Slots können nicht für Reduce-Tasks genutzt werden (und umgekehrt) Engpass JT - Skalierbarkeit nur bis zu paralleler Tasks Resource Management Überwachung Trasktracker (Heartbeats, Blacklisting, Cluster Capacity) Zuteilung von Slots zu Tasks Job Scheduling und Monitoring Ausführen von MapReduce Jobs Überwachen laufender und ausstehender Tasks (Speculative Execution, Neustart fehlgeschlagener Tasks, Aggregieren der Counter) Hadoop 1: Kein Support für andere Programmiermodelle als MapReduce Quelle: [YARN]

25 YARN: Grundidee Dezentralisierung Quelle:

26 Apache Hadoop YARN

27 YARN: Dezentralisierung Globaler Resource Manager (RM) Applications Manager (AsM) Submission von Anwendungen Start/Monitoring/Neustart von App. Masters Überwachen des Fortschritt aller Anwendungen Scheduler: Zuteilung von Ressourcen zu Anwendungen Application Master (AM) Mini-Jobtracker für eine Anwendung (z.b. 1 MapReduce Job) Leichtgewichtiger Prozess auf Slave-Node Task Scheduling und Monitoring Anforderung der benötigten Ressourcen (RAM, CPU, Bandbreite, Disk) vom RM Allokation und Monitoring aller gewährten Container auf zugewiesenen NMs Fortschrittsbericht an AsM Node Manager (NM) Slave-Prozess, Ausführung und Überwachen von abstrakten Containern Fortschrittsbericht an AM Bericht über belegte Ressourcen an RM

28 YARN: Application Submission Priority,Hostname,Resources,#Containers 1, host1, 1GB, 1 1, host2, 2GB, 1 host1 host2 Quelle:[YARN] RM kann neugestartet werden ohne dass laufende Anwendungen neugestartet werden müssen Abstraktion (Ressourcen, Container) erlaubt Implementierung verschiedener verteilter Frameworks auf Basis von HDFS und YARN MapReduce, Apache HAMA, Apache Giraph, Open MPI, Apache Spark

29 Resource Manager - High Availability Active/Standby Architektur (immer nur ein RM aktiv) Automatic Failover : Zookeeper-based ActiveStandbyElector automatische Wahl, welcher RM der neue aktive wird, falls aktiver RM ausfällt

30 Resource Manager - High Availability (2) Client, AM, NMs verbinden zu RMs in round-robin fashion bis aktiver RM erreicht Wiederherstellen des Zustands von aktivem RM: neuer aktiver lädt internen RM-Status und arbeitet weiter, wo vorheriger aufgehört hat - soweit möglich; regelmäßige Checkpoints von Applikationen, um Wiederholen der Arbeit zu vermeiden ZKRMStateStore: WriteAccess nur FÜR EINEN RM (kein split brain scenario ) alternativ FileSystem-RMStateStore

31 Zusammenfassung MapReduce Framework zur einfachen, parallelen Verarbeitung großer Datenmengen Programmlogik definiert durch zwei Funktionen (map und reduce) Algorithmen z.t. mit mehreren MR-Schritten, ggf. mit zusätzl. Input Vorteile Unterstützung heterogener Cloud-Umgebungen sowie gegebener Partitionierung fehlertolerant, skalierbar flexibles Modell, d.h. viele Algorithmen in MapReduce umsetzbar Ausgangspunkt weiterer Entwicklungen Adressierung von Performanzengpässen (u.a. Fehlerbehandlung, Data Skew und Lastbalancierung, Indexierung) Autom. Generierung von MapReduce-Jobs (z.b. SQL MapReduce) Kopplung mit relationalen Datenbanksystemen Hadoop: Open Source MapReduce + Resource Management (YARN)

32 Quellen & Literatur [MapReduce] Dean & Ghemawat. MapReduce: Simplified Data Processing on Large Clusters. OSDI'04 Page et.al: The PageRank Citation Ranking: Bringing Order to the Web. TechReport, Stanford University, 1998 Brin & Page: The Anatomy of a Large-Scale Hypertextual Web Search Engine. Computer Networks, 1998