Universität Karlsruhe (TH)

Transkript

1 Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Software Engineering für moderne, parallele Plattformen 10. MapReduce Dr. Victor Pankratius

2 Agenda Motivation Der MapReduce-Ansatz Map- und Reduce-Operationen Googles Implementierungskonzept Fehlertoleranz Beispiele Weitere Implementierungen Apache Hadoop Skriptsprachen: Sawzall, Pig Kritiken Ausblick 2

3 Motivation (1) Programmiermodell, das bei der Parallelisierung datenintensiver Anwendungen zum Einsatz kommt Bei Google entwickelt Beispiele für häufige Fragestellungen Zähle Häufigkeit der Zugriffe auf eine bestimmte Web-Seite Eingabe: URL Ausgabe: (URL, Häufigkeit) Invertierter Link-Graph Eingabe: Liste(QuellURL 1, QuellURL 2,,, Quell-URL i ) Quell-URL i : Seite mit weiteren Ziel-URLs Ausgabe: Liste(Ziel-URL j, Liste(Quell-URL i )) Zähle Worthäufigkeiten auf allen Web-Seiten Eingabe: Liste((DokumentID 1, Inhalt 1 ),, (DokumentID i, Inhalt i ), ) Ausgabe: Liste(Wort, Häufigkeit) 3

4 Motivation (2) Generelles Problem Daten sind zu groß, um sie auf einer einzigen Maschine sequenziell zu bearbeiten Notwendig Parallelisierung Verteilung von Daten Fehlertoleranz Programmierung aufwändig 4

5 Der MapReduce-Ansatz (1) Ziel: Verstecke Komplexität der parallelen Programmierung, Datenverteilung, Fehlertoleranz vor dem Entwickler MapReduce-Ansatz Bietet dem Entwickler eine Schnittstelle mit nur zwei Operationen an, die er selbst definieren muss: Map und Reduce Inspiriert von Map/Reduce aus funktionalen Sprachen (vgl. frühere Vorlesung) Zwei Schritte Map: Generiert aus Eingabedaten eine Sammlung von Zwischenergebnissen Reduce: Generiert daraus aggregierte Ergebnisse 5

6 Der MapReduce-Ansatz (2) Map-Operation Map erzeugt als Zwischenergebnis eine Sammlung von (Schlüssel, Wert)-Paaren Beispiel: Zähle Wörter in einem Dokument Zunächst: Anwendung von Map (konzeptuell) map(dokumentname, wert){ for each word w in wert emit(w, "1"); } Textinhalt des Dokuments Emittiert für jedes Wort ein Paar, welches das Wort und die Häufigkeit 1 enthält. Für dasselbe Wort, das mehr als einmal vorkommt, werden mehrere Paare erzeugt. Anmerkung: Eingabe (Dokumentname, Wert) ist auch ein Paar, jedoch haben dessen Elemente einen anderen Definitionsbereich als die Elemente der emittierten Paare Implementierungsdetails später 6

7 Der MapReduce-Ansatz (3) Reduce-Operation Reduce kombiniert Zwischenergebnisse Beispiel (fortgesetzt) reduce(wort, werte){ int ergebnis = 0; for each w in werte ergebnis += w; emit(wort,ergebnis); } Liste mit Worthäufigkeiten. Entsteht durch Aufsammeln und Gruppieren mehrer Paare, die dasselbe Wort als Schlüssel haben. Wird der Reduce-Operation als Iterator übergeben. Auf diese Weise sind große Datenmengen handhabbar, die sonst nicht vollständig in den Speicher passen würden Summiere die Häufigkeiten aus der Werteliste auf und emittiere das Ergebnis. Anmerkung: Elemente der Eingabe-Paars haben denselben Definitionsbereich wie die des Ausgabe-Paars Es kann mehrere Arbeiter geben, welche die Reduktionsoperation ausführen und selbst wieder Zwischenergebnisse emittieren 7

8 Der MapReduce-Ansatz (4) Implementierung Das MapReduce-Konzept ist nicht an eine bestimmte Rechnerarchitektur gebunden Die Implementierung der Schnittstelle kann z.b. auf Rechner mit verteiltem Speicher (Cluster) oder gemeinsamen Speicher (Multicore-Rechner) zugeschnitten sein Beispiel für Implementierungen auf Architektur mit gemeinsamen Speicher: Phoenix (Stanford; C++/PThreads) auf Architektur mit verteiltem Speicher: Google, Hadoop Wir besprechen einige Details anhand von Googles Implementierung für Rechnerbündel (Cluster) 8

9 Der MapReduce-Ansatz (5) Implementierung 9

10 Der MapReduce-Ansatz (6) Implementierung Für die parallele Ausführung der Map-Operation werden zunächst die Eingabedaten in M disjunkte Partitionen ("splits") zerlegt etwa MB pro Partition (kontrollierbar durch Parameter) Können parallel auf verschiedenen Rechnern bearbeitet werden 10

11 Der MapReduce-Ansatz (7) Implementierung Danach: Starte Kopien des Programms auf Rechner im Cluster (1). Definiere eine Instanz als Koordinator, den Rest als Arbeiter 11

12 Der MapReduce-Ansatz (8) Implementierung Koordinator weist laufenden Arbeiter-Instanzen Map- oder Reduce-Aufgabe zu (beachtet Lokalitätsgesichtspunkte) Es werden M Map-Aufgaben und R Reduce-Aufgaben zugewiesen 12

13 Der MapReduce-Ansatz (9) Implementierung Arbeiter mit Map-Aufgabe Liest Inhalte seiner zugewiesenen Partition (3) Bearbeitet alle Eingabepaare mit seiner Map-Funktion Die Ergebnisse werden im Hauptspeicher gepuffert In periodischen Abständen werden Puffer auf Festplatte geschrieben (4) Anhand einer Partitionierungsfunktion in R Partitionen unterteilt (z.b. hash(key) mod R) Der Ablageort der Partitionen wird dem Koordinator gemeldet, der für die Übergabe an Reduce- 13 Arbeiter verantwortlich ist

14 Der MapReduce-Ansatz (10) Implementierung Arbeiter mit Reduce-Aufgabe Wird vom Koordinator benachrichtigt Bekommt Ablageort für Zwischenergebnisse (Partitionen), die er von den Festplatten der Worker liest (5) Danach: Sortierung der Paare nach Schlüssel, so dass Paare mit gleichem Schlüssel gruppiert werden Arbeiter iteriert darüber. Jeder Schlüssel wird samt der zugehörigen Werte der Reduktionsoperation übergeben Das Ergebnis der Reduktionsfunktion wird in einer Ausgabedatei angefügt, die zur Partition assoziiert ist (6). 14

15 Der MapReduce-Ansatz (11) Implementierung Wenn alle Map- und Reduce-Aufgaben bearbeitet wurden, kehrt der Aufruf zum Benutzer-Programm zurück. Die Ausgabe des MapReduce- Programms befindet sich in R Dateien (eine pro Reduktions-Aufgabe) Können als Eingabe für weitere MapReduce-Aufrufe verwendet werden 15

16 Fehlertoleranz Arbeiter Werden periodisch abgefragt, ob noch funktionsfähig Keine Antwort: Kennzeichnung als nicht funktionsfähig Zugewiesene Aufgaben werden vom Koordinator neu verteilt Auch erfolgreich beendete Map-Aufgaben werden neu verteilt, da deren Ausgabe auf lokaler Festplatte war Reduce-Arbeiter werden über Änderung benachrichtigt Koordinator Zustand wird regelmäßig gesichert ( Checkpointing ) Bei Versagen: Neustart und Wiederherstellung des letzten gesicherten Zustands 16

17 Der MapReduce-Ansatz Weitere Beispiele Beispiel aus Sprachverarbeitung in einem Übersetzungssystem Zähle, wie oft jede 5-Wörter-Sequenz in einem großen Korpus von Dokumenten vorkommt Map: Extahiere (5-Wörter-Sequenz, Anz) von Dokument Reduce: Kombiniere Anz 17

18 Der MapReduce-Ansatz Weitere Beispiele Performanz (1) Ausführung eines auf MapReduce basierenden grep-programms (Global Regular Expression Print) Durchsucht Byte lange Datensätze (~ 1TB) nach einem seltenen, drei Zeichen langem Muster (nur in 92,337 Datensätzen vorhanden) Eingabe in M=15000 Partitionen à 64MB unterteilt, Ausgabe in einer einzigen Partition (R=1) Datentransferrate im zeitlichen Verlauf (Cluster mit 1800 Rechnern, mit je 2GHz Intel Xeon, 4GB RAM, 2x160GB HD, Gigabit Ethernet): Rate, mit der Eingabedaten gelesen werden Sekunden nach Ausführung 18

19 Der MapReduce-Ansatz Weitere Beispiele Performanz (2) Sekunden nach Ausführung Rate nimmt anfangs zu, wenn mehr und mehr Rechnern Arbeit zugewiesen wird Maximum bei ~ 30GB/s und 1764 Arbeitern Danach beginnen Map-Aufgaben fertig zu werden Gesamtdauer der Ausführung etwa 150s; Mehraufwand beim Start ~1 Minute (Programm auf verschiedenen Rechnern starten, etc.) Performanzvergleich mit anderen Verfahren für dieselbe Aufgabe wurde nicht publiziert 19

20 Open-Source-Implementierung Hadoop (1) Open-Source-Implementierung von MapReduce Apache-Projekt Seit September 2007 In Java geschrieben Entwickler schreibt MapReduce-Programm in Java Juni 2008: Noch kein 1.0 -Release Im Folgenden nur Skizzen zur Implementierung 20

21 Hadoop (2) Beispiel: Wörter zählen Programm besteht aus drei Teilen Klasse, die Mapper implementiert Eingabe: Textzeilen Ausgabe: (Schlüssel: Wort, Wert: 1) Klasse, die Reducer implementiert Eingabe: (Schlüssel: Wort, Wert: Liste von Werten) Ausgabe: (Schlüssel: Wort, Wert: Häufigkeit) Hauptprogramm Definiert Aufgabe Führt Aufgabe im Cluster aus 21

22 Hadoop (3) Beispiel: Wörter zählen - Map public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(longwritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { } } String line = value.tostring(); StringTokenizer itr = new StringTokenizer(line); while (itr.hasmoretokens()) { word.set(itr.nexttoken()); output.collect(word, one); } 22

23 Hadoop (4) Beispiel: Wörter zählen - Reduce public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { } public void reduce(text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { int sum = 0; while (values.hasnext()) { sum += values.next().get(); } output.collect(key, new IntWritable(sum)); } 23

24 Hadoop (5) Beispiel: Wörter zählen - Hauptprogramm public class WordCount {... public static void main(string[] args) throws IOException { JobConf conf = new JobConf(WordCount.class); // the keys are words (strings) conf.setoutputkeyclass(text.class); // the values are counts (ints) conf.setoutputvalueclass(intwritable.class); conf.setmapperclass(mapclass.class); conf.setreducerclass(reduce.class); conf.setinputpath(new Path(args[0]); conf.setoutputpath(new Path(args[1]); JobClient.runJob(conf);... 24

25 Kritiken zu MapReduce MapReduce-Kontroverse in der Datenbank-Gemeinde MapReduce wiederholt bereits gemachte Fehler Brute-force-Ansatz, keine Indizierung o.ä. Performanz unklar Kein Schema für Daten Konstrukte nicht abstrakt genug Keine angemessene Abfragesprache David J. DeWitt and Michael Stonebraker, MapReduce: A major step backwards, The Database Column, Januar

26 Ansätze für weitere Sprachabstraktionen (1) Verschiedene Vorschläge für Skriptsprachen, die Konstrukte auf höherer Abstraktionsebene anbieten, z.b. Sawzall Pig Bei Google entwickelte und benutzte Skriptsprache, die auf Googles MapReduce-Implementierung aufsetzt Skriptsprache, die ursprünglich als Forschungsprojekt bei Yahoo im Mai 2006 begann Noch in Entwicklung Ziel: MapReduce-Programme generieren (z.b. für Hadoop) 26

27 Ansätze für weitere Sprachabstraktionen (2) Skriptsprache Pig Entwickler benutzt Konstrukte auf höherer Abstraktionsebene, wie z.b. Group by Foreach Beispiel: Wörter zählen input = LOAD in-dir' USING TextLoader(); words = FOREACH input GENERATE FLATTEN(TOKENIZE(*)); grouped = GROUP words BY $0; counts = FOREACH grouped GENERATE group, COUNT(words); STORE counts INTO out-dir ; 27

28 Ausblick Verschiedene Verfeinerungen und Optimierungsmöglichkeiten in [Dean, Ghemawat. MapReduce: Simplified Data Processing on Large Clusters, CACM2008] angedeutet. In der Literatur wird über verschiedene Anwendungsgebiete für MapReduce berichtet Bildung verschiedener Statistiken für Web-Seiten Invertierter Web-Link Graph (welche Seiten zeigen auf eine bestimmte Seite?) Bildung von invertierten Indizes (in welchen Dokumenten kommt ein best Wort vor?) Verteiltes Sortieren Maschinelles Lernen Cluster-Algorithmen Verarbeitung von Satelliten-Bildern Sprachverarbeitung für automatische Übersetzung Graphentheorie 28