Map Reduce. Programmiermodell. Prof. Dr. Ingo Claÿen. Motivation. Modell. Verarbeitungsablauf. Algorithmen-Entwurf. Map-Reduce in Java

Transkript

1 Map Reduce Programmiermodell Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Motivation Modell Verarbeitungsablauf Algorithmen-Entwurf Map-Reduce in Java

2 Motivation Was ist Map-Reduce Programmiermodell für verteilte Verarbeitung auf groÿen Datenmengen Ausführungsmodell für parallele Ausführung auf Cluster einfacher Servermaschinen (comodity server) Entwickelt von Google Map Reduce Ingo Claÿen 2/25

3 Motivation Warum? Groÿe Datenmengen sind Fakt Systeme müssen diese verarbeiten Datenerzeuger Web oder Teile davon Sensorsysteme: z.b. Infrastruktur wie Straÿen, Brücken Web-basierte Geschäftsmodelle (Startups) Analytik Datamining (Text, Bilder, Video) Maschinelles Lernen Echtzeit-Reaktionen Map Reduce Ingo Claÿen 3/25

4 Motivation Enorme Datengröÿen Google: 20PB pro Tag ebay: 6.5 PB, Zunahme 150 Milliarden Datensätze pro Tag Facebook: 2,5 PB Nutzerdaten, Zunahme 15 TB pro Tag Map Reduce Ingo Claÿen 4/25

5 Motivation Weitere Beispiele Teilchenphysik: Large Hadron Collider, 15PB/Jahr Astronomie: Sloan Digital Sky Survey, 3.2 Gigapixel-Kamera, 0,5PB/Monat Bioinformatik: DNA-Sequenzierung, PB-Datenbankgröÿen Telematik: Detaildaten von Verkehrsüssen (Sensorik) Map Reduce Ingo Claÿen 5/25

6 Modell Verarbeitungsprinzipien Horizontale nahtlose Skalierbarkeit. Scale out, not up Fehler treten häug auf Sende Programme an die Daten, nicht umgekehrt Verarbeitung der Daten in sequenziellen Blöcken Programiermodell, das vor der Komplexität paralleler Verarbeitung abschirmt Map Reduce Ingo Claÿen 6/25

7 Modell Theoretisches Verarbeitungsmodell: Funktionale Programmierung map reduce + = 182 Map Reduce Ingo Claÿen 7/25

8 Modell Praktisches Verarbeitungsmodell Schlüssel-Wert-Paare map : K 1 V 1 List[K 2 V 2 ] reduce : K 2 List[V 2 ] List[K 3 V 3 ] Verarbeitungsphasen 1. Map 2. Shue (Partitionierung, Sortierung) 3. Reduce Map Reduce Ingo Claÿen 8/25

9 Verarbeitungsablauf Map F K F K F -K F K F K F K F -K F K F -K F K F -K F K F 4 FK 3 F-K 1 F 5 FK 3 F-K 2 F 3 FK 2 F-K 1 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Map Reduce Ingo Claÿen 9/25

10 Verarbeitungsablauf Shue F 4 FK 3 F-K 1 F 5 FK 3 F-K 2 F 3 FK 2 F-K 1 F 4, 5, 3 FK 3, 3, 2 F-K 1, 2, 1 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Map Reduce Ingo Claÿen 10/25

11 Verarbeitungsablauf Reduce F 4, 5, 3 FK 3, 3, 2 F-K 1, 2, 1 F 12 FK 8 F-K 4 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Map Reduce Ingo Claÿen 11/25

12 Verarbeitungsablauf Technische Umsetzung Map Reduce Ingo Claÿen 12/25

13 Verarbeitungsablauf Combiner Map Reduce Ingo Claÿen 13/25

14 Algorithmen-Entwurf WordCount class Mapper { map(docid: Str, doc: Str) { for(word: doc.split(",")) { emit(word, 1) class Reducer { reduce(word: Str, countlist: List[Int]) { sum = 0 for(count: countlist) { sum += count emit(word, sum) Map Reduce Ingo Claÿen 14/25

15 Algorithmen-Entwurf WordCount In Mapper Combining 1 Veringerung der Key/Value-Paare pro Dokument class Mapper { map(docid: Str, doc: Str) { f = Func[Str,Int]() for(word: doc.split(",")) { f.putreplace(word, 1, f.get(word) + 1) for(word: f.keyset()) { emit(word, f.get(word)) Map Reduce Ingo Claÿen 15/25

16 Algorithmen-Entwurf WordCount In Mapper Combining 2 Veringerung der Key/Value-Paare dokumentenübergreifend class Mapper { f: Func[Str,Int] setup() { f = Func[Str,Int]() map(docid: Str, doc: Str) { for(word: doc.split(",")) { f.putreplace(word, 1, f.get(word) + 1) cleanup() { for(word: f.keyset()) { emit(word, f.get(word)) Map Reduce Ingo Claÿen 16/25

17 Algorithmen-Entwurf Mittelwertberechnung class Mapper { map(key: Str, value: Int) { emit(key, value) class Reducer { reduce(key: Str, valuelist: List[Int]) { sum = 0 cnt = 0 for(value: valuelist) { sum += value cnt += 1 emit(key, sum / count) Map Reduce Ingo Claÿen 17/25

18 Algorithmen-Entwurf Mittelwertberechnung Combiner Mittelwertbildung ist nicht komponierbar X = [x 1,..., x k ] und Y = [y 1,..., y n ] avg(x + Y ) avg(avg(x ), avg(y )) Daher muss der Combiner ein Paar aus Summe und Anzahl abliefern class Combiner { combine(key: Str, valuelist: List[Int]) { sum = 0 cnt = 0 for(value: valuelist) { sum += value cnt += 1 emit(key, Pair[Int,Int](sum, count)) Map Reduce Ingo Claÿen 18/25

19 Algorithmen-Entwurf Mittelwertberechnung Veränderter Reducer Bekommt als Werteliste eine Liste von Paaren class Reducer { reduce(key: Str, sumcountlist: List[Pair[Int,Int]]) { sum = 0 cnt = 0 for(pair: sumcountlist) { sum += pair.1 cnt += pair.2 emit(key, sum / count) Achtung: Ist nicht mehr mit dem Mapper kompatibel Map Reduce Ingo Claÿen 19/25

20 Algorithmen-Entwurf Mittelwertberechnung Angepasster Mapper/Combiner class Mapper { map(key: Str, value: Int) { emit(key, Pair[Int,Int](value, 1)) class Combiner { combine(key: Str, valuelist: List[Pair[Int,Int]]) { sum = 0 cnt = 0 for(pair: sumcountlist) { sum += pair.1 cnt += pair.2 emit(key, Pair[Int,Int](sum, count)) Map Reduce Ingo Claÿen 20/25

21 Algorithmen-Entwurf Mittelwertberechnung Mapper mit In-Memory Combining class Mapper { f: Func[Str,Int] setup() { fsum = Func[Str,Int]() fcount = Func[Str,Int]() map(key: Str, value: Str) { fsum.putreplace(key, value, fsum.get(key) + value) fcount.putreplace(key, 1, fcount.get(key) + 1) cleanup() { for(key: fsum.keyset()) { emit(key, Pair[Int,Int](fsum.get(key), fcount.get(key)) Map Reduce Ingo Claÿen 21/25

22 Map-Reduce in Java Mapper in Java public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(longwritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.tostring(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasmoretokens()) { word.set(tokenizer.nexttoken()); context.write(word, one); Map Reduce Ingo Claÿen 22/25

23 Map-Reduce in Java Reducer in Java public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); context.write(key, new IntWritable(sum)); Map Reduce Ingo Claÿen 23/25

24 Map-Reduce in Java Jobsteuerung in Java public class WordCount extends Configured implements Tool { public static class Map... public static class Reduce... public int run(string[] args) throws Exception { Job job = new Job(getConf()); job.setjarbyclass(wordcount.class); job.setjobname("wordcount"); job.setoutputkeyclass(text.class); job.setoutputvalueclass(intwritable.class); job.setmapperclass(map.class); job.setcombinerclass(reduce.class); job.setreducerclass(reduce.class); Map Reduce Ingo Claÿen 24/25

25 Map-Reduce in Java Jobsteuerung in Java - Fortsetzung job.setinputformatclass(textinputformat.class); job.setoutputformatclass(textoutputformat.class); FileInputFormat.setInputPaths(job, new Path("words.txt")); FileOutputFormat.setOutputPath(job, new Path("out")); boolean success = job.waitforcompletion(true); return success? 0 : 1; public static void main(string[] args) throws Exception { int res = ToolRunner.run(new Configuration(), new WordCount(), args); System.exit(res); Map Reduce Ingo Claÿen 25/25