Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce

Größe: px

Ab Seite anzeigen:

Download "Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce"

Fritzi Waltz
vor 8 Jahren
Abrufe

1 Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Timo Bingmann, Peter Sanders und Sebastian Schlag 21. Oktober PdF Vorstellung INSTITUTE OF THEORETICAL INFORMATICS ALGORITHMICS KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Was ist Map/Reduce? Zeit Geld Geld Macht Glück Zeit Geld Map (Zeit,1) (Macht,1) (Glück,1) (Zeit,1) Shuffle (Glück,1) (Macht,1) (Zeit,1) (Zeit,1) Reduce (Glück,1) (Geld,3) (Macht,1) (Zeit,2) Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

3 Warum Map/Reduce? Eine einfache softwaretechnische Abstraktion mit automatischer Parallelisierung von unabhängigen Operationen (map) und Aggregationen (reduce), automatischer Verteilung der Daten und Arbeit, automatischer Fehlertoleranz gegenüber Ausfall von Hardware. MapReduce-Framework Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

4 Warum Map/Reduce? Eine einfache softwaretechnische Abstraktion mit automatischer Parallelisierung von unabhängigen Operationen (map) und Aggregationen (reduce), automatischer Verteilung der Daten und Arbeit, automatischer Fehlertoleranz gegenüber Ausfall von Hardware. MapReduce-Framework Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

5 Wo ist Map/Reduce? Programmiermodell für ein verteiltes System. Implementierung, z.b. in und weiteren experimentellen Frameworks (u.a. auch in C++): (Boost.MapReduce, Sector/Sphere, mapreduce-lite). zur Berechnung von: PageRank (spare Matrixmultiplikation), parallele Bildverarbeitung, Aggregation von Statistiken, maschinelles Lernen, etc. NICHT das gleiche wie verteilte Dateisysteme oder (verteilte) Datenbanken. Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

6 Was kann man da noch machen? Ziel: Ausprobieren und Entwickeln von besseren Algorithmen für die Kernprobleme. 1. Etappe: eine prototypische, kanonische Implementierung eines MapReduce Frameworks für eines der Speichermodelle: shared, external, distributed, oder distributed external. (Prototyp, aber: einfache Applikationen sollen laufen.) 2. Etappe: performance-relevante Teilprobleme fokussieren. Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

7 Mögliche Verbesserungen Bessere Lokalität der Shuffle Operation durch Erkennung eindeutiger Elemente durch Hashing. Anpassung der Shuffles mit Teilreduktionen an die Netzwerk Topologie. Weniger Overhead bei der Fehlertoleranz durch intelligente Quersummen, um nicht alles zu duplizieren. (Hadoop: alles 3-fach gespeichert). Scheduling der Datenverarbeitung und -redistribution und dabei Optimierung für mehrere MapReduce Schritte, Pipelining von Operationen und Netzwerktransfers, oder sogar der Energieeffizienz. Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

8 Voraussetzungen Wir suchen: 3 5 engagierte Studenten, mit Spaß am Entwickeln und Analysieren verteilter Algorithmen, Grundkenntnissen in C++, Linux und Lernbereitschaft für mehr, und guten Noten in PSE und Algorithmen 1 & 2, oder algorithmischem Talent. Wir bieten: Ein Forschungsprojekt im top-aktuellen Big Data Bereich. Unterstützung und Erfahrung bei der Umsetzung des Projekts. Meldet Euch bei uns, bis Montag, : Timo Bingmann und Sebastian Schlag Raum 222 und 210, Infobau Mail: {vor.nachname}@kit.edu. Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

9 Weitere Lehrveranstaltungen Vertiefungsfach: Algorithmentechnik (VF2) Parallelverarbeitung (VF5) Empfohlene Vorlesungen: Parallele Algorithmen (WS) Algorithm Engineering (SS) Weitere interessante Vorlesungen: Randomisierte Algorithmen (WS) Parallelrechner und Parallelprogrammierung (SS) Modelle der Parallelverarbeitung (SS) Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

10 Technologie-Stack Bingo Vtune ProtoBuf ØMQ gmock OpenMP BDB SDSL Boost STXXL TBB ASIO cmake C++11 perf MCSTL Ceph MsgPack git LZ4 mem cache dsbf UDP doxygen Jenkins gtest Institute of Theoretical Informatics Algorithmics 21. Oktober / 10

11 Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Timo Bingmann, Peter Sanders und Sebastian Schlag 21. Oktober PdF Vorstellung INSTITUTE OF THEORETICAL INFORMATICS ALGORITHMICS KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

Ähnliche Dokumente

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?