Cloud Data Management Kapitel 5: MapReduce und Datenbanken (Teil 1)

Transkript

1 Cloud Data Management Kapitel 5: MapReduce und Datenbanken (Teil 1) Dr. Eric Peukert Wintersemester 2017 Universität Leipzig, Institut für Informatik

2 Inhaltsverzeichnis SQL-Anfrageformulierung mit MapReduce Joins mit MapReduce Data Warehousing mit MapReduce Hive und Pig

3 SQL-Anfrageformulierung mit MapReduce (manuelle) Umschreibung SQL MapReduce Beispiel: CouchDB Dokumenten-orientierte Datenbank kein Schema Dokumente in JSON-Format Anfragen durch View-Definitionen Definition von - und -Funktion in Javascript (und anderen Sprachen)

4 Beispieldaten id name time user camera info tags width height size Konzeptionell: Repräsentation als verschachtelte Tabelle 1 fish.jpg 17:46 bob nikon [tuna, shark] 2 trees.jpg 17:57 john canon [oak] 3 snow.png 17:56 john canon [tahoe, powder] 4 hawaii.png 17:59 john nikon [maui, tuna] 5 hawaii.gif 17:58 bob canon [maui] 6 island.gif 17:43 zztop nikon [maui] Intern: Repräsentation als Dokumentenmenge (JSON-Format) { _id : 1, "name":"fish.jpg", time": 17:46","user":"bob,"camera":"nikon", "info":{"width":100,"height":200,"size":12345,"tags":["tuna","shark"] { _id : 2, "name":"trees.jpg", time": 17:57,"user":"john,"camera":"canon", "info":{"width":30,"height":250,"size":32091,"tags":["oak"]... Quelle:

5 Selektion Selektion = Bedingung für Attributwert(e) SQL:... WHERE attr = xy MapReduce : Prüfung durch IF-Bedingung, Ausgabe der selektierten Dokumente : Id-Funktion Beispiel SQL: SELECT * FROM table WHERE user = bob id name time user camera info tags width height size 1 fish.jpg 17:46 bob nikon [tuna, shark] 5 hawaii.gif 17:58 bob canon [maui]

6 Selektion: Beispiel function (doc) { if (doc.user == bob ) emit (doc.id, doc); function (key, values) { return values; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value key values [{id:1...] shuffle + sort [{id:5...] Alternative emit (null, doc); key value null {id:1... null {id:5... shffl+srt key null values [{id:1..., {id:5...] [{id:1...,{id:5...]

7 Selektion: Beispiel function (doc) { if (doc.user == bob ) emit (doc.id, doc); function (key, values) { return values; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value 1 {id:1 {id:5. 5 shuffle + sort key values 1 [{id:1...] 5 [{id:5...] [{id:1...] [{id:5...] Alternative emit (null, doc); key value null {id:1... null {id:5... shffl+srt key null values [{id:1..., {id:5...] [{id:1...,{id:5...]

8 Projektion Projektion = Einschränkung des Ergebnisses auf Attribute SQL: SELECT Attr1, Attr2 FROM... MapReduce : Generierung eines neuen Dokuments mit entsprechenden Attributen : Id-Funktion Duplikateliminierung : Key = Attribut(kombination) : Ausgabe des ersten Values Beispiel SQL: SELECT (DISTINCT) user FROM table user bob john john john bob zztop user bob john zztop

9 Projektion: Beispiel (ohne Duplikateliminierung) function (doc) { emit(doc.id,{ user :doc.user); function (key, values) { return values; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value 1 {user:bob 2 {user:john 3 {user:john 4 {user:john 5 {user:bob 6 {user:zztop shuffle + sort key values 1 [{user:bob ] 2 [{user:john] 3 [{user:john] 4 [{user:john] 5 [{user:bob] 6 [{user:zztop] [{user:bob ] [{user:john] [{user:john] [{user:john] [{user:bob] [{user:zztop]

10 Projektion: Beispiel (mit Duplikateliminierung) function (doc) { emit(doc.user,{ user :doc.user); function (key, values) { return values[0]; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value 1 {user:bob 2 {user:john 3 {user:john 4 {user:john 5 {user:bob 6 {user:zztop shuffle + sort key values [{user:john] [{user:bob] [{user:zztop]

11 Projektion: Beispiel (mit Duplikateliminierung) function (doc) { emit(doc.user,{ user :doc.user); function (key, values) { return values[0]; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value 1 {user:bob 2 {user:john 3 {user:john 4 {user:john 5 {user:bob 6 {user:zztop shuffle + sort key values bob [{user:bob, {user:bob] john zztop [{user:john, {user:john, {user:john] [{user:zztop] [{user:john] [{user:bob] [{user:zztop]

12 Gruppierung und Aggregatfunktion Gruppierung Zusammenfassen von Datensätzen mit gleichen Attributwerten Bildung aggregierter Attributwerte pro Gruppe durch Aggregatfunktionen (z.b. SUM) MapReduce : Gruppierungsattribut(e) als Key : Anwendung der Aggregatfunktion Beispel SELECT camera, AVG(info.size) as avgsize FROM Table GROUP BY camera camera avgsize canon nikon 51859

13 Gruppierung und Aggregatfunktion: Beispiel function (doc) { emit(doc.camera, doc.info.size); function (key, values) { sum = 0; for (i=0; i<values.length; i++) { sum = sum + values[i]; return sum/values.length; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value nikon canon canon 1253 nikon canon nikon shuffle + sort key values

14 Gruppierung und Aggregatfunktion: Beispiel function (doc) { emit(doc.camera, doc.info.size); function (key, values) { sum = 0; for (i=0; i<values.length; i++) { sum = sum + values[i]; return sum/values.length; {id:1,user:bob... {id:2,user:john... {id:3,user:john... {id:4,user:john... {id:5,user:bob... {id:6,user:zztop... key value nikon canon canon 1253 nikon canon nikon shuffle + sort key values canon [32091, 1253, 49287] nikon [32091, 1253, 49287]

15 Equi-Join + Mehrwertiges Attribut Equi-Join = Verknüpfung zweier Relationen über Attributgleichheit SQL:... WHERE Tab1.Attr1 = Tab2.Attr2 Mehrwertige Attribute 1:N/N:M-Beziehung = weitere Relation(en), die durch Join verknüpft werde MapReduce : Join-Attribut als Key : Iteration über Paare Beispiel (SQL) Welche Bilder haben (mind.) ein gemeinsames Tag name1 fish.jpg hawaii.png hawaii.gif hawaii.gif name2 hawaii.png island.gif hawaii.png island.gif

16 Equi-Join + Mehrwertiges Attribut: Beispiel function (doc) { for (i=0; i<doc.tags.length; i++) { emit (doc.tags[i], doc.name); function (key, values) { var result = new Array(); for (i=0; i<values.length; i++) { for (k=0; k<values.length; k++) { if (i<k) { result.push ({ name1 :values[i], name2 :values[k]); return result;

17 Equi-Join + Mehrwertiges Attribut: Beispiel (2) {id:1,... {id:2,... {id:3,... {id:4,... {id:5,... {id:6,... key tuna shark oak tahoe powder maui value fish.jpg fish.jpg tree.jpg snow.png snow.png hawaii.png shuffle + sort key maui oak power shark tahoe tuna value [hawaii.png, hawaii.gif, island.gif] [tree.jpg] [snow.png] [fish.jpg] [snow.png] [fish.jpg, hawaii.png] [{name1:hawaii.png, name2: island.gif, {name1:hawaii.gif, name2:hawaii.png, {name1:hawaii.gif, name2:island.gif] [] [] [] tuna maui maui hawaii.png hawaii.gif island.gif [] [{name1:fish.jpg, name2:hawaii.png]

18 Inhaltsverzeichnis SQL-Anfrageformulierung mit MapReduce Joins mit MapReduce Data Warehousing mit MapReduce Hive und Pig

19 Join-Realisierung mit MapReduce Join ist wichtige und teure Datenbank-Operation verschiedene Join-Arten (Natural, Outer,...), Anzahl beteiligter Relationen Fokus im Folgenden: Natural Join zwischen R und S Häufiger Anwendungsfall für WebApps: Logfile-Auswertung Logfile User über Attribut UserId Logfile (#Klicks) meist deutlich größer als Referenztabelle (#User) Geringe Join-Selektivität (nur x% der User pro Tag auf Website) Join-Performanz u.a. abhängig von gleichmäßiger Lastbalancierung der Knoten (z.b. Entity Matching) Datenmenge, die zw. Map- und Reduce-Phase sortiert und transferiert wird (ggf. unter Berücksichtigung der Lokalität) Verschiedene Verfahren Repartition Join Broadcast Join Semi-Join Quelle diese und nächste Folien: [MRJoin]

20 Repartition Join R S a b a 1 3 a 2 3 a 3 3 a 4 2 a 5 3 a 6 2 a 7 2 a 8 2 b c 1 c 1 2 c 2 3 c 3 4 c 4 Naiver Ansatz : Key=Join-Attribut, Value=Relationsname + Nicht-Join-Attribute : Alle Paare mit unterschiedlichen Relationsnamen (3, R:a 1 ) (3, R:a 2 ) (3, R:a 3 ) (2, R:a 4 ) (3, R:a 5 ) (2, R:a 6 ) (2, R:a 7 ) (2, R:a 8 ) (1, S:c 1 ) (2, S:c 2 ) (3, S:c 3 ) (4, S:c 4 ) shuffle + sort a b c a 4 2 c 2 a 6 2 c 2 a 7 2 c 2 a 8 2 c 2 a 1 3 c 3 a 2 3 c 3 a 3 3 c 3 a 5 3 c 3

21 Repartition Join R S a b a 1 3 a 2 3 a 3 3 a 4 2 a 5 3 a 6 2 a 7 2 a 8 2 b c 1 c 1 2 c 2 3 c 3 4 c 4 Naiver Ansatz : Key=Join-Attribut, Value=Relationsname + Nicht-Join-Attribute : Alle Paare mit unterschiedlichen Relationsnamen (3, R:a 1 ) (3, R:a 2 ) (3, R:a 3 ) (2, R:a 4 ) (3, R:a 5 ) (2, R:a 6 ) (2, R:a 7 ) (2, R:a 8 ) (1, S:c 1 ) (2, S:c 2 ) (3, S:c 3 ) (4, S:c 4 ) shuffle + sort (1, [S:c 1] ) (2, [R:a4,S:c2,R:a6,R:a7,R:a8] ) (3, [R:a1, R:a2, R:a3, R:a5, S:c3]) (4, [S:c4]) a b c a 4 2 c 2 a 6 2 c 2 a 7 2 c 2 a 8 2 c 2 a 1 3 c 3 a 2 3 c 3 a 3 3 c 3 a 5 3 c 3

22 Repartition Join: Nachteile Alle Daten werden zwischen Map- und Reduce-Phase sortiert und an die Reduce Tasks geschickt Verbesserung durch Broadcast Join, Semi-Join (nächste Folien) Reducer muss alle N Datensätze pro Key puffern keine Reihenfolge bzgl. Input-Relation, da nur nach Join-Attribut sortiert Hadoop-Implementierung erlaubt nur sequentiellen Datenzugrifff

23 Repartition Join: Nachteile (2) Lösung (für puffern) Erweiterung des Map-Keys und des Values um Relationsname Sortierung: Keys der kleineren Relation (S=0) vor Keys der größeren Relation (R=1) Reduce muss nur noch Datensätze von S puffern (erkannt am Wechsel d. 2. Komponente des Values) Beispiel normal (2, R:a 4 ) (2, S:c 2 ) (2, R:a 6 ) (2, R:a 7 ) (2, R:a 8 ) erweiterter Key+Sortierung (2:0, c 2 :0) (2:1, a 4 :1) (2:1, a 6 :1) (2:1, a 7 :1) (2:1, a 8 :1) Nach Gruppierung (2, [c 2 :0, a 4 :1, a 6 :1, a 7 :1, a 8 :1])

24 Beispiel R S a b a 1 3 a 2 3 a 3 3 a 4 2 a 5 3 a 6 2 a 7 2 a 8 2 b c 1 c 1 2 c 2 3 c 3 4 c 4 (3:1, a 1 :1) (3:1, a 2 :1) (3:1, a 3 :1) (2:1, a 4 :1) (3:1, a 5 :1) (2:1, a 6 :1) (2:1, a 7 :1) (2:1, a 8 :1) (1:0, c 1 :0) (2:0, c 2 :0) (3:0, c 3 :0) (4:0, c 4 :0) Partition nach Key.a shuffle + sort Sort nach Key (1:0, c 1 :0) (2:0, c 2 :0) (2:1, a 4 :1) (2:1, a 6 :1) (2:1, a 7 :1) (2:1, a 8 :1) (3:0, c 3 :0) (3:1, a 1 :1) (3:1, a 2 :1) (3:1, a 3 :1) (3:1, a 5 :1) (4:0, c 4 :0) Gruppierung nach Key.a (1, [c1:0]) (2, [c 2 :0, a 4 :1, a 6 :1, a 7 :1, a 8 :1]) 3,[c3:0, a 1 :1, a 2 :1, a 3 :1, a 5 :1] 4, [c4:0]

25 Broadcast-Join R a b a 1 3 a 2 3 Idee a 3 3 Kleinere Relation (S) als a 4 2 zusätzlichen Input a 5 3 a Join nur in -Phase, 6 2 a kein Reduce notwendig 7 2 a 8 2 Notwendiger Datentransfer kleinere Relation muss an alle n Knoten geschickt werden n S Datensätze kein Transfer von R, da jeder -Task seine lokale -Partition bearbeitet Vergleich Repartition-Join beide Relationen werden auf alle - Tasks aufgeteilt R + S Datensätze Dynamische Entscheidung möglich, welche Relation kleiner und ob Broadcast-Join vorteilhaft ist S b c 1 c 1 2 c 2 3 c 3 4 c 4 a b c a 1 3 c 3 a 2 3 c 3 a 3 3 c 3 a 4 2 c 2 a 5 3 c 3 a 6 2 c 2 a 7 2 c 2 a 8 2 c 2

26 Semi-Join - Approach Neben Anzahl der Datensätze auch Größe der zu transferierenden Datensätze entscheidend Größe (Join-Attribut) << Größe (Datensatz) Semi-Join-Idee: R S = R ( P b (R) Realisierung durch drei Map-Reduce-Schritte S ) mit Join-Attribut b 1. R = P b (R) extrahiert Join-Attribut, 1 task entfernt Duplikate 2. S = R S 3. R S : Broadcast-Join mit kleinerer Relation R Broadcast-Join mit kleinerer Relation S

27 Semi-Join: Beispiel R a b (3, ^) (2, ^) a 1 3 (3, ^) (2, ^) a 2 3 (3, ^) (2, ^) a 3 3 (2, ^) (2, ^) a 4 2 a 5 3 (3, ^) (3, ^) (2, ^) (3, ^) a 6 2 (2, ^) (3, ^) a 7 2 (2, ^) (3, ^) a 8 2 shuffle + sort b R S b c 1 c 1 2 c 2 3 c 3 4 c 4 S b R a b a b c a 1 3 a 1 3 c 3 a 2 3 a 2 3 c 3 a 3 3 a 3 3 c 3 a 4 2 a 4 2 c 2 a 5 3 a 5 3 c 3 a 6 2 a 6 2 c 2 a 7 2 a 7 2 c 2 a 8 2 a 8 2 c 2 c

28 Semi-Join: Beispiel R a b (3, ^) (2, ^) a 1 3 (3, ^) (2, ^) a 2 3 (3, ^) (2, ^) a 3 3 (2, ^) (2, ^) a 4 2 a 5 3 (3, ^) (3, ^) (2, ^) (3, ^) a 6 2 (2, ^) (3, ^) a 7 2 (2, ^) (3, ^) a 8 2 shuffle + sort R b 2 3 S b c 1 c 1 2 c 2 3 c 3 4 c 4 S b c 2 c2 3 c3 R a b a b c a 1 3 a 1 3 c 3 a 2 3 a 2 3 c 3 a 3 3 a 3 3 c 3 a 4 2 a 4 2 c 2 a 5 3 a 5 3 c 3 a 6 2 a 6 2 c 2 a 7 2 a 7 2 c 2 a 8 2 a 8 2 c 2

29 Evaluation in [MRJoin] Tabelle: Datenmenge geschickt durch das Netzwerk geringer als Map-Output (z.t. gleicher Knoten für und -Task) #Datensätze (Relation S) Repartition (erw. Key) Broadcast 0.3 Millionen 145 GB 6 GB 10 Millionen 145 GB 195 GB 300 Millionen 151 GB 6240 GB Broadcast für kleine S Repartitioning: Nutzen des erweiterten Keys Semi-Join muss zweimal (große) Relation R einlesen