Spark das neue MapReduce?

Transkript

1 Spark das neue MapReduce? Oracle Data Warehouse Konferenz 2015 Carsten Herbe

2 Business Intelligence Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT Themenbereiche Über metafinanz Enterprise DWH Data modeling and integration and ETL Architecture: DWH and data marts Hadoop and Columnar DBs Data quality and data masking Analytics Predictive models, data mining and statistics Social media analytics Customer intelligence Scorecarding Fraud and AML metafinanz steht für branchenübergreifendes, ganzheitliches Business & IT Consulting. Gemeinsam mit unseren Kunden gestalten wir ihren Weg in eine digitale Welt. Wir transformieren Geschäftsprozesse und übersetzen strategische Ziele in effektive IT-Lösungen. Unsere Kunden schätzen uns seit 25 Jahren als flexiblen und lösungsorientierten Partner. Als unabhängiges Unternehmen der Allianz Group sind wir in komplexen Abläufen und Veränderungs-prozessen in Großkonzernen zu Hause. BI & Risk Ihr Kontakt : Carsten Herbe Insurance reporting Standard and adhoc Reporting Dashboarding BI office integration Mobile BI and in-memory SAS trainings for business analysts Risk Solvency II (Standard & internal model) Regulatory reporting Compliance Risk management Head of Data Warehousing Mehr als 10 Jahre DWH-Erfahrung Oracle & OWB Expertise Certified Hadoop Developer Mail: carsten.herbe@metafinanz.de Phone:

3 Inhalt 01 Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 3

4 Inhalt 01 Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 4

5 Grenzen von Hadoop und MapReduce Was ist Hadoop? Hadoop MapReduce Skalierbare Rechenkapazität Hadoop Distributed FileSystem (HDFS) Skalierbare Speicherkapazität

6 Grenzen von Hadoop und MapReduce MapReduce Mapper- und Reducer-Klasse. Driver-Klasse fehlt public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new protected void map(longwritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.tostring(); StringTokenizer tokenizer = new StringTokenizer(line, " \t\n\r\f,.:;?![]')("); while (tokenizer.hasmoretokens()) { word.set(tokenizer.nexttoken()); context.write(word, one); }}} public class WordCountReducer extends Reducer<Text, IntWritable, Text, protected void reduce(text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); }} 6

7 Grenzen von Hadoop und MapReduce Scalding: Scala API auf Cascading Sink Source Pipes Monitoring mit Driven (Web-Oberfäche) MATRIX API für Machine Learning Unterstützung für Spark ist geplant TextLine( args("input") ).flatmap('line -> 'word) { line : String => line.split("""\s+""") }.groupby('word) { _.size }.write( Tsv( args("output") ) ) 7

8 Grenzen von Hadoop und MapReduce Viele Tools generieren MapReduce Jobs-Ketten oder oder oder oder... Map Reduce Map Reduce... 8

9 Grenzen von Hadoop und MapReduce Tools wie Impala und Spark reduzieren I/O Impala oder oder... Operation Operation Operation... 9

10 Inhalt 01 Die Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 10

11 Überblick Spark Spark Geschichte 2009 Matei Zaharia startet Spark in UC Berkeley AMPLab 2010 Spark wird Open Source unter BSD Lizenz 2013 Projekt wurde der Apache Software Foundation gespendet; Lizenz nun Apache Spark wird Apache Top-Level Project Weltrekord im Large Scale Sorting von Databricks-Team 11

12 Überblick Spark Spark = Architektur Spark SQL Spark streaming MLib GraphX Spark core Cluster Manager Standalone scheduler YARN 12

13 Überblick Spark Resilient distributed dataset (RDD) RDD Partition 1 Record Block 1 Record HDFS File Partition 2 Record Block 2 record 13

14 Überblick Spark Spark Komponenten Client Spark driver Spark Context Worker Node Spark executor Task Task Cluster Manager (Standalone, YARN, Mesos)... Worker Node Spark executor Task Task 14

15 Überblick Spark Transformations & Actions Transformation RDD RDD... RDD Load Action: Lazy computation File Context Spark driver File Spark driver 15

16 Überblick Spark Direct Acyclic Graph (DAG) RDD File File RDD RDD RDD RDD File File RDD RDD RDD File Disk RAM 16

17 Überblick Spark Spark Wordcount Beispiel in Scala val filerdd = spark.textfile("hdfs://...") val resultrdd = filerdd.flatmap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) resultrdd.saveastextfile("hdfs://...") 17

18 Inhalt 01 Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 18

19 Programmierung mit Spark Spark Shell (REPL*): Scala und Python kein Java *read evaluate print loop bash$ pyspark Welcome to / / / / \ \/ _ \/ _ `/ / '_/ / /. /\_,_/_/ /_/\_\ bash$ spark-shell version /_/ Welcome to Using Python version / SparkContext / / / available as sc. >>> _\ \/ _ \/ _ `/ / '_/ / /. /\_,_/_/ /_/\_\ version /_/ Using Scala version Spark context available as sc. scala> 19

20 Programmierung mit Spark RDD erstellen scala> val employeefile = sc.textfile("data/employees.txt") employeefile: org.apache.spark.rdd.rdd[string] = data/employees.txt MappedRDD[1] at textfile at <console>:12 scala> employeefile.first() res0: String = Alice:Java,Hadoop,Pig,Hive,MapReduce,Spark scala> employeefile.count() res1: Long = 5 >>> employeefile = sc.textfile("data/employees.txt") >>> employeefile.first() u'alice:java,hadoop,pig,hive,mapreduce,spark' >>> employeefile.count() 5 20

21 Programmierung mit Spark RDD Transformations map(func) filter(func) flatmap(func) mappartitions(func) mappartitionswithindex(func) sample(withreplacement, fraction, seed) union(otherdataset) intersection(otherdataset) distinct([numtasks]) cogroup(otherdataset, [numtasks]) cartesian(otherdataset) pipe(command, [envvars]) coalesce(numpartitions) repartition(numpartitions) repartitionandsortwithinpartitions(partitioner) 21

22 Programmierung mit Spark Transformation map() scala> val numberpairs = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31))) numberpairs: org.apache.spark.rdd.rdd[(int, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:12 scala> numberpairs.map( func ) 22

23 Programmierung mit Spark Funktionen als Argumente scala> val numberpairs = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31))) numberpairs: org.apache.spark.rdd.rdd[(int, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:12 scala> object MyLib { } def myfunc(x: (Int, Int)): (Int) = { } x._1 + x._2 defined module MyLib scala> numberpairs.map(mylib.myfunc).collect res0: Array[Int] = Array(11, 12, 22, 33, 34) 23

24 Programmierung mit Spark Anonyme Funktionen als Argumente scala> val numberpairs = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31))) numbers: org.apache.spark.rdd.rdd[(int, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:12 scala> numberpairs.map(x => (x._1 + x._2)).collect res1: Array[Int] = Array(11, 12, 22, 33, 34) 24

25 Programmierung mit Spark RDD Transformations: Filter scala> val numberpairs = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31))) scala> numberpairs.filter(x => (x._2 >= 20 )).collect res5: Array[(Int, Int)] = Array((2,20), (3,30), (3,31)) 25

26 Programmierung mit Spark RDD Actions reduce(func) collect() count() first() take(n) takesample(withreplacement, num, [seed]) takeordered(n, [ordering]) saveastextfile(path) saveassequencefile(path) saveasobjectfile(path) foreach(func) 1) Nur Java und Scala 26

27 Programmierung mit Spark RDD Actions: Beispiele scala> val numberpairs = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31))) scala> numberpairs.count res0: Long = 5 scala> numberpairs.take(2) res1: Array[(Int, Int)] = Array((1,10), (1,11)) scala> numberpairs.reduce((x: (Int, Int), y: (Int, Int)) => (x._1 + y._1, x._2 + y._2)) res2: (Int, Int) = (10,102) 27

28 Programmierung mit Spark Pair RDD: Key & Value RDD aus Tuples Pair RDD Schlüssel: erstes Attribute Manche Load-Routinen erzeugen direkt PairRDDs (z.b. für Sequence Files) Bieten mehr Funktionalität (Transformations & Actions val pairrdd = linerdd.map(x => (x.split(" ")(0), x)) 28

29 Programmierung mit Spark Pair RDD Transformations & Actions join(rdd) rightouterjoin(rdd) leftouterjoin(rdd) cogroup(rdd) combinebykey(createcombiner, mergevalue, mergecombiners,partitioner) groupbykey() reducebykey(func) mapvalues(func) flatmapvalues(func) keys() values() sortbykey() countbykey() collectasmap() lookup(key) 29

30 Programmierung mit Spark Pair RDD Transformations: Beispiele scala> val numberpairs = sc.parallelize(array((1,10), (1,11), (2,20), (3,30), (3,31))) scala> numberpairs.groupbykey.collect res16: Array[(Int, Iterable[Int])] = Array( (1,CompactBuffer(10, 11)), (3,CompactBuffer(30, 31)), (2,CompactBuffer(20))) scala> numberpairs.reducebykey( (x, y) => (x + y) ) Array[(Int, Int)] = Array((1,21), (3,61), (2,20)) 30

31 Programmierung mit Spark Pair RDD Transformations: Joins scala> val numberpairs = sc.parallelize(array((1,10), (1,11), (2,20), (3,30), (3,31))) scala> val numbernames = sc.parallelize(array((1,"eins"), (2,"zwei"), (3,"drei"))) scala> numberpairs.join(numbernames) res2: Array[(Int, (Int, String))] = Array( (1,(10,eins)), (1,(11,eins)), (3,(30,drei)), (3,(31,drei)), (2,(20,zwei)) ) 31

32 Inhalt 01 Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 32

33 Spark SQL Schema RDD scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) scala> import sqlcontext.createschemardd scala> val myrdd = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31)) scala> myrdd.printschema root -- _1: integer (nullable = false) -- _2: integer (nullable = false) scala> myrdd.registertemptable("t") scala> sqlcontext.sql("select _1, SUM(_2) FROM t GROUP BY _1").collect res6: Array[org.apache.spark.sql.Row] = Array([1,21], [2,20], [3,61]) 33

34 Spark SQL Schema Definition durch Reflection (1/2) scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) scala> import sqlcontext.createschemardd scala> case class Numbers(a: Int, b: Int) scala> val myrdd = sc.parallelize( Array((1,10), (1,11), (2,20), (3,30), (3,31)) ).map(x => NumberPair(x._1, x._2)) scala> myrdd.collect res0: Array[Numbers] = Array(Numbers(1,10), Numbers(1,11), Numbers(2,20), Numbers(3,30), Numbers(3,31)) scala> myrdd.printschema root -- a: integer (nullable = false) -- b: integer (nullable = false) 34

35 Spark SQL Schema Definition durch Reflection (2/2) scala> myrdd.registertemptable("t") scala> sqlcontext.sql("select a, SUM(b) FROM t GROUP BY a").collect res1: Array[org.apache.spark.sql.Row] = Array([1,21], [2,20], [3,61]) 35

36 Spark SQL Manuelle Schema Definition (1/2) scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) scala> import sqlcontext.createschemardd scala> import org.apache.spark.sql.structtype scala> import org.apache.spark.sql.structfield scala> import org.apache.spark.sql.integertype scala> val myrdd = sc.parallelize(array((1,10), (1,11), (2,20), (3,30),(3,31))) scala> val schema = StructType( Array( StructField("x", IntegerType, true), StructField("y", IntegerType, true))) scala> val xyrdd= sqlcontext.applyschema(myrdd, schema) scala> xyrdd.printschema root -- x: integer (nullable = true) -- y: integer (nullable = true) 36

37 Spark SQL Manuelle Schema Definition (2/2) scala> xyrdd.registertemptable("t") scala> sqlcontext.sql("select x, SUM(y) FROM t GROUP BY x").collect res1: Array[org.apache.spark.sql.Row] = Array([1,21], [2,20], [3,61]) 37

38 Spark SQL Spark & Parquet Speichern eines SchemaRDD als Parquet Files scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) scala> import sqlcontext.createschemardd scala> val myrdd = sc.parallelize(array((1,10), (1,11), (2,20), (3,30),(3,31))) np: org.apache.spark.rdd.rdd[(int, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:12 scala> myrdd.saveasparquetfile("/home/cloudera/data/numbers") 38

39 Spark SQL Spark & Parquet Lesen aus Parquet Files scala> val sqlcontext = new org.apache.spark.sql.sqlcontext(sc) scala> val parquetfile = sqlcontext.parquetfile("/home/cloudera/data/numbers") scala> parquetfile.collect res0: Array[org.apache.spark.sql.Row] = Array([1,10], [1,11], [2,20], [3,30], [3,31]) 39

40 Inhalt 01 Grenzen von Hadoop und MapReduce 02 Überblick Spark 03 Programmierung mit Spark 04 Spark SQL 05 Fazit 40

41 Fazit Spark Ökosystem : im Wachstum Hive on Spark Pig on Spark: Spork Spark Scalding Mahout on Spark H 2 O: Sparkling water Oryx: (nutzt Spark MLib) 41

42 Fazit Ist Spark das neue MapReduce? Funktionalität Vollwertige Programmiersprache (Scala/Java/Python) Arbeit mit RDDs analog zu lokalen Collections (Partitionierung beachten!) Noch nicht ganz die Stabilität von MapReduce Tools Spark Aufsätze wie SparkSQL teilweise noch sehr jung Wachsendes Ökosystem Fazit Viel Momentum in der Entwicklung Weiteres Wachstum des Ökosystem ist zu erwarten Aktuell Alternative zu MapReduce aber kein Ersatz! 42

43 metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end DECIDE PLAN BUILD OPTIMIZE Business Analyse, Systemauswahl und Integrationskonzept Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie) Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit) Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential) Vorstudie Hadoop-Strategie DWH Cost Savings Dokumentenverarbeitung Log-File-Analysen Identifikation Use Cases Tool-/Distributor-Auswahl and Architektur Projekt- und Betriebs-Setup Data Mart Offload (hist. Daten) ETL-Offload: Staging Calculation Offload Dokumentenarchivierung Volltextsuche Textanalyse Click-Stream-Analyse Web-Anwendungen Security Analytics (Server-Logs, Firewall-Logs, ) 43

44 Fragen? Jetzt, am Stand oder später? Carsten Herbe Downloads Mail: Phone: dwh.metafinanz.de 44

45 Danke! metafinanz Informationssysteme GmbH Leopoldstraße 146 D München Phone: Fax: DWH & Handoop Expertise