Oracle Data Warehouse

Transkript

1 DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder 1 DATA WAREHOUSE

2 Themen Big Data Buzz Word oder eine neue Dimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca 2

3 Themen Anforderungen Warum R Die R-Entwicklungsumgebung Oracle R- Enterprise Der transparente Tabellen-Zugriff Statistische Analysen mit R in der Datenbank Visualisierung von Ergebnissen (Plotting) Visualisierung von Ergebnissen (OBIEE) Einbinden in umfangreiche Analyse-Szenarien 3

4 Anforderungen: Schnellere und elegantere Analyse-Abläufe Geringere Latenzen bei der Datenbereitstellung Linerare Skalierung Vorhersehbare Aufwände und Durchsatz Ressourcen 4

5 Anforderungen: Effizienterer und leichterer Umgang mit Daten und Informationen Weniger Datenbewegung Flexiblere Tools und flexibler Datenaustausch Mehr Gesamtunternehmensdaten in der Analyse Ressourcen Leichte Zugänge Mehr Informationen 5

6 Versteckte Beziehungen entdecken R Statistische Programmiersprache OPEN SOURCE Sprache und Umgebung STATISTISCHE BERECHNUNGEN und Graphik STÄRKE liegt in der schnellen graphischen Aufbereitung (Plots) PCA 5 online users sales returns history >5,300 statistische Packages Clustering 4 Groups 28 Factor 1 Factor 3 LEICHT ERWEITERBAR durch Open Source Community

7 Anforderungen: Flexibles Arbeiten Analysieren integrierter Data Interaktives Arbeiten, Erstellen von Ergebnissen und Weiterverarbeiten Ad Hoc Analysieren Ressourcen Mehr Möglichkeiten Leichte User Zugänge Facts Mehr Informationen 7

8 Warum nutzen immer mehr Anwender R Warum R Kann mehr Oft mehr Funktionen, als in klassischen Tools Ist schnell Ist ansprechbar - offene Kommunikation Neue Funktionen, sind oft in R als erstes implemtiert Point Die Entwickler der Funktionen sind oft per Mail direkt erreichbar Schläft nicht Weltweit wird mit R gearbeitet Ist günstiger Was kosten die übrigen Tools? 8

9 Warum sollte man sich für R interessieren Gehört zu den neuen aufkommenden Trends Next big thing in Avanced Analytics Moderne statistische Programmiersprache Ausbildungsinstitute und Universitäten nutzen R für die Ausbildung (Sie ersetzen traditionelle Tools) Advanced Analytics ist zunehmend kritisches Unterscheidungsmerkmal im DWH Technologie Stack R wird durch Oracle R Enterprise skalierbar Kostengünstige Alternative zu SAS 9

10 Graphische Bediener-Oberflächen Live Live Auswahl bei den GUIs Bereiche: R Console Plot-Bereich Ergebnis-Bereich Messages Standard GUI / Rstudio / Rcommander/.../... 10

11 Daten-Visualisierung mit R Live Live gallery.r-enthusiasts.com/ 11

12 Beispiel für spezielle Graphik und Funktion > library(quantmod) > getsymbols(orcl) > chartseries(orcl,subset='last 3 month') Beispiele für Graphiken praktisch direkt aus dem Netz 12

13 13 Daten und Objekte

14 Einfache Beispiele zur Darstellung der Sprachmimik Live Live > alter <- c(19,20,20,19,25,26,22,25,29) Vektor > geschl <- c(1,2,2,1,2,2,2,1,2) > geschl.faktor <- factor(geschl) Faktor > bsp.data.frame <- data.frame(alter,geschl.faktor) Data-Frame round(tapply(alter,geschl,mean,na.rm=true),0) 14

15 Daten-Handling Live Live Lokale Daten Datenbank R Engine df <-read.csv(file.choose()) class(df) names(df) objects() dim(df) 15

16 Oracle R Enterprise Oracle Advanced Analytics - Oracle R Enterprise and Oracle Data Mining R code und/oder SQL Modelle laufen In-Database Große Datenmengen Built-in security 16

17 Oracle R-Angebote Oracle R Distribution Free download, pre-installed on Oracle Big Data Appliance, bundled with Oracle Linux Enterprise support for customers of Oracle R Enterprise, Big Data Appliance, and Oracle Linux Contribute bug fixes and enhancements to open source R ROracle Open source Oracle database interface driver for R based on OCI Maintainer is Oracle rebuilt from the ground up Many bug fixes and optimizations Oracle R Enterprise Transparent access to database-resident data from R Embedded R script execution through database managed R engines Statistics engine Oracle R Connector for Hadoop R interface to Oracle Hadoop Cluster on BDA Access and manipulate data in HDFS, database, and file system Write MapReduce functions using R and execute through natural R interface 17

18 Mögliche Szenarien mit Oracle R-Enterprise RAM File System R Engine RAM Direkten Zugriff auf alle Tabellen in der Datenbank File System R Engine RAM Auslagern der Analysen in die Datenbank Zurückholen der Ergebnisse Anlegen neuer Objekte in der Datenbank RAM Parallelisierung durch die Datenbank R Engine R Engine R Engine R Engine RAM R Engine R-Analysen über SQL-Funktionen (Batch) File System SQL RAM Parallelisierung durch die Datenbank R Engine R Engine R Engine R Engine RAM 18

19 Oracle R Enterprise Data Sources R Engine R user on desktop Andere Datenbanken Direkter Zugriff RODBC, DBI, etc Oracle R Enterprise Andere R packages Packages Direkter Zugriff Import / Load Data File systems Push Pull Results SQL Oracle Datenbank Database Links User tables Transparent Layer External Tables Select...Fro..Table(...) begin Create Function end Parallel Aufrufe Bulk import R Engine R Engine R Engine Oracle R Enterprise Andere R packages Oracle R Enterprise Packages Other R packages Oracle R Enterprise packages Other R packages packages Andere Datenbanken File systems 19

20 Transparency Layer Support ORE bietet eine in-database execution Funktionalität als transparente Schicht an What s transparent about it? R Benutzte benötigen nur R Syntax Benutzer sehen Datenbank-Objecke as spezielle R Objekte Unterstützt weden fast alle R-Funktionen des Basis-Pakets Unterstützt R's Statistik und Graphik-Pakete Funktional vergleichbar mit SAS DATA STEP, läuft allerdings in- Datenbank! 20

21 ORE Packages Package Description ORE Top Level Package for Oracle R Enterprise OREbase Corresponds to R s base package OREstat Corresponds to R s stat package OREgraphics Corresponds to R s graphics package OREeda ORE s exploratory data analysis package containing SAS PROCequivalent functionality ORExml ORE s package supporting XML translation between R and Oracle Database - internal ORHC Oracle R Hadoop Connector Oracle All Rights Reserved

22 22 Funktionen und Methoden

23 Funktions- und Methodenübersicht Live Live Mathematische Funktionen: abs, sign, sqrt, ceiling, floor, trunc, cummax, cummin, cumprod, cumsum, log, log10, log2, log1p, acos, acosh, asin, asinh, atan, atanh, exp, expm1, cos, cosh, sin, sinh, tan, tanh, gamma, lgamma, digamma, trigamma, round, signif, pmin, pmax, zapsmall Basis Statistik: mean, summary, min, max, sum, any, all, median, range, IQR, fivenum, mad, quantile, sd, var, table, rowsums, colsums, rowmeans, colmeans Rechnen: +, -, *, /, ^, %%, %/% Vergleichen: ==, >, <,!=, <=, >= Logik: &,, xor Mengenbezogene Abgleiche: unique, %in% Zuweisungen: <-, =, -> 23

24 Funktions- und Methodenübersicht Live Live Strings: tolower, toupper, casefold, tostring, chatr, sub, gsub, substr, substring, paste, nchar Data Frames Kombinieren / Ergänzen: cbind, rbind, merge Combine vectors: append Vector creation: ifelse Subset: [, [[, $, head, tail, window, subset, Filter, na.omit, na.exclude, complete.cases Daten umgruppieren: split, unlist Datenverwalten: eval, with, within, transform Apply Varianten: tapply, aggregate, by Regression: ore.lm() - a variant of lm() Werte-Checks: is.na, is.finite, is.infinite, is.nan Metadaten Funktionen: attributes, nrow, NROW, ncol, NCOL, nlevels, names, row, col, dimnames, dim, length, row.names, col.names, levels, reorder 24

25 Funktions- und Methodenübersicht Live Live Graphik: hist, boxplot, plot, smoothscatter Garbage collection: gc (Löschen von temp. tabellen) Konvertierungen: as.ore.{character, factor, integer, logical, numeric, vector} Test Funktionen: is.ore.{character, factor, integer, logical, numeric, vector} Save: ore.push (table is automatically refreshed in R memory) Hypothesen-Test: wilcox.test, ks.test, var.test, binom.test, chisq.test, t.test, bartlett.test Bessel Funktionen: Bessel(I,J,K,Y) Gamma Funktionen: gamma, lgamma, digamma, trigamma (part of mathematical functions group) Verteilungen: Density, cumulative distribution, and quantile functions for standard distributions Matrix: %*% (matrix multiplication), crossprod (matrix cross-product), tcrossprod (matrix cross-product A times transpose of B) 25

26 26 Arbeiten mit Tabellen in der Datenbank

27 Beispiele für den transparenten Zugriff Live Live library(ore) ore.connect("rquser","sid","host", "PASSWORD",1521) Connect to a specific schema and database One connection active at a time ore.create( ONTIME_S, table = "NEW_ONTIME_S") ore.create( ONTIME_S, view = "NEW_ONTIME_S_VIEW") Create a database table from a data.frame, ore.frame. Create a view from an ore.frame. ore.drop(table="new_ontime_s") ore.drop(view="new_ontime_s_view") t <- ore.get("ontime_s","rquser") ore.attach() v <- ore.push(c(1,2,3,4,5)) ore.sync() ore.sync("rquser") ore.sync(table=c("ontime_s", "NARROW")) ore.sync("rquser", table=c("ontime_s", "NARROW")) Drop table or view in database Store R object in database as temporary object, returns handle to object. Data frame, matrix, and vector to table, list/model/others to serialized object Synchronize ORE proxy objects in R with tables/views available in database, on a per schema basis ore.exists("ontime_s", "RQUSER") ore.exec("create table F2 as select * from ONTIME_S") Returns TRUE if named table or view exists in schema 27

28 Zusammenfassung der HDFS-Ergebnisse Die Basis für weitere Auswertungen schaffen Bewertung PRODUKT_NR FEHLER_NR BEWERTUNG TREFFER D_Artikel ARTIKEL_NAME ARTIKEL_ID GRUPPE_NR GRUPPE_NAME SPARTE_NAME SPARTE_NR Nutzbarkeit NUTZ_NR NUTZ_WERT Datenbanktabelle: GESAMTSICHT 28

29 Zugriff auf Datenbank-Tabellen ore.connect(user = "RU",sid = "ORCL",host = "localhost",password = "RU",port = 1521) ore.sync() ore.ls() class(gesamtsicht) 29

30 Orientierung über die Struktur der Tabellen dim(gesamtsicht) names(gesamtsicht) 30

31 Orientierung über die Struktur der Tabellen str(gesamtsicht) 31

32 Ausschnitt der Daten anzeigen lassen head(gesamtsicht) 32

33 Durchschnittliche Bewertung berechnen tapply(nutz_nr,produkt_nr,mean) 33

34 Einfache visuelle Darstellung Welche Produkte zeigen auffälliges Verhalten? plot(round(tapply(nutz_nr,produkt_nr,mean),2),type="h",xlab = "Produktnummern", ylab ="Bewertungsindex") Produkte mit schlechten Bewertungen 34

35 Histogramm hist(round(tapply(nutz_nr,produkt_nr,mean),2),ylab = "Produktnummern", xlab ="Bewertungsindex") Die meisten Produkte haben gute Bewertungen im Bereich von

36 Neue Datenstrukturen erstellen, Namen, Spalten Durchschnittliche Bewertungen pro Produkt bew_prod <- aggregate(gesamtsicht$nutz_nr, by=gesamtsicht$produkt_nr, FUN = mean) Spaltennamen ungeschickt PRODUKT_NR <- c(bew_prod$group.1) BEWERTUNG <- c(bew_prod$x) df_bew_prod <- data.frame(produkt_nr,bewertung) Neue Spaltennamen erstellt 36

37 Neue Datenbanktabelle anlegen, Daten tauschen ore.create(df_bew_prod,table = "PRODUKT_BEWERTUNG") Über die R-Engine erstellt CREATE table UMSATZ_2012_PRO_ARTIKEL as SELECT a.artikel_id PRODUKT_NR,sum(U.umsatz) UMSATZ_2012 FROM f_umsatz_range U, D_zeit z, D_artikel a WHERE U.zeit_id = z.zeit_id AND U.artikel_id = a.artikel_id and z.jahr_nummer = 2012 GROUP by a.artikel_id ; In der Datenbank erstellt produkt_umsatz_bewertung <- merge(produkt_bewertung,umsatz_2012_pro_artikel, by="produkt_nr",all=false) Das Objekt produkt_umsatz_bewertung ist neu erstellt worden und könnte auch in die Datenbank gebracht werden. 37

38 Neue Strukturen aufbauen Gibt es eine Korrelation zwischen Bewertung und Umsatz? Die neue Tabelle enthält die Spalten Umsatz und Bewertung. Gibt es dazwischen einen Zusammenhang. > names(produkt_umsatz_bewertung) [1] "PRODUKT_NR" "BEWERTUNG" "UMSATZ_2012 > attach(produkt_umsatz_bewertung) > df_bewertung_umsatz <- data.frame(bewertung,umsatz_2012) 38

39 39 Funktionen und Prozeduren in der Datenbank

40 Gezielte Steuerung von Scripten innerhalb der Datenbank with(erstis,split(alter,geschl)) mod <- ore.doeval( function(param) { library(ore) ore.connect(user="rquser", password="rquser", sid="orcl", host=" ",port=1521) ore.sync() ore.attach() mod <- with(erstis,split(alter,geschl)) }); Lokale R-Engine auf PC Lokale R-Engine auf PC Oracle Datenbank Tabelle wird in den lokalen Speicher kopiert und lokal analysiert Tabelle bleibt in der DB. Analyse findet im Speicher des DB-Servers statt Das Ergebnis wird zurückgeliefert erstis Oracle Datenbank erstis R-Engine R-Engine auf auf DB-Server DB-Server R-Engine auf DB-Server DB-Server-Maschine DB-Server-Maschine 40

41 OREeda Package Functions spezielle Funktionen (SAS analog) ore.corr ore.crosstab ore.freq ore.lm ore.rank ore.sort ore.summary ore.univariate Lokale R-Engine auf PC Oracle Datenbank erstis DB Memory R Memory R-Engine R-Engine auf auf DB-Server DB-Server R-Engine auf DB-Server Die Abarbeitung im Memory der Datenbank ist schneller als im Memory der R Engine auf dem Server DB-Server-Maschine 41

42 Gezieltes Ansteuern einer Verarbeitungsvariante (Beispiel Regressions Modell) mod <- ore.doeval( function(param) { library(ore) ore.connect(user="rquser", password="rquser, sid="orcl", host=" ",port=1521) ore.sync() ore.attach() mod <- ore.lm(lz.1 ~ zuf.inh.1,erstis) mod }); mod_local <- ore.pull(mod) class(mod_local) summary(mod_local) Daten bleiben im Memory Der Oracle Datenbank Laufzeit: 3 Sekunden mod <- ore.doeval( function(param) { dat <- ore.pull(ontime_s) mod <- lm(arrdelay ~ DISTANCE + DEPDELAY, dat) mod }); mod_local <- ore.pull(mod) class(mod_local) summary(mod_local) Daten im Memory der R-Engine auf dem DB-Server Laufzeit: 110 Sekunden 42

43 Aufrufen von R-Scripten über SQL-Statements komplett in der Datenbank (sys.rqscriptcreate) select * from table(rqeval(null, 'select 1 id, 1 res from dual', 'Example1')); Oracle Datenbank Select * from Table() DB Memory R Memory R-Engine R-Engine auf auf DB-Server DB-Server R-Engine auf DB-Server DB-Server-Maschine begin sys.rqscriptcreate('example1, 'function() { ID <- 1:10 res <- data.frame(id = ID, RES = ID / 100) res}'); end; / 43

44 44 Visualisieren von Ergebnissen (Plotting)

45 45

46 46

47 47

48 48

49 49 Visualisieren von Ergebnissen (OBIEE)

50 Anzeige über Business Intelligence Als Funktion oder gespeicherte Ergebnisse Das Kundenranking wird mit in den Berichten angezeigt 50

51 51 Einbindung von R-Grafiken in OBIEE Mit Parametern

52 52 Oracle R Connector for Hadoop

53 Oracle R Connector for Hadoop Concepts HDFS Access API Darstellen des HDFS CLI API als R Funktion wobei HDFS Dateien wie spezielle R Objekte erscheien Alle Operationen analog hadoop fs <cmd> sind machbar HDFS transparenrt Layer Alle R Funktionen auf data.frames sind auch auf Daten im HDFS transparent anwendbar Hadoop Execution Engine Map-Reduce Jobs können aus R-Umgebung heraus in der Hadoop Engine gesteuert werden (Scheduling) Hadoop Job Driver Kontrolle über Datenlese- und Transformations-Aktivitäten, Ausführung von Map/Reduce User Funktionen und Data Sorage - Aktivitäten auf der Server-Seite (z. B. Hadoop Cluster) Database Data Loader Austausch von Daten zwischen HDFS und Datenbank, in beide Richtungen Oracle All Rights Reserved

54 Oracle R Hadoop Cluster (ORHC) Architecture Client Host (e.g., laptop) Server Machine (e.g., Big Data Appliance) R engine orhc Hadoop Cluster Software ORE packages Java VM R engine orhc-drv package orhc ORE client packages Java VM Hadoop Cluster DBMS Machine (e.g., Exadata) MapReduce nodes JobTracker HDFS nodes Name node R engine ORE packages Oracle Database Task node Data node ORE libraries Task node Data node Oracle All Rights Reserved

55 Database connectivity / interaction orhc.connect(host, user, sid, passwd, port, secure=t) Establishes connection from ORHC to Oracle Database Returns RDBMS connection object orhc.disconnect() Disconnects from Oracle Database Returns RDBMS connection object orhc.reconnect() Reconnects to Oracle RDBMS with previous credentials Faster than orhc.connect () orhc.which() Displays information about current RDBMS connection orhc.dbg.off() Turns off all debug output orhc.dbg.on('error') Turns on error messages only Oracle All Rights Reserved

56 HDFS connectivity / interaction hdfs.connect(dfs.url) Establishes connection to Hadoop's HDFS Returns HDFS connection object hdfs.disconnect() Disconnect from Hadoop's HDFS. Rolls back connection to the default as setup in local Hadoop client configuration Returns HDFS connection object hdfs.reconnect() Reconnects to the previous disconnected Hadoop HDFS hdfs.which() Displays information about current HDFS connection Oracle All Rights Reserved

57 HDFS connectivity / interaction hdfs.push(x, dfs.name, overwrite, driver, split.by) Copies ore.frame from RDBMS to HDFS. Returns HDFS object identifier used in HDFS/Hadoop function calls hdfs.pull(dfs.id, sep, db.table.name, overwrite, driver) Copies HDFS object to RDBMS Returns an ore.frame which points to new table hdfs.upload(filename, dfs.name, overwrite, split.size, header) Uploads local file to HDFS Simplest and fastest way to transfer data to HDFS from local storage Replicates the local file into HDFS directory By default HDFS directory get a unique ID and the HDFS file(s) named "part-0000x If local file > split.size bytes, file automatically split into several parts hdfs.download(dfs.id, filename, overwrite) Downloads an HDFS file to the local file system Simplest and fastest way to transfer data from HDFS to local storage Replicates HDFS directory part-0000x files into the local file by combining all part-0000x files as one Oracle All Rights Reserved

58 HDFS connectivity / interaction hdfs.put(x, key, dfs.name, overwrite) Copies data from R in-memory object (data.frame) to HDFS Column names, data types, etc. stored as metadata with data Differs from hdfs.push in that if x = ore.frame then data pulled into the local R memory and then loaded to HDFS If no dfs.name provided, random name generated and returned hdfs.get(dfs.id, sep) Copies data from HDFS into R in-memory object Metadata extracted and column names, data types, etc. restored if data originated from R environment Otherwise generic reverse-engineered attributes (like val1, val2 for names) are assigned Oracle All Rights Reserved

59 HDFS connectivity / interaction hdfs.sample(dfs.id, lines, sep) Samples (partially copies) data in HDFS and returns an R data.frame in-memory object No guarantee to the random nature of rows returned hdfs.attach(dfs.name) Brings an HDFS object into ORHC environment Attaches "unmanaged" HDFS data to ORHC framework and return HDFS object identifier hdfs.rm(dfs.id) Removes data from HDFS Invalidate all HDFS object identifiers pointing to data set Oracle All Rights Reserved

60 HDFS connectivity / interaction hdfs.exists(dfs.id) Checks if HDFS object exists Validates HDFS object identifier or existence of HDFS data with the specified name in HDFS Returns TRUE if data can be attached and used in hadoop.run() function hdfs.cd(dfs.path) Sets current URI path and optionally connection to an HDFS resource hdfs.ls(dfs.path) Returns name list of all HDSF data objects (directories) at currently set path Only directories containing data are listed hdfs.pwd() Returns current HDFS working directory hdfs.mkdir(dfs.name, cd) Creates a new sub-directory in HDFS relative to the current working directory Oracle All Rights Reserved

61 HDFS connectivity / interaction hdfs.rmdir(dfs.name) Deletes an existing sub-directory in HDFS relative to the current working directory All data objects stored in this directory will be deleted too and, therefore, all assosiated HDFS object identifier will be invalidated hdfs.size(dfs.id) Returns total size of the HDFS object in bytes hdfs.parts(dfs.id) Returns number of parts the HDFS object is divided into Oracle All Rights Reserved

62 Hadoop connectivity / interaction hadoop.connect(host, user, passwd, secure) Establishes connection to Hadoop's MapReduce Returns hadoop connection object if connection was successfully established hadoop.disconnect() Disconnects (drops connection) from Hadoop's MapReduce JobTracker Returns hadoop connection object of the previous settings Rolls back connection to default as set up in local Hadoop client configuration hadoop.reconnect(hmr.con) Reconnects to Hadoop's MapReduce with the hadoop connection object After Hadoop connection dropped, ORHC preserves all user credentials and connection attributes hadoop.which() Displays information about current Hadoop MapReduce connection Oracle All Rights Reserved

63 Hadoop connectivity / interaction hadoop.exec(dfs.id, mapper, reducer, combiner) Invokes Hadoop engine and sends mapper, reducer, and combiner R functions for execution on the server side Provides core functionality for Hadoop MapReduce execution hadoop.run(dfs.id, mapper, reducer, combiner) Invokes Hadoop engine and sends mapper and reducer R functions for execution If input data not resident in HDFS Data pushed to HDFS User map-reduce script prepared for execution Script sent to Hadoop If successful execution, data pulled from HDFS to local R memory and to the database depending on input data location Internally, invokes hdfs.push() and hdfs.pull() APIs so their security considerations apply Oracle All Rights Reserved

64 Running jobs locally ORHC allows Hadoop jobs to be run locally Supports testing scripts before deploying to Hadoop Cluster Use the command assign('dry.run', T, ORHC:::.orhc.env) Next hadoop.run() command will be executed locally Data from HDFS is still accessed as before 66

65 Oracle R Enterprise and Hadoop Goal: Average the stopping distance where distance is greater than 30 feet for each speed Map function returns key-value pairs where column dist is greater than 30 Reduce function takes the average of all the returned values cars.dfs <- hdfs.put(cars, key='speed') res <- hadoop.run( cars.dfs, mapper = function(key, val) { if (val$dist > 30) { keyval(key, val) } else { NULL } }, reducer = function(key, vals) { X <- 0 for (x in vals) { X <- X + x$dist } X = X / length(vals) keyval(key, X) } ) res hdfs.get(res) R> res [1] "orhc2d12adf7" attr(,"orhc.dfsid") [1] TRUE R> hdfs.get(res) key val Oracle All Rights Reserved

66 Oracle R Enterprise and Hadoop Goal: take the average arrival delay for all flights to SFO. ontime <- ore.pull(ontime_s[ontime_s$year==2007,]) ontime.dfs <- hdfs.put(ontime, key='dest') res <- hadoop.run( ontime.dfs, mapper = function(key, ontime) { if (key == 'SFO') { keyval(key, ontime) } else { NULL } }, reducer = function(key, vals) { sumad <- 0; count <- 0 for (x in vals) { if(!is.na(x$arrdelay)) { sumad <- sumad + x$arrdelay count <- count + 1 } } res <- sumad / count keyval(key, res) } ) hdfs.get(res) Oracle All Rights Reserved

67 Oracle R Enterprise and Hadoop Goal: take the average arrival delay for flights from to SFO by airline. ontime <- ore.pull(ontime_s[ontime_s$year==2007,])) ontime.dfs <- hdfs.put(ontime, key='uniquecarrier') res <- hadoop.run( ontime.dfs, mapper = function(key, ontime) { if (ontime$dest == 'SFO') { keyval(key, ontime) } else { NULL } }, reducer = function(key, vals) { sumad <- 0 for (x in vals) sumad <- sumad + x$arrdelay res <- sumad / length(vals) keyval(key, res) } ) res hdfs.get(res) Oracle All Rights Reserved

68 Oracle R Enterprise and Hadoop Goal: create a file of the ONITME_S ore.frame to illustrate loading data from a file. Take the average arrival delay for all flights from to SFO. Output is one value pair. Map function returns key-value pairs where column DEST is SFO Reduce function produces the mean of arrival delay mydat <- "ONTIME_S_FILE.dat" write.csv(ore.pull(ontime_s),row.names=f,file=mydat) ontime.dfs <- hdfs.upload(mydat, header=t) res <- hadoop.run( ontime.dfs, mapper = function(key, ontime) { } }, reducer = function(key, vals) { } ) print(readlines(hdfs.download(res))) Oracle All Rights Reserved

69 71