Analytik Mittels R als übergreifende Plattform

Transkript

1 Analytik Mittels R als übergreifende Plattform Detlef E. Schröder Oracle DWH Community STCC DB

2 Themen Anforderungen an Datenmanagement R - Grundsätzliches Die Datendrehscheibe Datenbank Oracle Hadoop XML Office R- in der Mitte Fragen und Antworten

3 Anforderungen an Datenmanagement Eingabe Hadoop Big Data klassische Dateien XSLX,TXT,LST,Mail Web Inhalte Referenzdaten Datenbanken Oracle Streams Verarbeitung Bereinigen Transformieren Analysieren Anreichern Mining Ausgabe Grafiken Tabellen Excel / Office SQL Druck 3

4 Anforderungen an Datenmanagement Eingabe Hadoop Big Data klassische Dateien XSLX,TXT,LST,Mail Web Inhalte Referenzdaten Datenbanken Oracle Streams Verarbeitung Bereinigen Transformieren Analysieren Anreichern Mining Ausgabe Grafiken Tabellen Excel / Office SQL Druck 4

5 R - Grundsätzliches 5

6 R Überblick R Statistische Programmiersprache OPEN SOURCE Sprache und Umgebung STATISTISCHE BERCHNUNUNGEN und Graphik STÄRKE liegt in der schnellen graphischen Aufbereitung (Plots) PCA 5 users onlin e sales retur ns histor y >5,300 (statistische) Packages Zugriff auf quasi alle Technologien Clustering 4 Groups 28 Factor 1 Factor 3 LEICHT ERWEITERBAR durch Open Source Community

7 Warum sollte man sich für R interessieren Gehört zu den neuen aufkommenden Trends Next big thing in Avanced Analytics Moderne statistische Programmiersprache Ausbildungsinstitute und Universitäten nutzen R für die Ausbildung und ersetzen damit traditionelle Tools Advanced Analytics ist zunehmend kritisches Unterscheidungsmerkmal im DWH Technologie Stack R wird durch Oracle R Enterprise skalierbar Kostengünstige Alternative zu SAS Kernfunktionalität

8 Daten-Visualisierung mit R

9 Oracle R-Angebote Oracle R Distribution Free download, pre-installed on Oracle Big Data Appliance, bundled with Oracle Linux Enterprise support for customers of Oracle R Enterprise, Big Data Appliance, and Oracle Linux Contribute bug fixes and enhancements to open source R ROracle Open source Oracle database interface driver for R based on OCI Maintainer is Oracle rebuilt from the ground up Many bug fixes and optimizations Oracle R Enterprise Transparent access to database-resident data from R Embedded R script execution through database managed R engines Statistics engine Oracle R Connector for Hadoop R interface to Oracle Hadoop Cluster on BDA Access and manipulate data in HDFS, database, and file system Write MapReduce functions using R and execute through natural R interface

10 Die Datendrehscheibe 10

11 Lesen und schreiben in dei Oracle DB Mögliche Szenarien mit Oracle R-Enterprise File System R Engine Direkten Zugriff auf alle Tabellen in der Datenbank File System R Engine Auslagern der Analysen in die Datenbank Zurückholen der Ergebnisse Anlegen neuer Objekte in der Datenbank Parallelisierung durch die Datenbank R Engine R R Engine Engine R Engine R Engine R-Analysen über SQL-Funktionen (Batch) File System SQL Parallelisierung durch die Datenbank R Engine R R Engine Engine R Engine

12 Transparency Layer Support ORE bietet eine in-database execution Funktionalität als transparente Schicht an What s transparent about it? R Benutzter benötigen nur R Syntax Benutzer sehen Datenbank-Objeckte als spezielle R Objekte Unterstützt weden fast alle R-Funktionen des Basis-Pakets Unterstützt R's Statistik und Graphik-Pakete Funktional vergleichbar mit SAS DATA STEP, läuft allerdings in-datenbank!

13 ORE Packages Package ORE OREbase OREstat OREgraphics OREeda Description Top Level Package for Oracle R Enterprise Corresponds to R s base package Corresponds to R s stat package Corresponds to R s graphics package ORE s exploratory data analysis package containing SAS PROC-equivalent functionality ORExml ORHC ORE s package supporting XML translation between R and Oracle Database internal Oracle R Hadoop Connector

14 Invoke in-database aggregation function aggdata <- aggregate(ontime_s$dest, by = list(ontime_s$dest), FUN = length) class(aggdata) head(aggdata) Source data is an ore.frame ONTIME_S, which resides in Oracle Database The aggregate() function has been overloaded to accept ORE frames aggregate() transparently switches between code that works with standard R data.frames and ore.frames Returns an ore.frame Client R Engine Other R packages Transparency Layer Oracle R package R user on desktop select DEST, count(*) from ONTIME_S group by DEST Oracle Database User tables In-db stats 2012 Oracle All Rights Reserved

15 Gezieltes Ansteuern einer Verarbeitungsvariante (Beispiel Regressions Modell) mod <- ore.doeval( function(param) { library(ore) ore.connect(user="rquser", password="rquser, sid="orcl", host=" ",port=1521) ore.sync() ore.attach() mod <- lm(arrdelay ~ DISTANCE + DEPDELAY, dat) return (mod) }); mod_local <- ore.pull(mod) class(mod_local) summary(mod_local) Daten bleiben im Memory Der Oracle Datenbank Laufzeit: 3 Sekunden mod <- ore.doeval( function(param) { dat <- ore.pull(ontime_s) mod <- lm(arrdelay ~ DISTANCE + DEPDELAY, dat) return( mod ) }); mod_local <- ore.pull(mod) class(mod_local) summary(mod_local) Daten im Memory der R-Engine auf dem DB-Server Laufzeit: 110 Sekunden

16 R on Hadoop 16

17 Integrierte R Umgebung Oracle R Connector for Hadoop Native R MapReduce Client Host Oracle Big Data Appliance Oracle Exadata Native R HDFS Zugriff Mehr Produktivität R Engine ORHC ORE R Engine ORHC Hadoop Cluster Software MapReduce Nodes HDFS R Engine ORE

18 R on Files TXT Read.table CSV > meinetabelle <- read.table("/pfad/zur/tabelle.txt", header=true) Read.csv XLS read.xls und andere ODBC RODBC für alle Files, für die es ODBC Verbindungen gibt 18

19 R on http Rcurl Zeilenweise lesen eines http Requests Verarbeiten von <> Tags Standard Informationen auf Wikipedia... 19

20 R in der Mitte

21 SQL Datenbank als Integration SQL auf R - Funktionen SQL auf Datenbankobjekte SQL auf Hadoop durch die DB (Big Data SQL) 21

22 XML als Integration Für Grafiken und Tabellen Als Basis für alles was XML spricht Berichtswesen Z.B: OBIP Oracle BI Publisher 22

23 Anzeige über Business Intelligence Als Funktion oder gespeicherte Ergebnisse Das Kundenranking wird mit in den Berichten angezeigt

24 Einbindung von R-Grafiken in OBIEE Mit Parametern 2011 Oracle All Rights Reserved

25 Grafiken exportieren JPG, PNG, BMP, TIFF, SVG, EPS,... Direkt in ein Verzeichnis für weitere Nutzung 25

26

27

28

29

30 XLS(X) In die Officewelt Aus R in Excel Für Tabellen und Berechnungen Öffnet in die Anwenderschicht write.xls() oder xlsreadwrite als Package 30

31