Revolution Analytics eine kommerzielle Erweiterung zu R

Transkript

1 Revolution Analytics eine kommerzielle Erweiterung zu R Webinar am F. Schuster (HMS) Dr. E. Nicklas (HMS) Von der Einzelplatzlösung zur strategischen Unternehmens- Software

2 Zur Einführung Was zeichnet R aus? de-facto-standard für analytische Anwendungen Hohe Leistungsfähigkeit bzgl. Datenmanagement, Analyse und Visualisierung Enorm viele Erweiterungs- Packages Weite Verbreitung und exponentielles Wachstum Zunehmende Nutzung in Unternehmen Telefonbeispiel: Netzwerkeffekt 2

3 Zur Einführung Drei zentrale Fragen bleiben offen: Big Data Unternehmensweiter Einsatz Verlässlicher Support Lassen sich große Datenbestände Stichwort big data mit R zufriedenstellend verarbeiten? Und was passiert, wenn die Datenmengen wachsen, wie skalierbar und zukunftssicher sind die Lösungen? Ist ein unternehmensweiter, zentral koordinierter Einsatz von R mit überschaubarem Aufwand umsetzbar oder beschränkt sich die Nutzung überwiegend auf Einzelplatz-Installationen? Sind Support und Serviceleistungen des Herstellers ausreichend, um die IT-Abteilung und die Qualitätssicherung zufriedenzustellen? 3

4 Das UniveRsum Wo sind Sie? 4

5 Wer oder was? ist... Revolution Analytics? 5

6 Revolution R Enterprise Erweiterungen von R Big Data In-memory bound Hybrid memory & disk scalability Speed of Analysis Single threaded Parallel threading Enterprise Readiness Community support Commercial support Analytic Breadth & Depth innovative analytic packages Leverage open source packages plus Big Data ready packages Commercial Viability Risk of deployment of open source Commercial license Quelle: Revolution Analytics 6

7 R + CRAN RevoR Revolution R Enterprise Architekturüberblick Revolution R Enterprise DevelopR Deploy R Development & Deployment Tooling Language Interpreter and Standard R Algorithm Suites ScaleR ConnectR Big Data Distributed Execution Platform DistributedR Quelle: Revolution Analytics 7

8 Zur Einführung Drei zentrale Fragen bleiben offen: Big Data Unternehmensweiter Einsatz Verlässlicher Support Lassen sich große Datenbestände Stichwort big data mit R zufriedenstellend verarbeiten? Und was passiert, wenn die Datenmengen wachsen, wie skalierbar und zukunftssicher sind die Lösungen? Ist ein unternehmensweiter, zentral koordinierter Einsatz von R mit überschaubarem Aufwand umsetzbar oder beschränkt sich die Nutzung überwiegend auf Einzelplatz-Installationen? Sind Support und Serviceleistungen des Herstellers ausreichend, um die IT-Abteilung und die Qualitätssicherung zufriedenzustellen? 8

9 Themengebiet (1) Big Data Herausforderungen VOLUME (Größe der Datenbestände) VELOCITY (Geschwindigkeit der Änderung) VARIETY (Unterschiedlichkeit der Daten) Volume & Performance Beschränkung durch den Hauptspeicher (Hauptspeicher zu Datenmenge: Faktor 3, ggfs. Umstellung der Verarbeitung erforderlich) Open-Source-R nutzt nur einen Prozessor Velocity R ist keine Streaming-Lösung Variety R ist für strukturierte Daten ausgelegt (Schnittstellen zu z.b. Hadoop sind jedoch vorhanden) 9

10 Themengebiet (1) Big Data Die Antwort von Revolution Analytics VOLUME (Größe der Datenbestände) VELOCITY (Geschwindigkeit der Änderung) VARIETY (Unterschiedlichkeit der Daten) ScaleR Eigenes Binärdatenformat (XDF) Passende Methoden für Datenmanagement, Import, Export Parallelisierbare und skalierbare Methoden für Datenanalyse, Machine Learning, Monte Carlo Simulationen, 10

11 Themengebiet (1) Big Data Die Antwort von Revolution Analytics VOLUME (Größe der Datenbestände) ConnectR VELOCITY (Geschwindigkeit der Änderung) VARIETY (Unterschiedlichkeit der Daten) Datenimport verschiedener Formate (SAS, SPSS, ) Anbindung an Datenbanksysteme (Teradata, ODBC, ) Integration von R in Hadoop-Umfeld (Cloudera, Hortonworks) 11

12 Themengebiet (1) Big Data Die Antwort von Revolution Analytics VOLUME (Größe der Datenbestände) DistributedR VELOCITY (Geschwindigkeit der Änderung) VARIETY (Unterschiedlichkeit der Daten) Distributed Computing Framework Verwaltung von Ressourcen auf vielen verschiedenen Plattformen Windows, Linux, Hadoop, In-Database Nutzung im Cluster, Grid Integration von R in massiv parallele Maschinen: Netezza, Teradata 12

13 Themengebiet (1) Big Data Die Antwort von Revolution Analytics 13

14 Zur Einführung Drei zentrale Fragen bleiben offen: Big Data Unternehmensweiter Einsatz Verlässlicher Support Lassen sich große Datenbestände Stichwort big data mit R zufriedenstellend verarbeiten? Und was passiert, wenn die Datenmengen wachsen, wie skalierbar und zukunftssicher sind die Lösungen? Ist ein unternehmensweiter, zentral koordinierter Einsatz von R mit überschaubarem Aufwand umsetzbar oder beschränkt sich die Nutzung überwiegend auf Einzelplatz-Installationen? Sind Support und Serviceleistungen des Herstellers ausreichend, um die IT-Abteilung und die Qualitätssicherung zufriedenzustellen? 14

15 Themengebiet (2) Unternehmensweiter Einsatz Herausforderungen Rechnerkapazität des Anwenders Einzelplatz vs. zentraler Server Berechtigungskonzepte Zentral verfügbar und administrierbar Langläufer Wie und wo werden langlaufende Berechnungen ausgeführt? Datensicherheit Aufrechterhaltung von Datenqualität und Datensicherheit Ergebnisverteilung Organisatorische Einbindung Know-how Aufbau, Sicherung und Bereitstellung von R-wissen 15

16 Themengebiet (2) Unternehmensweiter Einsatz Die Antwort von Open-Source-R Rechnerkapazität des Anwenders Berechtigungskonzepte Langläufer Datensicherheit Ergebnisverteilung Know-how Wird selten thematisiert Im Rahmen der üblichen Distribution von R, Packages: viele Lösungsansätze vorhanden (Repositories, Package-Installation und update usw.) Nicht auf Unternehmenseinsatz direkt ausgerichtet 16

17 Themengebiet (2) Unternehmensweiter Einsatz Die Antwort von Revolution Analytics Rechnerkapazität des Anwenders Berechtigungskonzepte Langläufer Datensicherheit Ergebnisverteilung Know-how DeployR Spezialisiert für Deployment, Weboberfläche, Enterprise-Integration Webservices-Schnittstelle für Fremdsysteme, Weboberflächen, Desktop-Anwendungen usw. 17

18 Themengebiet (2) Unternehmensweiter Einsatz Die Antwort von Revolution Analytics Rechnerkapazität des Anwenders Berechtigungskonzepte Langläufer Datensicherheit Ergebnisverteilung Know-how DeployR Verwaltung und Starten von R Skripten über REST Interface Web Services Software Development Kit für Java, JavaScript,.Net Load Balancing, Scheduling, Rechteverwaltung, 18

19 Themengebiet (2) Unternehmensweiter Einsatz DeployR Architekturüberblick End User Desktop Applications (i.e. Excel) Business Intelligence (i.e. Cognos) Interactive Web or Mobile Applications Application Developer Client libraries (JavaScript, Java,.NET) HTTP/HTTPS JSON/XML RevoDeployR Web Services Admin Session Management Authentication Administration Data/Script Management Data Scientist R R R scripts R Grid Node 19

20 Themengebiet (2) Unternehmensweiter Einsatz DeployR Management Oberfläche 20

21 Themengebiet (2) Unternehmensweiter Einsatz DeployR API Explorer 21

22 Zur Einführung Drei zentrale Fragen bleiben offen: Big Data Unternehmensweiter Einsatz Verlässlicher Support Lassen sich große Datenbestände Stichwort big data mit R zufriedenstellend verarbeiten? Und was passiert, wenn die Datenmengen wachsen, wie skalierbar und zukunftssicher sind die Lösungen? Ist ein unternehmensweiter, zentral koordinierter Einsatz von R mit überschaubarem Aufwand umsetzbar oder beschränkt sich die Nutzung überwiegend auf Einzelplatz-Installationen? Sind Support und Serviceleistungen des Herstellers ausreichend, um die IT-Abteilung und die Qualitätssicherung zufriedenzustellen? 22

23 Themengebiet (3) Qualität, Support & Services Herausforderungen Akzeptanz des Systems in der internen IT Klar definierte Supportleistungen Dokumentation und Schulungsangebot Transparente Lebenszyklen von Versionen Rechtliche Risiken in Bezug auf Lizenzen und Lizenzvereinbarungen Sicherstellung ausreichender Qualität im regulierten Umfeld 23

24 Themengebiet (3) Qualität, Support & Services Die Antwort von Open-Source-R Akzeptanz Support Dokumentation Lebenszyklen Rechtliche Risiken Qualität Wird selten explizit thematisiert Community-Modell Einige Ansätze für Qualitätssicherung (z.b. Regressionstests) Schulungsangebote, viel Literatur Nicht auf Unternehmensbedarf ausgerichtet 24

25 Themengebiet (3) Qualität, Support & Services Die Antwort von Revolution Analytics Akzeptanz Support Dokumentation Lebenszyklen Rechtliche Risiken Qualität Stabile Version Definierte, qualitätsgeprüfte Erweiterungspackages Kommerzieller Anbieter, Lizenz IQ/OQ-Skript Sehr gute Dokumentation Verschiedene Support- Angebote und level Professional Services verfügbar: Codeoptimierung, Entwicklungsunterstützung Training, Zertifizierung 25

26 Zusammenfassung R als strategische Unternehmenssoftware? R bietet (nicht nur) im Bereich Analytics viele Chancen Kommerzielle Erweiterungen von Revolution Analytics erweitern die Funktionalität im Hinblick auf Big Data, Deployment und Support Die Anbindungsmöglichkeiten an verbreitete Produkte wird momentan noch stark ausgebaut 28

27 Herzlichen Dank für Ihre Aufmerksamkeit HMS Analytical Software GmbH Rohrbacher Str Heidelberg Friedrich Schuster Dr. Eike Nicklas HMS auf XING: 29