SAS und R -Ein ungleiches Paar-

Transkript

1 SAS und R -Ein ungleiches Paar- 15. KSFE in Heidelberg 25. Februar 2011

2 Über uns HMS Analytical Software ist seit 21 Jahren IT-Spezialist für Datenanalysesysteme und Business Intelligence Leistungen Beratung, Konzeption und Validierung Kundenspezifische Entwicklung Projektmanagement und -unterstützung Schulung und Support Branchen Life Science (Pharma, Medizingeräte) Banken und Versicherungen und andere Technologien Analytics: SAS, Microsoft Business Intelligence, R Anwendungsentwicklung: Java und Microsoft.NET 2

3 Agenda Konzept hinter SAS und R Installation und Support Wie werden Programme erstellt? SAS-Makros vs. R Funktionen Performancevergleich bei großen Datenmengen Schnittstellen von SAS zu R und umgekehrt Fazit 3

4 Konzept hinter SAS 1970 Entstehung des Auswerteprogramms Statistical Analysis Software an der NC State University 1976 Gründung des SAS Institute, Sitz in Cary, North Carolina. Kommerzielles Software-Produkt. weltweit größte Software-Firma in Privatbesitz[1] ca Angestellten ca Milliarden Jahresertrag in 2010 Kunden in ca Unternehmen in 100 Ländern Fokus auf: Datenintegration / Data Warehousing Business Intelligence / Data Mining Forschung und Entwicklung vielfältige in sich kompatible Produktlandschaft Lizenzmodell > SAS kann man nicht kaufen 4

5 Konzept hinter R 1993 erstmals in einer Mailing-Liste verteilt [1] Open Source Software unter der General Public Licence (GNU) kostenlose Nutzung geschätzte 2 Millionen Nutzer [2] Focus auf: statistische Berechnungen Graphiken R Foundation gemeinnütziger Verein mit Sitz in Wien Mitglieder bestehen aus dem R Development Core-Team, 19 Personen offizielle Stimme des R Projekts Besitz und Verwaltung des Copyrights der Software und Dokumentation Vielzahl an frei verfügbaren Zusatzpaketen werden von weltweit verteilten R-Programmieren nach Bedarf entwickelt und nicht vom R Development Core-Team 5

6 Fokus des Vergleichs von SAS und R Gegenstand des Vergleichs SAS Language mit der SAS-Fensterumgebung (Display Manager) R Environment Nicht Gegenstand des Vergleichs SAS Enterprise Guide Weitere Frontends der SAS-Plattform 6

7 Installation und Support SAS Download-Center / DVD Langer Installationsprozess SAS Foundation PROC CORR, PLOT, MACRO Weitere Module SAS STAT, GRAPH, Support: Online Hotline ( ) Training Newsletter R Download von CRAN Kurzer Installationsprozess R Base Recommended / Base Packages Support / Hilfe: Mailing-Listen R-Journal Bug-Tracking R-Search 7

8 Wie werden Programme erstellt? SAS Fensterumgebung R Environment 8

9 Wie werden Programme erstellt? SAS Code Aufbau in Blöcken Datenstrukturen - numerische Werte - alphanumerische Werte - Tabellen - Matrizen (nur bei IML) - Makrovariablen DATA STEP PROZEDUR zentraler Baustein z.b. erzeugen von Daten Zusammenführen von Daten zentraler Baustein Spezielle Funktionalitäten 10

10 Wie werden Programme erstellt? R Code Zeilenbasierte Programmierung Objektorientierte Datenstrukturen Vektor Matrix Dataframe... Optimiert auf Matrixmanipulationen R-Funktionen spezielle Funktionalitäten 11

11 SAS-Makros vs. R-Funktionen SAS-Makrosprache - Abspeichern von wiederkehrenden Programmsequenzen - Makros werden vom Makro- Prozessor verarbeitet - Makros arbeiten nach dem Textersetzungsprinzip - Makrovariablen speichern Text. Der Gültigkeitsbereich kann lokal oder global sein. - Erstellung von Makro- Bibliotheken 12

12 SAS-Makros vs. R-Funktionen R-Funktionen - Abspeichern von wiederkehrenden Programmsequenzen - mehrere Funktionen werden in der Regel zu Paketen (eigene Hilfe, Manuals usw.) zusammengefasst - Variablen innerhalb der Funktion haben lokalen Gültigkeitsbereich 13

13 Performancevergleich bei großen Datenmengen Pseudocode: start = Systemzeit; Erzeuge Daten durch aneinanderhängen von Daten1 und Daten2; /*512 Byte*/ Sortiere Daten nach Spalte1 & Spalte2; Selektiere * wo SpalteXY = ABCD ; ende = Systemzeit; dauer = ende start; 14

14 Performancevergleich bei großen Datenmengen Berechnungsdauer [sec] Tausende Zeilen des Datensatz 15

15 Performancevergleich bei großen Datenmengen Berechnungsdauer [sec] Mit R kam es zum Abbruch Tausende Zeilen des Datensatz 16

16 Performancevergleich bei großen Datenmengen R bei großen Datenmengen 1) 2) 3) 4) 17

17 Performancevergleich bei großen Datenmengen Intel Core Duo CPU, 2.53 GHz, 2GB RAM SAS 9.2 R R schneller bei durchgeführten Operationen - R lädt Daten in Arbeitsspeicher - Limitierung durch Größe des Arbeitsspeichers SAS kann große Datenmengen verarbeiten - Daten werden pro Verarbeitungsschritt von der Festplatte gelesen und wieder geschrieben - Berechnungsdauer entsprechend höher - Verwendung des Hauptspeichers ebenfalls möglich (SASFILE-Anweisung) 18

18 Schnittstelle SAS IML 9.22 zu R IML muss lizensiert und installiert sein SAS muss mit Option RLANG gestartet werden Kompatibel mit R Version R Start-Statement R-Code End-Statement R-Code 19

19 Schnittstelle SAS IML 9.22 zu R Datenexport von SAS zu R: Subroutine SAS Quelle R Ziel-Objekt ExportDataSetToR SAS data set R data frame ExportMatrixToR SAS/IML matrix R matrix Datenimport von R zu SAS: Subroutine R Ziel-Objekt SAS Quelle ImportDataSetFromR R expression SAS data set ImportMatrixFromR R expression SAS/IML matrix 20

20 Schnittstelle R zu SAS Keine direkte Schnittstelle zu SAS implementiert Aufruf von SAS aus R mittels System-Befehl: Aufruf des SAS-Programms: Datenimport in R: 21

21 Qualität der Software SAS kundenorientiert R entwicklerorientiert Installation / Operational Qualification Tool Installation Qualification- Tool (vorhanden aber fehlerhaft) Entwickler arbeiten lokal im Team definierte Testabläufe Entwickler weltweit verteilt Zusatzpakete sind meist nur unzulänglich geprüft 22

22 Fazit Es wurde SAS Language und R dargestellt SAS Plattform besitzt eine Fülle an Frontends, Server, Metadatenverwaltung, Middleware-Komponenten Unterschiedliche Entstehungsgeschichten Ansprüche an den Nutzer Performance bei großen Datenmengen Installation und Support Ähnliche Entwicklungsumgebung Aufbau von wiederverwendbarem Code Gemeinsame Schnittstelle Persönlicher Eindruck SAS mit besser geprüfter Qualität R schneller bei neuen Entwicklungen R sehr gut integrierbar in SAS mit SAS IML 9.22 Kein pauschales besser oder schlechter 23

23 Vielen Dank! Besuchen Sie uns auf unserem Messestand im Hörsaalgebäude Chemie! Dort können Sie im Anschluss mit dem Referenten diskutieren finden Sie Demos zu diesem Vortrag können Sie sich über das Angebot von HMS informieren gibt es Jobangebote gibt es Informationen für Studenten zu Praktika und Abschlussarbeiten bei HMS Dipl. Ing. (FH) Biotechnologie Softwareentwickler HMS Analytical Software GmbH Rohrbacher Str Heidelberg Telefon