SAS-Umgebung. Dr. Carina Ortseifen Universitätsrechenzentrum. 17. KSFE 2013 Ulm. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 1

Transkript

1 Der Datenschritt Ein mächtiges Werkzeug innerhalb der SAS-Umgebung Dr. Carina Ortseifen Universitätsrechenzentrum ität t 17. KSFE 2013 Ulm 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 1

2 Der SAS-Datenschritt... ist manchmal rätselhaft und mysteriös: Data; x + y; Run; Data _Null_; If 0 Then Set test Nobs=nobs; Call Symputx("nobs",nobs); Stop; Run; Aber auch sehr mächtig: Um eine neue Variable anzulegen, braucht es mit dem SAS/Enterprise Guide 10 (!!!) Klicks im Datenschritt eine Zuweisung Data test; a = 1; Run; 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 2

3 Schlüsselworte im Datenschritt CARDS LINES LENGTH DATALINES PGM= DATA INFILE _ NULL_ RETAIN x=1 _N_ UPDATE BY INPUT FIRSTOBS= OBS= KEEP KEEP= IF WHERE a+b ARRAY RENAME COMPRESS= FIRST. END= RENAME= REUSE= LAST.. NOBS= REPLACE= DROP DROP= SET MERGE OUTPUT POINT= FunkNAME() %MakroNAME RUN_SASFILE() 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 3

4 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 5

5 1. Die Anweisung DATA Frage ans Publikum: Was ist das Ergebnis des folgenden Datenschritts? DATA; x + y ; RUN; Institut / Titel / Verantwortlicher / Position 6

6 Die Anweisung DATA Data dateiname; Aber es gibt auch eine automatische Benennung: Data; erzeugt data1, data2 datan Die Standardbibliothek ist WORK. Mit der Option USER= wird eine andere Standardbibliothek festgelegt. Option User=bibliothek; Nach Beendigung der SAS-Sitzung wird diese nicht gelöscht. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 7

7 Die Anweisung DATA Verarbeitung mehrerer Tabelle Aus n mach eine: Anweisungen MERGE und SET Data gesamt; Set datei1 datei2; Run; Data gesamt; Merge datei1 datei2 ; By id ; Run; 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 8

8 Die Anweisung DATA Verarbeitung mehrerer Tabelle Aus einer Tabelle mach mehrere mit der Anweisung OUTPUT DATA datei1 datei2; Set datei_alt; If (bedingung) Then Output datei1; Else Output datei2; Run; 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 9

9 Anweisung OUTPUT Normalerweise wird am Ende des Datenschritts die Beobachtung in die Tabelle geschrieben, Implizites Output. Data; a=1; Run; entspricht Data; a=1; Output; Run; Verwendet man die Anweisung OUTPUT, wird das implizite Output überschrieben. Fortan werden nur Beobachtungen aus dem PDV in die Tabelle eingetragen, wenn ein OUTPUT erscheint. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 10

10 Anweisung OUTPUT - Anwendung Anwendung findet die Anweisung OUTPUT beim Umstrukturieren von SAS-Tabellen ID A B C 1 A A Aufteilen in mehrere Tabellen ID Zeit Wert 1 A A A A A2 3 2 MehrereTabellen.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 11

11 Die Anweisung DATA - _Null_ DATA _NULL_; erzeugt keine SAS-Tabelle führt Anweisungen aus wird häufig angewandt, um Reports zu erstellen oder wenn SAS als Taschenrechner h verwendet wird: Data _Null_; a=11; b=12; c=a*b ; Put "Das Produkt " c=; Run; 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 12

12 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 13

13 2. Variablendeklaration per Zuweisung: Variable = wert; x = 5; Die Variable x ist von Typ numerisch und hat die Länge 8. Variable = "Text"; a = "Ulm"; Die Variable a ist von Typ Character und hat die Länge 8. per LENGTH-Anweisung: LENGTH variable1 8 variable2 $10; Vorteil: LENGTH legt gleichzeitig die Reihenfolge der Variablen in der Tabelle fest. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 14

14 Variablendeklaration implizite it Zuweisung (auch: SUMAnweisung): ) x + 1; x + y; Die Variable x ist vom Typ numerisch und hat die Länge 8. Nützlich bei Additionen: x + (-y); und Iterationen Data; Set sashelp.class; If (sex="f") Then index + 1; Put index=; Run; Die implizite it Zuweisung enthält ein implizites it Retain. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 15

15 Addieren / Summenbildung 1. Die einfache Variante: Ergebnis = variable1 + variable2; 2. Die Summenfunktion: Ergebnis = sum(variable1, variable2); 3. Implizite Zuweisung: Ergebnis + (variable1 + variable2); Ergibt drei unterschiedliche Ergebnisse!!! Summen.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 16

16 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 17

17 3. Orientierung im Datenschritt mit _N_ Im jedem Datenschritt wird die automatische ti Variable _N_ angelegt. Bei jeder Iteration, d.h. bei jeder neuen Beobachtung, wird diese um 1 erhöht. _N_ ist nicht in der neuen Tabelle enthalten. Einsatzmöglichkeiten: Erzeugung einer eindeutigen Variablen, die die ursprüngliche Reihenfolge enthält, z.b. vor dem Sortieren: Variable = _n_; Bedingtes Ausführen einer Anweisung nach jeder i-ten Beobachtung: If (mod( (_ n _,5) = 0 ) Then ; 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 18

18 Bestimmung der Anzahl der Beobachtungen 1. Variante: _N & END= 4. Variante: SCL-Funktionen _N_ am Ende des Datenschritts gemeinsam mit der Option END= 2. Variante: NOBS= & STOP Die Option Nobs= gemeinsam mit der STOP- Anweisung 3. Variante: IF 0 THEN SET Die Option Nobs= gemeinsam mit der IF 0 THEN SET-Anweisung Die beiden SCL-Funktionen OPEN und ATTRN erlauben den direkten Zugriff auf die Dateieigenschaften. 5. Weitere Varianten mit SQL Funktion COUNT(*) Mit der Prozedur SQL kann auf die Dictionary Tables zugegriffen werden. Makrovariable SQLOBS 6. Variante: SYSNOBS AnzahlBeobachtungen.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 19

19 Am Ende des Datenschritts: Die Option End=Var Wenn die letzte t Beobachtung verarbeitet t wurde, der Datenschritt aber noch nicht beendet ist, können mit der Option End=variable weitere Anweisungen ausgeführt werden. Zum Beispiel um zusätzliche Informationen ins Log-Fenster zu schreiben. 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 20

20 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 21

21 4. By-Gruppenverarbeitung im Datenschritt Automatische ti Variablen First.ByVariable Last.ByVariable Voraussetzung: Die Tabelle ist nach ByVariable sortiert. Anwendungsbeispiele: Reporting im Datenschritt Ausgabe in eine externe Datei, z.b. HTML Berechnung von Zwischensummen in der Tabelle ByGruppen.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 22

22 _N_ und BY und END= Die BY-Gruppen können mit _N_ und END= kombiniert i werden. Damit lässt sich z.b. eine erstellen. Dokumentation von Variablen in eine externe HTML-Datei By_N_End.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 23

23 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 24

24 5. Nur bestimmte Beobachtungen auslesen Drei Varianten: Anweisungen IF und WHERE Einschränkung mit Hilfe einer logischen Bedingung g Dateioptionen FIRSTOBS= und OBS= Nur einen Datenbereich verarbeiten Option POINT= Bestimmte Beobachtungsnummern auslesen Mit POINT= lassen sich auch Teile der Tabelle duplizieren und an anderer Stelle einfügen. BestimmteBeobachtungen.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 25

25 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 26

26 6. Datei-Optionen... werden in Klammern nach SAS-Tabellennamen Tbll geschrieben. hib können in Daten- und Prozedurschritten verwendet werden. Beispiele: FIRSTOBS=, OBS=, DROP=, KEEP=, RENAME= Im Zusammenhang mit der DATA-Anweisung gibt es noch weitere: COMPRESS=, REUSE= $POINTOBS= REPLACE= LABEL= 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 27

27 Die (Datei-) Optionen COMPRESS= und REUSE= SAS Tabellen werden standardmäßig d im Format mit fester Breite gespeichert. D.h. alle Beobachtungen nehmen gleich viel Platz ein, gleichgültig, ob sie Daten enthalten oder nicht. (Option Compress=Yes) Mit der Dateioption COMPRESS=YES kann dieses Verhalten geändert werden: Tabellen nehmen in der Regel weniger Speicherplatz in Anspruch. Zusätzlich erlaubt REUSE=YES, dass freiwerdender Speicherplatz p durch Löschen an neue Beobachtungen vergeben wird. (Ansonsten werden neue Beobachtungen unten angehängt.) $POINTOBS=YES garantiert, dass die POINT-Option Option funktioniert. Die Systemoptionen COMPRESS= und REUSE= sind generelle Einstellungen, während die Dateioptionen COMPRESS= und REUSE= nur für die jeweilige Tabelle gelten.. Compress.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 28

28 Die (Datei-)Option REPLACE= Im Datenschritt werden standardmäßig d neue Tabellen angelegt oder alte Tabellen ersetzt: Das kann manchmal fatale Folgen haben: Data big; Set big; n=_n_; Run; 502 Data big; 503 Run; NOTE: The data set MEINE.BIG has 1 observations and 0 variables. NOTE: DATA statement used (Total process time): real time 0.09 seconds cpu time seconds 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 29

29 Die (Datei-)Option REPLACE= Ursache ist die Systemoption ti REPLACE mit dem Defaultwert: t Replace=Yes. Änderung pauschal für alle Dateien oder mit der Datei-Option Replace=: 507 Option Replace=Yes; 508 Data komp(replace=no); 509 Run; NOTE: The data set MEINE.KOMP has 1 observations and 0 variables. WARNING: Data set MEINE.KOMP was not replaced because of NOREPLACE option. NOTE: DATA statement used (Total process time): real time 0.10 seconds cpu time 0.04 seconds Compress.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 30

30 Stored Program Facility PGM= Der Datenschritt wird zuerst kompiliert und dann ausgeführt. Das Ergebnis der Kompilierung kann ohne Ausführung gespeichert werden mit der Option PGM= Libname pgms "C:\sastest"; Data out / Pgm=pgms.prog01; Set in;... Run; Ausgeführt wird der Datenschritt mit Data Pgm=pgms.prog01; prog01; Run; Mit den Anweisungen Redirect Output/Input können die beteiligten SAS- Tabellen angepasst werden. PGM.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 31

31 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 32

32 7. Arrays Zusammenfassung mehrerer Werte oder Variablen, "Vektor", der aber nur während des Datenschritts verfügbar ist Sinnvoll immer dann, wenn gleiche Operationen mehrmals wiederholt werden: Bildung neuer Variablen Ersetzen von fehlenden Werten Mehrere Variablen um einen Wert erhöhen Syntax: Array name{n *} <Typ <Länge>> var1 var2... varn; Array name{n *} <Typ <Länge>> (wert1... wertn); Array.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 33

33 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 34

34 8. Eigene Funktionen im Datenschritt Mit der Makrosprache, indem Werte zurückgegeben werden %Macro.; %If %Then %Let return=wert1; %Else %Let return=wert2; &return; %Mend; Mit der Prozedur FCMP - Beispielfunktion zur Berechnung des Alters - Drei Vorträge zur PROC FCMP nach der Pause Makro_FCMP.sas 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 35

35 Wegweiser 1. Die Anweisung DATA 2. Variablendeklaration 3. Die interne Variable _N_ 4. By-Gruppen im Datenschritt 5. Nur bestimmte t Beobachtungen 6. Dateioptionen 7. Verarbeitung von Variablen mit Arrays 8. Eigene Funktionen entwickeln und nutzen 9. Literatur 17. KSFE 2013 Ulm: Carina Ortseifen Der Datenschritt 36

36 9. Literatur G. Pfister: Der Data Step das unbekannte Wesen? Vortrag im Rahmen des SAS-Treff am URZ am A.X. Li: The Essence of DATA Step Programming SAS Global Forum 2011, Paper S.D. Riba: The DATA Statement: Efficiency Techniques SUGI 24 (1999), Paper 71 / / / / Sarath Annapareddy: Finding the number of observations in a SAS dataset sas.html C. Ortseifen et.al.: Tipps und Tricks für den leichteren Umgang mit SAS 13. KSFE 2009 Halle Eigene Funktionen i m_datenschritt_erstellen Institut / Titel / Verantwortlicher / Position 37