SAS-Tipp #6: Schneller als Proc Summary

Größe: px

Ab Seite anzeigen:

Download "SAS-Tipp #6: Schneller als Proc Summary"

August Dresdner
vor 5 Jahren
Abrufe

News Artikel Foren Projekte Links Über Redscope Join List Random Previous Next Startseite Foren ETL & Base SAS SAS-Tipp #6: Schneller als Proc Summary 15 July, 2014-14:22 Martin Steinert Zugegeben,

Durch den häufigen Einsatz des Proc Summary, lohnt es sich jedoch auf Optimierungpotential zu Prüfen. Hierfür ist die Waffe der Wahl der Data Step oder alternativ Proc SQL.

1 News Artikel Foren Projekte Links Über Redscope Join List Random Previous Next Startseite Foren ETL & Base SAS SAS-Tipp #6: Schneller als Proc Summary 15 July, :22 Martin Steinert Zugegeben, lässt sich die Performance des Proc Summary, respektive die des Proc Means nicht in jedem Falle verbessern. Durch den häufigen Einsatz des Proc Summary, lohnt es sich jedoch auf Optimierungpotential zu Prüfen. Hierfür ist die Waffe der Wahl der Data Step oder alternativ Proc SQL. Denn durch den Einsatz eines Data Steps ergaben sich in unserer Umgebung Einsparungen von bis zu 70% der CPU Laufzeiten. Ein weiterer großer Vorteil ist, dass die im folgenden dargestellten Alternativen zum Proc Summary und Proc Means wesentlich Ressourcen schonender ihre Arbeit verrichten. Dies ist insbesondere bei sehr großen Datenmengen und limitiertem Speicher der Fall. Jack S. Yang hat zu diesem Thema ein ausgezeichnetes Paper mit dem Titel A Non-Memory Intensive Alternative to PROC MEANS and PROC SUMMARY geschrieben. Da die Laufzeiten der verschiedenen Vorgehensweisen von Umgebung zu Umgebung stark volatil sind, musste bisher immer jede Möglichkeit einzeln ausprogrammiert werden. Um sich diese Arbeit sparen zu können wurde das Makro KYB_SUMY entwickelt, mit welchem man sich eben diese Arbeit einsparen kann. KYB_SUMY Die unterstützten Methoden zur Summenbildung sind: PROC SUMMARY PROC MEAN PROC SQL DATA STEP Über den Aufruf des Programms kann gesteuert werden: Mandatorische Angaben sind: Auswahl der Methode zur Summenbildung Einzulesendes Data Set Ausgabe Data Set Variablen über die summiert werden soll Variablen über die gruppiert werden soll Optionale Angaben sind: ID Variablen Ausgabe von Häufigkeiten. Dies ist jedoch nur für die Methode PROC SUMMARY und PROC MEAN möglich. %MACRO KYB_SUMY (sum_type = /choose type of summary (mean, sum, data, sql)/,in_data = /Input data set/,out_data = /Output data set/

2 ,var = /variables to summarize/,class = /classification variables/,id = /OPTIONAL: ID variables with MAX as value/,freq = no /Output Frequencies. For PROC MEAN and PROC SUM only. Output Frequencies and _Type_./ ) Praxis Erfahrung: In der eingesetzten Umgebung (Großrechner bei einer Bank) mit 2 Mio. Beobachtungen ergeben sich folgende Laufzeiten: CPU SECONDS PROC SUM: 5,26 PROC MEANS: 5,46 PROC SQL: 3,06 DATA STEP: 1,67 Der Data Step ist hier mehr als dreimal so schnell als Proc Summary und Proc Means. Der für den Data Step benötigte Proc Sort wurde in die Laufzeit mit eingerechnet. Besonderheiten im Programm Die übergebenen Parameter werden vorab überprüft und im Fehlerfall eine entsprechende Meldung ins Log geschrieben. Für den Proc Summary wird eine Tabelle mit einem eindeutigen Namen generiert (wird aus dem Datum berechnet). Hier nun das komplette Programm mit einem Beispiel Aufruf aus den SASHELP Daten. %MACRO DWHDOC PROGRAM: KYB_SUMY VERSION: 1.1 FUNCTION: Summary creation with different summary methods. Possible types are: PROC SUMMARY PROC MEAN PROC SQL DATA STEP CALLED BY: AUTHOR: Martin Steinert (Kybeidos GmbH) INPUT: User defined OUTPUT: User defined COMMENTS: - H I S T O R Y

3 MS Start of development MS _DelME_ replaced by biunique macrovar MS label, lenght, format und informat im data step und proc sql fuer die Summations Variablen zuweisen %MEND %MACRO KYB_SUMY (sum_type = /choose type of summary (mean, sum, data, sql)/,in_data = /Input data set/,out_data = /Output data set/,var = /variables to summarize/,class = /classification variables/,id = /OPTIONAL: ID variables with MAX as value/,freq = no /Output Frequencies. For PROC MEAN and PROC SUM output Frequencies and _Type_./ ) 1) PRODUCING MACRO VARIABLES %LOCAL count_cl count_var count_id commaclass comma i _DelME_ %LET count_cl = %SYSFUNC(COUNTW(&class)) %LET count_var = %SYSFUNC(COUNTW(&var)) %IF &id ne %THEN %DO %LET count_id = %SYSFUNC(COUNTW(&id)) %LET commaclass = %SYSFUNC(TRANSLATE(%STR(&class.), ', ', ' ')) %LET comma = %STR(,) %LET _DelME_ = T%sysfunc(compress(%sysfunc(putn(%sysfunc(datetime()),tod10.1)),:.)) % Temp-Fileref T 2) PARAMETER CHECK /SUM_TYPE/ %IF %INDEX (%STR(DATA SQL SUM MEAN), %STR(%UPCASE(&sum_type.))) eq 0 %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "SUM_TYPE" is empty or not valid!) /IN_DATA/ %IF %QUOTE(&in_data) eq %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "IN_DATA" is empty!) /OUT_DATA/ %IF %QUOTE(&out_data) eq %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "OUT_DATA" is empty!)

4 /VAR/ %IF %QUOTE(&var) eq %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "VAR" is empty!) /CLASS/ %IF %QUOTE(&class) eq %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "CLASS" is empty!) /FREQ/ %IF %INDEX (%STR(NO YES), %STR(%UPCASE(&freq.))) eq 0 %THEN %DO %PUT %STR(ERR)%STR(OR: VR0SUMRY Parameter "FREQ" is not valid!) 3) CREATING SUMMARIES / 3.1) PROC SQL RUN / %IF %UPCASE(&sum_type) = SQL %THEN %DO /PROC SQL/ proc sql noprint create table &out_data as select &commaclass %IF &id ne %THEN %DO %DO i = 1 %TO &count_id,max(%scan(&id, &i)) as %SCAN(&id, &i) %IF %UPCASE(&freq) = YES %THEN %DO,count() as _FREQ_, %LET dsid = %SYSFUNC(open(&in_data,i)) %IF &i = &count_var %THEN %LET comma = %STR() sum(%scan(&var, &i)) as %SCAN(&var, &i) / Generating LENGTH, LABEL, FORMAT and INFORMAT / %LET varnum = %SYSFUNC(varnum(&dsid,%SCAN(&var, &i))) /varnum of var/ %LET fmt = %SYSFUNC(varfmt(&dsid, &varnum)) /format / %LET infmt = %SYSFUNC(varinfmt(&dsid, &varnum)) /informat / %LET lbl = %SYSFUNC(varlabel(&dsid, &varnum)) /label / %LET len = %SYSFUNC(varlen(&dsid, &varnum)) /length /

5 length = &len. format = &fmt. informat = &infmt. label = "&lbl." &comma. %IF &dsid > 0 %THEN %LET rc = %SYSFUNC(close(&dsid)) from &in_data group by &commaclass quit 3.2) PROC SUMMARY RUN %IF %UPCASE(&sum_type) = SUM %THEN %DO /PROC SUMMARY/ proc Summary data = &in_data nway missing id &id class &class var &var output out = &out_data %IF %UPCASE(&freq) = NO %THEN %DO (drop=_type freq_) sum = run 3.3) PROC MEAN RUN %IF %UPCASE(&sum_type) = MEAN %THEN %DO /PROC MEAN/ proc means data = &in_data nway missing noprint id &id class &class var &var output out = &out_data %IF %UPCASE(&freq) = NO %THEN %DO (drop=_type freq_)

6 sum = run 3.4) DATA STEP RUN %IF %UPCASE(&sum_type) = DATA %THEN %DO /PROC SORT/ proc Sort data = &in_data out = &_DelME_ (rename=( %DO i=1 %TO &count_var %SCAN(&var, &i) = %SCAN(&var, &i)_ ) ) by &class run /DATA STEP/ /Replicate PROC SUMMARY / /The "CLASS" variables are &class / /&var and _FREQ_ are the subgroup statistics / data &out_data set &_DelME_ by &class keep &id &class %IF %UPCASE(&freq) = YES %THEN %DO _FREQ_ %SCAN(&var, &i) / Generating LENGTH, LABEL, FORMAT and INFORMAT / %LET dsid = %sysfunc(open(&in_data,i)) / LENGTH / %LET varnum = %SYSFUNC(varnum(&dsid,%SCAN(&var, &i))) /varnum of var/ %LET len = %SYSFUNC(varlen(&dsid, &varnum)) /length / %IF &I = 1 %THEN length %IF &i <= &count_var %THEN %SCAN(&var, &i) &len.. %IF &i = &count_var %THEN

7 / FORMAT / %LET varnum = %SYSFUNC(varnum(&dsid,%SCAN(&var, &i))) /varnum of var/ %LET fmt = %SYSFUNC(varfmt(&dsid, &varnum)) /format / %IF &i = 1 %THEN format %IF &i <= &count_var %THEN %SCAN(&var, &i) &fmt %IF &i = &count_var %THEN / INFORMAT / %LET varnum = %SYSFUNC(varnum(&dsid,%SCAN(&var, &i))) /varnum of var/ %LET infmt = %SYSFUNC(varinfmt(&dsid, &varnum)) /informat / %IF &i = 1 %THEN informat %IF &i <= &count_var %THEN %SCAN(&var, &i) &infmt %IF &i = &count_var %THEN / LABEL / %LET varnum = %SYSFUNC(varnum(&dsid,%SCAN(&var, &i))) /varnum of var/ %LET lbl = %SYSFUNC(varlabel(&dsid, &varnum)) /label / %IF lbl ne "" %THEN %DO %IF &i = 1 %THEN label %IF &i <= &count_var %THEN %SCAN(&var, &i) = &lbl %IF &i = &count_var %THEN %IF &dsid > 0 %THEN %LET rc = %SYSFUNC(close(&dsid)) /Reset subgroup statistics at the start of a new subgroup / if

8 %DO i = 1 %TO &count_cl first.%scan(&class, &i) %IF &i < &count_cl %THEN %DO or then do %SCAN(&var, &i) =. %IF %UPCASE(&freq) = YES %THEN %DO _FREQ_ = 0 end /Accumulate statistics / %SCAN(&var, &i) + %SCAN(&var, &i)_ %IF %UPCASE(&freq) = YES %THEN %DO _FREQ_ + 1 /Output observation after the last subgroup / if %DO i = 1 %TO &count_cl last.%scan(&class, &i) %IF &i < &count_cl %THEN %DO or then do output end run End of Macro KYB_SUMY %MEND Foren: ETL & Base SAS Log in or register to post comments

Ähnliche Dokumente

QMF Tabelle Q.OBJECT_DATA in DB2

News Artikel Foren Projekte Links Über Redscope Join List Random Previous Next Startseite Foren ETL & Base SAS QMF Tabelle Q.OBJECT_DATA in DB2 24 November, 2008-13:23 Wolfgang Hornung wir portieren z.zt.