Der SAS DataStep und die Prozedur SQL Cellent Finance Solutions GmbH Seite: 1

Transkript

1 Der SAS DataStep und die Prozedur SQL 2014 Cellent Finance Solutions GmbH Seite: 1

2 Zahlen und Fakten auf einen Blick Firmensitz: Geschäftsstellen: Branchenerfahrung: Umsatz: Anzahl Mitarbeiter: Rechtsform: Geschäftsführer: Gesellschafter: Aufsichtsratsvorsitz: Stuttgart Frankfurt am Main, München seit Millionen 200 Gesellschaft mit beschränkter Haftung Thomas Wild 100 % Landesbank Baden-Württemberg (LBBW) Dr. Martin Setzer 2014 Cellent Finance Solutions GmbH Seite: 2

3 Zentrales Data Warehouse: m + n statt m * n Schnittstellen Darlehen Giro Spar Wertpapiere Derivate FDW Rechnungswesen Meldewesen Risikomanagement Finanzcontrolling 2014 Cellent Finance Solutions GmbH Seite: 3

4 MERGE, SET, INNER JOIN: m:n(2:3)-verknüpfung test1: 2 test2: 3 key b key c MERGE: max (2, 3) key b c SET: key b c JOIN: 2 * 3 key b c Cellent Finance Solutions GmbH Seite: 4

5 MERGE, SET, INNER JOIN: 1:n(1:3)-Verknüpfung test1: 1 test2: 3 key b key c MERGE: max (1, 3) key b c SET: key b c JOIN: 1 * 3 key b c Cellent Finance Solutions GmbH Seite: 5

6 MERGE, SET, INNER JOIN: 1:1-Verknüpfung test1: 1 test2: 1 key b 1 10 key c MERGE: max (1, 1) key b c SET: key b c JOIN: 1 * 1 key b c Cellent Finance Solutions GmbH Seite: 6

7 MERGE, SET, INNER JOIN: Syntax DATA d_merge; MERGE test1 test2 ; BY key ; RUN; DATA d_set; SET test1 test2 ; BY key ; RUN; PROC SQL; CREATE TABLE d_join AS SELECT * FROM test1 INNER JOIN test2 ON test1.key = test2.key; QUIT; Vorsicht, aufgrund der verschiedenen Struktur von test1 und test2 verhält sich hier UNION bizarr und ist keine Alternative Cellent Finance Solutions GmbH Seite: 7

8 MERGE vs. INNER JOIN Typische1:1- und 1:n-Verknüpfung von Datasets: Joins anhand der MERGE-Anweisung möglich Eher untypische m:n-verknüpfung von Datasets: INNER JOIN gibt lokales kartesisches Produkt aus, MERGE dagegen etwas von der Sortierung abhängiges Unbrauchbares. Bei einer m:n-verknüpfung per MERGE: Log-Meldung: NOTE: MERGE statement has more than one data set with repeats of BY values. Das ist normalerweise die gefährlichste Log-Meldung (ERROR führt dagegen zum Abbruch), denn sie bedeutet Chaos Cellent Finance Solutions GmbH Seite: 8

9 SET vs. UNION In PROC SQL wiederum verhält sich bei Eingabe-Datasets verschiedener Struktur UNION merkwürdig. So wie bei m:n-verknüpfungen MERGE kein Ersatz für INNER JOIN ist, ist bei Eingabe-Datasets verschiedener Struktur UNION kein Ersatz für SET 2014 Cellent Finance Solutions GmbH Seite: 9

10 Aquivalente zu verschiedenen SQL-Joins: Datastep DATA inner, left, right, outer, left_anti, right_anti; MERGE test1 (IN = in_1), test2 (IN = in_2; BY key ; IF in_1 AND in_2 THEN OUTPUT inner; IF in_1 THEN OUTPUT left; IF in_2 THEN OUTPUT right; OUTPUT outer; IF in_1 AND NOT in_2 THEN OUTPUT left_anti; IF in_2 AND NOT in_1 THEN OUTPUT right_anti; RUN; 2014 Cellent Finance Solutions GmbH Seite: 10

11 MERGE: Konkurrierende Variable 1 test1 key b c test2 key b 1 20 DATA _NULL_; MERGE test1 test2 ; BY key ; PUT b = ; PUT c = ; RUN; b = 20 aus dem letzten Dataset c = 100 aus dem einzigen Dataset 2014 Cellent Finance Solutions GmbH Seite: 11

12 MERGE: Konkurrierende Variable 2 test1 key b c test2 key b c DATA _NULL_; MERGE test1 test2 ; BY key ; PUT b = ; PUT c = ; RUN; b = 20 aus dem letzten Dataset c =. aus dem letzten Dataset 2014 Cellent Finance Solutions GmbH Seite: 12

13 INNER JOIN: Konkurrierende Variable DATA d_merge; MERGE test1 (IN = in_1 KEEP = key) test2 (IN = in_2 KEEP = key) ; BY key ; IF in_1 AND in_2; RUN; PROC SQL; CREATE TABLE d_join AS SELECT key FROM test1 INNER JOIN test2 ON test1.key = test2.key; QUIT; ERROR: Ambiguous reference, column key is in more than one table (anders als Standard-SQL) key -> test1.key 2014 Cellent Finance Solutions GmbH Seite: 13

14 Datastep: Konkurrierende WHEN-Zweige DATA _NULL_; a = 1; b = 1 aus der ersten WHEN-Anweisung SELECT (a); WHEN (1) b = 1; WHEN (1) b = 2; OTHERWISE; END; PUT b =; RUN; 2014 Cellent Finance Solutions GmbH Seite: 14

15 CREATE TABLE: Konkurrierende WHEN-Zweige test1 b 1 DATA d_select1 (KEEP = x); set test1; SELECT; WHEN (b > 0) x = 1; WHEN (b > 0) x = 2; OTHERWISE; END; RUN; x = 1 PROC SQL; CREATE TABLE d_select2 AS SELECT CASE WHEN b > 0 THEN 1 WHEN b > 0 THEN 2 END AS x FROM test1; QUIT; x = Cellent Finance Solutions GmbH Seite: 15

16 Left Antijoin mit Subquery: CREATE TABLE PROC SQL; CREATE TABLE left_anti AS SELECT * FROM test1 WHERE key NOT IN ( SELECT key FROM test2 ); QUIT; Nicht performant. Gesucht: Performanter Left Antijoin im Datastep 2014 Cellent Finance Solutions GmbH Seite: 16

17 Left Antijoin mit LEFT JOIN: CREATE TABLE PROC SQL; CREATE TABLE left_anti AS SELECT * FROM test1 LEFT JOIN test2 ON test1.key = test2.key WHERE MISSING (test2.key); QUIT; Performant Cellent Finance Solutions GmbH Seite: 17

18 1. Unterschied PROC SQL Standard-SQL PROC SQL; SELECT * FROM d310_ _vb WHERE fdb_nr IN ( ); QUIT; Standard-SQL verlangt hier ein Komma zwischen den Werten Cellent Finance Solutions GmbH Seite: 18

19 2. Unterschied PROC SQL Standard-SQL PROC SQL; SELECT * FROM d310_ _vb WHERE ALSO vb_prod_nr = 2 WHERE ALSO vb_stat = 1; QUIT; PROC SQL; SELECT * FROM d310_ _vb WHERE 0 = 0 AND vb_prod_nr = 2 AND vb_stat = 1; QUIT; 2014 Cellent Finance Solutions GmbH Seite: 19

20 Dataset-Variable -> Makro-Variable test1 b 1 PROC SQL; SELECT b into :m_b FROM test1; QUIT; %put &m_b.; DATA _NULL_; SET test1; CALL SYMPUT ('m_b', b); RUN; %put &m_b.; Cellent Finance Solutions GmbH Seite: 20

21 Was geht per Datastep und nicht per SQL? Lookup-Tabellen lesen anhand von Hashtables Mehrere Datasets ausgeben bei einem einzigen Durchgang durch die Eingabe (nützlich bei großen Datenmassen, die für verschieden Verarbeitungen aufgeteilt werden) 2014 Cellent Finance Solutions GmbH Seite: 21

22 Was geht per SQL und nicht per Datastep? Lesen von Metadaten aus DICTIONARY-Datasets (lokales) kartesisches Produkt 2014 Cellent Finance Solutions GmbH Seite: 22

23 Beispiel für DICTIONARY Ziel: Alle Sätze der Datasets FDB_300.D<NNN>_ _VB, welche die Bedingung vb_prod_nr = 2 erfüllen, sollen zusammengefasst werden zu einem Dataset WORK.VB, nur mit den Feldern fdb_nr p_nr_kd vb_beg_dat vb_prod_nr Cellent Finance Solutions GmbH Seite: 23

24 Aufruf %datasets_zusammenfuehren ( in_lib = FDB_300, in_datum = , in_struktur = VB, in_keep = %str(fdb_nr p_nr_kd vb_beg_dat vb_prod_nr), in_selection = %str(vb_prod_nr = 2), offset_datum = 6, laenge_datum = 8, offset_struktur = 15, out_lib = work, out_ds = vb ) 2014 Cellent Finance Solutions GmbH Seite: 24

25 Deklarationen %LOCAL datasets anzahl_datasets dataset_index dataset_name ; 2014 Cellent Finance Solutions GmbH Seite: 25

26 Eingabe-Datasets PROC SQL NOPRINT; SELECT memname INTO :datasets SEPARATED BY ' ' FROM dictionary.tables WHERE libname = "&in_lib." AND substr(memname, 1, 1) = 'D' AND substr(memname, &offset_datum., &laenge_datum.) = "&in_datum." AND substr(memname, &offset_struktur.) = "&in_struktur." ORDER BY memname; QUIT; 2014 Cellent Finance Solutions GmbH Seite: 26

27 Anzahl der Eingabe-Datasets, Ausgabe-Dataset %LET anzahl_datasets = %nword(lst = &datasets.); DATA &out_lib..&out_ds. ; SET <Datasets> ; RUN; 2014 Cellent Finance Solutions GmbH Seite: 27

28 Datasets %DO dataset_index = 1 %TO &anzahl_datasets.; %LET dataset_name = %scan(&datasets., &dataset_index., %str( )); &in_lib..&dataset_name. ( <KEEP- und WHERE-Anweisung> ) %END; 2014 Cellent Finance Solutions GmbH Seite: 28

29 KEEP- und WHERE-Anweisung KEEP = &in_keep. %IF %quote(&in_selection.) NE %str() %THEN %DO; WHERE = ( &in_selection. ) %END; 2014 Cellent Finance Solutions GmbH Seite: 29

30 Vielen Dank für Ihr Interesse Dr. Wolfram Retter Managing Consultant 2014 Cellent Finance Solutions GmbH Seite: 30