Effizientes Programmieren mit Suchtfaktor: SAS Hash-Tables

Transkript

2 Table Lookup Technik: Hash Tables Werte aus einer Referenztabelle abfragen mittels Hash Tables DATA Step Hash Objekte: Eigenschaften Datenspeicherung und Suche im Arbeitsspeicher Hash Objekt muss in den Arbeitsspeicher passen (kleinere Datei nehmen) Schnelle Alternative zu Data Step Merge oder SQL Joins Anders als bei Arrays können verschiedene Datentypen zusammen in einem Objekt sein Daten müssen nicht sortiert sein Nutzt den Schlüssel für eine schnelle Datensuche Dot-Net Syntax (objektorientiert) Copyright SAS Institute Inc All rights reserved

3 Szenario Die Datei orionsupplier beinhaltet demographische Informationen über Lieferanten (keine Produktinfos) Teilauszug aus der Datei: orionsupplier 50 Scandinavian Clothing A/S Street_ Address Sup_ Street_N umber Kr Augusts Gate NO 109 Petterson AB Blasieholmstorg 1 1 SE 316 Prime Sports Ltd Carlisle Place 9 GB 755 Top Sports Jernbanegade DK 772 AllSeasons Outdoor Clothing Cliffview Dr 553 US Country Copyright SAS Institute Inc All rights reserved

4 Szenario Es müssen Daten aus der Datei orionsupplier mit orionproduct_list verbunden werden, welche Produktinformationen beinhaltet Teilauszug aus der Datei: orionproduct_list Product Product_ Product_ Level Product_ Ref Children Children Outdoors Outdoor things, Kids Children Sports A-Team, Kids Kids Sweat Round Neck,Large Logo Copyright SAS Institute Inc All rights reserved

5 Ein Hash Objekt aus einer SAS Datei befüllen data supplier_info; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address','Country'); Sdefinedone(); call missing(, Address,Country); set orionproduct_list; rc=sfind(); if rc=0; drop rc; run; Copyright SAS Institute Inc All rights reserved

6 Hash Objekt erstellen Erstellen eines Hash Objekts namens T declare hash T(); Erstellen des T Hash Objekts und Laden aus der Datei orionmembertype declare hash T(dataset: 'orionmembertype'); Copyright SAS Institute Inc All rights reserved

7 Ausführung Auszug: HASH Object S KEY: Supplier 50 Partial PDV Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Kr Augusts Gate 13 Address Blasieholmstorg 1 9 Carlisle Place 2687 Julie Ann Ct Country NO SE GB US Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product Product_ Supplier D rc _N_ 1 Copyright SAS Institute Inc All rights reserved

8 Auszug: HASH Table S KEY: Supplier Ausführung 50 Partial PDV Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Address Kr Augusts Gate 13 Blasieholmstorg 1 9 Carlisle Place 2687 Julie Ann Ct Country NO SE GB US Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product Product_ Supplier Children D rc _N_ Copyright SAS Institute Inc All rights reserved

9 Ausführung Auszug: HASH Object S KEY: Supplier 50 Partial PDV Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Address Kr Augusts Gate 13 Blasieholmstorg 1 9 Carlisle Place 2687 Julie Ann Ct Country NO SE GB US Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product Product_ Supplier Children False D rc _N_ Copyright SAS Institute Inc All rights reserved

10 Auszug: HASH Object S KEY: Supplier Partial PDV Ausführung 50 Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Address Kr Augusts Gate 13 Blasieholmstorg 1 9 Carlisle Place 2687 Julie Ann Ct Country NO SE GB US Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product Product_ Supplier Kids Sweat Round Neck,Large Logo 3298 Continue until _N_=6 D rc _N_ 6 Copyright SAS Institute Inc All rights reserved

11 Auszug: HASH Object S KEY: Supplier Ausführung 50 Partial PDV Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Address Kr Augusts Gate 13 Blasieholmstorg 1 9 Carlisle Place 2687 Julie Ann Ct Country NO SE GB US Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product Product_ Supplier Kids Sweat Round Neck,Large Logo 3298 D rc _N_ 0 6 Copyright SAS Institute Inc All rights reserved

12 Ausführung Auszug: HASH Object S KEY: Supplier 50 Partial PDV Scandinavian Clothing A/S 109 Petterson AB 316 Prime Sports Ltd 3298 A Team Sports Address Address Kr Augusts Gate 13 Blasieholmstorg 1 9 Carlisle Place Country Country data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); call missing(, Address, Country); set orionproduct_list; rc=sfind(); if rc=0; run; Product A Team Sports 2687 Julie Ann Ct US Julie Ann Ct NO SE GB US Product_ True Supplier Kids Sweat Round Neck,Large Logo 3298 Implicit OUTPUT; Implicit RETURN; D rc _N_ 0 6 Copyright SAS Institute Inc All rights reserved

13 Die Find-Methode Die FIND Methode lokalisiert den Schlüsselwert im Hash Objekt und gibt die Datenwerte zurück Allgemeine Form: rc=objectfind(<key: keyvalue-1,, KEY: keyvalue-n>); Der ReturnCode kann mit bedingter Logik verbunden werden, um verschiedene ReturnWerte abzufragen Beispiel: Werte der ReturnCode Variablen Null (0) Nicht null Übereinstimmung Keine Übereinstimmung Copyright SAS Institute Inc All rights reserved

14 Length Anweisung data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; declare hash S(dataset:'orionsupplier'); Sdefinekey(''); Sdefinedata('', 'Address', 'Country'); Sdefinedone(); Partial PDV Address Count ry Product Product_ Supplie r Copyright SAS Institute Inc All rights reserved Sdefinedata: Die Datenkomponenten beziehen sich auf SAS Variablen und sollen als SAS Variablen auch angelegt werden, um automatisch befüllt werden zu können Wie? Eine Möglichkeit: LENGTH nutzen Damit legt SAS in der Kompilierungsphase im Data Step diese als SAS Variablen im Zwischenspeicher PDV an

15 CALL MISSING data supplier_info; drop rc; length $40 Address $ 45 Country $ 2; if _N_=1 then do; Sdefinedata('', 'Address', 'Country'); call missing(, Address, Country); Call Missing: - Verhindert Note im Log - Weist Missingwerte als Startwert zu Da die Datenelemente als SAS Variablen erstellt werden sollen - mittels Length Anweisung - haben sie jedoch keinen Startwert (Initialisierungswert) Sie kommen über das Hash Objekt, direkt in den PDV, nicht aus der Datei, und sie werden auch nicht zugewiesen mit Gleichzeichen = Dies erzeugt folgende Meldung im Log: NOTE: Variable is uninitialized NOTE: Variable Address is uninitialized NOTE: Variable Country is uninitialized Copyright SAS Institute Inc All rights reserved

16 Ergebnisse Partial PROC PRINT Output Product Information Obs Product Address Country A Team Sports 2687 Julie Ann Ct US A Team Sports 2687 Julie Ann Ct US Nautlius SportsWear Inc 56 Bagwell Ave US Nautlius SportsWear Inc 56 Bagwell Ave US Eclipse Inc 1218 Carriole Ct US Eclipse Inc 1218 Carriole Ct US Eclipse Inc 1218 Carriole Ct US Eclipse Inc 1218 Carriole Ct US Eclipse Inc 1218 Carriole Ct US AllSeasons Outdoor Clothing 553 Cliffview Dr US Copyright SAS Institute Inc All rights reserved

17 Ein weiteres Anwendungsbeispiel für Hash Objekte Die Marketing Abteilung will jeweils die beiden Kunden mit dem höchsten und die beiden mit dem niedrigsten Umsatz herausfinden Ausgabe in 2 Dateien in EINEM Data Step Partial orionorderfact Customer Product Quantity Total Retail Price CostPrice PerUnit Discoun t $1650 $ $24750 $ $2830 $ $3200 $ $6360 $880 $$$ $ Copyright SAS Institute Inc All rights reserved

18 Hash Iterator Objekt (Hiter Objekt) Das Hash Iterator Objekt ist sehr gut geeignet zum effizienten Durchsuchen eines Hash Objekts Dabei wird der Schlüssel genutzt, die Datei selbst muss nicht sortiert sein, das Hash Iterator Objekt sollte (aber muss nicht) sortiert sein Auszug: Hash Object KEY: Total Retail Price KEY: Customer Auszug: Hiter View KEY: Total Retail Price KEY: Customer Das Hash Iterator Objekt bezieht sich auf ein zuvor erstelltes Hash Objekt Copyright SAS Institute Inc All rights reserved

19 Anwendungsbeispiel: Syntax data top bottom; drop i; if _N_=1 then do; if 0 then set orionorderfact(keep=customer Product TotalRetailPrice); declare hash customer(dataset:'orionorderfact', ordered:'descending'); customerdefinekey('totalretailprice', 'Customer'); customerdefinedata('totalretailprice', 'Customer', 'Product'); customerdefinedone(); declare hiter C('customer'); Cfirst(); do i=1 to 2; output top; Cnext(); Clast(); do i=1 to 2; output bottom; Cprev(); stop; run; Das Hiter Objekt bezieht sich auf ein zuvor erstelltes Hash Objekt Copyright SAS Institute Inc All rights reserved

20 Durchsuchen des Hash Objektes mit dem Hiter Objekt Vier Hiter Objekt Methoden geben die Werte basierend auf der Position im Hash Objekt zurück FIRST NEXT LAST PREV Hash Object Key: A 3 X 1 Y 2 Z Data: B Hiter Object View Key: A 3 X 2 Z 1 Y Data: B Copyright SAS Institute Inc All rights reserved

21 Ausführung Auszug: Hash Object customer KEY: Total Retail Price KEY: Customer Total Retail Price Customer Product data top bottom; drop i; if _N_=1 then do; if 0 then set orionorderfact (keep=customer Product TotalRetailPrice); declare hash customer (dataset:'orionorderfact', ordered:'descending'); customerdefinekey('totalretailprice', 'Customer'); customerdefinedata('totalretailprice', 'Customer','Product'); customerdefinedone(); declare hiter C('customer'); PDV Customer Product Total RetailPrice Beachten Sie: Das Hash Objekt selbst ist nicht sortiert! i _N_ 1 D D Copyright SAS Institute Inc All rights reserved

22 Ausführung Auszug: Hiter C View KEY: Total Retail Price KEY: Customer Total Retail Price Customer Product data top bottom; drop i; if _N_=1 then do; if 0 then set orionorderfact (keep=customer Product TotalRetailPrice); declare hash customer (dataset:'orionorderfact', ordered:'descending'); customerdefinekey('totalretailprice', 'Customer'); customerdefinedata('totalretailprice', 'Customer','Product'); customerdefinedone(); declare hiter C('customer'); PDV Customer Product Das Hiter Objekt jedoch ist absteigend sortiert, wie in der Syntax angegeben Total RetailPrice i _N_ 1 D D Copyright SAS Institute Inc All rights reserved

23 Dateien erstellen mittels Hash Iterator Objekt Methoden data top bottom; drop i; if _N_=1 then do; if 0 then set orionorderfact(keep=customer Product TotalRetailPrice); declare hash customer(dataset:'orionorderfact', ordered:'descending'); customerdefinekey('totalretailprice', 'Customer'); customerdefinedata('totalretailprice', 'Customer', 'Product'); customerdefinedone(); declare hiter C('customer'); Cfirst(); do i=1 to 2; output top; Cnext(); Clast(); do i=1 to 2; output bottom; Cprev(); stop; run; Copyright SAS Institute Inc All rights reserved

24 PROC PRINT Ausgabe proc print data=top; title 'Top 2 Big Spenders'; run; proc print data=bottom; title 'Bottom 2 Frugal Spenders'; run; Top 2 Big Spenders TotalRetail Obs Customer Product Price $1, $1,79600 Bottom 2 Frugal Spenders TotalRetail Obs Customer Product Price $ $270 Copyright SAS Institute Inc All rights reserved

26 Weitere Informationen und Kurse zu diesem Thema SAS Programmierung 3: Effiziente Techniken des Datenmanagements April 2017, Heidelberg Juni 2017, Heidelberg Copyright SAS Institute Inc All rights reserved