Perl Regular Expressions in Base SAS

Transkript

1 Perl Regular Expressions in Base SAS

2 Perl Reguläre Ausdrücke (Perl Regular Expressions) Einleitung Perl Regulare Ausdrücke beschreiben einen Text, der als Muster dient. In einem solchen Ausdruck kann Klartext enthalten sein, aber auch Metazeichen, die für eine bestimmte Sorte von Zeichen stehen.

3 Anwendung von Regulären Ausdrücken Reguläre Ausdrücke werden benutzt zur: Zeichensuche innerhalb eines Strings Lesen Sie alle Zeilen, die den Firmennamen SAS beinhalten Suchen Sie SAS, aber nicht SASSY Kids. Datentransformation Ändern Sie jedes Vorkommen von Dec zu December Ändern Sie nicht Decade zu Decemberade! Datenvalidierung Herausfinden ungültiger Telefonnummern , (0049) , (0049)

4 Perl Regular Expressions schreiben Allgemeine Form eines Regulären Ausdrucks, um Musterübereinstimmungen herauszufinden <m>/pattern/<options> m match =Übereinstimmung / / Muster Trennzeichen pattern options Die Zeichen, die übereinstimmen sollen Optionen, um das Standardverhalten zu ändern, z. B. Suche nach Groß- und Kleinbuchstaben etc.

5 Beispiele für Musterübereinstimmungen Die Vergleiche sind case sensitive, Groß- und Kleinschreibung wird also berücksichtigt. Mit der Option i wird die Groß-und Kleinschreibung nicht berücksichtigt (i=ignore).

6 PRX Funktionen PRX= Perl Regular Expressions Die PRX Funktionsfamilie beinhaltet z. B.: PRXPARSE PRXMATCH PRXCHANGE (Muster festlegen) (Musterübereinstimmgung herausfinden) (Zeichen/Wörter ersetzen)

7 Syntaxanwendung für Perl Reguläre Ausdrücke Perl Reguläre Ausdrücke werden in einem SAS Programm in folgender Vorgehensweise angewendet: Definition des Perl Regulären Ausdrucks PRXPARSE Funktion benutzen, um den Perl Regulären Ausdruck zu kompilieren (nur einmal für den Step) Danach die PRXMATCH Funktion aufrufen, um eine Musterübereinstimmung herauszufinden

8 Kompilierung eines Regulären Ausdrucks Ein Perl Regulärer Ausdruck muss zuerst kompiliert werden, bevor er zur Musterüberprüfung genutzt werden kann. Während der Kompilierung macht SAS Folgendes: Syntax Check wird ausgeführt Ein Anweisungsliste wird erstellt Eine ID (sog. Regular-Expression-ID) wird als Identifier hinzugefügt

9 PRXPARSE Funktion: Kompilierung eines Perl Regulären Ausdrucks Allgemeine Form der PRXPARSE Funktion: PRXPARSE (perl-regular-expression) Perl Regulärer Ausdruck Eine Zeichenkonstante, Variable oder ein Ausdruck mit einem Wert, der ein Perl R. Ausdruck ist. PRXPARSE gibt eine ID (Perl Regular Expression ID) zurück oder einen fehlenden Wert.

10 PRXMATCH Funktion: Musterübereinstimmung Allgemeine Form der PRXMATCH Funktion PRXMATCH (reg-ex-id perl-regular-expression, source) Rückgabewert 0, wenn keine Übereinstimmung gefunden wurde.

11 Code Beispiel: Perldemo1.sas data Perldemo1; text='heidelberg, SAS Institut'; Muster=prxparse('m/S/'); *Ein Muster,das gesucht wird (hier: Buchstabe S); Gefunden= prxmatch(muster, text); *Herausfinden, ob das Muster gefunden wird: nicht gefunden=0,gefunden=position, an der das Muster beginnt (hier=13); run; Ergebnis: Perl_demo1.sas

12 Metazeichen in Perl Regulären Ausdrücken In Perl Regulären Ausdrücken können sog. Metazeichen stehen, die als Platzhalter für bestimmte Zeichen /Klassen von Zeichen dienen. m/\bsports\b/i Beispiel:Das \b Metazeichen begrenzt die Musterübereinstimmung auf eine Wortgrenze i: Groß- und Kleinschreibung wird ignoriert Prime Sports Ltd Teamsports Inc Pro Sportswear Inc Perl_demo2.sas

13 Grundlegende Perl Metazeichen I

14 Grundlegende Perl Metazeichen II

15 Grundlegende Perl Metazeichen III

16 PRX Funktionen im Data Step Where und Subsetting If Anweisung PRX Funktionen können in einer WHERE oder Subsetting IF Anweisung stehen, um Daten zu filtern. data data_set_name; set data_set_name; where where-expression; Ss run; data data_set_name; set data_set_name; if expression; run;

17 PRX Funktionen zum Filtern in Prozeduren Where Anweisung Auch in Prozeduren können PRX Funktionen angewendet werden. proc print data=data_set_name; where where-expression; Ss run; proc sql; select col1<, col2, coln> from table where where-expression; Ss quit;

18 PRX Funktionen zum Filtern in Prozeduren Vergleich: Perl Reguläre Ausdruck vs like + Platzhalter Eine Teilmenge soll gebildet werden mit dem Wort shoes in der Variablen product_name. proc print data=orion.product_dim; Ss where prxmatch('/\bshoes\b/i',product_name); var product_id product_name; run; Alternative: proc print data=orion.product_dim; where product_name like '%Shoes%'; var product_id product_name; run; ABER...

19 Daten filtern: Szenario Es soll eine Teilmenge gebildet werden, die das Wort Woman mit einigen Varianten beinhaltet, z. B. Women, Wmns, Woman s, Women s Regulärer Ausdruck: where prxmatch('/wo?m(a e)?n/i', product_name); Erklärung: nächste Folie Alternative mit like und Platzhaltern??? Perl_demo3.sas

20 Daten filtern: Szenario Erklärung des Perl Regulären Ausdrucks /wo?m(e a)?n/i / String beginnt w Buchstabe w o? Der Buchstabe o kann vorkommen oder auch nicht m Buchstabe m (e a)? Buchstabe e oder a oder auch keiner von beiden n Buchstabe n / String endet i Klein-oder Großschreibung nicht berücksichtigen

21 Datenvalidierung PRXPARSE und PRXMATCH Funktionen Im Folgenden sollen ungültige amerikanische Social Security Nummern heraufgefunden werden, die nicht dem Muster ddd-dd-dddd entsprechen. Das Ergebnis beinhaltet 5 Zeilen: Perl_demo4a.sas

22 Datenvalidierung PRXPARSE Funktion data invalidssn; retain re; set orion.salesstaff; if _n_=1 then Start des R. Ausdrucks re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

23 Datenvalidierung PRXPARSE Funktion Übereinstimmung von genau 3 ZAHLEN (digits) data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

24 Datenvalidierung PRXPARSE Funktion Ein Bindestrich muss folgen data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

25 Datenvalidierung PRXPARSE Funktion Danach kommen exakt 2 Zahlen data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

26 Datenvalidierung PRXPARSE Funktion Wieder ein Bindestrich data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

27 Datenvalidierung PRXPARSE Funktion Exakt 4 Zahlen data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

28 Datenvalidierung PRXPARSE Funktion Ende des Regulären Ausdrucks data invalidssn; retain re; set orion.salesstaff; if _n_=1 then re=prxparse('/\d{3}-\d{2}-\d{4}/'); if prxmatch(re, SSN)=0; run;

29 Datenvalidierung PRXMATCH Funktion Das Zahlenmuster ist ddd-dd-dddd. Aber es werden NICHT alle 5 Zeilen gefunden. Warum? Invalid Social Security Numbers Obs Employee_ID SSN A Ergebnis Wo sind aber die beiden u.g. Zeilen??? Employee_ID SSN abc hello

30 Datenvalidierung PRXMATCH Funktion Die PRXMATCH Funktion führt die Überprüfung auf 11 Zeichen aus, egal ob diese am Anfang noch Text haben oder am Ende.

31 Datenvalidierung PRXMATCH Funktion Fügen Sie das Caret- (^) und das Dollarzeichen ($) hinzu, damit die PRXPARSE Function das Parsen (Überprüfen) an Position 1 startet (caret ^) für genau 11 Zeichen ($). data invalidssn; set orion.salesstaff; re=prxparse('/^\d{3}-\d{2}-\d{4}$/'); if prxmatch(re, trim(ssn))=0; run; Perl_demo4b.sas

32 PRXPARSE Funktion: Besonderheit Die PRXPARSE Funktion muss nicht angegeben werden, wenn innerhalb der PRXMATCH Funktion ein Regulärer Ausdruck steht. data invalidssn; set orion.salesstaff; if prxmatch('/^\d{3}-\d{2}- \d{4}$/',trim(ssn))=0; run; Beachten Sie: Die Trim-Funktion bewirkt, dass nachfolgende Leerzeichen entfernt werden, sonst klappt die Überprüfung nicht

33 Vorbereitung auf die Frage Escape Zeichen erklären Finden Sie in product_name Produkte, die eine offene Klammer beinhalten (z. B. Golf Polo (1/400) ). Aber: Eine Klammer wird als Metazeichen gelesen, also muss sie maskiert werden. \ Ein Escape Zeichen markiert den folgenden Text als ein Literal (Zeichenkette) proc print data=orion.productlist noobs n; where prxmatch('?????',product_name); run; Die WHERE Anweisung muss daher folgendermaßen lauten: where PRXMATCH('/\(/',product_name); Perl_demo5a.sas

34 Frage Wie muss die Where-Anweisung geändert werden, damit Sie aber alle Werte sehen, ob mit oder ohne Klammer beim Produkt? proc print data=orion.productlist noobs n; where prxmatch('?????',productname); run; a. where PRXMATCH('\',product_name); b. where PRXMATCH('/\',product_name); c. where PRXMATCH('//',product_name); d. where PRXMATCH('',product_name); Perl_demo5b.sas

35 Frage - Antwort Wie muss die Where-Anweisung geändert werden, damit Sie aber alle Werte sehen, ob mit oder ohne Klammer beim Produkt? proc print data=orion.productlist noobs n; where prxmatch('?????',productname); run; a. where PRXMATCH('\',product_name); b. where PRXMATCH('/\',product_name); c. where PRXMATCH('//',product_name); d. where PRXMATCH('',product_name);

36 Fragen?

37 Vielen Dank für Ihre Teilnahme Interesse an weiterem Austausch? Diskutieren Sie mit uns in der XING-Gruppe Business Analytics mit SAS Sprechen Sie uns direkt an: Es gibt neue Zertifizierungspakete - Stellen Sie Ihr Wissen unter Beweis!

38 Weitere Informationen und Kurse zu diesem Thema SAS Programmierung 3: Effiziente Techniken des Datenmanagements , März 2017 LiveWebClass April 2017, Heidelberg Juni 2017, Heidelberg

39 Nächstes 27. März 2017 Hash Objekte zum performanten Programmieren

40 Folien zum Download unter WIE HAT IHNEN UNSER WEBINAR GEFALLEN? sas.com