/ Vortrag Unix-AG

Transkript

1 / Vortrag Unix-AG

2 xkcd

3 Fortsetzung...

4 Grundlegendes 1 Begriff: = regular expressions kurz: regex Funktion: definieren flexible Muster, mit denen in Texten gesucht (und ersetzt) werden kann. Diese Muster können auch zur Eingabekontrolle verwandt werden.

5 Grundlegendes 1 Begriff: = regular expressions kurz: regex Funktion: definieren flexible Muster, mit denen in Texten gesucht (und ersetzt) werden kann. Diese Muster können auch zur Eingabekontrolle verwandt werden.

6 Grundlegendes 2 Theorie: Sprache -> Computerlinguistik/Automatentheorie eigentlich Typ 3 Grammatik in der Chomsky Hierarchie durch backreference erweitert POSIX Regexp ähnelt einer n Sprache Darstellung meist in Extended Backus-Naur Form

7 Geschichte 1968 Ken Thompson s qed (erster Editor mit Regex-Unterstützung) 1970er ed, grep, egrep 1986 Henry Spencer s Open Source Regex-Library 1987 Perl Perl Compatible Regular Expression Library (PCRE) (zunächst für Exim)

8 Geschichte 1968 Ken Thompson s qed (erster Editor mit Regex-Unterstützung) 1970er ed, grep, egrep 1986 Henry Spencer s Open Source Regex-Library 1987 Perl Perl Compatible Regular Expression Library (PCRE) (zunächst für Exim)

9 Geschichte 1968 Ken Thompson s qed (erster Editor mit Regex-Unterstützung) 1970er ed, grep, egrep 1986 Henry Spencer s Open Source Regex-Library 1987 Perl Perl Compatible Regular Expression Library (PCRE) (zunächst für Exim)

10 Geschichte 1968 Ken Thompson s qed (erster Editor mit Regex-Unterstützung) 1970er ed, grep, egrep 1986 Henry Spencer s Open Source Regex-Library 1987 Perl Perl Compatible Regular Expression Library (PCRE) (zunächst für Exim)

11 Geschichte 1968 Ken Thompson s qed (erster Editor mit Regex-Unterstützung) 1970er ed, grep, egrep 1986 Henry Spencer s Open Source Regex-Library 1987 Perl Perl Compatible Regular Expression Library (PCRE) (zunächst für Exim)

12 Definitionen 1 Grundregeln: Die Sprache der besteht im wesentlichen aus Zeichen: Es gibt Metazeichen, die Funktionen haben und literale Zeichen, die für sich stehen (Terminale). Um Metazeichen als Literale zu behandeln, werden sie mit dem Backslash \ entwertet. Fakten: gibt es in verschiedenen Geschmacksrichtungen : z.b. POSIX-konform in basic und extended, Perl und viele mehr.

13 Definitionen 1 Grundregeln: Die Sprache der besteht im wesentlichen aus Zeichen: Es gibt Metazeichen, die Funktionen haben und literale Zeichen, die für sich stehen (Terminale). Um Metazeichen als Literale zu behandeln, werden sie mit dem Backslash \ entwertet. Fakten: gibt es in verschiedenen Geschmacksrichtungen : z.b. POSIX-konform in basic und extended, Perl und viele mehr.

14 Definitionen 2 Wie funktionieren Regexes: werden zeichenweise von links nach rechts abgearbeitet Alle Zeichen ohne besondere Bedeutung passen auf genau ein Zeichen im Vergleichstring Dieses einfache Match-Verhalten kann mit Quantoren, Wildcards etc. beinflusst werden sind standardmäßig gefräßig, d.h. sie versuchen, soviel Text wie möglich zu matchen

15 Definitionen 2 Wie funktionieren Regexes: werden zeichenweise von links nach rechts abgearbeitet Alle Zeichen ohne besondere Bedeutung passen auf genau ein Zeichen im Vergleichstring Dieses einfache Match-Verhalten kann mit Quantoren, Wildcards etc. beinflusst werden sind standardmäßig gefräßig, d.h. sie versuchen, soviel Text wie möglich zu matchen

16 Definitionen 2 Wie funktionieren Regexes: werden zeichenweise von links nach rechts abgearbeitet Alle Zeichen ohne besondere Bedeutung passen auf genau ein Zeichen im Vergleichstring Dieses einfache Match-Verhalten kann mit Quantoren, Wildcards etc. beinflusst werden sind standardmäßig gefräßig, d.h. sie versuchen, soviel Text wie möglich zu matchen

17 Definitionen 2 Wie funktionieren Regexes: werden zeichenweise von links nach rechts abgearbeitet Alle Zeichen ohne besondere Bedeutung passen auf genau ein Zeichen im Vergleichstring Dieses einfache Match-Verhalten kann mit Quantoren, Wildcards etc. beinflusst werden sind standardmäßig gefräßig, d.h. sie versuchen, soviel Text wie möglich zu matchen

18 Definitionen 2 Wie funktionieren Regexes: werden zeichenweise von links nach rechts abgearbeitet Alle Zeichen ohne besondere Bedeutung passen auf genau ein Zeichen im Vergleichstring Dieses einfache Match-Verhalten kann mit Quantoren, Wildcards etc. beinflusst werden sind standardmäßig gefräßig, d.h. sie versuchen, soviel Text wie möglich zu matchen

19 Wo begegnen uns? Editoren: Viele Editoren bieten im Suchen/Ersetzen-Dialog die Möglichkeit, einzusetzen, z.b. MS Word, OpenOffice, vi/vim... Shell-Tools: sed, awk, grep/egrep... SQL: Oracle, MySQL...

20 Wo begegnen uns? Editoren: Viele Editoren bieten im Suchen/Ersetzen-Dialog die Möglichkeit, einzusetzen, z.b. MS Word, OpenOffice, vi/vim... Shell-Tools: sed, awk, grep/egrep... SQL: Oracle, MySQL...

21 Wo begegnen uns? Editoren: Viele Editoren bieten im Suchen/Ersetzen-Dialog die Möglichkeit, einzusetzen, z.b. MS Word, OpenOffice, vi/vim... Shell-Tools: sed, awk, grep/egrep... SQL: Oracle, MySQL...

22 Wo begegnen uns 2? Programmiersprachen: Viele Programmiersprachen implementieren : Perl, Java, JavaScript, Python, C, C++, Ruby, PHP,.NET, TCL, Haskell...

23 für reguläre Zerlegt einen Text in Teile /^(([^:()]+): +)?([^()]+)( +(\([^()0-9]+\)))? +\(([^()]+)\)\. +(.+)$/ Findet einen Hyperlink im Text /https?:\/\/[a-z0-9-]+(\.[a-z0-9-]+)*\. (?>![.,?!:])/i

24 Anker Metazeichen: ^: Anfang der Zeile $: Ende der Zeile : ^#: Alle Zeilen eines Shellskripts, die auskommentiert sind ^$: Alle leeren Zeilen einer Datei

25 Zeichenklassen Metazeichen:.: Ein beliebiges Zeichen []: Eine Zeichenklasse [aeiou] Metazeichen in Zeichenklassen: -: definiert Zeichenbereich (nicht am Anfang oder Ende): [a-z] ^: Verneinung (nur am Anfang) [^aeiou] : <[hh][1-6]>: findet alle öffnenden HTML-Überschrifttags ^[^#]: Alle Zeilen eines Shellskripts, die nicht auskommentiert sind

26 Alternativen und Gruppierung Metazeichen: : Alternative ( ): Gruppierung : Juni Juli oder auch Ju(n l)i - alternativ zu Ju[nl]i Die Alternative bindet immer bis zum nächsten Leerzeichen, sonst muss man Gruppieren: /geehrte(r Herr Frau)/

27 Quantoren 1: Optionales Metazeichen:?: Das Zeichen oder die Gruppe links vom Fragezeichen darf vorkommen oder auch nicht Beispiel: </?[hh][1-6]> findet öffnende und schließende Tags

28 Quantoren 2: Gefräßig Metazeichen: *: beliebig oft, auch gar nicht +: beliebig oft, mindestens einmal {count}: genau count mal {min,max}: mindestens min mal, höchstens max mal : <p +class="test" *>: Findet alle Vorkommnisse von Absätzen der Klasse test \.[a-z]{2,6}$: Findet Domainendungen (.com,.de etc.) am Zeilenende

29 Quantoren 3: Nicht Gefräßig Metazeichen: *?: beliebig oft, auch gar nicht +?: beliebig oft, mindestens einmal : <b>.*</b>: Matcht auf a <b>rose</b> is a <b>rose</b> is a <b>rose</b> <b>.*?</b>: Matcht auf a <b>rose</b> is a <b>rose</b> is a <b>rose</b>

30 Wortgrenzen Metazeichen: \b: Wortgrenze \B: keine Wortgrenze : \btest\b: findet das Wort Test, aber nur als ganzes Wort. Wortgrenzen finden kein Zeichen, sondern einen Ort in der zu prüfenden Zeichenkette

31 Backreferences Metazeichen: ( ): speichert Wert \1: enthält Wert der ersten Klammer (?: ): gruppiert, speichert aber keinen Wert : ([a-za-z-])+ \1 findet doppelte Vorkommen von Worten hintereinander in einem Text

32 Perl-Zeichenklassen Metazeichen: \w: Wort -Zeichen (Buchstaben und Unterstrich) \s: Leerzeichen (+Tabulator) \d: Ziffern Erläuterung: Wird die Zeichenklasse groß geschrieben, bedeutet das Verneinung: \D sind alle Zeichen, die keine Ziffern sind.

33 Lookaround Metazeichen: (?= ) Lookahead (?<= ) Lookbehind (?! ) negatives Lookahead (?<! ) negatives Lookbehind : s/k\.(?= )//: ersetzt alle Vorkommnisse von K. durch, aber nur, wenn danach folgt.

34 - URLs nur HTTP /\b(https?:\/\/[a-z0-9-]+(\.[a-z0-9-]+)* (?<![.,?!:])/i

35 - Postfix Postfix Config header_checks = regexp:/etc/postfix/header_checks /etc/postfix/header_checks: /^X-Mailer/ /User-Agent/ /^X-Mailman-Version/ IGNORE IGNORE IGNORE

36 - grep grep grep -ve ^# grep -ve ^\s*# grep -ve ^\s*$

37 - bash bash # is NUMBER a valid number? # can start with an "+", # has at least 8 digits if [[! "${NUMBER}" =~ ^\+?[0-9]{8,}$ ]] then echo "\"${NUMBER}\" is not valid" exit 1 fi

38 - 1 Vorführung Erkennen vom -Adressen

39 - 2 praktikable Lösung /\b([a-z0-9][a-z0-9._-]*@[a-z0-9-]+ (\.[a-z0-9-]+)*\.[a-z]{2,6})\b/i

40 - 3 näher an RFC 2822 /[a-z0-9!#$%& *+\/=?^_ { }~-]+ (?:\.[a-z0-9!#$%& *+\/=?^_ { }~-]+)*@ (?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+ [a-z0-9](?:[a-z0-9-]*[a-z0-9])?/i

41 Weiterführende Informationen Online: Cheat Sheet von Dave Child: perldoc perlre ( oder kürzer: perldoc perlrequick ( perldoc perlretut (Tutor)

42 Weiterführende Informationen Buch: Jeffrey Friedl: Mastering Regular Expressions (3. Auflage), O Reilly 2008

43 Fragen? Creative Commons License Attribution-Noncommercial-Share Alike 3.0 Germany Quellennachweis: xkcd comic strip Regular Expressions unter CC by-nc 2.5