Reguläre Ausdrücke. AnPr

Transkript

1 Name Klasse Datum 1 Allgemeines Reguläre Ausdrücke (engl. Regular Expressions) dienen dazu, Texte bzw. Textpassagen zu beschreiben, indem Texte als Mengen von Zeichen interpretiert werden und die Beschreibung einem theoretischen Ansatz auf Basis der Mengenlehre folgt. Aufgrund der Fähigkeit zu beschreiben folgen auch die wichtigsten Anwendungsgebiete von Regulären Ausdrücken, dem Filtern von Texten, dem Extrahieren und dem Ersetzen von Textfragmenten. Speziell unter UNIX werden Reguläre Ausdrücke gerne für Verarbeitungsskripte verwendet, da hier sehr einfach auf die Ausgaben von Batchprogrammen zugegriffen werden kann und mit Hilfe des Programms grep (global/regular expression/print) die gewünschten Inhalte gesucht werden können. Die Anwendung von Regulären Ausdrücken auf Texte erfolgt durch entsprechende Implementierungen, welche (leider) unterschiedliche Funktionsumfänge und Dialekte hervorgebracht haben. Am verbreitetsten ist PCRE (Perl Compatible Regular Expressions), welches sich an der Perl Implementierung orientiert. Weiterhin wird bei den Regulären Ausdrücken zwischen den grundlegenden (basic) und den erweiterten (extended) Regulären Ausdrücken unterschieden, wobei die Erweiterungen die ursprüngliche theoretische Basis der Mengenlehre sprengen. Als Beispiel sei hier die Rückwärtsreferenzen (backtracking) genannt, welche es ermöglichen auf bereits gefundene Textfragmente wiederum Reguläre Ausdrücke anzuwenden. Das hier vorliegende Dokument dient dazu, die wesentlichen Elemente von Regulären Ausdrücke verstehen zu lernen und eine Java Implementierung zur Anwendung und zum Üben von Regulären Ausdrücken zu realisieren. 2 Java Implementierung Java bietet in der Bibliothek javax.util.regex.* (siehe: bzw. docs/ books/ tutorial/essential/regex/index.html) die notwendigen Klassen und Methoden an, um Reguläre Ausdrücke anwenden zu können. Hierbei gibt es zwei wesentliche Klassen: Pattern: Dies ist eine Klasse, welche den Regulären Ausdruck kompiliert und somit mehrfach anwendbar macht, wobei die Anwendung durch den Machter durchgeführt wird. Alternativ kann ein Pattern auch direkt den Regulären Ausdruck anwenden, wobei dies bei mehrfacher Ausführung eine ungünstiger Performance mit sich bringt, da der Ausdruck bei jedem Match (Treffer) neu kompiliert wird. Matcher: Der Machter ist in der Lage ein kompiliertes Pattern anzuwenden und verschiedene komfortable Methoden (z.b.: Suchen, Ersetzen) abhängig von den Matches durchzuführen. Was: Anwendung von Regulären Ausdrücken Programmiersprache: Java Pattern p1 = Pattern.compile("u", Pattern.CASE_INSENSITIVE); Matcher m1 = p1.matcher("berufsschule"); String s1 = m1.replaceall("a"); Pattern p2 = Pattern.compile("[0-9][^0-9]*"); Matcher m2 = p2.matcher("8tung, ein Text"); boolean b2 = m2.matches(); Pattern p3 = Pattern.compile("\b\S*a\S*\b"); Matcher m3 = p3.matcher("peter Paul Mary"); while(m3.find()) { System.out.println(m3.group()); } Erklärung: Pattern p1 Pattern.compile( "u", Pattern. CASE_INSENSITIVE); Deklaration eines Pattern Objektes Compillierung der Expression und Erzeugung eines Patterns, wobei als zweiter Parameter die Flags angegeben sind. Diese werden als Bitmuster in einer int Variable codiert. ANPR_01_RegexInJava_v03.docx Seite 1

2 Was: Anwendung von Regulären Ausdrücken Programmiersprache: Java Matcher m1 Deklaration eines Matcher Objektes p1.matcher( "Berufsschule"); Anwendung der Expression auf den Text und Erzeugung eines Matcher Objektes. m1.replaceall("a"); Ersetzen jeder Fundstelle mit dem angegebenen String (hier a ). m2.matches(); Prüfung, ob der Ausdruck exakt matcht m3.find() Prüfung, ob das Pattern im Text gefunden wurde, incl. Positionierung eines Zeigers auf diese Fundstelle. m2.group(); Ausgabe der gefundenen Stelle, auf dem der aktuelle Zeiger steht. Programmierhinweis: Nutzung eines Matchers Aufgrund der komfortablen Methoden ist es prinzipiell sinnvoll einen Matcher zu verwenden. Bei einmaliger Prüfung, ob der Text der Expression entspricht kann jedoch auch folgende Methode verwendet werden: Pattern.matches("0-9][^0-9]*", "8tung, ein Text"); Wichtig ist jedoch, dass Matcher nicht Threadsicher (thread save) sind. Die wichtigsten Methoden vom Matcher sind: matches(): Liefert true zurück, wenn der gesamte untersuchte Text dem Regulären Ausdruck entspricht. find(): Liefert true zurück, wenn innerhalb des Textes eine Passage gefunden wurde, welche dem Regulären Ausdruck entspricht. Die Suche beginnt beim ersten Aufruf am Anfang des Textes und endet mit dem letzten Zeichen, welches dem Regulären Ausdruck entspricht. Sofern reset() nicht aufgerufen wurde, sucht die Methode beim zweiten Aufruf beim nächsten Zeichen nach dem vorausgegangenen Match weiter, es können somit sequenziell alle Matches abgearbeitet werden. group(): Liefert, sofern nach find() aufgerufen, die Textpassage zurück, welche mit dem vorausgegangenen find() gefunden wurde. start(): Liefert, sofern nach find() aufgerufen, die Position des ersten Zeichens der Textpassage zurück, welche mit dem vorausgegangenen find() gefunden wurde. stop(): Liefert, sofern nach find() aufgerufen, die Position des letzten Zeichens der Textpassage zurück, welche mit dem vorausgegangenen find() gefunden wurde. reset(): Setzt den Zeiger der letzten durch find() gefundenen Textpassage wieder auf die Position 0 zurück. Die Flags, welche für die Kompilierung des Patterns akzeptiert werden sind wie folgt: CANON_EQ: Kanonische Äquivalenz also wenn zwei UNICODE Zeichen zur selben Darstellung führen, werden sie als identisch angesehen. CASE_INSENSITIVE: Großbuchstabe und Kleinbuchstabe werden als identisch angesehen. COMMENTS: Kommentare (Zeichen # bis Zeilenende) innerhalb des Regulären Ausdrucks werden ignoriert. DOTALL: Der Punktoperator berücksichtigt auch das Zeilentrennzeichen. LITERAL: Metazeichen werden nicht als solches berücksichtigt, sondern werden literal interpretiert. MULTILINE: Die Operatoren ^ und $ gelten für den Anfang und das Ende jeder Zeile, nicht des gesamten Textes. UNICODE_CASE: Bei CASE_INSENSITIVE wird der Vergleich über den UNICODE Standard durchgeführt. UNIX_LINES: Als Zeilentrenner wird lediglich \n interpretiert. Bei mehreren zu setzenden Flags, müssen diese bitweise mit dem Oder Operator gesetzt und anschließend übergeben werden. Darüber hinaus bietet Java auch in der String Klasse Methoden zur Prüfung des Strings, wie z.b. matches(strregex), replaceall(strregex, strreplacement) an. Dies ist für einfache, einmalige Aufgaben gedacht. Details unter Seite 2

3 Reguläre Ausdrücke 3 Syntax von Regulären Ausdrücken Grundsätzlich hilft bei Regulären Ausdrücken das Netz weiter es gibt hunderte von Seiten, die einem weiterhelfen. Eine sehr gut gestaltete Seite ist: Hier finden sich neben dem hier dargelegten noch viele weitere nützliche Tipps. Zum schnellen validieren kann man sich auf umsehen. 3.1 Identifikation von Zeichen Die einfachste Form von Regulären Ausdrücken ist die Identifikation von einzelnen Zeichen. Hierbei wird der zu suchende Buchstabe einfach als Regulärer Ausdruck interpretiert. Beachtung von Groß- /Kleinschreibung wird in der Regel als Parameter in der RegEx Implementierung gesetzt. Bei Java ist dies das Flag CASE_INSENSITIVE. u a Berufsschule Berafsschale Genauso können mehrere Zeichen als Kette gesucht werden: ul a Berufsschule Berufsschae Zu beachten ist, dass Metazeichen mit \ zu escapen sind: [ ] \ ^ $.? * + ( ) Achtung: Im Java String muss das Escapezeichen ebenfalls escaped werden. Für das Escapen von [ darf somit nicht \[, sondern muss mit \\[ gesetzt werden. Weiterhin sind noch besondere Zeichen definiert worden, wobei diese z.t. abhängig von der Implementierung sind. Die hier angegebenen Zeichen entstammen der Klassenbeschreibung von java.util.regex.pattern: Sonderzeichen: Bedeutung \\ Das backslash Zeichen \0n Das Zeichen mit dem Oktalwert 0n (0 <= n <= 7) \0nn Das Zeichen mit dem Oktalwert 0nn (0 <= n <= 7) \0mnn Das Zeichen mit dem Oktalwert 0mnn (0 <= m <= 3, 0 <= n <= 7) \xhh Das Zeichen mit dem Hexadezimalwert 0xhh (0 <= h <= F) \uhhhh Das Zeichen mit dem Hexadezimalwert 0xhhhh (0 <= h <= F) als Unicode \t Das Tabulatorzeichen ('\u0009') \n Das newline (line feed) Zeichen ('\u000a') \r Das carriage-return Zeichen ('\u000d') \f Das form-feed Zeichen ('\u000c') \a Das Alarm (bell) Zeichen ('\u0007') \e Das escape Zeichen ('\u001b') \cx Das Kontroll-Zeichen zu x (bspw. ctrl a: \ca ) Zusatzinfo Zeilenterminierung: Zeilenterminierungen (bzw. Lineterminators) haben eine besondere Bedeutung, da sie zum einen üblicherweise nicht ausgegeben werden und zum anderen eine unterschiedliche Interpretation bei UNIX und Windows existiert. Darüber hinaus besteht unter Windows die Zeilenterminierung aus zwei Zeichen. Seite 3

4 Hier die relevanten Zeilenumbruch - Zeichen: Terminator: Bedeutung: \n Newline (bzw. Line feed) Zeichen (UNIX) \r\n Carriage Return Zeichen gefolgt von einem Newline Zeichen (Windows) \r Einzelnes Carriage Return Zeichen \u0085 Next Line Zeichen \u2028 Line Separator Zeichen \u2029 Absatz Separator Zeichen Weiterhin sind noch POSIX Zeichenklassen für den US ASCII Code und eigene Java Identifikationen definiert worden. Diese können in der Klassenbeschreibung von java.util.regex.pattern ersehen werden ( 3.2 Identifikation von Zeichengruppen Es ist möglich, verschiedene Zeichen als bestimmte Zeichengruppen anzugeben. Hierzu gibt es verschiedene Möglichkeiten. Die einfachste Möglichkeit ist die Zusammenfassung in Eckigen Klammern [ ]. Innerhalb dieser können wiederum verschiedene Ausdrücke stehen: Einzelne Zeichen werden auch einzeln betrachtet, insofern gibt [aeiou] an, dass nach allen a, e, i, o bzw. u gesucht wird. [aeiou] + Berufsschule B+r+fssch+l+ Zusammenhängende Zeichengruppen können mit Bindestrich angegeben werden. [a-f] sucht somit alle Zeichen von a bis f, wobei die ASCII Codetabelle für die Bestimmung der Bereiche herangezogen wird. [a-f] + Berufsschule B+ru+ss+hul+ Durch Aneinanderreihung von einzelnen Zeichen bzw. zusammenhängenden Zeichengruppen können diese auch kombiniert werden. [aeiou][a-f] sucht somit nach Stellen, an denen a, e, i, o bzw. u vor einem a, b, c, d, e oder f stehen. [aeiou][a-f] + Berufsschule Ber+sschule Die Zeichengruppen können auch negiert werden, indem ein Zirkumflex (^) Zeichen nach der öffnenden Klammer platziert wird. [^a-f] sucht somit nach allen Zeichen, außer a, b, c, d, e oder f. [^a-f] + Berufsschule +e++f++c+++e Weiterhin gibt es vordefinierte Zeichengruppen, welche mit Ausnahme des Punktes mit Hilfe von Zeichengruppen selbst formuliert werden können. Zeichengruppe: Bedeutung: Ersatzausdruck:. Jedes beliebige Zeichen 1 nicht sinnvoll \d Eine beliebige Ziffer [0-9] \D Alles außer Ziffern [^0-9] \s Ein Whitespace Zeichen [\t\n\x0b\f\r] \S Alles außer Whitespace Zeichen [^\t\n\x0b\f\r] \w Ein beliebiges Wort Zeichen (incl. Unterstrich, ohne Umlaute) [a-za-z_0-9] 1 Je nach Setting der Implementierung wird der Line Terminator ignoriert. Bei Java Pattern wird dies durch das setzen des Flags DOTALL erreicht. Seite 4

5 Reguläre Ausdrücke Zeichengruppe: Bedeutung: Ersatzausdruck: \W Alles außer Wort Zeichen [^a-za-z_0-9] Implizit wurde bereits auf die Union von zwei Gruppen hingewiesen ([aeiou][a-f]). Darüber hinaus existiert noch die Intersection ( && ), welche nur die Zeichen identifiziert, welche in beiden Ausdrücken vorhanden ist. Bspw. sucht [a-z&&[^aeiou]] alle Zeichen des Alphabets außer a, e, I, o bzw. u. Eine weitere Operation stellt die Alternative ( ) dar, in der zwei Optionen angegeben werden (cats dogs) würde beim Satz It is raining cats and dogs zwei Matches haben. Diese beiden Funktionen existieren jedoch nur in wenigen Implementationen Java ist eine davon: ( 3.3 Quantoren Um zu spezifizieren, wie oft gesuchte Sequenzen vorkommen dürfen, werden Quantoren benötigt. Sie werden an das gesuchte Zeichen oder Zeichengruppen angehängt (bswp. sucht a{3} alle Vorkommnisse von aaa). Quantor: Bedeutung:? Voranstehender Ausdruck muss 0 oder einmal vorkommen. + Voranstehender Ausdruck muss 1 oder mehrmal vorkommen. * Voranstehender Ausdruck muss 0, 1 oder mehrmal vorkommen. {n} Voranstehender Ausdruck muss exakt n mal vorkommen. {min,} Voranstehender Ausdruck muss mindestens min mal vorkommen. {,max} Voranstehender Ausdruck darf maximal max mal vorkommen. {min,max} Voranstehender Ausdruck muss mindestens min mal und maximal max mal vorkommen. Wichtig zu beachten ist, dass sich die Quantoren auf den vorausgegangen Ausdruck beziehen, nicht auf die gefundene Sequenz. So findet [0-9]{3} sowohl die 000, als auch die 007 im Text von 000 bis 007 ist ein weiter Weg Gieriges Verhalten (greedy) Grundsätzlich verhalten sich die Quantoren gierig (engl. greedy). Dies bedeutet, dass sämtliche möglichen Matches gefunden (und bspw. bei Ersetzung auch angewendet) werden. Folgendes Beispiel soll dies verdeutlichen: s+ + Berufsschule Beruf+chule Der Ausdruck sucht somit ein, oder mehrere s, interpretiert sie als einen Treffer und ersetzt sie mit einem +. Der Match hat somit den gesamten Bereich als seinen Treffer aufgefasst. Anschließend fängt er mit einer neuen Suche an. Gierig bedeutet also, dass der letzte mögliche Match verwendet wird Genügsames Verhalten (reluctant) Nun kann man in den meisten Implementierungen von Regulären Ausdrücken (den Perl Vorgaben folgend) die Quantoren auch genügsam (engl. reluctant, oder non-greedy) auszuführen. Hierfür wird im Regelfall ein? nachgestellt: s+? + Berufsschule Beruf++chule Man sieht am Ergebnis, dass Java pro Wort zwei Matches gefunden hat. Der erste begnügt sich also mit dem ersten gefundenen Buchstaben und beginnt anschließend wieder erneut mit einer Suche. Genügsam bedeutet also, dass der erste mögliche Match verwendet wird Possesives Verhalten (possessive) Mit dem possesiven Verhalten ist es möglich, trotz gierigem Verhalten, den gesamten Match auf eine zusammenhängende Gruppe zu reservieren. Hierzu muss ein + nachgestellt werden. Um das Verhalten zu verdeutlichen, werden hier der normale gierige und der possesive Ausdruck dargestellt: Seite 5

6 . + Bs Bs7 + Der sinnvollste Anwendungsfall für possesives Verhalten ist weniger die Ersetzung von Text, als die Filterung. Eine Prüfung auf ein Matching der oberen Zeile würde false, auf die untere true ergeben. Possesives Verhalten ist in nur wenigen Implementierungen realisiert, Java ist eine davon. 3.4 Grenzen Oftmals ist es notwendig, Zeichenketten anhand ihrer Position in Zeilen oder Wörtern zu identifizieren. Zum Beispiel erwirkt der Operator \b, dass die Zeichenkette an der Grenze eines Wortes stehen muss: \ber + er, der Herr erfährt mehr. +, der Herr +fährt mehr. er\b + er, der Herr erfährt mehr. +, d+ Herr erfährt mehr \ber\b + er, der Herr erfährt mehr. +, der Herr erfährt mehr. Folgende Grenzen kennt Java: Grenze: ^ Bedeutung: Anfang einer Zeile (Zeichen nicht mit dem Negierer verwechseln dieser steht nicht am Anfang) 2 $ Ende einer Zeile 2 \b Wortgrenze \B Nichtwortgrenze (also das Pattern darf nicht an einer Wortgrenze stehen) \A Anfang des untersuchten Strings \G Ende des vorausgegangenen Matches \Z Ende des untersuchten Strings, ohne dem finalen Terminator, sofern er existiert \z Ende des untersuchten Strings 3.5 Nummerierung und Capturing Groups Eine fortgeschrittene Möglichkeit mit Regulären Ausdrücken zu hantieren sind die Capturing Groups, welche beim sogenannten backreferencing genutzt werden. Zuerst ist es wichtig zu verstehen, dass Ausdrücke in Klammern durchnummeriert sind. Beispielsweise hat der Ausdruck ((A)(B(C))) vier Gruppen: 1. ((A)(B(C))) 2. (A) 3. (B(C)) 4. (C) Die Nummerierung folgt den öffnenden Klammern. Wenn nun Ausdrücke verwendet werden, so kann mittels einer Rückwärtsreferenz ( backreference ) diese wieder mittels \n referenziert werden, wobei n die Nummer des referenzierten Ausdrucks ist. Beispielsweise sucht der Ausdruck (\d\d)\1 zwei aufeinanderfolgende Ziffern, wobei diese zweimal hintereinander stehen müssen (dies wird durch die Referenz \1 gefordert, also suche zwei beliebige Ziffern hintereinander \d\d und dann das gleiche nochmal \1 ): (\d\d)\ (\d\d)\ In der unteren Zeile wird das Pattern nicht wiedergefunden, da es kein Ziffernpärchen gibt, welches zweimal hintereinander vorkommt. 2 Multiline Identification muss im Regelfall in der Implementierung aktiviert werden Seite 6

7 Reguläre Ausdrücke 3.6 Look around assertions Es ist möglich Ausdrücke entsprechend ihrer Position eines zweiten Ausdruckes zu bestimmen. Wenn z.b. ein Buchstabe u nur dann gefunden werden soll, wenn er vor einem f steht, kann dies mit einem entsprechenden Ausdruck realisiert werden. Grundsätzlich kann der vorausgehende Ausdruck (look ahead) oder der nachstehende Ausdruck (look back) gesucht werden Look ahead assertion Bei einer vorausschauenden Prüfung wird mit (?=X) geprüft, ob der gesuchte Ausdruck vor einem Referenzausdruck X steht (positive look ahead assertion). Der Ausdruck (?!X) negiert dies und prüft, ob der gesuchte Ausdruck nicht vor einem Referenzausdruck X steht. u(?=f) + Berufsschule Ber+fsschule u(?!f) + Berufsschule Berufssch+le Look back assertion Die zurückschauende Prüfung wird mit (?<=X) formuliert und prüft, ob der gesuchte Ausdruck nach einem Referenzausdruck X steht (positive look behind assertion). Der Ausdruck (?<!X) negiert dies und prüft, ob der gesuchte Ausdruck nicht nach einem Referenzausdruck X steht. (?<=r)u + Berufsschule Ber+fsschule (?<!r)u + Berufsschule Berufssch+le 3.7 Sonderfall Zeilenumbruch Wie oben bereits angedeutet, hat der Punkt Operator. nicht zwingend die Eigenschaft, den Zeilenumbruch als eigenes Zeichen zu interpretieren, dies muss je nach Implementierung aktiviert werden. Wenn z.b. der Text zwischen zwei Klammern identifiziert werden muss, so kann folgender Ausdruck ein Problem darstellen: \(.*\) Wenn die öffnende Klammer in Zeile1 und die schließende Klammer in Zeile 2 steht, würde bei Nichtinterpretation des Zeilenumbruches kein Match gefunden werden, da zwischen den beiden Klammern ja nicht eine beliebige Anzahl von Zeichen stehen würde sondern zwei voneinander getrennte Gruppen von Zeichen. Seite 7

8 4 Lizenz Diese(s) Werk bzw. Inhalt von Maik Aicher ( steht unter einer Creative Commons Namensnennung - Nicht-kommerziell - Weitergabe unter gleichen Bedingungen 3.0 Unported Lizenz. Seite 8