Reguläre Ausdrücke. kurz & gut. Tony Stubblebine 2. AUFLAGE. Deutsche Übersetzung von Peter Klicman & Lars Schulten

Transkript

1

2

3 2. AUFLAGE Reguläre Ausdrücke kurz & gut Tony Stubblebine Deutsche Übersetzung von Peter Klicman & Lars Schulten Beijing Cambridge Farnham Köln Paris Sebastopol Taipei Tokyo

4 Die Informationen in diesem Buch wurden mit größter Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden. Verlag, Autoren und Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell verbliebene fehlerhafte Angaben und deren Folgen. Alle Warennamen werden ohne Gewährleistung der freien Verwendbarkeit benutzt und sind möglicherweise eingetragene Warenzeichen. Der Verlag richtet sich im Wesentlichen nach den Schreibweisen der Hersteller. Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Alle Rechte vorbehalten einschließlich der Vervielfältigung, Übersetzung, Mikroverfilmung sowie Einspeicherung und Verarbeitung in elektronischen Systemen. Kommentare und Fragen können Sie gerne an uns richten: O Reilly Verlag Balthasarstr Köln Tel.: 0221/ Fax: 0221/ kommentar@oreilly.de Copyright der deutschen Ausgabe: 2008 by O Reilly Verlag GmbH & Co. KG 1. Auflage Auflage 2008 Die Originalausgabe erschien 2007 unter dem Titel Regular Expressions Pocket Reference, 2nd Edition bei O Reilly Media, Inc. Teile dieses Buchs basieren auf Mastering Regular Expressions von Jeffrey E.F. Friedl, 2006, 2002, 1997 by O Reilly Media, Inc. Java ist ein Warenzeichen von Sun Microsystems, Inc. Microsoft Internet Explorer und.net sind eingetragene Warenzeichen der Microsoft Corporation. Spider-Man ist ein eingetragenes Warenzeichen von Marvel Enterprises, Inc. Die Darstellung von Eulen im Zusammenhang mit dem Thema Reguläre Ausdrücke ist ein Warenzeichen von O Reilly Media, Inc. Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Übersetzung und deutsche Bearbeitung: Peter Klicman, Köln & Lars Schulten, Köln Lektorat: Alexandra Follenius, Köln Korrektorat: Sibylle Feldmann, Düsseldorf Satz: DREI-SATZ, Husby Umschlaggestaltung: Karen Montgomery, Sebastopol & Michael Oreal, Köln Produktion: Karin Driesen, Köln Druck: fgb freiburger graphische betriebe; ISBN Dieses Buch ist auf 100% chlorfrei gebleichtem Papier gedruckt.

5 Inhalt Über dieses Buch Einführung in reguläre Ausdrücke und in das Pattern-Matching.. 11 Regex-Metazeichen, Modi und Konstrukte Unicode-Unterstützung Kochbuch für reguläre Ausdrücke Rezepte Perl Unterstützte Metazeichen Regex-Operatoren Unicode-Unterstützung Beispiele Zusätzliche Ressourcen Java (java.util.regex) Unterstützte Metazeichen Regex-Klassen und -Interfaces Unicode-Unterstützung Beispiele Zusätzliche Ressourcen NET und C# Unterstützte Metazeichen Regex-Klassen und -Schnittstellen

6 Unicode-Unterstützung Beispiele Zusätzliche Ressourcen PHP Unterstützte Metazeichen Pattern-Matching-Funktionen Beispiele Zusätzliche Ressourcen Python Unterstützte Metazeichen Das re-modul, Objekte und Funktionen Unicode-Unterstützung Beispiele Zusätzliche Ressourcen Ruby Unterstützte Metazeichen Die objektorientierte Schnittstelle Unicode-Unterstützung Beispiele JavaScript Unterstützte Metazeichen Pattern-Matching-Methoden und -Objekte Beispiele Zusätzliche Ressourcen PCRE-Bibliothek Unterstützte Metazeichen PCRE-API Unicode-Unterstützung Beispiele Zusätzliche Ressourcen Inhalt

7 Der Apache-Webserver Unterstützte Metazeichen RewriteRule Matching-Direktiven Beispiele Der Editor vi Unterstützte Metazeichen Pattern-Matching Beispiele Zusätzliche Ressourcen Shell-Tools Unterstützte Metazeichen Zusätzliche Ressourcen Index Inhalt 7

8

9 Reguläre Ausdrücke kurz & gut Reguläre Ausdrücke bilden eine Sprache, die zum Parsen und Manipulieren von Text eingesetzt wird. Häufig werden sie verwendet, um komplexe Suchen/Ersetzen-Operationen vorzunehmen oder die Wohlgeformtheit von Textdaten zu überprüfen. Heutzutage sind reguläre Ausdrücke in die meisten Programmiersprachen, aber auch in viele Skriptsprachen, Editoren, Anwendungen, Datenbanken und Kommandozeilentools integriert. Dieses Buch ermöglicht Ihnen den schnellen Zugriff auf die Syntax und Mustererkennungsoperationen der am weitesten verbreiteten Implementierungen, damit Sie Ihre Kenntnisse regulärer Ausdrücke in jeder Art von Umgebung zur Anwendung bringen können. Die zweite Auflage dieses Buchs ergänzt Abschnitte zu Ruby und dem Apache-Webserver, gibt Beispiele zu häufig verwendeten regulären Ausdrücken und aktualisiert außerdem die Einträge zu den bereits berücksichtigten Sprachen. Über dieses Buch Das Buch beginnt mit einer allgemeinen Einführung in reguläre Ausdrücke. Der erste Abschnitt beschreibt und definiert die bei regulären Ausdrücken verwendeten Konstrukte und führt gängige Prinzipien der Mustererkennung (Pattern-Matching) ein. Die restlichen Abschnitte widmen sich der Syntax, den Features und der Verwendung regulärer Ausdrücke unter den verschiedenen Implementierungen. 9

10 Dieses Buch deckt die Implementierungen von Perl, Java,.NET und C#, Ruby, Python, PCRE, PHP, dem Apache-Webserver, dem Editor vi, JavaScript und von verschiedenen Shell-Tools ab. Verwendete Konventionen Wir verwenden die folgenden typografischen Konventionen: Kursiv Wird zur Hervorhebung, zur Einführung neuer Begriffe, für Programmnamen und URLs verwendet. Nichtproportionalschrift Wird für Optionen, Werte, Codefragmente und direkt einzugebenden Text verwendet. Nichtproportionalschrift kursiv Wird bei Text verwendet, der durch Benutzereingaben zu ersetzen ist. Nichtproportionalschrift fett Wird in Beispielen für Befehle und anderen Text verwendet, den der Benutzer wörtlich eingeben soll. Danksagungen Jeffrey E.F. Friedls Reguläre Ausdrücke (O Reilly) ist das Standardwerk zu regulären Ausdrücken. Auf sein Buch und seine Ratschläge habe ich häufig zurückgegriffen, während ich dieses Büchlein geschrieben habe. Zum schnelleren Nachschlagen enthält dieses Buch Hinweise auf die entsprechenden Seiten in Reguläre Ausdrücke (»RA«abgekürzt; die Seitenzahlen beziehen sich auf die 3. Auflage von 2007), damit die Syntax und die Konzepte regulärer Ausdrücke bei Bedarf vertieft werden können. Nat Torkington und Linda Mui waren ausgezeichnete Lektoren, die mich bei der nicht ganz unkomplizierten 1. Auflage angeleitet haben. Diese Auflage wurde durch die erstklassigen Lektorierungsfähigkeiten von Andy Oram unterstützt. Sarah Burcham verdient besonderen Dank dafür, dass sie mir die Gelegenheit gab, dieses 10 Reguläre Ausdrücke kurz & gut

11 Buch zu schreiben, und selbst Teile zum Abschnitt»Shell-Tools«beitrug. Weitere Danksagungen für Ratschläge und technische Begutachtung gehen an Jeffrey Friedl, Philip Hazel, Steve Friedl, Ola Bini, Ian Darwin, Zak Greant, Ron Hitchens, A.M. Kuchling, Tim Allwine, Schuyler Erle, David Lents, Rabble, Rich Bowan, Eric Eisenhart und Brad Merrill. Einführung in reguläre Ausdrücke und in das Pattern-Matching Ein regulärer Ausdruck ist ein String, in dem normale Zeichen und Metazeichen (oder Metasequenzen) kombiniert sind. Die normalen Zeichen stehen für sich selbst. Metazeichen und Metasequenzen sind Zeichen oder Zeichensequenzen, die für Konzepte wie die Menge, Lage oder Art von Zeichen stehen. Die Liste im Abschnitt»Regex-Metazeichen, Modi und Konstrukte«zeigt die gängigsten Metazeichen und -Sequenzen in der Welt der regulären Ausdrücke. Spätere Abschnitte führen die Verfügbarkeit und Syntax unterstützter Metazeichen in den jeweiligen Regex-Implementierungen auf. Pattern-Matching (oder Mustererkennung) ist das Auffinden eines Textabschnitts, der durch einen regulären Ausdruck beschrieben wird. Wird ein solcher Textabschnitt gefunden, sprechen wir von einem Treffer oder Match. Der Programmcode, der nach diesem Text sucht, ist die Regex-Engine. Die Ergebnisse der meisten Matches lassen sich vorhersehen, wenn Sie sich die beiden folgenden Regeln vor Augen führen: 1. Der erste (am weitesten links stehende) Treffer gewinnt Reguläre Ausdrücke werden beim ersten Zeichen beginnend auf die Eingabe angewendet und bis zum letzten Zeichen fortgesetzt. Sobald die Regex-Engine einen Treffer findet, kehrt sie zurück. (Siehe RA ) 2. Standard-Quantoren sind gierig Quantoren legen fest, wie oft etwas wiederholt werden darf. Die Standard-Quantoren versuchen, so oft wie möglich zu treffen (und sind darum gierig, engl. greedy). Auf weniger als das Einführung in reguläre Ausdrücke und in das Pattern-Matching 11

12 Maximum lassen sie sich nur ein, wenn es für den Erfolg des Matchings notwendig ist. Dieser Prozess des Aufgebens von Zeichen und der Verwendung weniger langer Treffer wird Backtracking genannt. (Siehe RA ) Bei Regex-Engines gibt es (basierend auf dem Typ) Unterschiede. Es gibt zwei Klassen von Engines: Deterministische Finite Automaten (DFA) und Nichtdeterministische Finite Automaten (NFA). DFAs sind schneller, dafür fehlen ihnen aber viele Features eines NFA, wie Capturing, Lookaround und nicht gierige Quantoren. In der NFA- Welt gibt es zwei Arten: traditionelle NFAs und POSIX-NFAs. DFA-Engines DFAs vergleichen jedes Zeichen des Eingabe-Strings mit dem regulären Ausdruck und halten dabei alle laufenden Treffer nach. Da jedes Zeichen maximal einmal untersucht wird, ist die DFA-Engine die schnellste Regex-Engine. Eine zusätzliche Regel, die es bei DFAs zu beachten gilt, ist die Tatsache, dass die Alternationssequenz gierig ist. Trifft mehr als eine Option einer Alternation zu (foo foobar), wird die längste gewählt. Die erste Regel könnte also in»der längste erste (am weitesten links stehende) Treffer gewinnt«abgeändert werden. (Siehe RA ) Traditionelle NFA-Engines Traditionelle NFA-Engines vergleichen jedes Element der Regex mit dem Eingabe-String und halten dabei die Positionen fest, an denen zwischen zwei Optionen des regulären Ausdrucks gewählt wurde. Schlägt eine Option fehl, kehrt die Engine zur letzten gesicherten Position zurück (Backtracking). Bei Standard-Quantoren verhält sich die Engine gierig, das heißt, sie erkennt den längeren Text; führt diese Option aber zu einem Fehler, kehrt die Engine an eine gesicherte Position zurück und versucht eine weniger gierige Variante. Die traditionelle NFA-Engine verwendet geordnete Alternativen, das heißt, jede Alternative wird nacheinander (sequenziell) ausprobiert. Ein längerer Treffer kann ignoriert werden, wenn eine frühere Alternative zu einem erfolgreichen Treffer führt. Unsere erste Regel lässt sich hier also ergänzen zu»der erste (am weitesten 12 Reguläre Ausdrücke kurz & gut

13 links stehende) Treffer gewinnt, nachdem gierige Quantoren ihren Auftritt hatten«. (Siehe RA ) POSIX NFA-Engines POSIX NFA-Engines funktionieren wie traditionelle NFAs, es gibt aber eine Ausnahme: Eine POSIX-Engine wählt immer den längsten der am weitesten links stehenden Treffer aus. Zum Beispiel würde bei den Alternativen cat category wann immer möglich das Wort»category«erkannt werden, obwohl die erste Alternative (»cat«) ebenfalls zutrifft und die frühere Alternative darstellt. (Siehe RA ) Regex-Metazeichen, Modi und Konstrukte Die hier vorgestellten Metazeichen und Metasequenzen stellen die am weitesten verbreiteten Konstrukte regulärer Ausdrücke sowie deren gängigste Syntax dar. Abhängig von der Implementierung variieren Syntax und Verfügbarkeit dieser Konstrukte aber. Repräsentation von Zeichen Viele Implementierungen stellen Abkürzungen für bestimmte Zeichen zur Verfügung, deren Eingabe schwierig sein könnte. (Siehe RA ) Zeichenkürzel Die meisten Implementierungen besitzen bestimmte Kürzel für Zeichen wie Alarm, Backspace, Escape, Formfeed (Seitenvorschub), Newline (Zeilenvorschub), Carriage Return (Wagenrücklauf), horizontaler Tabulator und vertikaler Tabulator. Zum Beispiel ist \n häufig ein Kürzel für das Newline-Zeichen, das üblicherweise LF (oktal 012), je nach Betriebssystem aber auch CR (oktal 015) sein sein. Verwirrenderweise verwenden viele Implementierungen \b sowohl für Backspace als auch für die Wortgrenze (»word boundary«, die Position zwischen einem»wort«-zeichen und einem Nicht-»Wort«-Zeichen). Bei diesen Implementierungen ist \b innerhalb einer Zeichenklasse (einer Reihe von möglichen Zeichen, die in dem String zu erkennen sind) ein Backspace und überall sonst eine Wortgrenze. Einführung in reguläre Ausdrücke und in das Pattern-Matching 13