Schritt für Schritt Reguläre Ausdrücke verstehen. Einstieg in. Reguläre Ausdrücke. Michael Fitzgerald O REILLY. Übersetzung von Thomas Demmig

Transkript

1 Schritt für Schritt Reguläre Ausdrücke verstehen Einstieg in Reguläre Ausdrücke O REILLY Michael Fitzgerald Übersetzung von Thomas Demmig

2

3 Einstieg in Reguläre Ausdrücke Michael Fitzgerald Deutsche Übersetzung und Bearbeitung von Thomas Demmig Beijing Cambridge Farnham Köln Sebastopol Tokyo

4 Die Informationen in diesem Buch wurden mit größter Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden. Verlag, Autoren und Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell verbliebene Fehler und deren Folgen. Alle Warennamen werden ohne Gewährleistung der freien Verwendbarkeit benutzt und sind möglicherweise eingetragene Warenzeichen. Der Verlag richtet sich im Wesentlichen nach den Schreibweisen der Hersteller. Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Alle Rechte vorbehalten einschließlich der Vervielfältigung, Übersetzung, Mikroverfilmung sowie Einspeicherung und Verarbeitung in elektronischen Systemen. Kommentare und Fragen können Sie gerne an uns richten: O Reilly Verlag GmbH & Co. KG Balthasarstr Köln kommentar@oreilly.de Copyright der deutschen Ausgabe: 2012 O Reilly Verlag GmbH & Co. KG 1. Auflage 2012 Die Originalausgabe erschien 2012 unter dem Titel Introducing Regular Expressions bei O Reilly Media, Inc. Die Darstellung eines Flughundes im Zusammenhang mit dem Thema Reguläre Ausdrücke ist ein Warenzeichen von O Reilly Media, Inc. Bibliografische Information Der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Deutsche Übersetzung und Bearbeitung: Thomas Demmig, Frankfurt Lektorat: Volker Bombien, Köln Korrektorat: Dr. Dorothée Leidig, Freiburg Produktion: Karin Driesen, Köln Umschlaggestaltung: Michael Oreal Satz: Reemers Publishing Services GmbH, Krefeld, Belichtung, Druck und buchbinderische Verarbeitung: Druckerei Kösel, Krugzell, ISBN: Dieses Buch ist auf 100% chlorfrei gebleichtem Papier gedruckt.

5 Inhalt Vorwort Was ist ein regulärer Ausdruck?... 1 Ein Anfang mit Regexpal... 2 Eine nordamerikanische Telefonnummer finden... 3 Ziffern mit einer Zeichenklasse finden... 4 Ein Zeichenkürzel verwenden... 5 Beliebige Zeichen finden... 5 Gruppen und Rückwärtsreferenzen... 6 Quantoren einsetzen... 7 Einfassende Literale... 8 Eine Beispielanwendung... 9 Was Sie in Kapitel 1 gelernt haben Technische Hinweise Einfache Muster finden Stringliterale finden Ziffern finden Etwas anderes als Ziffern finden Wort- und Nicht-Wortzeichen finden Whitespace finden Beliebige Zeichen finden Zweite Runde Text mit Markup versehen Text mit sed mit Markup versehen Markup mit Perl einfügen Was Sie in Kapitel 2 gelernt haben Technische Hinweise IX V

6 3 Grenzen Anfang und Ende einer Zeile Wort- und Nicht-Wortgrenzen Andere Anker Eine Gruppe von Zeichen als Literale markieren Tags hinzufügen Tags mit sed hinzufügen Tags mit Perl hinzufügen Was Sie in Kapitel 3 gelernt haben Technische Hinweise Alternation, Gruppen und Rückwärtsverweise Alternation Untermuster Einfangende Gruppen und Rückwärtsverweise Benannte Gruppen Nicht-einfangende Gruppen Atomare Gruppen Was Sie in Kapitel 4 gelernt haben Technische Hinweise Zeichenklassen Negierte Zeichenklassen Vereinigung und Differenz POSIX-Zeichenklassen Was Sie in Kapitel 5 gelernt haben Technische Hinweise Unicode- und andere Zeichen finden Ein Unicode-Zeichen finden Einsatz von vim Zeichen mit Oktalzahlen finden Eigenschaften von Unicodezeichen finden Steuerzeichen finden Was Sie in Kapitel 6 gelernt haben Technische Hinweise VI Inhalt

7 7 Quantoren Gierig, genügsam und possessiv Mit *, + und? finden Eine bestimmte Anzahl finden Genügsame Quantoren Possessive Quantoren Was Sie in Kapitel 7 gelernt haben Technische Hinweise Lookarounds Positive Lookaheads Negative Lookaheads Positive Lookbehinds Negative Lookbehinds Was Sie in Kapitel 8 gelernt haben Technische Hinweise Ein Dokument mit HTML-Markup versehen Tags finden Reinen Text mit sed umformen Mit sed ersetzen Römische Zahlen mit sed verarbeiten Einen bestimmten Absatz mit sed verarbeiten Die Zeilen des Gedichts mit sed verarbeiten Tags anfügen Eine Befehlsdatei bei sed einsetzen Reinen Text mit Perl umwandeln Römische Zahlen mit Perl verarbeiten Einen bestimmten Absatz mit Perl verarbeiten Die Zeilen des Gedichts mit Perl verarbeiten Eine Befehlsdatei mit Perl einsetzen Was Sie in Kapitel 9 gelernt haben Technische Hinweise Das Ende vom Anfang Mehr erfahren Interessante Tools, Implementierungen und Bibliotheken Perl PCRE Inhalt VII

8 Ruby (Oniguruma) Python RE Eine nordamerikanische Telefonnummer finden Eine -Adresse finden Was Sie in Kapitel 10 gelernt haben Anhang: Reguläre Ausdrücke Referenz Glossar zu regulären Ausdrücken Index VIII Inhalt

9 Vorwort Dieses Buch zeigt Ihnen anhand von Beispielen, wie Sie reguläre Ausdrücke schreiben. Ziel ist, das Erlernen von regulären Ausdrücken so einfach wie möglich zu machen. Tatsächlich stellt dieses Buch nahezu jedes Konzept anhand von Beispielen vor, so dass Sie es leicht selbst ausprobieren können. Reguläre Ausdrücke helfen Ihnen dabei, Muster in Textstrings zu finden. Genauer gesagt, handelt es sich dabei um Textstrings mit einer bestimmten Syntax, die auf Muster in Strings passen meist aus Dokumenten oder Dateien. Reguläre Ausdrücke fanden Verbreitung, nachdem der Mathematiker Stephen Kleene sein Buch Introduction to Metamathematics schrieb (New York, Van Nostrand). Es wurde erstmals 1952 veröffentlicht, auch wenn die Konzepte aus den frühen 1940er Jahren stammten. Mit dem Aufkommen des Unix-Betriebssystems hatten die Informatiker bessere Möglichkeiten, es einzusetzen dank der Arbeit von Brian Kernighan, Dennis Ritchie, Ken Thompson und anderen an den AT&T Bell Labs sowie von Tools wie sed und grep in den frühen 1970er Jahren. Der erste Einsatz regulärer Ausdrücke, den ich in einem Computerprogramm finden konnte, war im QED-Editor. Der QED Abkürzung von Quick Editor war für das Berkeley-Timesharing-System geschrieben worden, das auf dem Scientific Data Systems SDS 940 lief. Im Jahr 1970 dokumentiert, handelte es sich um eine Neuauflage (von Ken Thompson) eines früheren Editors auf dem MIT Compatible-Time-Sharing-System. Hier fand sich eine der ersten praktikablen Implementierungen regulärer Ausdrücke auf einem Computer. (Tabelle A-1 in Anhang 1 beschreibt die Regex-Features von QED.) Ich werde eine ganze Reihe von Tools nutzen, um die Beispiele zu demonstrieren. Sie werden sie hoffentlich nützlich und hilfreich finden. Andere Tools habe ich nicht eingesetzt, weil sie nicht einfach auf Ihrem Windows-System zu nutzen sind. Sie können diejenigen überspringen, die Ihnen nicht praktisch genug erscheinen oder die Sie optisch nicht ansprechen. Aber ich empfehle jedem, der ernsthaft im Computerumfeld tätig sein will, reguläre Ausdrücke in einer Unix-basierten Umgebung zu erlernen. Ich arbeite in dieser Umgebung seit 25 Jahren und lerne immer noch jeden Tag etwas Neues. IX

10 »Diejenigen, die Unix nicht verstehen, sind dazu verdammt, es neu zu erfinden nur schlechter.«henry Spencer Einige der Tools, die ich Ihnen zeigen werde, stehen online über einen Webbrowser zur Verfügung. Das dürfte für die meisten Leser am einfachsten sein. Andere nutzen Sie von der Befehlszeile aus und ein paar laufen auf dem Desktop. Die Tools lassen sich leicht herunterladen, wenn Sie sie noch nicht besitzen. Der Großteil davon ist kostenlos oder sehr günstig. Dieses Buch kümmert sich nicht allzu sehr um Begrifflichkeiten. Ich werde Ihnen bei Bedarf die notwendigen Begriffe erklären, aber nur in kleinen Dosen. Ich habe diesen Weg gewählt, weil ich im Laufe der Jahre festgestellt habe, dass Fachbegriffe häufig zu Verständnisproblemen führen. Mit anderen Worten: Ich werde Sie möglichst nicht mit dem trockenen Fachvokabular behelligen, das reguläre Ausdrücke beschreibt. Denn die Idee dieses Buches ist, dass man nützliche Dinge schon erledigen kann, bevor man alles über ein bestimmtes Thema weiß. Es gibt viele verschiedene Implementierungen regulärer Ausdrücke. Sie finden sie in Unix-Befehlszeilentools wie vi (vim), grep und sed. Es gibt reguläre Ausdrücke in Programmiersprachen wie Perl (natürlich), Java, JavaScript, C# oder Ruby und vielen weiteren, und sie finden sich in deklarativen Sprachen wie XSLT 2.0. Auch gibt es sie in Anwendungen wie Notepad++, Oxygen oder TextMate. Die meisten dieser Implementierungen haben Gemeinsamkeiten und Unterschiede. Ich werde in diesem Buch nicht auf alle Unterschiede eingehen, aber die wichtigsten werden erwähnt. Wenn ich versuchen würde, alle Unterschiede zwischen allen Implementierungen zu dokumentieren, müsste ich mich danach vermutlich einweisen lassen. In diesem Buch werde ich auf diese Art von Details nicht allzu sehr eingehen. Sie erwarten wie angekündigt eine Einführung in das Thema und die erhalten Sie auch. Wer dieses Buch lesen sollte Zielgruppe dieses Buchs sind Leute, die noch nie zuvor einen regulären Ausdruck geschrieben haben. Kennen Sie sich mit regulären Ausdrücken oder der Programmierung noch nicht aus, ist dieses Buch ein guter Ausgangspunkt. Mit anderen Worten: Ich schreibe für den Leser, der schon von regulären Ausdrücken gehört hat und interessiert daran ist, aber der sie noch nicht versteht. Wenn Sie sich in dieser Beschreibung wiederfinden, ist dieses Buch für Sie genau richtig. Wir gehen Schritt für Schritt vor und bewegen uns von einfachen hin zu komplexen Themen. Haben Sie schon ein wenig über reguläre Ausdrücke und ihren Einsatz gelernt oder sind Sie ein erfahrener Programmierer, ist dieses Buch vielleicht nicht unbedingt der richtige Einstiegspunkt für Sie. Es handelt sich um Einsteigerbuch, bei dem dem Leser ein wenig die Hand gehalten werden soll. Haben Sie schon reguläre Ausdrücke geschrieben und sind X Vorwort

11 vertraut mit ihnen, kann auch Ihnen dieses Buch eine Hilfe sein, aber ich werde vermutlich langsamer vorgehen, als Sie sich das wünschen. Ich empfehle als Folgeliteratur eine Reihe von Büchern. Schauen Sie sich als erstes Reguläre Ausdrücke, 3. Auflage von Jeff Friedl an (siehe regex3ger). Friedls Buch behandelt die regulären Ausdrücke sehr umfassend und ich empfehle es sehr. Auch möchte ich Ihnen das Reguläre Ausdrücke Kochbuch (siehe von Jan Goyvaerts und Steven Levithan ans Herz legen. Jan Goyvaerts ist der Entwickler von RegexBuddy, einer leistungsfähigen Desktopanwendung (siehe Steven Levithan hat RegexPal geschrieben, einen Online-Prozessor für reguläre Ausdrücke, den Sie im ersten Kapitel dieses Buches einsetzen werden (siehe Was Sie für dieses Buch benötigen Um dieses Buch möglichst sinnvoll einsetzen zu können, benötigen Sie Zugriff auf Tools, die auf Unix- oder Linux-Betriebssystemen bereitstehen, wie zum Beispiel Darwin auf dem Mac, einer Variante von BSD (Berkeley Software Distribution) auf dem Mac, oder Cygwin auf einem Windows PC, das in seiner Distribution viele GNU-Tools mitbringt (siehe und Es gibt viele Beispiele, die Sie ausprobieren können. Wenn Sie wollen, schauen Sie sie sich nur an, aber um richtig etwas daraus zu lernen, müssen Sie soviele wie möglich selbst nutzen. Denn meiner Meinung nach lernt man am besten, indem man mitmacht und nicht, indem man nur zuschaut. Sie lernen Websites kennen, auf denen Sie durch farbliche Hervorhebungen erkennen, welche Textabschnitte erkannt wurden. Ich stelle Ihnen Befehlszeilen-Tools aus der Unix-Welt und Desktop-Anwendungen vor, die reguläre Ausdrücke analysieren oder sie einsetzen, um Texte zu durchsuchen. Sie werden Beispiele aus diesem Buch auf Github unter fitzgerald/introducing-regular-expressions finden. Eine Zusammenstellung all der Beispiele und Testdateien aus diesem Buch finden Sie zum Herunterladen auch unter Es wäre am besten, Sie erstellen ein Verzeichnis auf Ihrem Computer und laden dann diese Dateien in den Ordner herunter, bevor Sie richtig in das Buch einsteigen. Typographische Konventionen In diesem Buch werden die folgenden typographischen Konventionen befolgt: Kursiv Steht für neue Begriffe, URLs, -Adressen, Dateinamen, Dateierweiterungen und so weiter. Vorwort XI

12 Nichtproportionalschrift Wird für Programmcode (auch innerhalb von Absätzen) genutzt, um auf Programmelemente wie Ausdrücke und Befehlszeilen oder andere Elemente zu verweisen. Dieses Symbol steht für einen Tipp, einen Vorschlag oder eine allgemeine Anmerkung. Danksagung Erneut möchte ich mich bei meinem Lektor Simon St. Laurent bei O Reilly bedanken, einem sehr geduldigen Menschen, ohne den dieses Buch nie das Licht der Welt erblickt hätte. Danke sehr auch an Seara Patterson Coburn und Roger Zauner für eure hilfreichen Korrekturen. Und wie immer möchte ich mich bei Cristi, der Liebe meines Lebens, bedanken, die mein Raison d être ist. XII Vorwort

13 KAPITEL 1 Was ist ein regulärer Ausdruck? Reguläre Ausdrücke sind speziell kodierte Strings, die als Muster zum Finden von Strings genutzt werden. Sie tauchten zuerst in den 1940er Jahren als Möglichkeit zum Beschreiben regulärer Sprachen auf, ließen sich in der Programmier-Welt aber erst in den 1970er Jahren richtig blicken. Ich fand sie das erste Mal im QED-Texteditor, der von Ken Thompson geschrieben worden war.»ein regulärer Ausdruck ist ein Muster, das eine Reihe von Zeichenketten festlegt; es ist zum Finden von bestimmten Strings gedacht.«ken Thompson Reguläre Ausdrücke wurden später ein wichtiger Bestandteil der aus dem Unix-Betriebssystem erwachsenden Toolsuite die Editoren ed, sed und vi (vim), grep, AWK und andere. Aber die Art und Weise, wie reguläre Ausdrücke implementiert wurden, ist leider nicht so regulär. Dieses Buch nutzt einen induktiven Ansatz es wandert vom Spezialfall zur allgemeinen Regel. Statt also erst eine Beschreibung und dann ein Beispiel zu präsentieren, werde ich Ihnen häufig erst das Beispiel vorstellen und dann kurz erklären, was hier passiert. Es ist ein Learning-by-Doing-Buch. Reguläre Ausdrücke haben den Ruf, sehr unleserlich zu sein, aber das hängt nur davon ab, wie Sie sie angehen. Es gibt eine natürliche Entwicklung von so etwas Einfachem wie \d als Zeichenkürzel, das zu jeder Ziffer zwischen 0 und 9 passt, bis hin zu etwas komplizierteren Dingen wie ^(\(\d{3}\) ^\d{3}[.-]?)?\d{3}[.-]?\d{4}$ wo wir am Ende des Kapitels landen werden: einem ziemlich robusten regulären Ausdruck, der zur einer zehnstelligen nordamerikanischen Telefonnummer passt mit oder ohne Klammern um den Area Code, mit oder ohne Bindestriche und Punkte, um die Nummer aufzuteilen. (Die Klammern müssen zudem immer»ausbalanciert«sein, zu jeder öffnenden Klammer muss es auch eine schließende Klammer geben.) 1

14 Kapitel 10 stellt Ihnen einen etwas ausgefeilteren regulären Ausdruck für eine Telefonnummer vor, aber das obige Beispiel ist für den Zweck dieses Kapitels ausreichend. Wenn Ihnen nicht klar ist, wie das alles funktioniert, machen Sie sich keine Sorgen: Ich werde den gesamten Ausdruck in diesem Kapitel nach und nach erläutern. Wenn Sie nur den Beispielen (möglichst im gesamten Buch) folgen, wird Ihnen das Schreiben regulärer Ausdrücke bald ganz locker von der Hand gehen. Sind Sie bereit, in diese neue Welt aufzubrechen? Gelegentlich stelle ich Unicode-Zeichen in diesem Buch über ihren Codepoint dar eine vierstellige, hexadezimale (zur Basis 16) Zahl. Diese Codepoints haben die Form U U+002E ist zum Beispiel der Codepoint für einen Punkt (.). Ein Anfang mit Regexpal Lassen Sie mich Ihnen die Regexpal-Website vorstellen, die Sie unter regexpal.com finden. Öffnen Sie die Site in einem Browser wie zum Beispiel Google Chrome oder Mozilla Firefox. Sie präsentiert sich Ihnen wie in Abbildung 1-1. Abbildung 1-1: Regexpal im Google Chrome Browser 2 Kapitel 1: Was ist ein regulärer Ausdruck?

15 Sie sehen hier einen oberen Textbereich und einen größeren unteren Textbereich. Das obere Textfeld dient zur Eingabe regulärer Ausdrücke, das untere ist für den Zieltext gedacht. Dieser Zieltext ist der Text oder die Sammlung von Strings, in denen etwas Passendes gefunden werden soll. Am Ende dieses und aller folgender Kapitel werden Sie einen Abschnitt»Technische Hinweise«finden. Dort erhalten Sie zusätzliche Informationen über die im Kapitel besprochene Technologie und Hinweise auf Quellen für weitere Informationen. Indem ich diese Hinweise am Ende der Kapitel unterbringe, wird der Textfluss weniger unterbrochen, als wenn ich alle Nase lang anhalte und sehr ins Detail gehe. Eine nordamerikanische Telefonnummer finden Jetzt wollen wir eine nordamerikanische Telefonnummer mit Hilfe eines regulären Ausdrucks finden. Geben Sie die folgende Nummer in den unteren Textbereich von Regexpal ein: Sie erkennen Sie vermutlich nicht, aber es ist die Telefonnummer von O Reilly Media in Sebastopol in Kalifornien. Lassen Sie uns diese Nummer mit einem regulären Ausdruck finden. Es gibt viele Möglichkeiten, das zu erreichen, aber als Einstieg geben Sie einfach die gleiche Nummer im oberen Bereich ein so, wie sie im unteren Feld steht: Nun sollte die eingegebene Nummer im unteren Feld komplett in Gelb hervorgehoben werden (siehe Abbildung 1-2). Wenn das bei Ihnen auch der Fall ist, sind Sie im Geschäft! Wenn ich in diesem Buch Farben in Bezug auf ein Bild oder ein Bildschirmfoto erwähne, wie zum Beispiel das Hervorheben in Regexpal, sind sie eventuell online oder in einer E-Book-Version dieses Buches zu sehen, aber nicht im gedruckten Buch. Lesen Sie dieses Buch also auf dem guten, alten Papier, wird Ihre Welt grau sein Sie haben da mein volles Mitgefühl. Sie haben in diesem regulären Ausdruck ein Stringliteral verwendet, um einen String im Zieltext zu finden. Ein Stringliteral ist eine buchstabengetreue Darstellung eines Strings. Jetzt löschen Sie die Nummer im oberen Feld und ersetzen sie durch die einzelne Ziffer 7. Haben Sie gesehen, was gerade passiert ist? Nur die Siebenen sind jetzt hervorgehoben. Der Buchstabe (beziehungsweise die Ziffer) 7 als regulärer Ausdruck findet die vier Vorkommen der Ziffer 7 im Zieltext. Eine nordamerikanische Telefonnummer finden 3