Tutorium Reguläre Ausdrücke/Code Munger

Transkript

1 Tutorium Reguläre Ausdrücke/Code Munger (Version 1.2 vom ) Einleitung Mit reguläre Ausdrücken lassen sich Mengen von Zeichenketten beschreiben. Diese Beschreibungen werden dann zum Beispiel zur Textsuche oder Textersetzung verwendet. Implementierungen für reguläre Ausdrücke gibt es für viele Programmiersprachen, Editoren und Tools. Ein regulärer Ausdruck besteht aus einer Folge von Zeichen und Metazeichen. Während die normalen Zeichen die ursprüngliche Bedeutung wie in einer normalen Textsuche besitzen, liegt die Ausdruckstärke der regulären Ausdrücke in den Metazeichen ([ ] ( ) { }? + - * ^ $ \. ). Im folgenden Tutorium soll der Einsatz regulärer Ausdrücke sowie einiger Tools dafür anhand einer konkreten Aufgabe erklärt werden. Idee ist, einen Index der PHP-Library MDB2 zu erstellen. Da PHP-Module im Quelltext vorliegen muss man dazu nur die notwendigen Informationen aus der entsprechenden Librarydatei extrahieren (Annahme: Die Library 1 befindet sich im Verzeichnis d:/programme/xampp/php/pear). Als Ergebnis sollen die Klassen zusammen mit ihren Methoden ausgegeben werden. Hinweis: Bei den folgenden Codebeispielen taucht öfters das \-Zeichen als letztes zeichen einer Zeile auf. Dies bedeutet, dass die Zeile eigentlich weitergehen sollte, ich aber keinen Platz mehr in der Zeile hab. Ok, werfen wir mal nen Blick rein. Dazu starten wir eine Shell (cygwin unter windows, ksh, csh, bash unter Unix) und gib das folgende Kommando 2 ein: $ less d:/programme/xampp/php/pear/mdb2.php Nachdem wir uns den Quellcode angeschaut haben kommen wir zum Ergebnis, dass alle Zeilen, die entweder mit oder class <klassenname> function <funktionsname>(<parameterliste>) beginnen (eventuell mit führenden Leerzeichen) für uns interesant sind: Ziel ist es nun, die passenden Zeilen aus der Datei zu extrahhieren. Da kann uns das Shell Kom- 1. Download MDB2.php von 2. less ist ein einfaches Programm zum Anzeigen und Durchsuchen von Dateiinhalten. Mittels eines Leerzeichen scrollst du eine Seite weiter, b scrollt eine Seite zurück. Was less sonst noch kann: Kommando man less in der Shell eingeben

2 mando grep helfen. Das Kommando durchsucht Dateien nach Zeichenketten (oder regulären Ausdrücken) und gibt die passenden Zeilen auf der Standardausgabe aus. Erster Versuch: $ grep class d:/programme/xampp/php/pear/mdb2.php Ok, kommt einiges zurück was wir brauchen können, aber auch viel Mist. Wir müssen unseren Suchausdruck genauer spezifizieren - und das machen wir mittels regulären Ausdrücken: $ grep -E '^class' d:/programme/xampp/php/pear/mdb2.php Das Flag -E gibt an, dass anschließend ein regulärer Ausdruck folgt. Innerhalb des regulären Ausdrucks finden wir das Metazeichen ^, das den Anfang einer Zeile kennzeichnet. Somit findet der reguläre Ausdruck nur die Zeilen, bei denen das Schlüsselwort class am Anfang der Zeile steht. Ausprobiert... und... sieht schon mal ganz gut aus ;-) Als nächstes kümmern wir uns die Methoden: $ grep -E '^function' d:/programme/xampp/php/pear/mdb2.php Upps, nur zwei Methoden, da haben wir aber mehr erwartet. Nochmal ein Blick in die Datei... aha, die beiden Methoden sind dar keine Methoden sondern globale Funktionen. Die Methoden der Klassen sind etwas eingerückt (mit Leerzeichen oder Tabs). Also müssen wir unseren regulären Ausdruck etwas anpassen um diese Methoden zu finden: $ grep -E '^\s+function' d:/programme/xampp/php/pear/mdb2.php Ok, was treiben wir da, bzw. was um Himmels willen ist \s+? \s ist eine Zeichenklasse, die Leerzeichen und Tabulatoren umfasst. Und das anschließende Pluszeichen verlangt, dass mindestens ein Zeichen aus der Zeichenklasse auftaucht. Das Ergebnis sieht gut aus, wir scheinen alle Methoden zu finden und die beiden globalen Funktionen sind weg (weil sich keine Leerzeichen/Tabulatoren vor dem Schhlüsselwort function befinden). Im nächsten Schritt wollen wir sowohl die Klassen als auch die Methoden ausgeben. Dies bekommen wir damit hin, dass wir eine Alternative formulieren: $ grep -E '^(\s+function class)' d:/programme/xampp/php/pear/ \ MDB2.php Alternativen werden durch das -Metazeichen formuliert. Hübsch, da haben wir doch fast schon was wir haben wollen. Die beiden globalen Funktionen wollen wir jetzt aber doch auch noch mitnehmen und deswegen ersetzen wir + durch das *. Das Ganze speichern wir jetzt mal in einer Datei ab und machen uns dann anschließend an die Formtierung in HTML:

3 $ grep -E '^(\s*function class)' d:/programme/xampp/php/pear/ \ MDB2.php > MDB2.class-method.index Zur Ausgabeformatierung nutzen wir das Programm sed. sed ist ein Streameditor der über eine eigene Skriptsprache gesteuert wird. Die Ein-/Ausgabe erfolgt über STDIN/STDOUT, die Verarbeitung erfolgt zeilenweise. Um beispielsweise das Wort function in Method abzuändern können wir folgendes schreiben: $ sed -r 's#function#method#' MDB2.class-method.index Zurück zu unserer Ausgabeformatierung: Eine Klasse soll wiefolgt dargestellt werden: <h3>klasse <em>mdb2_row</em></h3> Ok, und wie sag ich das meinem Streameditor? $ sed -r 's#class\s+(\w+).*#<h3>klasse <em>\1</em></h3>#' \ MDB2.class-method.index Das Flag -r gibt an, dass es sich bei unserem Substitutionskommando um einen extended regular expressions handelt. Die Klammer um \w+ sagt, dass wir den Inhalt später weiterbenutzen wollen (als \1). Die Zeichenkombination.* am Ende des Suchausdrucks sammelt alle restlichen Zeichen ein (das Metazeichen. passt auf alle Zeichen, der Quantor * gibt an, dass dies beliebig oft (auch 0-mal) vorkommen kann).... und jetzt noch die Methoden, einfach durch ne weitere Substitution mitbehandeln: s#\s+function\s+(\w+).*#<h4>\ \ method \1</h4>#' \ MDB2.class-method.index > MDB2.class-method-index.html Nicht schlecht. Jetzt nur noch kleinere Unschönheiten (z.b. function &factory(...), globale Funktionen am Ende) beseitigt: s#\s+function\s+&?(\w+).*#<h4>\ \ method \1</h4>#;\ s#(function\s+\w+).*#<h4>\1</h4>#' \ MDB2.class-method.index > MDB2.class-method-index.html Hmh, nehmen wir noch die Parameter mit rein:

4 s#\s+function\s+&?(\w+.*)#<h4>\ \ method \1</h4>#; \ s#(function\s+\w+.*)#<h4>\1</h4>#' \ MDB2.class-method.index > MDB2.class-method-index.html Bei den Methoden MDB2_Error und queryall gibt es eine Unschönheit, die daher rührt, dass im Quellcode die Deklaration der Parameter über zwei Zeilen geht. Das lösen wir einfach damit, indem wir immer dann, wenn eine Zeile mit einem Funktionskopf am Ende keine schließende Klammer, sondern am Ende ein Komma stehen hat, drei Punkte und eine schließende Klammer einfügen. s#\s+function\s+&?(\w+.*)#<h4>\ \ method \1</h4>#; \ s#(function\s+\w+.*)#<h4>\1</h4>#;s#,\s*</h4>\s*$#,...)#' \ < MDB2.class-method.index Alternativ zu sed, kann man auch Perl zur Lösung einsetzen: $ perl -p -e 's#class\s+(\w+).*#<h3>klasse <em>\1</em></h3>#;\ s#\s+function\s+&?(\w+.*)#<h4>\ \ method \1</h4>#; \ s#(function\s+\w+.*)#<h4>\1</h4>#;s#,\s*</h4>\s*$#,...)#' \ < MDB2.class-method.index > MDB2.class-method-index.html Jetzt wollen wir unseren Index dahingehend erweitern, dass die Klassen und Methoden als HTML-Links realisiert werden und man durch drücken der Links an die jeweilige Stelle im Quelltext springen kann. Dazu erstellen wir als erstes das HTML-Dokument, das den Quelltext repräsentiert (MDB2.html). Hierbei werden für die Klassen und die Methoden im Dokument Anker definiert. Ein Anker sieht beispielsweise wiefolgt aus: <a name="class:mdb2">class MDB2_Module_Common</a> Diese Anker lassen sich von den passenden Links anspringen (hier im selben Dokument): <a href="#class:mdb2">klasse MDB2_Module_Common</a> bzw. aus einem anderen Dokument heraus: (Sprung an die Stelle class:mdb2 im Dokument MDB2.html) <a href="mdb2.html#class:mdb2">klasse MDB2_Module_Common</a> Der gesamte Quelltext soll innerhalb von <pre>... </pre> Tags dargestellt werden.

5 $ echo '<pre>'>mdb2.html $ sed -r 's#^(class\s+(\w+).*)#<a name=\"\2">\1</a>#; \ s#^(\s+function\s+&?(\w+.*))#<a name=\"\2\">\1</a>#;\ s#(function\s+(\w+).*)#<a name=\"\2\">\1</a>#' \ < /cygdrive/d/programme/xampp/php/pear/mdb2.php \ >> MDB2.html $ echo '</pre>' >> MDB2.html... und jetzt noch die Links in das Index-Dokument einfügen: $ sed -r 's#class\s+(\w+).*#<h3><a href=\"mdb2.html\# \ \1\">Klasse <em>\1</em></a><h3>#; \ s#\s+function\s+&?(\w+.*)#<h4>\ \ \ <a href=\"mdb2.html\#\1\">method \1</a><h4>#; \ s#(function\s+(\w+)).*#<h4><a href=\"mdb2.html\#\2\">\1</a> \ </h4>#;s#,\s*</h4>\s*$#,...)#' < MDB2.class-method.index \ > MDB2.class-method-index.html Laden wir jetzt das Dokument MDB2.class-method-index.html in den Browser, so können wir die entsprechenden Stellen im Quelltext anspringen. Noch konfortabler gehts wenn wir das Ganze in ein Frameset einbinden: <html> <frameset cols="20%,80%"> <frame name="index" src="mdb2.class-method-index.html"> <frame name="source" src="mdb2.html"> </frameset> </html> Das Frameset zeigt auf der linken Seite den Klassen-/Methodenindex an und auf der rechten Seite wird jeweils die passende Stelle im Quelltext angezeigt. Hinweis: sed erlaubt auch das Einlesen der Befehle aus einer Datei, beispielsweise so: echo 's#^(class\s+(\w+).*)#<a name=\"\2">\1</a>#;' > file.reg

6 echo 's#^(\s+function\s+&?(\w+).*)#<a name=\"\2\">\1</a>#;' >> file.reg echo 's#^(function\s+(\w+).*)#<a name=\"\2\">\1</a>#' >> file.reg echo '<pre>'>mdb2.html sed -r -f file.reg <d:/programme/xampp/php/pear/mdb2.php >> MDB2.html echo '</pre>' >> MDB2.html Übung: Klassen- und Methodennamen imquelltext hervorheben (siehe unten)