Stream EDitor SED und Reguläre Ausdrücke

Transkript

1 Stream EDitor SED und Reguläre Ausdrücke ExactCODE New Thinking Store 11. Mai 2006

2 Was ist SED? sed steht für Stream EDitor eine Variante des Unix Editors ed und arbeitet auf Streams keine interaktiven Befehle für automatisiertes Editieren alltäglicher Aufgaben

3 Wie und wann entstand SED? so um 1973 auf Basis von ed von 1971 auf Basis von qed 1966 Unix V7 (Lee McMahon) lange enthalten in allen Unix Varianten und BSD seit 1989 GNU sed

4 Sinn eines Editors ohne interaktive Eingabe Automatisierung wiederkehrender Aufgaben Transformation von Daten, z.b. Umbenennungen in Quellcode, Text -> HTML Administrative Aufgaben, Ändern von Konfigurationsdateien, Services aktivieren / deaktivieren, etc. Aufbereitung von Daten, z.b. Formatierung von Messdaten, auch im GB Bereich (Biologie, Pharmazie,...)

5 Wie wird sed verwendet? Eingangsdaten in einem oder mehrerer Streams, z.b. Datei(en) ein oder mehrere Skripte mit Befehlen Ausgabe auf dem stdout Stream, oft in Datei umgeleitet sed -f skript-datei input-datei sed -f skript-datei input-datei > output-datei

6 Funktionsweise von sed 1. Einlesen einer Zeile in den Pattern Space 2. Abarbeitung des Skripts für den Pattern Space 3. Ausgabe des Pattern Spaces So lange nicht Stream Ende: zurück zu 1.

7 Basis Befehle s/re/rep/[g n] - Substitute RE mit rep - einmal, alle (g) oder (n) a text - Append text to output c text - Change Pattern Space to text d,d - Delete, delete first line i - insert text to output n,n - read / append next line p - print Pattern Space P - print up to first embedded newline = - print line number q,q - quit, q prints Pattern Space if auto-print y/src/dst/ - translate from range src to range dst

8 Basis Befehle l - list lines unambigously rfn, Rfn - append test / a line from file fn wfn, Wfn - write the pattern space, the first line to file fn Weitere Befehle g,g - copy, append hold space to pattern space h,h - copy, append pattern space to hold space x - exchange Hold and Pattern space

9 Basis Befehle l - list lines unambigously rfn, Rfn - append test / a line from file fn wfn, Wfn - write the pattern space, the first line to file fn Weitere Befehle g,g - copy, append hold space to pattern space h,h - copy, append pattern space to hold space x - exchange Hold and Pattern space

10 Sprünge und mehr # - comment ; - command seperator { } - block of commands! - inversion, all but : label - label b label - branch to label t label - branch to label on success T label - branch to label on non-success Sed is Turing komplett! Theoretisch kann man jedes Computer lösbare Problem auch mit sed realisieren. Es gibt Leute die Sokobahn und ähnliches in sed geschrieben haben!!!

11 Adressen Befehle können adressiert werden: [address]command einfach numerische Zeilennummer: 7 command $ für letze Zeile zwei Adressen für Bereiche: 7,42 command regulärer Ausdruck als Adresse /REGEXP/ command

12 Reguläre Ausdrücke Reguläre Ausdrücke (engl. regular expression: REGEX(P)) - was ist das eigentlich? aus der Forschung der Theoretischen Informatik an formalen Sprachen und endlichen Automaten in den 60er und 70er Jahren Reguläre Ausdrücke bilden eine reguläre Sprache Reguläre Sprachen werden von Typ-3 Grammatiken beschrieben Jeder regulärer Ausdruck hat einen einen gleichwertigen endlichen Automaten (und umgekehrt) Diese Automaten sind einfach bestimmbar -> relativ einfache Implementierbarkeit regulärer Ausdrücke Der Mathematiker Stephen Kleene führte eine Notation für reguläre Mengen als Kleene Stern Operator.

13 Reguläre Ausdrücke x - ein Zeichen das vorkommen muss. - ein beliebiges Zeichen [abc] - eines der Zeichen a, b oder c [ˆ abc] - ein Zeichen außer a, b und c * - Kleene Operator, vorheriger Ausdruck darf beliebig of, auch garnicht, vorkommen ˆ - Anfang der Zeile $ - Ende der Zeile \(REGEXP\) - gruppiert den inneren Ausdruck, kann in Substituierungen referenziert werden

14 Sinnvolle GNU Erweiterungen \+ - wie Kleene Stern Operator, jedoch mindestens 1 Match \l, \L, \u, \U - Replacement in Lower- bzw. Uppercase -i Argument - in-place, arbeitet direkt in der Datei

15 einfache Beispiele d - lösche alle Zeilen 7d - lösche Zeile 7 /ˆ $/ - lösche leere Zeilen 7,42d - lösche Zeile 7 bis 42 1,/ˆ $/d - lösche alles bis zur 1. leeren Zeile s/unix/linux/g - ersetze alle Vorkommen von Unix mit Linux s/\(schöne\).*\(welt\)/ \1 Open Source \2/ - matched alles von schöne bis Welt, speichert diese Matches und fügt Open Source zwischen ihnen ein

16 interessante Beispiele 10q - wie: head -n 10 sed -n 1!G ; h ; $p - kehrt Stream um, ab 2. Zeile dem Hold Space hinzufügen, halten und in der letzen Zeile ausgeben sed = file sed N;s/\n/\t/ - Zeilennummern von Dateien

17 System Beispiele 1. Grub Eintrag extrahieren: sed -n "/title/ {N; N; p; q}" /boot/grub/menu.lst Grub Eintrag vor MemTest einfügen sed -i "/MemTest/ {H; r file N }" /boot/grub/menu.lst Dateisystem Erkennung in modernen Linux Systemen input von disktype d/file system/!d ; s/file system.*// ; s/ //g ; y/abcdefghijklmnopqrstuvwxyz/abcdefghijklmnopqrstuvwxyz/ alles außer Zeilen mit file system löschen, file system.* und Leerzeichen entfernen und alles Zeichen in Kleinbuchstaben überführen

18 Weitere Informationen Vielen Dank für Ihre Aufmerksamkeit!

19 Weitere Informationen Vielen Dank für Ihre Aufmerksamkeit!