(Unix) Shell Programmierung

Transkript

1 (Unix) Shell Programmierung Was ist die Shell überhaupt? Zunächst ein Kommandozeileninterpreter, eine Schnittstelle zwischen Benutzer und Betriebssystem. Aber sie ist mehr! Wie wir später sehen werden ist sie ein Interpreter für eine vollständige Skriptsprache Wozu benötigt man die Shell? Häufig schneller (tippen vs. mit der Maus durch Menüs) Manches zu komplex für graphische Interfaces Manchmal einzige verfügbare Schnittstelle (Supercomputer, Cluster, etc.) Stärken: Aktionen im Dateisystem Umgang mit Prozessen (weniger relevant -> Systemadminstration) Bearbeiten von Textdateien Wenn die gleiche Aktion oft gemacht werden muss Wenn etwas mit vielen Dateien gemacht werden muss Es gibt viele Shells: sh, ksh, csh, tcsh, bash, zsh usw. Man kann sie in zwei Klassen unterteilen: Bourne-Shell-artige: sh, ksh, bash, zsh... C-Shell-artig: csh, tcsh Zum Programmieren eignen sich aus verschiedenen Gründen die Bourne-Shell artigen Shells besser. U.a. weil die Grundfunktionalität in einem Standard (Posix) festgelegt wurde und damit Portabilität gewährleistet ist. Im folgenden werden wir daher die wohl verbreitetste Shell, die Bash benutzen. Dabei beschränken wir uns aber trotzdem auf im Standard festgelegte Kommandos und verzichten (hoffentlich) auf bash-eigene Erweiterungen (bashism). Nebenbemerkung: Auch wenn der Name danach klingt, die ssh ist keine Shell im eigentlichen Sinn.

2 Prompt: Textkonsole (Terminal, Konsole, Xterm) Die wichtigsten Befehle: man (online Manuals) ls (list directory) anzeigen von Verzeichnisinhalt cd change Directory wechseln von Verzeichnis mkdir make directory erstellen von Verzeichnis cp copy kopieren mv move verschieben/umbenennen rm remove loeschen rmdir remove directory Verzeichnis loeschen passwd Passwort aendern chmod change mode Dateirechte aendern. less anzeigen von Textdateien (mit q verlassen) echo Ausgabe Optionen mit - (Bsp.: ls -l )

3 Verzeichnisstruktur wo liegen die Daten? hierarchische Baumstruktur (aber nach unten) / Wurzel (root) Verzeichnis, oberstes Verzeichnis /etc Konfigurationsdateien /usr Applikationen und Bibliotheken /home Benutzerverzeichnisse /media hier werden mobile Datenträger eingebunden /tmp Temporäre Dateien (wird idr. bei Neustart gelöscht) /lib Essentielle Systembibliotheken /boot Bootloader /var Dynamische Daten v. Systemprogrammen /bin Essentielle Benutzerbefehle /sbin Essentielle Systembefehle /dev/ Es gibt keine Laufwerksbuchstaben! Alles in der Verzeichnisstruktur! mount/einbinden / trennt zwischen Verzeichnissen und Unterverzeichnissen Bsp. /home/era cd /home Absolut ls /home/era oder relativ ls era Der Befehl pwd zeigt das aktuelle Verzeichnis an (Prompt idr. auch) Besondere Verzeichnisse:../ übergeordnetes Verzeichnis ~/ Benutzerverzeichnis./ aktuelles Verzeichnisse

4 Dateirechte: ls -l Rechte #Verweise Besitzer Gruppe Größe Datum Name Dateirechte: -rwxrwxrwx Owner Group Other Read Write Execute Read Write Execute etc. r w x r w x etc etc. Directories: d drwxrwxrwx Execute = Zugriff d.h. in das Verzeichnis wechseln Weitere Rechte wie SUID/ GUID/StickyBit gehen deutlich über Grundlagen hinaus.

5 Interaktiv: Navigieren: Üblicherweise EMACS-Modus, damit die gleichen Steuerkommandos wie dieser Editor. (Bei vielen Werkzeugen zu finden). CTRL-E CTRL-A Ende/ Anfang der Zeile CTRL-F CTRL-B Vorwärts/ Zurück CTRL-K CTRL-Y Löschen/Einfügen usw.... Komplettierung: TAB History: (programmierbar und teilweise sehr intelligent) Eingegeben Kommandos werden behalten und können so leicht wieder benutzt werden: history / bzw. CTRL-p / CTRL-n CTRL-r / CTRL-s Frueher Befehle Blättern vorwärts / rückwärts (previous / next) Rückwärts- / Vorwärtssuche Pattern Matching / Pathname Expansion: Nicht immer will man alle Dateien einzeln eingegeben, es gibt auch die Möglichkeit mit besonderen Platzhaltern Suchmuster zu erstellen, die von der Shell dann durch alle Dateien und Verzeichnisse ersetzt werden die dieses Muster erfüllen: * Beliebiger String inkl. Null? Genau ein beliebiges Zeichen [0-9],[a-z], etc. Braces Expansion: Bereiche von Zeichen In geschweiften Klammern eingeschlossene Liste wird nach einander eingesetzt. a.{foo,bar} Kapitel{2..5}, Anhang-{a..k}

6

7 Quoting: (Auswertungsunterdrückung) Wie gesehen haben einige Zeichen eine besondere Bedeutung und werden durch die Shell ersetzt. Will man diese Zeichen aber z. B. ausgeben, so ist so genanntes Quoting nötig: Voranstellen von \ Einschließen in " " oder ' ' Die Zeichen zum quoten müssen natürlich auch gequotet werden, z. B. \\ oder '"' Aliases: (Eigene Befehle) Zur Vereinfachung der täglichen Arbeit ist es möglich eigene Befehle zu definieren: alias neu='befehle' Bsp.: ll='ls -l' alias unalias gibt alle Definitionen aus hebt sie auf Shell Variables: (Umgebungsvariablen) Die Konfiguration des Verhaltens der Shell wird durch das setzen sogenannter Umgebungsvariablen erreicht. Beispiel: PATH ist der Suchpfad für ausführbare Dateien ändern kann man diese z.b. export Variable=Wert printenv Definiert Umgebungsvariablen [um] Bsp: PATH=${PATH}:~/bin Gibt Umgebungsvariablen aus.bashrc: (Konfiguration) Um Definitionen von Aliasen und der Konfiguration durch Umgebungsvariablen nicht immer wiederholen zu müssen, kann die Datei.bashrc genutzt werden. (Genauer gibt es noch mehr, z.b:.profile,.bash_login.bash_logout )

8 Shell Programmierung Vollständig Programmiersprache Comments: # (Kommentare) Alles dahinter bis zum Zeilenende wird ignoriert Ausgabe: echo a b c für zeilenweise Ausgabe Variablen: Definition: Name=Wert (keine Leerzeichen erlaubt!) VAR=varia Zugriff: echo $VAR echo ${VAR}ble $Name oder ${Name} echo gibt Zeile aus, aber vorher ersetzt die Shell die Variablen (echo -e interpretiert Backslash-Escapes wie \n etc.) Quoting Kurzbeispiel (Einzeiler): for i in *.JPG; do mv $i ${i/%.jpg/.jpg}; done ; oder CR (neue Zeile) trennen verschiedene Befehle for Schleife: for VAR in LIST; do Befehl1 $VAR Befehl2... done while und until-schleifen wie in anderen Programmiersprachen gibt es natürlich auch.

9 Parameter-Expansion: Simpelste Form: ${} viele mehr (Fortgeschritten -> man-page) z.b. ${i/muster1/muster2} ersetzt in Variable i das MUSTER1 durch MUSTER2 ${i/%muster1/muster2} ersetzt in Werten die auf MUSTER1 enden MUSTER1 durch MUSTER2 uvm.

10 Shell-Programme an Hand von zwei Beispielen. Das genaue Problem ist sehr verschieden, das Grundproblem aber i.d.r. identisch, es sind viele Dateien zu bearbeiten. Die Beispiele sind daher bewusst nicht spezielle physikalische Probleme sondern aus dem Alltag, die vorgestellten Techniken aber leicht auf das aktuelle Problem übertragbar. Beispiel1: Bilder sollen in Verzeichnisse entsprechend des Datums einsortiert werden Datum: exiftool gibt Informationen die im Bild hinterlegt sind aus, u.a. das Datum (Digitalkamera) exiftool $file exiftool -d "%F_%A" $file (Best Practice: Datumformat: Jahr, Monat, Tag sorgt dafür das schon alles automatisch chronologisch richtig sortiert ist. Die meisten Applikationen sortieren lexikalisch von links nach rechts.) exiftool -d "%F_%A" $file grep "Create Date" exiftool -d "%F_%A" $file grep "Create Date" cut -c 35- Wird länger besser als Skript speichern, kann dann auch wiederverwendet werden. #! /bin/sh for file in *.jpg; do date=$( exiftool -d "%F_%A" $file \ grep "Create Date" cut -c 35- ) echo $date done #! Interpreter Programm das den Programmtext ausführen soll.

11 Quell- und Zielverzeichnis in Variable, lässt sich dann leichter an einer Stelle ändern: #! /bin/sh SOURCEDIR=$PWD/Pictures TARGETDIR=$PWD/Ziel for file in ${SOURCEDIR}/*.jpg; do date=$( exiftool -d "%F_%A" $file \ grep "Create Date" cut -c 35- ) mkdir -p $TARGETDIR/$date cp $file $TARGETDIR/$date/ done

12 Dabei benutzt: 1. Umgebungsvariable $PWD ist das aktuelle Verzeichniss 2. \ am Ende der Zeile: Befehl wird in der nächsten Zeile fortgesetzt. Ermöglicht übersichtliche Formatierung auch bei langen Befehlen. 3. Pipe : Ausgabe des Befehls wird als Eingabe für den nächsten Befehl benutzt 4. mkdir -p fehlende übergeordnete Verzeichnisse, keine Fehlermeldung wenn das Verzeichniss schon existiert. Das geht aber schief wenn keine Info zum Datum existiert: if [ "$date" = "" ]; then date=unknown fi Bedingung if Testbefehl; then Befehle elif test; then Befehle else Befehle fi Testergebnis= 0 true sonst false [ ] eingebauter Testbefehl gibt 0 oder 1 zurück, je nach dem ob wahr oder falsch. Hier zum Stringvergleich benutzt.

13 Parameter Das Skript kann man noch öfter brauchen, aber man will doch nicht jedesmal die Variablen ändern: SOURCEDIR=$1 TARGETDIR=$2

14 Funktionen Brauchbares Skript, aber wenig später weiß man nicht mehr was es tut: usage() { cat << EOT Usage: $0 SOURCEDIR TARGETDIR Kopiert jpg-dateien aus SOURCEDIR in entsprechende Datums-Unterverzeichnisse von TARGETDIR EOT } if [ "$1" = "-h" ]; then usage exit 0 fi Funktionen [function] Name () { } Code Anzahl der übergebenen Argumente in $#, Argumente in $1

15 Beispiel2: Dateien sollen umkopiert und dabei in umbenannt werden. Im Namen sollen die Dateien durchnummeriert werden. #! /bin/sh SOURCEDIR=$1 TARGETDIR=$2 SUFFIX=jpg TMPFILE=${SOURCEDIR}/file.lst echo "Filename?" read NAME if [ -e $TMPFILE]; then echo "Tempfile $TMPFILE exists..." echo "exiting..." exit 1 fi ls $SOURCEDIR/*.$SUFFIX > $TMPFILE COUNTER=0 while read FILE; do COUNTER=$(( COUNTER + 1 )) TARGET=$TARGETDIR/${NAME}-${COUNTER}.$SUFFIX cp $FILE $TARGET done < $TMPFILE rm $TMPFILE

16 sed Stream-Editor (Datenstrom-Editor) Zeilen basiert Modifiziert (ohne explizite Option -i) nicht die Datei sondern gibt auf stdout aus Ausgabe muss dann bei Bedarf in eine neue Datei umgeleitet werden. Achtung idr. muss gequotet werden damit die Shell nichts interpretiert '... ' -n unterdrückt die automatische Ausgabe Bsp: sed '/regex/d' FILE sed -n '/regex/p' FILE sed -n '/BEGIN/,/END/p' FILE Suchen /regex/ Wichtigster Einsatz: Suchen und Ersetzen einmal pro Zeile s/regex/replacement/ mehrfach s/regex/replacement/g Stream: Hauptnutzung zum Editieren von vielen oder großen Dateien sowie dynamisches Editieren der Ausgabe anderer Programme

17 awk (Autoren: Aho, Weinberger, und Kernighan) Problem: Dateien iv...dat Strom-Spannungskennlinien von Berechnungen der des Transports durch DNA verschiedener Länge (Basenpaare). Jede Datei ist das Ergebnis der Berechnung für eine Länge. Jetzt soll aber der Strom bei fester Spannung als Funktion der Länge, genauer log( I(V=-2.) ) vs. -log(länge) geplottet werden: Lösung: awk + xmgrace awk '/no_sites/ {x=$2} ($1==-2.0) {print -log(x) ''\t'' log( sqrt($2*$2) )}' * sort -n xmgrace -