KURSTAG 2 SHELLS == MUSCHELN

Transkript

1 KURSTAG 2 SHELLS == MUSCHELN Shells: Die Muscheln unter UNIX/Linux Die Shell (Wikipedia: Shell, CLI, Liste von CLIs) ist ein Programm, das die Kommunikation zwischen Benutzer und Betriebssystem ermöglicht. Eine Shell kann auf drei verschiedene Arten benutzt werden: Interaktiv, die Eingabe von Befehlen wird verarbeitet, ausgeführt und Ergebnisse werden zurückgeliefert, zur Konfiguration der Arbeitsumgebung, Umgebungsvariablen werden von der Shell oder können vom Benutzer in den Startdateien definiert werden, um das Verhalten der Sitzung zu bestimmen, und zur Shell-Programmierung, durch die Stapelung von Shell- und/oder Linux-Befehlen lassen sich kleine Programme, sog. Shell- Skripte formulieren. Neben vielen anderen finden v. a. drei Shells auf Linux-Systemen Verwendung, die Bourne Again Shell (bash), die C Shell (csh) und die erweiterte C-Shell (tcsh). Die bash ist die von uns voreingestellte Shell, die wir während des Praktikums ausschließlich benutzen werden. Sie ist die erweiterte GNU-Version der Bourne Shell (sh) und auf Linux-Systemen die Standard-Shell. Die wichtigsten Symbole und Befehle, die in allen Shells funktionieren, sind in Tabelle 2.1 aufgelistet. Die Bourne-Again Shell (bash) Der folgende Abschnitt soll einen kurzen Überblick über die Bourne Again Shell geben. Eine ausführliche Dokumentation, incl. Beispielen, findest Du im " Advanced Bash Scripting Guide". Konfiguration In der systemweiten Passwort-Datei /etc/passwd ist für jeden Benutzer eine Shell eingetragen, die beim Einloggen bzw. Öffnen eines Terminals ausgeführt wird. Beim Start wird dann von der bash eine der folgenden Konfigurationsdateien in der aufgelisteten Reihenfolge eingelesen und alle enthaltenen Befehle zur Konfiguration der Shell-Umgebung ausgeführt: 1. /etc/profile: Systemweite Konfigurationsdatei. Darin sind die vom Administrator vorgegebenen Einstellungen enthalten. 2. /.bash_profile: Benutzerdefinierte Konfigurationsdatei.

2 16 Shells == Muscheln Tabelle 2.1: Symbole und Befehle, die in den meisten, wenn nicht allen Shells funktionieren. Alle hier aufgeführten Symbole und Befehle sind im Advanced Bash Scripting Guide dokumentiert und werden z. T. im Text erläutert. Symbol/Befehl Bedeutung/Wirkung > Ausgabe umleiten >> Ausgabe an Datei anhängen < Eingabe umleiten Eingabe weiterleiten & Prozess im Hintergrund starten $var Wert der Variable var Home-Verzeichnis des Benutzers name Home-Verzeichnis des Benutzers name # Beginn eines Kommentars ; trennt mehrere Befehle auf einer Zeile exec führt neue Shell oder anderes Programm aus bg Prozess in den Hintergrund schicken fg Prozess in den Vordergrund holen jobs aktive Jobs anzeigen kill laufende Jobs beenden echo Ausgabe generieren * passt auf jeden String mit null oder mehr Zeichen? passt auf genau ein Zeichen in Zeichenketten [ ] passt auf eines der Zeichen in den Klammern ( ) Gruppe von Befehlen (Subshell) ausführen Befehlsersetzung (auch $( )); (vgl. Abschn. Befehlssyntax auf S. 20) " " teilweises Quoting (Variablen- und Befehlersetzung erlaubt) volles Quoting (keine Ersetzung erlaubt) nachfolgendes Zeichen wird quotiert $n ntes übergebenes Argument (0 < n 9) 3. /.bash_login: Benutzerdefinierte Konfigurationsdatei. Existiert /.bash_profile nicht, wird diese gelesen! 4. /.profile: Benutzerdefinierte Konfigurationsdatei. Existiert /.bash_login nicht, wird diese gelesen! Das gilt allerdings nur für Login-Shells (xterm -ls bzw. das Einloggen auf der Konsole). Normale nicht-login Shells (xterm) dagegen lesen nur die Anweisungen in der Datei /.bashrc. (Umgebungs-) Variablen Variablen dienen der Speicherung von Werten und Strings (siehe auch Introduction to Variables and Parameters im Advanced Bash Scripting Guide ). Sie beginnen mit $ gefolgt von dem Namen der Variable, welcher optional in geschweifte Klammern ({ }) eingeschlossen werden kann. Um einer Va-

3 1. Shells: Die Muscheln unter UNIX/Linux 17 Tabelle 2.2: Die gebräuchlichsten Variablensubstitutionen ${var} Wert der Variablen var (auch einfach $var) ${0} Name des Programms ${n} n-tes auf der Kommandozeile übergebenes Argument (0 < n 9) $# Anzahl der auf der Kommandozeile übergebenen Argumente $* alle auf der Kommandozeile übergebenen Argumente $@ dasselbe wie $*, mit dem Unterschied, dass jeder Wert ein gequoteter String (nicht interpretiert und erweitert) ist $$ Prozess-Nummer der aktuellen Shell (nützlich, um temporäre Dateien mit einheitlicher Erweiterung zu erstellen) $? Gibt 0 zurück, wenn der letzte Befehl erfolgreich war, ansonsten 1 (Exit Status) riablen einen Wert zuzuweisen, wird der Zuweisungs-Operator = verwendet; weder davor noch dahinter dürfen Leerzeichen erscheinen: var= Guten Tag! der Wert von var wird auf Guten Tag! gesetzt Um sich den Wert von var anzeigen zu lassen, verwendet man den Befehl echo: echo $var gibt den Wert von var zurück Um eine Liste von Werten an eine Variable zu übergeben (Array-Variable), auf die man später auch wieder getrennt voneinander zugreifen kann, wird der Index des betreffenden Wertes in eckigen Klammern hinter dem Variablennamen angegeben: var[0]=wert1 var[1]=wert2 setzt den ersten Wert von var auf wert1 setzt den zweiten Wert von var auf wert2 Um die Werte der Array-Variablen aufzulisten, geht man wie folgt vor: echo ${var[0]} gibt den Wert des ersten Elements von var zurück echo ${var[*]} gibt eine Liste aller Werte von var zurück echo ${var[@]} gleichbedeutend mit echo ${var[*]} (vgl. Tabelle 2.2) echo ${#var[@]} gibt die Anzahl der Elemente im Array var zurück In Tabelle 2.2 sind die gebräuchlichsten Variablensubstitutionen für die Kommandozeile aufgelistet und erklärt. Die geschweiften Klammern können weggelassen werden, wenn sie nicht zum Trennen eines Variablen-Namen von den folgenden Zeichen benötigt werden! Im Normalfall sind gesetzte Variablen nur in der aktuellen Shell lokal bekannt. Um sie allen in der Shell gestarteten Kommandos oder Programmen bekannt zu machen, wird der Befehl export verwendet. Man spricht dann auch von globalen Umgebungsvariablen: export var exportiert die Variable var, so dass alle in der aktuellen Shell ausgeführten Kommandos auf diese zugreifen können Beim Öffnen einer Shell werden immer vordefinierte Umgebungsvariablen gesetzt und exportiert. Welchen Wert diese erhalten, steht in den Konfigurationsdateien. Mit set kann man sich alle gesetzten Umgebungsvariablen ausgeben lassen. In Tabelle 2.3 sind einige dieser Variablen aufgelistet.

4 18 Shells == Muscheln Tabelle 2.3: Einige Beispiele für Umgebungsvariablen. Definitionsgemäß werden die Namen dieser Variablen immer in Großbuchstaben geschrieben. $USER $UID $HOME $SHELL $PWD $HOSTNAME $PATH enthält den Namen des Benutzers enthält die ID des Benutzers enthält den Pfad zum Home-Verzeichnis des Benutzers enthält den Pfad zur voreingestellten Shell enthält den Pfad des aktuellen Verzeichnisses enthält den Namen des Rechners enthält alle Pfade (durch : getrennt), in denen nach ausführbaren Kommandos gesucht wird Metazeichen für Dateinamen Die Shell-Metazeichen können als Platzhalter für beliebige Zeichen in Datei- und Verzeichnisnamen verwendet werden: * passt auf jeden String mit null oder mehr Zeichen? passt auf ein einzelnes beliebiges Zeichen [abc] [!abc] {abc,def,...} name passt auf eines der Zeichen in den eckigen Klammern (Bereiche können mit Bindestrichen angegeben werden, z. B. [A-Za-z]) passt auf ein Zeichen, das nicht in den eckigen Klammern eingeschlossen ist passt auf eine der durch Kommata getrennten Zeichenketten in den geschweiften Klammern Home-Verzeichnis des Benutzers Home-Verzeichnis des Benutzers name Beispiele: ls.[a-z]* cat ch? nedit *.{scr,pdb} cd findet alle Dateien im aktuellen Verzeichnis, die mit. gefolgt von einem kleinen Buchstaben beginnen zeigt den Inhalt aller Dateien im aktuellen Verzeichnis an, die aus drei Zeichen bestehen und mit ch beginnen öffnet alle Dateien im aktuellen Verzeichnis, die auf.scr oder.pdb enden im nedit wechselt ins eigene Home-Verzeichnis (gleichbedeutend mit cd) Quoting Wie in jeder Shell gibt es auch in der bash Zeichen mit besonderer Bedeutung (siehe auch Quoting im Advanced Bash Scripting Guide ):

5 1. Shells: Die Muscheln unter UNIX/Linux 19 ; trennt zwei Befehle voneinander & Ausführung im Hintergrund *? [ ] Metazeichen in Dateinamen > < & Symbole für die Umleitung (s. u.) " Quotierung anderer Zeichen Befehlsersetzung (backquotes; auch $()) $ Variablen-Ersetzung Bei der Ausführung eines Befehls auf der Kommandozeile werden zuerst die Metazeichen von der Shell für die Datei-Erweiterung interpretiert. Das Ergebnis wird dann an den Befehl übergeben. Beispiel: STRING=bash grep $STRING test[1-3].sh Durch Erweiterung der Metazeichen durch die Shell entsteht das folgende Kommando, welches dann ausgeführt wird: grep bash test1.sh test2.sh test3.sh grep sucht den String bash in den drei Dateien test1.sh, test2.sh und test3.sh. Das Aufheben der Sonderbedeutung von Zeichen wird als quoting bezeichnet. Verwendet werden können die folgenden Zeichen zur Quotierung: " " Alle Zeichen zwischen den Anführungszeichen werden wörtlich genommen mit Ausnahme der folgenden Zeichen, die ihre Bedeutung behalten: $ Variablen-Ersetzung Befehlsersetzung quotiert nachfolgendes Zeichen " Ende des Quoting Alle Zeichen zwischen und werden wörtlich genommen mit Ausnahme eines weiteren Das nachfolgende Zeichen wird wörtlich genommen. Wird in doppelten Anführungsstrichen zum Quoten von ", $, verwendet. Beispiele: echo " Sie haben $( ls -1 wc -l ) Dateien in pwd." echo " Die Variable $SHELL ist auf den Wert $SHELL gesetzt." echo Einfache Quotes " schützen" doppelte Quotes, $, >,... Umleiten von stdin, stdout und sterr Unter UNIX/Linux ist alles eine Datei, von denen immer drei Dateien geöffnet sind (zentrales UNIX- Dogma):

6 20 Shells == Muscheln Name Dateideskriptor Abkürzung Datei Standard-Eingabe 0 stdin Tastatur Standard-Ausgabe 1 stdout Terminal Standard-Fehlerausgabe 2 stderr Terminal Diese und alle anderen offenen Dateien können umgeleitet werden; d. h., die Eingabe und Ausgabe von Dateien, Befehlen, Programmen oder Skripten kann abgefangen und weitergeleitet werden. Dabei wird jeder offenen Datei ein Dateideskriptor zugewiesen. Im Folgenden sind die gängigsten Ein- und Ausgabe (I/O) Umleitungen aufgelistet und kurz erklärt (siehe auch I/O Redirection im Advanced Bash Scripting Guide ): befehl > datei befehl >> datei befehl < datei befehl << text befehl1 befehl2 befehl &> datei befehl n> datei befehl >&n Standard-Ausgabe von befehl nach datei schreiben (z.b. ls -al > listing.txt ) Standard-Ausgabe von befehl an datei anhängen Standard-Eingabe für befehl aus datei holen Von der Standard-Eingabe lesen, bis eine Zeile kommt, die mit text identisch ist. Diese Schreibweise wird meistens in sed-, cat- oder echo- Befehlen angewendet. Standard-Ausgabe von befehl1 als Standard-Eingabe für befehl2 verwenden (Pipe; z.b. ls -1 wc -l ) Umleiten von stdout und stderr in datei Umleiten des Dateideskriptors n (stdout: 1 oder stderr: 2) von befehl in datei; wichtig: zwischen n und > darf kein Leerzeichen stehen! Leitet die Ausgabe (stdout) von befehl auf den Dateideskriptor n Befehlssyntax befehl& befehl1 ; befehl2 (befehl1 ; befehl2) befehl < indatei > outdatei befehl1 befehl2 befehl1 && befehl2 befehl1 befehl2 befehl im Hintergrund ausführen Folge von befehlen auf ein und derselben Zeile Subshell; behandelt befehl1 und befehl2 als Befehlsgruppe befehl verwendet als Standard-Eingabe indatei und schreibt stdout nach outdatei Befehlsersetzung; Ausgabe von befehl2 als Argument von befehl1 verwenden (alternativ: befehl1 $(befehl2)) Logisches Und; befehl2 ausführen, wenn befehl1 erfolgreich war Logisches Oder; befehl2 ausführen, wenn befehl1 nicht erfolgreich war

7 2. Wichtige Befehle Teil II 21 Tastenkombinationen zur Kontrolle der Shell In der Shell stehen spezielle Tastenkombinationen zur Verfügung, mit denen das Verhalten der Shell kontrolliert werden kann. Die wichtigsten sind im folgenden aufgelistet (siehe auch Control Characters im Advanced Bash Scripting Guide ): Strg-C Strg-D Strg-Z Beendet den im Vordergrund laufenden Prozess Ausloggen aus bzw. Schließen der Shell; Beenden der Standard-Eingabe (stdin) Anhalten (Pausieren) eines im Vordergrund laufenden Prozesses Shell-Programmierung Die Shell ist nicht nur ein Kommandozeilen-Interpreter, sondern gleichzeitig eine Programmierumgebung. Ein Shell-Programm (auch Shell-Skript genannt) ist nichts anderes als eine Auflistung von hintereinander auszuführenden Kommandos. Interne Shell-Kommandos, wie das Setzen von Variablen oder Formulieren von Kontrollstrukturen (z. B. if...; then...; else...; fi, while...; do...; done, for... in... ; do...; done) geben den Skripten die nötige Flexibilität. Im Prinzip lassen sich Shell-Skripte auf zwei Arten ausführen: auf der Kommandozeile, durch Aneinander-Reihung von Kommandos auf einer Zeile unter Berücksichtigung der Befehlssyntax, oder in Form einer ausführbaren Datei, dem Shell-Skript, in dem die auszuführenden Befehle Zeile für Zeile aufgelistet sind. Um die internen Shell-Kommandos benutzen zu können, muss die Datei mit dem sog. Sha-Bang (#!), gefolgt vom Pfad zum Kommandozeilen-Interpreter (für die bash z. B./bin/bash) beginnen. Eine ausführliche Dokumentation zum Thema bash-programmierung findest Du im Advanced Bash Scripting Guide (lokale Pdf-Version). Einfache bash-skripte hast Du bereits gestern geschrieben und ausgeführt (test.sh). Wichtige Befehle Teil II Im Folgenden werden weitere wichtige Befehle eingeführt, die unvermeidbar für UNIX/Linux-Benutzer sind, wenn es um die Archivierung von Dateien und Verzeichnissen, und das Durchsuchen von Dateien und Verzeichnissen geht. Ausführliche Dokumentation zu diesen Befehlen ist wie immer in den zugehörigen Man-Pages oder im Netz zu finden. Archivieren von Dateien und Verzeichnissen > gzip [optionen] datei

8 22 Shells == Muscheln gzip (de-)komprimiert datei mit dem LZ77 Lempel-Ziv-Algorithmus. Wird datei nicht angegeben wird von stdin gelesen. Mit gzip komprimierte Dateien erhalten die Endung.gz. > tar [optionen]... [datei]... tar (GNU) speichert datei in einem Archiv auf Band oder Festplatte. Umgekehrt können alle oder einzelne Dateien aus tar-archiven auch wieder ausgelesen werden. tar-archive enden auf.tar. Anmerkung: tar kann zur (De-)Komprimierung gzip benutzen. Suchen und Finden > which [optionen] befehl... which gibt den absoluten Pfad von befehl zurück. Beispiel: which ls gibt Pfad zum Befehl ls aus (/bin/ls). > find [pfad...] [optionen] find sucht im pfad rekursiv, d. h. incl. aller Unterverzeichnisse, nach Dateien, die auf die angegeben optionen passen und gibt den Pfad dorthin zurück. Diese Ausgabe kann u. a. mit der Option -exec sofort an ein weiteres Kommando übergeben werden. Wird kein pfad angeben, wird das aktuelle Verzeichnis durchsucht. find akzeptiert Metazeichen und reguläre Ausdrücke, wie sie oben bzw. in Wikipedia beschrieben sind. Beispiele: find -name \*.sh find. -name na\* -exec ls {} \; sucht rekursiv im Home-Verzeichnis nach allen Dateien, die mit.sh enden sucht rekursiv im aktuellen Verzeichnis nach allen Dateien, die mit na beginnen, und listet sie mit dem Kommando ls auf. > grep [option]... muster [datei]... Sucht nach muster in jeder datei oder der Standard-Eingabe. Wenn datei fehlt oder - ist, wird von stdin gelesen. Dabei sind als muster die basic regular expressions erlaubt. Beispiel: grep #!/bin/bash *.sh durchsucht alle Dateien im aktuellen Verzeichnis, die auf.sh enden, ob sie den Sha- Bang enthalten grep -l #!/bin/bash *.sh wie oben, gibt aber nur die Dateinamen, auf deren Inhalt das Muster passt, zurück

9 3. Übungen 23 Übungen Hinweis: Benutze zum Lösen der Übungen neben dem Skript auch den Advanced Bash Scripting Guide! 1. Welche Befehle werden in den Konfigurationsdateien /.bash_profile und /.bashrc ausgeführt und was bewirken sie? 2. Füge in Deine /.bashrc einen Alias lsl ein, mit dem die Ausgabe des Datei-Listings des aktuellen Verzeichnisses angehalten und blätterbar (scrollbar) wird. Teste den Alias in der Shell, bevor Du ihn die /.bashrc einträgst! Was ist zu tun, damit der Alias aktiv wird (2 Möglichkeiten!)? 3. Starte den Editor NEdit mit dem Befehl nedit in einem X-Terminal. Starte nun in demselben (heißt, ohne nedit abzubrechen (!)) X-Terminal das Programm xclock mit dem Befehl xclock -digital -update 1. (Hierfür mußt Du nedit stoppen.) Es sollte eine Uhr auf dem Desktop erscheinen. ((Falls es das Programm xclock auf dem Rechner nicht gibt, starte einen zweiten nedit und versuche dann in beiden Editor-Versionen zu schreiben.)) Schreibe jetzt den Satz Ich habe die Shell-Prozess-Kontrolle verstanden! in das eben geöffnete Editor-Fenster, nachdem Du den nedit-job in den Hintergrund gebracht hast. Halte nun den xclock-prozess an und achte darauf, was mit der Uhr passiert. Schiebe nun den xclock-prozess in den Hintergrund und beobachte, wie die Uhr darauf reagiert. Mit welchem Befehl kann man feststellen, wieviele und welche Prozesse in der aktuellen Shell laufen? Hole nun den laufendenden xclock-prozess zurück in den Vordergrund und beende ihn mit der entsprechenden Tastenkombination in der Shell. Wie kann man Prozesse sofort beim Start in den Hintergrund schicken? 4. Wie kann man mit dem Befehl cat die Datei /.bashrc nach /.bashrc.sav kopieren? (Stichwort:Ein-/Ausgabe-Umleitung) 5. Lade Dir die Datei Archaea.tar.gz in Dein Home-Verzeichnis herunter. Dieses Archiv lässt sich zunächst mit gzip -d Archaea.tar.gz dekomprimieren und anschließend mit tar xvf Archaea.tar entpacken. Es entsteht das Verzeichnis Archaea, in dem Dateien mit archaebakteriellen 5 S RNA- Sequenzen enthalten sind. Welche Bedeutung haben die hinter gzip bzw. tar angegebenen Optionen? Wie kann man sich den Inhalt eines tar-archivs vor dem Entpacken anschauen?

10 24 Shells == Muscheln Archiviere und komprimiere das Verzeichnis Archaea mit tar in einem Kommando. Das komprimierte Archiv soll die Endung.tgz tragen. Im Verzeichnis Archaea kannst Du eine Datei finden, die mit.embl.gz endet. Wie ist ihr vollständiger Name und in welchem Verzeichnis steht sie (find benutzen!)? Diese Datei enthält mehrere Datenbank-Einträge. Wie kann man sich den Inhalt dieser Datei anschauen, ohne sie vorher extra zu dekomprimieren? Zähle mit Hilfe von grep und wc (wordcount) die Anzahl der Einträge in dieser Datei. Schreibe das Ergebnis einmal mit und einmal ohne wc in eine Datei! 6. Wie kann man beim Anschauen einer Datei mit less nach Zeichenketten suchen? 7. Suche die Datei EuropeFlagCMYK.eps auf dem Rechner und lasse sie Dir direkt, in einem Kommando mit dem Programm gv (Ghostview; öffnet Postscript Dateien) am Bildschirm anzeigen. Wie lautet das Kommando? ((Falls es die Datei EuropeFlagCMYK.eps auf dem Rechner nicht gibt, kopiere diese irgendwo hin.)) 8. Countdown: Schreibe ein kurzes Shell-Skript, das von 100 rückwärts bis Null zählt und anschließend die Anzeige löscht! 9. Formuliere ein kurzes Shell-Skript, das die auf der Kommandozeile übergebenen Argumente in einer Array-Variable speichert und diese wieder ausgibt.