Programmierung I Einführung in Unix/Linux

Transkript

1 Was ist UNIX? Programmierung I Einführung in Unix/Linux Ein Betriebssystem Eine Sammlung von nützlichen Tools Eine (Computer-)Kultur Wintersemester 2003/2004 University Bonn Dr. Gabriel Zachmann Wer braucht UNIX? Vorteile von UNIX "Unix ist zwar ein Mainframe-Betriebssystem (und damit obsolet) hat aber noch viele Anhänger." Windows MSCE-Training-Guide Windows 2000 Server Kapitel "Zusammenspiel mit UNIX" Verlag Markt & Technik Programmierer Web-Server Distributed Computing Wer braucht UNIX nicht (unbedingt)? Sekretärinnen Büro- und Business-Software (Word, Buchhaltung, Powerpoint, Lagerhaltung, ) Extrem ausgereift (besonders die kommerziellen Unices) Von Anfang an Multi-User- und Multi-Task-fähig Relativ sicher Flexibler Performanter Wesentlich leichter zu administrieren (wenn die Lernkurve erst einmal durchschritten ist) Auf allen Plattformen verfügbar Plattformen Die Erfinder Sun (SunOS) HP (HP-UX) SGI (IRIX) IBM (AIX) Mac (OS-X) PC (Linux) PDA Set-top boxes Armbanduhr Auto Ca. 1970: Ken Thompson and Dennis Ritchie Your new heroes

2 UNIX Komponenten UNIX-Konzepte Kernel: Herz des OS, managet Hardware Shell: eine Applikation, nimmt Kommandos entgegen und führt sie aus (CLI) Utilities: viele kleine (und große) Tools zur täglichen Arbeit, z.b. Files kopieren, ASCII-Texte editieren, Utilities Kernel Shell Einige wenige Grundkonzepte: Alles ist ein File (Programm, Daten, Speicher, ) Alles ist ein Prozeß (OS, laufendes Programm, Editor, Shell, ) Viele kleine Utilities, die kombiniert werden können Processes (time sharing, protected address space) Interprocess comm. (signals, pipes sockets, ) Kernel Virtual memory (swapping, paging, mapping) The filesystem (files, directories, devices, pipes, namespace, ) Das Filesystem Directories ("Folders") und Files File = sequentielle Folge von Zeichen Interpretation ist Sache des benutzenden Programms: Text, Zahlen, Programm, Speicherauszug, Jeder File hat einen Namen: Case-sensitive! (UNIX allg.) Lang (typ. bis zu 1024) Können beliebige Zeichen enthalten besser nur alphanumerische Zeichen und Underscore! Directory ("Verzeichnis"): Spezieller File Enthält Name von File und Verweis darauf Files/directories werden in einem Baum organisiert "root directory" bin dev usr etc commands devices boot and config files bin man local more commands man pages / bob alice home homes of users zach Verschlungene Pfade Eindeutigkeit: Files im selben Verzeichnis müssen verschiedene Namen haben Files in verschiedenen Directories dürfen gleiche Namen haben! Definition "Pfadname" (pathname) eines Files: Konkatenierung aller Verzeichnisnamen und des Filenamens auf dem Weg von der Wurzel bis zum File, getrennt durch / Eindeutigkeit von Pfadnamen garantiert /bin/ls Beispiele: ls bin dev usr etc cp /bin/cp bin man local / bob bin home alice zach lehre /home/zach/lehre/programmierung VR Programmierung

3 Absolute Pfadnamen: starten mit / Relative Pfadnamen: starten von einem anderen Dir aus Sind also relativ zu diesem Dir Beispiele: der absolute Pfad /home/zach/lehre/- Programmierung von home aus = zach/lehre/- Programmierung zach aus = lehre/programmierung lehre aus = Programmierung / usr etc home bob alice zach bin lehre VR Programmierung Spezielle Verzeichnisse:. Bezeichnet das aktuelle Verzeichnis Bsp.: /bin/ls = /bin/./ls = /bin/././ls.. Bezeichnet das Vater-Verzeichnis (parent diretory) Bsp.: /usr/bin/w = /home/../usr/bin/w = /usr/man/../bin/w Wird besonders wichtig im Zusammenhang mit dem CWD (current working directory) Symbolische Links Andere Platten Problem: File "gehört" genau einem Verzeichnis Beispiel: File /home/zach/pics/cobain.jpg soll auch im Dir. /home/zach/music/nirvana sichtbar sein Der Verzeichnisbaum enthält (i.a.) mehrere Platten! Einige davon sind auf anderen Rechnern (NFS) Lösung: symbolic links (symlinks) Bsp.: music/nirvana/cobain.jpg ist ein Symlink nach../../pics/cobain.jpg pics zach music / bin etc home tmp usr Gibt auch Hard Links, braucht man aber nie cobain.jpg cobain.jpg Nirvana student zach Home Sweet Home File Permissions Jeder User hat ein Home Z.B. /home/stud/zach Enthält normalerweise alle Daten des Users Alle Konfigurationsfiles aller Programme ("Dot-Files", z.b..login) (riesiger Vorteil gegenüber Registry!) Beim Einloggen "startet man im Home" Normalerweise auf einem Fileserver Ist auf jeder Maschine gleich zugreifbar File gehört genau 1 User File ist assoziiert zu genau 1 Group /home/rob% ls l file -rw-r rob student 343 Dec 5 13:51 file Filetyp Owner Group World Owner Group 3 Personengruppen: Owner, Group, World (Other) Für jede 3 File-Permissions: read, write, execute

4 Weitere File-Attribute Filetyp-Flag: Kein Permissionflag Zeigt Filetyp an: - = normaler File d = Directory l = Symlink Bedeutung der Permissions Read & write: klar Executable: Programm Andere, sehr praktische Flags (set-gid, set-uid, sticky, ) Zeiten: Modification (write): ls -l Creation: Access (read): Größe, Links, ls -lc ls -lu /home/rob% ls l file -rw-r rob student 343 Dec 5 13:51 file mod time Prozesse Spawning processes Programm, das gerade läuft, schläft, oder hängt Jeder Prozeß führt ein Environment mit sich: Prozeß-ID (PID), User-ID (UID), Group-ID (GID), u.a. IDs current working directory (CWD, manchmal auch PWD) Environment-Variablen (Paare von Strings) Relative Pfade werden bzgl. des CWD's des Prozesses interpretiert Ein Prozeß wurde immer von einem anderen erzeugt Heißt Vater-Prozeß (parent process) Vorgang heißt engl. to spawn Child process erbt das komplette Environment (außer seinen IDs u.ä.) Erstes Einloggen Das User-Interface Wie bekommt man eine Shell? An der "Konsole" ("console") Remote (ssh, rlogin, telnet) Login/passwd sind case-sensitive! Wieviele Shells kann man haben? Beliebig viele Das Prompt /home/rob% Terminal- Fenster Ist immer noch die Kommandozeile (CLI = command line interface) Gibt inzwischen zwar auch Windows-Look-Alikes Für Programmierer ist CLI sehr viel effizienter! Lernkurve ist natürlich länger ("steiler") Möglichkeiten Prompt von der Shell Zeit

5 Aufbau einer Kommandozeile Editieren der Kommandozeile Kommando Optionen Parameter In der Zeile: /home/rob% ls l data -rw rob student 343 Dec 5 13:51 data Taste Tab Ctrl-B / Ctrl-F Ctrl-W Ctrl-A / Ctrl-E Ctrl-U / Ctrl-K Ctrl-A / Ctrl-E Ctrl-A / Ctrl-E File- / Command-Completion Wortweise vor / zurück springen Voriges Wort löschen An Ende / Anfang springen Zeile bis zum Anfang / Ende löschen An Ende / Anfang springen An Ende / Anfang springen Optionen (options, flags): ändern Verhalten Parameter: i.a. Files, auf denen Kommando operiert In der History: Taste Cursor-Up / -Down Ctrl-P / Ctrl-N In der History rauf / runter Match in der History nach oben / unten suchen Kommandowiederholung Prozeßkontrolle Komando Bedeutung!! Letztes Kommando wiederholen!string Kommando, das mit 'string' beginnt, wiederholen!17 Kommando mit Nummer 17 i.d. History wiederholen ^a^b Letztes Kommando wiederholen, dabei das erste Vorkommen von 'a' durch 'b' ersetzen History anzeigen: history (alias h) Komando Ctrl-C Ctrl-Z fg bg Ctrl-S / Ctrl-Q Bedeutung Kommando / Programm abbrechen Kommandoanhalten Kommando weiterlaufen lassen Gestopptes Kommando/Programm im Hintergrund weiterlaufen lassen Ausgabe des Programms anhalten / weiterlaufen lassen Shells: Was passiert mit einem Kommando? Aliases Shell durchläuft folgenden Zyklus: 1. Kommando wird aus der Eingabezeile oder einem Script gelesen 2. Aliases werden expandiert 3. Variable Substitutions werden vorgenommen 4. Wildcards werden expandiert 5. Das Kommando wird ausgeführt: Entweder von der Shell selbst (built-in commands) Oder in einem neuen Prozeß Im folgenden Annahme tcsh (csh) Ersatz für häufige / längliche Kommandos Beispiel: % alias mo less % alias uni "ssh l zach X zeus.uni-bonn.de % mo program.cpp % uni alias zeigt alle Aliases an Alias 'uni' wird ersetzt Alias 'mo' wird ersetzt Definiert Alias 'uni' Definiert Alias 'mo'

6 Variablen Variable = Name + Wert, Wert = Zeichenkette 2 Arten: Normale Shell-Variablen Environment-Variablen, sind auch in Kind-Prozessen (child process) bekannt Setzen: Anhängen: % setenv PATH ${PATH}:${HOME}/bin % setenv PATH ${HOME}/bin:${PATH} % setenv TMP "/tmp" % set tmpdir = "/home/stud/zach/tmp" Ersetzen: % cp file ${tmpdir} % echo ${TMP} Wichtige Environment- Variablen File Patterns Variable DISPLAY HOME PRINTER TMP PATH MANPATH PWD Bedeutung Display, auf dem neue Fenster geöffnet werden (Bsp.: aurikel:0.0) Home-Verzeichnis Default-Drucker Verzeichnis für temporäre Files Suchpfad für Kommandos Suchpfad für Man-Pages Aktuelles Verzeichnis, in dem man sich gerade befindet (CWD) File-Name mit Wildcards: *? [] Wildcard? Genau ein beliebiges Zeichen * Beliebig viele beliebige Zeichen (auch 0) {0,1,2} Genau ein Zeichen aus der Menge {0,1,2} [0-9] Genau ein Zeichen aus der Menge {0,,9} [a-za-z0-9] Genau ein Zeichen aus der Menge {a,,z,a,,z,0,,9} [^0-9] Genau ein Zeichen nicht aus der Menge {0,,9} Beispiele: Bedeutung printenv druckt alle Environment-Variablen aus echo $VAR druckt Wert dieser Environment-Variablen % ls *.cpp *.h % ls [0-9][0-9]*.ppt % ls *[^a-za-z0-9_.,-]* Quotation Kommando ausführen Achtung: das Kommando sieht die Wildcards nie! Shell expandiert dieses Quotation verhindert, daß Wildcards (allg. Meta-Zeichen) von der Shell expandiert werden Arten: \ verhindert Expansion des folgenden Zeichens % echo \*.ppt \$PATH " " verhindert Expansion der Wildcards, erlaubt Variablen % echo "*.ppt $PATH" ' ' verhindert jegliche Expansion (Wildcards, Variablen, ) % echo '*.ppt $PATH' Built-in: Shell führt Kommando selbst aus Beispiel: echo Sonst: externes Programm Beispiel: ls arg1 arg2 command in PATH (Environment-Variable) suchen Falls nicht gefunden, Fehlermeldung Kind-Prozeß erzeugen Erinnerung: erbt Environment des Vater-Prozesses (Shell) Argumente (Zeichenketten) im Environment bereitstellen Argumente werden durch Space (i.a.) getrennt Warten bis Kind-Prozeß beendet

7 Suchpfade Standard-I/O Environment-Variable mit :-getrennten Verzeichnissen Beispiel: % echo $PATH.:/usr/bin:/bin:/usr/local/bin:/home/II/zach Kommandos werden in PATH gesucht File mit Namen des Kommandos im ersten Verzeichnis und executable? ausführen Sonst: nächstes Verzeichnis in PATH untersuchen Analog für Man-Pages und andere Shell etabliert 3 Kanäle zu / vom Prozeß: Standard Input (stdin) Program Standard Error (stderr) Standard Output (stdout) Default-mäßig mit Terminal (Fenster & Keyboard) verbunden Redirection Pipelines Verbindet Standard-I/O mit Files Prozeß (Programm) bemerkt davon nichts! Selber Mechanismus, um Prozesse miteinander zu verbinden: Redirection Bedeutung > file stdout wird nach file geschrieben >> file stdout wird an file angehängt >& file stdout und stderr umlenken < file Programm liest aus file, nicht von Keyboard Shell bietet noch viele weitere Möglichkeiten Beispiel: % ls l > dir-listing Utility or User Program Syntax: command command command Beispiele: stdout pipe stdin % ls -1 *.cpp wc l % ls -1 *.cpp sort > sorted-dir Utility or User Program Shell Scripts Initialisierungs-Files Alles, was man interaktiv schreiben kann, kann man auch in einen ASCII-File schreiben: Erste Zeile: #!/bin/tcsh -f Executable-Bit in den Permissions setzen: chmod u+x script Ausführen mit./script, oder in ein Verzeichnis im PATH moven. Shell enthält komplette Programmiersprache! Für tcsh: ~/.tcshrc (und ~/.cshrc) Inhalt: beliebige Kommandos (shell-built-in & extern) Ausgeführt von jeder Shell des Users Typischerweise: Environment-Variablen setzen (PATH, MANPATH, ) Aliases definieren Completion-Regeln (für Tab an verschiedenen Positionen) Achtung: neue Shell aufmachen, falls Änderung Empfehlung: Dot-Files von der Vorlesungs-Home-Page installieren

8 Deutsches UNIX Wichtige Utilities und Programme Große Unsitte Wegen Terminologie setenv LANG=en Moving Around File-Manipulation Filter (oft in Pipelines oder mit Redirection) Tools Prozeß-Manipulation Suchen (find & grep) Dokumentation anzeigen Moving Around File- und Verzeichnis-Manipulation Utility cd dir cd - cd pwd Ins Verzeichnis dir wechseln Ins vorige Verzeichnis zurück wechseln Ins Home wechseln Aktuelles Verzeichnis anzeigen Kommando rm file File löschen ls [dir] Verzeichnis / File anzeigen ls l [dir] Mehr Infos zum Verzeichnis / File anzeigen ls a [dir] Dot-Files (.*) anzeigen cp file1 dir Files kopieren cp file1 file2 Kopie von File1 erzeugen und File2 nennen ln s file1 file2 Symbolischen Link von File2 nach File1 erzeugen (Eselsbrücke: ln s statt cp) mv file1 dir Files verschieben mv file1 file2 File umbenennen cat file1 file2 > file Files aneinanderhängen (konkatenieren) chmod new-perm file Permissions von File ändern mkdir dir rmdir dir Neues Verzeichnis erzeugen Verzeichnis löschen (muß leer sein) Achtung: ES GIBT KEIN RECYCLE-BIN!!! Task: Shoot Yourself in The Foot Permissions modifizieren The proliferation of modern programming languages (all of which seem to have stolen countless features from one another) sometimes makes it difficult to remember what language you're currently using. This handy reference is offered as a public service to help programmers who find themselves in such a dilemma. % ls foot.c foot.h foot.o toe.c toe.o % rm *.o rm:.o no such file or directory % ls % Syntax von chmod ("change mode"): chmod <level><op><perm> filename level = String aus: u, g, o, a (user, group, other, all) op = ein Zeichen aus +, -, = (gets, loses, equals) perm = String aus: r, w, x, (read, write, execute, ) Beispiele: % chmod u+rwx,go-w foobar % chmod g=u temp/ % chmod u=rwx,g=rwx,o= shared/

9 Bedeutung der Permissions Tools Permission r (read) File Read a file Directory List files in Utility more less head / tail cat file echo string(s) diff file1 file2 File anzeigen (more ist ein sog. Pager) Noch besser als more Anfang / Ende des Files ausgeben File ausgeben (keine alität) String(s) auf stdout (typ. Terminalfenster) ausgeben Unterschiede zwischen 2 Files anzeigen w (write) x (execute) Write a file Execute a file (Shell-Script or Binary) Create / move / remove afile in Access a file in du sk dirs Speicherbedarf der Verzeichnisse in kb anzeigen df h dir Größe und freien Platz auf einer Platte anzeigen df -hl Größe und freien Platz aller lokalen Platten anzeigen quota -v Freie Quota anzeigen lpr [ Pdrucker] file.ps Postscript-File ausdrucken lpq [ Pdrucker] Printer-Queue anzeigen a2ps [ Pdrucker] file ASCII-File (z.b. Listing) ausdrucken ssh machine Remote auf einem anderen Rechner einloggen Prozesse aus Sicht der Shell Utility id Eigene IDs ausgeben who / w Wer ist eingeloggt? date Datum anzeigen cal Jahreskalender anzeigen locate file Ort von File anzeigen (auch Teilstrings) where command Ort(e) von Command anzeigen tar czf archive.tgz dirs Komplettes Verzeichnis (inkl. Unterverzeichnisse) zusammenpacken und komprimieren tar xzf archive.tgz Archiv wieder auspacken gzip/gunzip File komprimieren / dekomprimieren mount /mnt/floppy Floppy mounten / unmounten 3 Zustände eines Prozesses (aus Sicht der Shell) 1. Foreground: Default Ausgabe (stdout) des Prozesses erscheint im Terminal-Fenster Eingabe (stdin) des Prozesses kommt vom Keyboard 2. Background: Ausgabe erscheint im Fenster Eingabe nicht erlaubt 3. Gestoppt: Prozeß schläft Prozeßkontrolle Filter Befehl ps ps -edfjw kill pid kill -9 pid command & nohup jobs Ctrl-C Ctrl-Z fg bg Ctrl-S Ctrl-Q top Prozesse anzeigen Alle Prozesse anzeigen Prozeß mit PID pid abbrechen (wie Ctrl-C) wenn der Prozeß trotzdem nicht aufhören will Prozeß im Hintergrund starten Prozesse im Hintergrund anzeigen Foreground-Prozeß abbrechen (interrupt) Foreground-Prozeß anhalten (stoppen) Zuletzt angehaltenen Prozeß im Foreground weiterlaufen lassen Angehaltenen Prozeß im Background weiterlaufen lassen Ausgabe des Foreground-Prozesses anhalten (Pr. läuft weiter!) Ausgabe weiterlaufen lassen tabellarische Ansicht aller Prozesse und deren CPU-Verbrauch Lesen von stdin, schreiben auf stdout Arbeiten oft zeilenweise Utility cut Felder oder Zeichenspalten ausschneiden fmt Auf 72 Zeichen umformatieren sort Zeilenweise sortieren (auch nach Teil-Key) uniq Duplikate entfernen wc Zeichen, Wörter, und Zeilen zählen tr Zeichen ersetzen grep Zeichenketten in der Eingabe suchen (s.u.) rev Reihenfolge der Zeichen umkehren (zeilenweise)

10 Unix-Philosophie Editoren "Small is beautiful" Make each tool do one thing only Make it do it well Read from stdin, write to stdout (if sensible) Use ASCII-Files Programmierer schreiben ASCII, insbesondere Software Heiliger Krieg, welches der beste ist Ein Programmier-Editor sollte Effizientes UI haben (nicht intuitiv!) Wenige Tasten / Mauskilometer für die häufigen Aktionen Syntax Highlighting Makros Reguläre Ausdrücke zum Suchen und Ersetzen Multi-Plattform sein Suchen & Finden Einige Editoren zur Auswahl: Vim / gvim (Obermenge von vi, welcher immer installiert ist) Die Homepage von vim: Emacs/xemacs (extrem umfangreich) "Emacs wäre gar kein so schlechtes Betriebssystem, wenn es nur einen brauchbaren Editor hätte" Nedit (kein non-gui-mode) Pico, joe, Suchen Sie sich einen hinreichend mächtigen Editor aus, und lernen Sie diesen gut und möglichst vollständig beherrschen! Reference-Cards für VIM und Emacs auf der Homepage der Vorlesung find: findet Files aus einem Verzeichnisbaum Kriterien: Name Datum Größe Aktionen: Filename ausgeben Löschen grep: findet Zeilen in einem File, in denen bestimmte Zeichenketten vorkommen Find Beispiele Syntax: find dirs criteria actions Kriterien: -name file-pattern -type file-type -size file-size -date Aktionen: -print -exec command {} \; -ls Den File foo im Home finden: % find $HOME name foo Wenn man den Namen nicht mehr genau kennt: % find $HOME iname '*foo*' Alle JPEG's finden und File-Namen in File schreiben: % find $HOME name '*.jpg' > image-list Alle JPEG's größer als 100kB finden: % find $HOME name '*.jpg' size +100k Alle core's löschen: % find. name core print exec rm {} \;

11 Grep Reguläre Ausdrücke Syntax: Varianten: fgrep, egrep grep 'reg-exp' files reg-exp = regular expression (eine Art Pattern-Matching) Default: Zeilen ausgeben, die matchen Einige Optionen: -v Invertierung: Zeilen ausgeben, die nicht matchen -i case-insensitive -n Zeilennummern ausgeben -H Filenamen zu den Matches ausgeben -e RE weitere reg-exp's (Oder-Verknüpfung) Besteht aus normalen Zeichen und Meta-Zeichen: Meta-Zeichen:.? [ ] * + $ ^ \ ( ) Normale Zeichen: alle übrigen Regulärer Ausdruck = Zeichenkette aus normalen Zeichen und Meta-Zeichen Matching: Vergleicht gegebene Zeichenkette und RE von links nach rechts Arbeitet Zeichen ab, falls sie, gemäß Regeln, "übereinstimmen" Arbeitet "greedy" Extended RE's Beispiele Zeichen Bedeutung / Match a matcht das Zeichen selbst. (Punkt) matcht ein beliebiges Zeichen [abc-f] matcht ein Zeichen aus {a,b,c,d,e,f} [^abc] matcht ein Zeichen nicht aus {a,b,c} ^ $ stehen für den Anfang/Ende der Zeile a? a ist optional ("schluckt" a, falls vorhanden) a+ a muß einmal oder öfter vorkommen a* a darf belieb oft, auch keinmal, vorkommen (RE) Gruppierung RE1 RE2 matcht a oder b \ hebt Bedeutung des nachfolgenden Meta- Zeichens auf... grep 'abc' file: alle Zeilen, die "abc" enthalten grep 'a.c' file: alle Zeilen, die "axc" enthalten, wobei x beliebiges Zeichen ist grep e 'a[x-z]b' e 'c[u-w]d' file: "axb" oder "cud" oder "ayb" grep 'a\[[^]]*\]=' file: alle Vorkommen der Form "a[ ]=", wobei eine beliebig lange Zeichenkette ist, die kein ] enthält grep 'a\[[^]]*\] *=' file: wie vorher, mit beliebig vielen Spaces zwischen "]=" More input? (info) Format of each man page 4 Arten von Informationsquellen: 1. Man Pages 2. Info pages 3. HTML-Seiten 4. Sonstige Man Pages: 'man cmd' Man-Page zu cmd anzeigen (Programm oder ) man k keyword Alle Man-Pages nach keyword durchsuchen (nur die 1-zeiligen "Köpfe" jeder Seiten) man K keyword Alle Man-Pages nach keyword durchsuchen (komplette Seite) Start-Menü Help Name Syntax Description Options Files Return values Diagnostics Bugs See also Name und 1-zeilige Beschreibung Ausführliche Beschreibung Liste von Files wichtig für diesen Befehl Mögliche Fehlermeldungen und Ursachen Bekannte Bugs und Unzulänglichkeiten Verwandte Befehle und Infos

12 Info & HTML Minimalwissen Info-Seiten: 'info cmd' Sog. Info-Seite in einem einfachen Viewer anzeigen Hierarchisch (angelehnt an HTML) Steuerung: Return auf Stern In Unterseite springen u zur übergeordneten Seite zurück /string suchen HTML-Seiten: Hauptproblem: finden Normalerweise in /usr/share/docs Hilfsmittel: locate Folgende Befehle sollten Sie gut beherrschen: ls, cd, mkdir, rmdir, cp, mv, rm, ln, chmod, less, cat, sort, wc grep, find ps, jobs Später: make, g++, gdb Lesen Sie deren Man-Pages (immer wieder) Grundregeln unter UNIX Don't Panic! RTFM! ("read the f*ing manual") Probieren geht über studieren