UNIX - LINUX. Struktur und Größe von Dateien. Dateiarten unter Unix. Unix Dateihierarchie System. Unix-Directories im Detail

Transkript

1 Struktur und Größe von Dateien UNIX - LINUX Unix-Dateien haben keine Struktur - featureless byte stream Interpretation hängt von den Programmen ab Speicherung in festen Blöcken von Bytes ( z.b. 512, 1024, 4096) Anzeige des Dateisystemzustandes mit df teilweise in Blocks Verschnitt!: Auch kleine Dateien verbrauchen einen ganzen Block Dateinamen sind unstrukturiert Länge der Dateinamen 255 Zeichen oder größer Dr. Michael Höding Unix-Linux Dateisystem 1 Dr. Michael Höding Unix-Linux Dateisystem 2 Dateiarten unter Unix Ordinary File: reguläre Dateien, einfache Dateien, gewöhnliche Dateien Special Files: spezielle Dateien, insbesondere Gerätedateien z. B.: /dev/hda oder /dev/hda1 Gleicher Mechanismus zum Lesen und Schreiben wie bei ordinary files Unterscheidung zwischen Byte-weisem und Block-weisem Zugriff Anlegen mit mknod, löschen mit rm Directory: Dateiverzeichnis, Dateikatalog Named Pipes: benannte Datenröhren Kommunikation, Synchronisation löschendes Lesen Unix Dateihierarchie System / (root) unix bin dev etc home lib tmp usr cat ls lp tty ron lena knut mail plan Hello.c Dr. Michael Höding Unix-Linux Dateisystem 3 Dr. Michael Höding Unix-Linux Dateisystem 4 Unix-Directories im Detail Unix-Directories im Detail /sbin: system binaries Systemprogramme und Systemkommandos für die Systeminitialisierung und Systemverwaltung durch den Administrator, z.b. Anlegen von Nutzern, Drucker einrichten Init, yas, shutdown /dev: Gerätedateien, teilweise in Unterverzeichnissen /etc: Konfigurationsdateien, z.b. passwd /opt: für eigene Anwendungssoftware z. B. Oracle-DBMS /bin: ausführbare Programme und Kommandos Dr. Michael Höding Unix-Linux Dateisystem 5 /usr: (unix system resources) /usr/bin: weitere ausführbare Programme und Kommandos /usr/sbin: weitere Systemkommandos /usr/include: C-Header Dateien /usr/share: gemeinsame Ressourcen, z. B. Dokumentation, man-pages /usr/lib: Konfigurationsdateien und Bibliotheken für die Programmentwicklung Dr. Michael Höding Unix-Linux Dateisystem 6 1

2 Unix-Directories im Detail Directories im Detail: spez. Linux /export: exportierte Teile des Dateisystems /home: Home-Directories der echten Nutzer /proc: Pseudo-Dateien des speziellen Prozess- Dateisystems /var: veränderliche Systemdateien /var/adm: Protokolle der Systemadministration /var/spool: Warteschlangen des Drucksystems /var/log: Sonstige Logdateien /var/mail: Mailboxen /tmp: temporäre Dateien (Achtung: teilweise Automatisches Löschen) Dr. Michael Höding Unix-Linux Dateisystem 7 /bin: elementare Linux-Kommandos /boot: Dateien des LILO-Bootmanagers und evtl. alternative Kernel /mnt: externe Dateisysteme (z.b. DOS, Windows) Oft aber /windows oder /cdrom /root: Home des root-nutzers /tmp -> /var/tmp /usr/x11: X11-System /usr/scr: Linux-Quellen /usr/man: Manual-Pages /usr/spool: link auf /var/spool Dr. Michael Höding Unix-Linux Dateisystem 8 Dateisystem: Begriffe Dateisystem: Begriffe (2) Root-Directory / : Spitze oder Wurzel working directory oder current directory: momentaner Aufenthaltspunkt im Dateibaum login directory: Aufenthaltspunkt nach dem einloggen (siehe /etc/passwd) home directory: eindeutiger und eigener Platz für jeden Benutzer Umgebungsvariable: HOME Mit cd (ohne Argument) kommt man ins HOME ~ bezeichnet das eigene home directory ~schmidt bezeichnet das home directory von schmidt Pfadname: Absoluter Pfadname: Vollständiger Name beginned von Root / Relativer Pfadname: beginnend vom working directory. (Punkt): das Verzeichnis selbst.. (zwei Punkte): das übergeordnete Verzeichnis z. B.:../../var/log/httpd/access.log Dateinamen: Dateinamen ohne Pfad Dr. Michael Höding Unix-Linux Dateisystem 9 Dr. Michael Höding Unix-Linux Dateisystem 10 absolute vs. relative Pfadnamen / (root) /home/lena/plan unix bin dev etc home lib tmp usr cat ls lp tty ron lena knut../../bin/ls mail plan Hello.c Zugriffsrechte Benutzerklassen User: Eigentümer, Benutzer, die eine Datei einrichten bzw. nachträglich als Eigentümer eingetragen werden Group: Gruppe, jeder Benutzer gehört (mindestens) einer Gruppe an Softwareentwickler Studenten, Professoren Gruppen werden vom Systemadministrator verwaltet Others: aller Benutzer, d.h. der Rest der Welt All: Alle Benutzerklassen zusammen Dr. Michael Höding Unix-Linux Dateisystem 11 Dr. Michael Höding Unix-Linux Dateisystem 12 2

3 Zugriffsrechte Dateien erstellen und editieren Arten: Read: lesender Zugriff Directory darf man anzeigen, auflisten auf dem Bildschirm Write: schreibender Zugriff Im Directory darf man schreiben Execute: Ausführen In das Directory darf man wechseln/navigieren Datei Editieren touch neue.datei Datei Editieren vi beispiel.wetter pico beispiel.wetter emacs beispiel.wetter Dr. Michael Höding Unix-Linux Dateisystem 13 Dr. Michael Höding Unix-Linux Dateisystem 14 Wichtige Dateikommandos: ls Wichtige Dateikommandos: mkdir,... ls: List contents of directory ls /var : liste Inhalt von /var auf ls p* : Listet Inhalt aller Directories beginnend mit p auf zahlreiche Optionen -d: Directory statt Inhalt -t: zeitlich geordnet -r: rekursiv geordnet -a: alle Dateien, auch Punkt-Dateien -s: Size in Blöcken -h: Human readable mkdir (make directory): Anlegen eines Verzeichnis rmdir (remove directory):löschen eines Verzeichnis Verzeichnis muss leer sein Wildcards (*) möglich rm (remove): Datei löschen Auch Verzeichnisse mit Inhalt löschbar rm r testverzeichnis: löscht ganzen Dateibaum -f : force Löschen ohne Nachfragen -i : interactive Nachfragen vor dem Löschen Dr. Michael Höding Unix-Linux Dateisystem 15 Dr. Michael Höding Unix-Linux Dateisystem 16 Wichtige Dateikommandos: cat, cp,... Wichtige Dateikommandos: ln cat (concatenate): Anzeigen von Dateien cp (copy): Kopieren von Dateien cp Datei1 Datei2 cp Datei1 Verzeichnis -r: rekursives Kopieren ganzer Dateibäume -i: Rückfrage vor dem Überschreiben einer Zieldatei mv (move files): Umbenennen einer Datei, Verschieben von Dateien mv datei1 datei2 mv datei(en) verzeichnis Zugriffsrechte werden überprüft ln (link files): Linken von Dateien zur Abspeicherung unter verschiedenen Namen bzw. an verschiedenen Orten Beispiel: Kaffeekasse Vorteil: kein langer Pfadname Beispiel: Versionsverwaltung, alternative Versionen ln datei1 datei2 Hard-Links vs. Soft-Links: Symbolische Links Soft-Links erlauben Verweise auf Verzeichnisse Links über Plattengrenzen möglich ln s verzeichnis1 verzeichnis2 Dr. Michael Höding Unix-Linux Dateisystem 17 Dr. Michael Höding Unix-Linux Dateisystem 18 3

4 Wichtige Dateikommandos: chmod Wichtige Dateikommandos: chmod chmod (change mode): Ändern der Zugriffsrechte Zwei Modi: absolut vs. symbolisch chmod 700 nurich.txt chmod u+wxr,go= nurich.txt Beispiel für absolute Modus 0400: Lesen für Eigentümer 0200: Schreiben für Eigentümer 0100: Ausführen für Eigentümer 4000: set-user-id beim Ausführen bekommt der Benutzer die Eigentümerrechte 0777: Alle dürfen Alles Symbolischer Mode: chmod [ugoa]operator[rwxslt] datei(en) Benutzerklassen u = user, Eigentümer g = Gruppe o = others, Alle a = alle Benutzerklassen Operatoren + : Recht hinzufügen - : Recht entziehen =: Recht absolut setzen Dr. Michael Höding Unix-Linux Dateisystem 19 Dr. Michael Höding Unix-Linux Dateisystem 20 Wichtige Dateikommandos: chmod Wichtige Dateikommandos: chown,... Rechte r : Leserecht w: Schreibrecht x: Ausführungsrecht s: set-user-bit l: für exklusives Lesen- und/oder Schreiben Beispiel: chmod u=rwxs,g=rx,o=r datei (wie chmod 4754 datei) Option R : rekursive Rechtevergabe Dr. Michael Höding Unix-Linux Dateisystem 21 chown = change owner: Setzen des Dateieigentümers chown nameneu:gruppeneu Dateiname(n) Bsp: chown hoeding:users testdatei Nur der Alt-Eigentümer kann Neu-Eigentümer setzen chgrp = change group: Setzen der Gruppe Bsp: chgrp users testdatei Wichtige Option: -R für rekursives Setzen umask : Anzeigen/Setzen der Dateikreierungsmaske su = set user : Ändern der Identität su hoeding : Anmelden als hoeding ohne Ausführen des login su hoeding: mit Ausführen des Login Dr. Michael Höding Unix-Linux Dateisystem 22 Wichtige Dateikommandos: Drucken Wichtige Dateikommandos: wc, tail, diff Ausgabe von Dateien auf den Drucker: lpr Dateiname Anschauen der Warteschlange: lpq Löschen von Druckaufträgen: lprm hoeding@fwil588:~ > lpq no entries hoeding@fwil588:~ > lpr hcclogo_v6.jpg hoeding@fwil588:~ > lpq lp is ready and printing Rank Owner Job Files Total Size active hoeding 29 hcclogo_v6.jpg bytes hoeding@fwil588:~ > lprm 29 dfa029fwil588 dequeued cfa029fwil588 dequeued Dr. Michael Höding Unix-Linux Dateisystem 23 wc = Wordcount: Zählen von Zeichen, Wörtern und Zeilen einer Datei (mehrerer Dateien) Nützlich für die Analyse von Zugriffsstatiken, Log-Dateien tail = Ausgabe des Dateiendes (10 Zeilen) nützlich für Log-Dateien, laufende Kontrolle z.b. Web-Server Option f (follow) zeigt angehängte Daten beim Dateiwachstum Option n spezifiziert anzuzeigende Zeilenzahl head = Anfang einer Datei (seltener notwenig) diff = Differenz: Vergleich zweier Dateien nützlich um unterschiedliche Versionen einer Datei zu erkennen primär für Textdateien cmp = Compare: Binärer (Byte-weiser) Vergleich Dr. Michael Höding Unix-Linux Dateisystem 24 4

5 Wichtige Dateikommandos in Analogie zu Datenbanken Operationen relationaler Datenbanken: Selektion: Auswahl von Zeilen Projektion: Auswahl von Spalten Sortierung Verbund Join Vermischung: Union Aggregationsoperationen: sum, count, avg, min, max Beispielanfrage select Wettertyp, Wetterwert, Einheit from Wetter where Ort= `Brandenburg and Datum like `% order by Wettertyp; Wichtige Dateikommandos: sort sort : Sortierung von Textdateien in die Ausgabe sort [optionen] [sortierschlüssel] [datei(en)]- Optionen: -d : lexikographisches Sortieren -f : Groß-/Kleinschreibung ignorieren -i : nicht druckbare Zeichen ignorieren -n: numerisch sortieren -r: (rekursiv) absteigend sortieren -tz : Trennzeichen z als Trenner zwischen den Feldern -o: Sortiert die Datei selbst, nicht die Ausgabe Dr. Michael Höding Unix-Linux Dateisystem 25 Dr. Michael Höding Unix-Linux Dateisystem 26 Wichtige Dateikommandos: sort Wichtige Dateikommandos: sort Sortierschlüssel definiert Spalten mit Optionen als Sortierkriterium Syntax: +m[.n] Beginn des Sortierfelds beim n+1-ten Zeichen des m+1-ten Feldes -k[.l] Ende des Sortierfelds: l-te Zeichen des k-ten Feldes Optionen für jeden Schlüsselteil anwendbar, z.b. r Mehrere Schlüssel kaskadierbar Beispiele zur Wetterdatei: Einfache Sortierung (nach erster Spalte, d.h. Ortsname) sort neues.wetter Sortierung nach Wettertyp (4. Spalte), mit Trennzeichen sort t\ +3 4 neues.wetter Sortierung nach 1. Wettertyp und 2. Wert (numerisch) sort t\ n 5 neues.wetter Sortierung nach Datum (numerisch und bestimmte Zeichen) sort t\ +1.3n n 2.3 neues.wetter hier ist das Jahr nicht berücksichtigt! Rekursive Sortierung: neueste Werte am Anfang mit head sort t\ +1.3nr nr 2.3 neues.wetter head n3 Sortieren der Datei selbst (nach Datums-String) sort t\ +2 o neues.wetter neues.wetter Dr. Michael Höding Unix-Linux Dateisystem 27 Dr. Michael Höding Unix-Linux Dateisystem 28 Wichtige Dateikommandos: grep Exkurs: Reguläre Ausdrücke grep = get regular Expression Auswahl bestimmter Zeilen (DBS: Selektion) egrep, fgrep (-e bzw, f) Syntax: grep [optionen] regulärer-ausdruck [datei(en)] Wichtige Optionen -c = count : nur die Anzahl (nicht der Inhalt) der ge-match-ten Dateien wird ausgegeben -i = ignore: Groß- und Kleinschreibung wird ignoriert -l : nur Namen der Dateien ausgeben, die Suchstring enthalten Einfache Beispiele grep Brandenburg neues.wetter grep Wind neues.wetter grep Tempe neues.wetter > neues.temperatur Dr. Michael Höding Unix-Linux Dateisystem 29 Regulärer Ausdruck: Grammatik zur Bildung von Strings 1. Metazeichen mit Sonderbedeutung:. * +? ( ) [ ] \ ^ $ 2. Einfacher regulärer Ausdruck: 1. Einfaches Zeichen, aber kein Metazeichen 2. Metazeichen \, um Sonderbedeutung auszuschalten, z.b. \* 3. ^ steht für den Anfang der Zeile, wenn am Anfang des reg. Ausdrucks 4. $ steht für das Ende der Zeile, wenn als letzte Zeichen des reg. Ausdrucks 5.. (Punkt/Dot) steht für jedes beliebige Zeichen außer Newline 6. Eine Klasse von Zeichen: z.b. [ABC] deckt eines der Zeichen ab, hier A, B oder C 7. Eine Klasse von Zeichen mit Abkürzungen: z.b. [a-z] deckt eines der Zeichen ab, hier alle Kleinbuchstaben 8. Eine Komplement-Klasse von Zeichen, z.b. [^0-9] deckt alle Zeichen außer Ziffern und Newline ab Dr. Michael Höding Unix-Linux Dateisystem 30 5

6 Exkurs: Reguläre Ausdrücke 3. Operatoren um zusammengesetzte reguläre Ausdrücke aufzubauen 1. Alternation: A B deckt A oder B ab 2. Konkatenation: AB deckt A unmittelbar gefolgt von B ab 3. null-oder-beliebig-viele: A* deckt kein, ein oder mehrere A ab 4. ein-oder-beliebig-viele: A+ deckt ein oder mehrere A ab (wie AA*) 5. null-oder-eins: A? deckt kein oder ein A ab 6. runde Klammer: (r) deckt r ab, hebt Prioritäten auf Prioritäten: Konkatenation (*+?) () Matching mit longest leftmost - Regel Dr. Michael Höding Unix-Linux Dateisystem 31 Exkurs: Reguläre Ausdrücke, egrep Beispiele: Alle möglichen (?) Meiers egrep `M[ea][iy]e?r` namensliste Alle Angaben zu Wind in Berlin egrep `Berlin[a-zA-Z0-9\.\ \:]+Wind` neues.wetter Falsch: `egrep Berlin[.]*Wind` neues.wetter Aller Werte zum September egrep `[0-9]+\.09\.[12][0-9][0-9]+ neues.wette Reguläre Ausdrücke und Perl: Zusätzlich Matching von Zeichenkettenteilen mit runden Klammern: Abbildung auf Variable $1, $2,... Matching von Ort und September-Datum /([^\ ])\ [0-9]+\.09\.[12][0-9][0-9]+ / für gefundene Zeilen ist $1 mit dem Ort initialisiert DBS: Selektion und Projektion Dr. Michael Höding Unix-Linux Dateisystem 32 Wichtige Dateikommandos: cut Wichtige Dateikommandos: find cut : remove sections from each line of files, d.h Auswahl von Spalten (DBS: Projektion) Optionen: -dz : Trennzeichen zwischen Feldern -f felder : zu projizierende Felder -c spalten: zu projezierende Spalte, hier sind Spalten die absoluten Positionen von Einzelzeichen in jeder Spalte -s: Unterdrückung von Zeilen ohne Feldtrenner Beispiele: Nur Ort, Wert,Typ und Einheit cut d\ -f 1,3-5 neues.wetter Nur Temperaturdaten ausgeben cut d\ -f 1-3,5,6 neues.temperatur > neues2.temperatur find : Finden von Dateien entsprechend spezifiziertem Namen (DBS: Selektion auf Dateinamen als Attribut) find pfadname(n) bedingung(en) Bedingungen: -print: immer erfüllt; gibt Namen der gefundenen Dateien aus -name: erfüllt wenn Datei mit Name gefunden ist -perm: Beachtung von Zugriffsrechten -user: Datei die einem Nutzer gehört (-nouser: invers) -group: Datei die einer Gruppe gehört (-nogroup invers) -atime n: Zugriff in den letzten n Tagen (selbstbeeinflussend) -mtime: Änderung in den letzten n Tagen (mit Vorzeichen!) -newer: Modifikation neuer als Vergleichsdatei -exec: Ausführen eines Kommandos, Argument ist gefundener Dateiname Dr. Michael Höding Unix-Linux Dateisystem 33 Dr. Michael Höding Unix-Linux Dateisystem 34 Wichtige Dateikommandos: find Wichtige Dateikommandos: join Beispiel Suche aller Dateien von root in /var find /var user root print Suchen aller Dateien die Temperaturdaten enthalten find. name `*temperatur* print Auflisten aller Dateien find. print Durchsuchen aller Dateien mit find und grep Beispiel: alles über Brandenburg find. exec grep Brandenburg {} \; -print Join: Zusammenfassen von Zeilen mit identischen Schlüsselfeldern (DBS: Verbund- oder Join-Operation) Optionen -j m : das m-te Feld wird in beiden Dateien als Schlüsselfeld genutzt -j1 m: das m-te Feld wird in Datei 1 als Schlüsselfeld genutzt -j2 m: analog j1 a1: Zeilen aus Datei1 ausgeben, für die keine gemeinsamen Schlüssel existieren (DBS: ähnlich left outer join) a2: analog (DBS: ähnlich right outer join) -t: Trennzeichen -o n.m; legt auszugebenen Felder fest (DBS: Projektion) Dr. Michael Höding Unix-Linux Dateisystem 35 Dr. Michael Höding Unix-Linux Dateisystem 36 6

7 Wichtige Dateikommandos: join Wichtige Dateikommandos: tr Achtung: join entspricht nicht dem DBS-Join, hier minimaler Join, erster Treffer Beispiel: Vollständige Ortsbeschreibung join t\ messpunkte.wetter geografie Datei neues.wetter enthält Wettertupel mit 1. Spalte Ort Datei messpunkt.wetter enthält Beschreibung der Messpunkte mit 1. Spalte Ort Wetterangaben mit detaillierten Angaben zu Messpunkten join t\ -j 1 neues.wetter messpunkte.wetter Entsprechend nur Ausgabe von Ort, Typ, Details Was wird wo (wie hoch) gemessen? join t\ -j 1 o 1.1,1.4,2.2,2.3 neues.wetter messpunkte.wetter tr = translate character (Ersetzen von Zeichen) von Standardeingabe auf Standardausgabe Beispiel: Ersetzung aller Kleinbuchstaben in Großbuchstaben tr [a-z] [A-Z] < neues.wetter Dr. Michael Höding Unix-Linux Dateisystem 37 Dr. Michael Höding Unix-Linux Dateisystem 38 Wichtige Dateikommandos in Analogie zu Datenbanken Beispielanfrage select Wettertyp, Wetterwert, Einheit from Wetter where Ort= `Brandenburg and Datum like `% order by Wettertyp; siehetafel Nutzung von Unix-Techniken eingeschränkt möglich z.b. join anders implementiert Wissen über interne Strukturen notwendig Wichtige Dateikommandos: df, du df = disk free: zeigt für angeschlossene Dateisysteme den freien Speicherplatz an Optionen: -h = human readable -k : in kilobytes du = disk used: zeigt den verbrauchten Speicherplatz beginnend vom current directory an Optionen -s = summarize: nur Zusammenfassung Dr. Michael Höding Unix-Linux Dateisystem 39 Dr. Michael Höding Unix-Linux Dateisystem 40 Wichtige Dateikommandos: mount Wichtige Dateikommandos: pack,... mount : montieren eines Dateisystems Nutzung der mount-tabelle /etc/mtab Mounten aller Dateisysteme mit mount a Montieren einer CDROM mount /dev/cdrom oder mount /cd [/dev/cdrom /cd iso9660 ro,user,noauto,unhide] umount = unmount: Abmontieren Abmontieren aller (möglichen) Dateisysteme umount a Packen bzw. Entpacken von Dateien gzip, gunzip : GNU-Zip (auch unter DOS, Windows) compress, uncompress, ab System V.4 dazu zcat, zmore, zless tar = Erstellung bzw. Nutzung von Archiven Erstellen: tar cvf archiv.tar * Auspacken tar xvf archiv.tar Zusätzliche Option bei Linux: -z Komprimierung mit gnuzip Dr. Michael Höding Unix-Linux Dateisystem 41 Dr. Michael Höding Unix-Linux Dateisystem 42 7

8 Wichtige Dateikommandos: mtools mtools Zugriff auf DOS-Disketten mcopy: Kopieren von bzw. auf Diskette mcoypy neues.wetter a: mdir: Anzeigen eines MSDOS-Directory mcat: cat von DOS-Dateien mdel: Löschen von DOS-Dateien mformat: Formatieren einer MSDOS-Diskette Dr. Michael Höding Unix-Linux Dateisystem 43 8