10. Implementierung von Dateisystemen

Transkript

1 10. Implementierung von Dateisystemen Application Programs Logical Files System File Organization Module Input/Output Control Basic File System Devices Figure 60: Schichten eines Filesystems Betriebssysteme Harald Kosch Seite 175

2 Implementierung auf der Platte Benutzersicht der Datei Stream (sequentiell) Array von logischen Blöcken oder Bytes (direkt) Hardware-Sicht Array von physischen Blöcken Sequentieller Zugriff ist trotzdem schneller rotational latency, seek time entfallen Interne Fragmentierung ist unvermeidbar Blöcke fester Länge Aufgabe der Implementierung Effiziente und zuverlässige Abbildung der Benutzersicht auf die Hardware-Sicht Allozierung von Blöcken Verwaltung von freien Blöcken Verwaltung von Directories Pufferverwaltung Betriebssysteme Harald Kosch Seite 176

3 Kontinuierliche Allozierung File Start Length Count Tr 3 F Count 0 2 Tr 14 3 Mail 19 6 List 28 4 F Mail List External Fragmentierung, aber schneller Zugriff Dynamische Allozierung: first-fit schnell best-fit langsam, kleine Restfragmente worst-fit langsam, große Restfragmente Kompaktierung langsam und hoch fehlerempfindlich Allozierungsschwierigkeit Feste Größe muß im voraus bekannt sein Betriebssysteme Harald Kosch Seite 177

4 Gelinkte Allozierung File Start Jeep 9 End Ineffizient für direkten Zugriff Fehlerempfindlich (kann durch doppelt verkettete Listen reduziert werden) Verbesserte Implementierung durch File-Allocation Table (FAT) Die Einträge in der FAT sind durch Blocknummern indiziert und zeigen auf einen nächsten Eintrag (oder NIL) Betriebssysteme Harald Kosch Seite 178

5 Indizierte Allozierung File Jeep Index Block Verlust von Index-Block bei kleinen Dateien Bei großen Dateien Gekettete Index Blocks Mehrschichtige Indizes bei sehr großen Dateien Beide verlangsamen den Zugriff Betriebssysteme Harald Kosch Seite 179

6 File-Implementierung in UNIX owner berni group os type regular file perms rwxr-xr-x accessed Apr 7 17:42: modified Apr 15 04:42: inode Jun 6 06:06: size bytes disk addresses Figure 61: Beispiel eines Inode Jede Datei und Directory ist durch einen Inode beschrieben mit folgenden Inode-Attributen: Besitzer Typ Zugriffskontrolle Zugriff und Änderung der Datei Änderung des Inodes (z.b. permissions) Adressen der physischen Daten Betriebssysteme Harald Kosch Seite 180

7 Allozierung im Inode I-node Disk addresses Attributes Single indirect block Double indirect block Addresses of data blocks Triple indirect block Figure 62: Direkte und indirekte Blocks in einer Inode Mit 32-Bit Blockadressierung, 1 KB Blöcken (256 Einträge), max 16 GB Größe für ein File. Betriebssysteme Harald Kosch Seite 181

8 single double K K Figure 63: Block Layout eines Files und seiner Inode Direkte Blöcke: 1KB Einfache Indirektion: 256 KB Doppelte Indirektion: KB = 64 MB Dreifache Indirektion: KB = 16 GB 1. Bsp.: Byteadresse: 9000 block 8, 808. Byte (9000 DIV 1024 = 8, 9000 MOD 1024 = 808) 2. Bsp.: Byteadresse: double block (=256 KB) (=75 KB) (byte offset) Betriebssysteme Harald Kosch Seite 182

9 Verwaltung der freien Blöcke Free Space List Head Figure 64: Verkettete Liste der freien Blöcke Verkettete Liste Bitmap (effizient für kleine Platten) Freie-Block-Blöcke: selber gelinkt Zähler für zusammenhängende Blöcke Betriebssysteme Harald Kosch Seite 183

10 Freie Blöcke in UNIX UNIX File System Layout: (Berkley: cylinder groups, d.h. mehrere solche Subsysteme) boot super inode list... data blocks... block block Super Block: Figure 65: UNIX FS Layout Größe des FS, der Inode-Liste, Liste der freien Blöcke Info über freie Blöcke und freie Inodes Funktioniert als Cache für die freien Blöcke Der Kernel schreibt den Superblock periodisch auf die Platte Betriebssysteme Harald Kosch Seite 184

11 superblock list Hauptspeicher Original configuration superblock list 112 Platte After freeing block number superblock list After assigning block number superblock list After assigning block number 109 replenish superblock free list Figure 66: Disk Blocks anfordern und freigeben Betriebssysteme Harald Kosch Seite 185

12 Hierarchisches Directory (z.b. MS-DOS) Bytes File name Size Extension Attributes Reserved Time Date First block number Figure 67: Ein MS-DOS Directory-Eintrag Ein Directory kann Directories enthalten Allozierung über File Allocation Table z.b. File 1 : 3 (4, 7, 10) File 2 : 9 FFFF 4 7 A FFFF FFFF A Figure 68: File Allocation Table (FAT) Betriebssysteme Harald Kosch Seite 186

13 Hierarchisches Directory z.b. UNIX Bytes 2 14 File name I-node number Figure 69: Ein Directory-Eintrag (dentry) in UNIX Der hierarchische Pfadname wird entlang der Hierarchie lokalisiert: bin 7 dev 14 lib 9 etc 6 usr 8 tmp I-node 6 is for /usr Mode size times 132 Root directory Block 132 is /usr directory dick 30 erik 51 jim 26 ast 45 bal I-Node 26 is for /usr/ast Mode size times 406 Block 406 is /usr/ast directory grants 92 books 60 mbox 81 minix 17 src Looking up usr yields to I-node 6 I-node 6 says that /usr is in block 132 /usr/ast is in I-node 26 I-node 26 says that /usr/ast is in block 406 /usr/ast/mbox is I-node 60 Figure 70: Die Schritte, um /usr/ast/mbox zu finden. Die I-node Nummer ist ein fester Index Betriebssysteme Harald Kosch Seite 187

14 Zuverlässigkeit Ist von höchster Wichtigkeit. Bad blocks können markiert werden und durch Reserveblöcke ersetzt werden (in Hardware oder Software). Backup Vollbackup oder inkrementelles Backup Spiegelung Alles doppelt speichern (schnell aber teuer). Inkonsistenz einzelner Dateien (z.b. durch Stromausfall). Block number Blocks in use Block number Blocks in use Free blocks Consistent Free blocks Missing block Blocks in use Blocks in use Free blocks Duplicate Block in free list Free blocks Duplicate data block Figure 71: Zustände eines Dateisystems. (a) Konstistent. (b) Fehlender Block. (c) Duplizierter Block in der Liste der freien Blöcke. (d) Doppelter Datenblock. Inkonsistenz des Directories: Anzahl der Files muß mit den Link-Zählern der Inodes übereinstimmen. Betriebssysteme Harald Kosch Seite 188

15 Speicherhierarchie Registers Cache Random Access Memory Puffer (Cache) Disk-System Tape-System Betriebssysteme Harald Kosch Seite 189

16 Pufferverwaltung Dient zur Zwischenspeicherung von Plattendaten im Arbeitsspeicher Gleicht den Geschwindigkeitsunterschied zwischen Platte und Arbeitsspeicher etwas aus Kann für mehrfach verwendete Daten auch als Cache dienen Könnte im Prinzip das Anwendungsprogramm tun (sogar besser als das Betriebssystem), die meisten Betriebssysteme bieten aber eine Pufferverwaltung selber an Betriebssysteme Harald Kosch Seite 190

17 ptr to previous buffer on hash queue device num block num status ptr to data area ptr to next buffer on hash queue ptr to previous buffer on free list ptr to next buffer on free list Figure 72: Buffer Header Status: locked or free valid data delayed write currently reading or writing wanted Betriebssysteme Harald Kosch Seite 191

18 Das Linux Filesystem Das Virtuelle Filesystem (VFS) Ermöglicht die gleichzeitige Benutzung (mounting) mehrerer Filesysteme Figure 73: Der Aufbau des Virtuellen Filesystems Benutzt eigene Superblocks und Inodes Die realen Filesysteme entweder im Kernel gebunden oder als ladbare Module müssen sich bei VFS registrieren Betriebssysteme Harald Kosch Seite 192

19 Die realen Filesysteme bieten Funktionen an, die die einzelnen Operationen filesystem-spezifisch durchführen (eine Art Objektorientierung) So wird z.b. ein read auf eine Minix Datei durch ein Minix read durchgeführt Figure 74: Registrierte Filesysteme Figure 75: Mounted Filesystem Die Operationen sind in den Superblocks gespeichert Der Buffer Cache ist gemeinsam für alle Filesysteme, es ist an die Blockdevices (Platte) gebunden VFS cache-t selber Inode und Directory Daten Betriebssysteme Harald Kosch Seite 193

20 Second Extended Filesystem (EXT2) Das Hauseigene Filesystem von Linux Files bestehen aus einer integeren Anzahl von Blöcken fester Länge (z.b. 1 KB) Die logische Partition wird in Blockgruppen aufgeteilt Die Blockgruppen duplizieren die kritischen Daten Figure 76: EXT2 physikalische Struktur EXT2 Superblock Beschreibt die Grunddaten eines Filssystems Magc Number Identifikation Mount Count, Maximum Mount Count Bei zu viel mounts ein Filesystem Check ist ratsam Block Group Number Die Stelle der Kopie des Superblocks Block Size, Bolcks per Group Free Blocks, Free Inodes, First Inode,... Betriebssysteme Harald Kosch Seite 194

21 EXT2 Group Descriptor Beschreibt die Grunddaten einer Blockgruppe Wird ähnlich dem Superblock dupliziert Blocks Bitmap Stelle der Allokation-Bitmap für Datenblöcke Inode Bitmap Stelle der Allokation-Bitmap für Indoes Inode Table Stelle der Inode-Tabelle Free blocks count, Free Inodes count,... Betriebssysteme Harald Kosch Seite 195

22 Figure 77: EXT2 inode Struktur EXT2 Inode ähnlich zu anderen Unix-inodes Mode Art der Datei (file, directory, symbolic link, block device, character device,...) und Zugriffsrechte Besiter Direkter Besitzer und Gruppe Größe Zeitstempel (Erzeugung, letzte Änderung...) Zeiger auf die Datenblöcke mit der üblichen Struktur (Erste 12 Blöcke direkt, dann doppelte und dreifache Indirektion) Betriebssysteme Harald Kosch Seite 196

23 Figure 78: EXT2 Directory Struktur EXT2 Directories sind spezielle Files, wie üblich in Unix Inode Index zur Inode-Tabelle für sich selbst Name, Länge des ganzen Eintrags Die ersten 2 Einträge in jedem Directory:. für das aktuelle- und.. für das Vater-Directory Betriebssysteme Harald Kosch Seite 197

24 Das /proc Filesystem Ein virtuelles reales Filesystem Registriert sich, wie ein reales Filesystem Die Filesystemoperationen werden durch Funktionen realisiert, die Kernel-Informationen darlegen Z.B. /proc/devices wird aus den entsprechenden Kernel- Datenstrukturen erzeugt Betriebssysteme Harald Kosch Seite 198