9. Datei- & Verzeichnissysteme

Transkript

1 9. Datei- & Verzeichnissysteme Anforderungen: Persistenz, Zugang per Name, Schutz durch Zugriffsrechte, Datei/File (Behälter zur dauerhaften Speicherung beliebiger Informationen): - Programme und Daten, - Dateistruktur abhängig vom Dateityp. - Attribute: Name, Typ, Grösse, letzte Änderung, Zugriffsschutz,... Namenskonventionen: - DOS: 8.3 Zeichen name.ext - Unix, NT: 256 Zeichen a.b.c.d - Unix: Groß- & Kleinschreibung beachten! Dateien können mehrere Streams (Unterbereiche) haben: - DOS: nur ein Stream - MacOS: Data Fork, Resource Fork - NT: beliebige Streams => datei:stream (default stream ohne Suffix). Logische Formatierung = Partition mit einem Dateisystem initialisieren. 203

2 Verzeichnis (Directory): - vom Dateisystem verwaltete Datei zur Strukturierung externer Speichermedien. - Home Directory: Wurzelverzeichnis eines Benutzers. - Working Directory: aktuelles Arbeitsverzeichnis. - typischerweise hierarchisch organisiert. Pfad (Path): - Folge von Bezeichnern getrennt durch Trennzeichen (Unix /, Windows: \ ). - absoluter Pfad: ausgehend von Wurzel (Unix /, Windows:, z.b. c:\ ). - relativer Pfad: beginnt mit Bezeichner und bezieht sich auf Working Directory. Verweis (Link, Shortcut, Alias): - Direkter Zugriff, ohne navigieren zu müssen. - Löschen & Verschieben ungültige Links. - Unix hard link: Verweis auf I-Node: ln datei link. (Datei erst löschen, wenn letzter Hardlink gekappt wurde). - Unix symbolic link: Verweis auf Dateinamen: ln s datei link. - Hard links bei NTFS: Konsolewerkzeug: fsutil hardlink create <link> <file>. 204

3 9.1.1 Dateikontrollblock Verwaltungsdaten im Dateikontrollblock (file control block, FCB): - Positionszeiger + aktuelle Blockadresse auf Disk, - Verweise auf Puffer (im HS) + Pufferfüllgrad, - Sperrinformation, Datum,... FCB wird beim Öffnen einer Datei angelegt und beim Schließen wieder gelöscht wird. Also unter Umständen mehrere FCBs pro Datei. Beim Öffnen einer Datei: - File Kontroll Blockes im Hauptspeicher anlegen, - Im Hauptspeicher einen Puffer für die Daten allozieren, - Datei als offen markieren (read, write?). - Zugriffsrechte prüfen. 205

4 9.1.2 Dateizugriff Sequentiell: - lesen & schreiben immer nur in Vorwärtsrichtung, - Magnetbänder als Modellvorstellung. Direkt (random access): - einzelne Bytes oder Blöcke direkt adressierbar - z.b. Festplatten, CDROM,... Index-Sequentiell: - i.d.r. von BS nicht unterstützt Datenbanken setzen direkt auf Disk auf, - Zugriff auf einzelne Blöcke über evtl. mehrstufige Indextabelle, - Überlaufbereiche erleichtern das Einfügen, - Gelegentliche Reorganisation erforderlich

5 Beispiel: sequentielle Datei mit Windows NT Systemaufrufen #include <string.h> #include <windows.h> int main() { HANDLE hfile; DWORD dwwritten; char *data= hello world ; hfile = CreateFile("c:\\test.txt", GENERIC_WRITE, // name, write access 0, NULL, CREATE_ALWAYS, // share mode, security, creation mode FILE_ATTRIBUTE_NORMAL FILE_FLAG_NO_BUFFERING, NULL // template file ); // file handle, data, len, #bytes written, overlapped I/O WriteFile(hFile, data, strlen(data), & dwwritten, NULL); } CloseHandle(hFile); 207

6 9.1.3 File Allocation Table - FAT Belegungseinheiten heißen Cluster (z.b. 512, 1024, 4096 Bytes). Separate Verkettung der Blöcke in Dateizuordnungstabelle (FAT): - in ersten Spuren einer Partition, - für jeden Block einen Eintrag, Verkettung FAT- - sicherheitshalber repliziert, Einträge - Kopie im Hauptspeicher, - wird ständig aktualisiert. Alle Cluster einer Datei sind Cluster-Nr. über die FAT verkettet: (Index in Tab.) Dateianfang - 0 = leerer Block, - $FFF7 = schadhafter Block., - $FFFF = letzter Block einer Datei. Partitionsstruktur: 0 fff fff7 8 a ffff b ffff #1 #2 #3 #4 #5 #6 #7 #8 #9 #a #b BSC FAT Wurzel- Verz. Dateicluster

7 9.1.4 Aufbau eines FAT16 Verzeichnisses: Verzeichnisse sind ebenfalls Dateien: - Verzeichnis zeigt auf ersten Block einer Datei, bzw. ersten Eintrag in der Tabelle. - Länge des Verzeichnisses im übergordneten Verzeichnis. - Länge des Wurzelverzeichnis im PSC od. MBR. Aufbau eines Datei-Eintrages: Offset Größe Inhalt 0 8 Dateiname 8 3 Dateinamen-Erweiterung 11 1 Attribute: Archiv-Bit, read-only, Verzeichnis/Datei, versteckt Reserviert 22 2 Uhrzeit der Erstellung 24 2 Datum der Erstellung 26 2 Startcluster der Datei 28 4 Dateilänge in Bytes Sonderfälle für das 1. Zeichen im Namensfeld: 00h: letzter Eintrag im Verz. (ungültig), 2E: aktuelles Verz. (. ), E5h: Eintrag wurde gelöscht Sonderfall für die ersten 2. Zeichen: 2E2E = übergeordnetes Verz. (.. ) 209

8 FAT12: 12-Bit 4096 Cluster, 16 MB bei 32KB Cluster, für Disketten. FAT16: 16-Bit Cluster, 2 GB pro Partition bei 32KB Cluster. FAT32: 28-Bit > 2 GB, weniger Verschnitt durch kleinere Cluster. VFAT16/32: Virtual File Allocation Table - Eigentlich keine FAT-Funktion, - Ermöglicht lange Dateinamen (max 255 Zeichen). Bewertung der FAT-Dateisysteme: - Ursprünglich nur 8+3 Dateinamen (ohne VFAT), - Beschränkung der Dateigrösse auf 4 GigaBytes, - Zugriffsrechte: read-only oder read & write. - jedoch keine userspezifischen Schutzmechanismen. - FAT-Systeme unter vielen BS zugänglich. - Optionale Kompression mögl. Datei-Namensdienst und Cluster-Allocation sind getrennt gelöst. - Unterverzeichnisse sind auch nur Dateien, welche dann Namen enthalten, - Recover.exe sammelt die FAT-Cluster nach einem Verzeichnisverlust, - Konsistenzprüfung von FAT-Systemen. 210

9 data blocks 9.2 Unix-Dateisysteme I-Nodes sind die zentrale Struktur des Dateisystems (I "Index"). - Dateityp und Berechtigungen(16-Bit), - Anzahl harter Links auf Datei, - Eigentümer-Projektgruppe. - Eigentümer-User-ID. - Dateigrösse in Bytes. - Datumseinträge,... - Zeiger auf Daten- & Indexblöcke. index blocks I-Node Mode Link count Owner-ID Group-ID Filesize... Direct blocks (12) single indirect double indirect triple indirect 211

10 Multilevel-Index Allozierung (dreifach): - direkte Datenblöcke und - Index-Blöcke (Datenblöcke mit Zeigern). Dateityp: - Verzeichnis, - reguläre Datei, - Special File für Block Device, - Special File für Character Device, - Special Files für Pipes und Sockets, - Zusätzlich "Proc" Filesystemeinträge. Special Files ohne Datenblöcke, aber mit Referenz (ID) auf Device-Driver. 212

11 9.2.1 Verzeichnisse und Unterverzeichnisse Implementiert als Dateien, Kennzeichnung als Verzeichnis im Typfeld. Eintrag: Dateinnamen (14 Zeichen) & I-Node-Nummer (16 Bit). Zusätzliche Attribute in I-Nodes der Dateien. Beispiel: Verzeichnisstruktur für /usr/ms Implementierung im ext2 Dateisystem. Wurzelverz. I-Node #26 Modus Grösse /usr (Block 132) ps ms sf rg I-Node #6 Modus Grösse bin dev lib etc usr tmp 213

12 9.2.2 Unix System V Partitionsstruktur Boot-Sector: Bootprogramm. Super-Block: Metadaten - Verwaltungsinformation für Dateisystem. o Anzahl der Blöcke, Anzahl der I-Nodes. o Anzahl freier Blöcke und freier I-Nodes. o Liste freier Blöcke und freier I-Nodes... - Super Block wird im Hauptspeicher gehalten. - Problem falls Super Block beschädigt. I-Nodes: - Werden beim Formatieren fortlfd. angelegt, - maximal I-Nodes (16-Bit Adressierung). Datenblöcke: - im Anschluß an die I-Nodes. Unter Umständen grosse Distanz zwischen I-Nodes und Datenblöcken grosse Positionierungszeiten. 214

13 9.2.3 BSD 4.2 Berkely Fast Filing System: 1984 eingeführt, 32-Bit Adressen & Dateinamen mit 255 Zeichen. unterteilt Partitionen in Cylinder Group Blocks: - CGB = Menge fortlaufender Zylinder, - pro CGB Bitmaps für I-Nodes & Daten, - Dateien innerhalb CGB speichern weniger Armbeweg. - Kopie des Superblocks in jeder Zylindergruppe vorhalten. Datenblöcke sind in Fragmente unterteilt: - Ziel: interne Fragmentierung verringern, - Daten-Bitmap mit je 1 Bit pro Fragment, - Blöcke >= 4 KB & Blk. / Frag. max. 8:1, - Fragmente unterschiedlichen Dateien zuteilbar, - Nur letzter Block kann Fragment ref. ggf. Umkopieren. Bemerkungen: - Fragmente besser als kleine Blockgröße, da weniger Zeiger in I-Nodes. - Probl.: bei sehr großen Dateien viele I-Nodes ungenutzt jeweils nach 1 MB CGB wechseln. Bootsector Superblock Erste Zylindergruppe Zweite Zylindergruppe Cylinder- Group <=Block I-Nodes Datenblöcke 215

14 9.2.4 Linux EXT2 Fast File System: Lange Dateinamen mit max. 255 Zeichen. Verwendet Blockgruppen, unabhängig von den Zylindern. Block Descriptor: - #freier Blöcke & #freier I-Nodes. - Bitmaps für Datenblöcke & I-Nodes. - Bitmaps belegen jeweils einen Block. - Bei 1024 Byte Blockgröße 8192 Blöcke pro Gruppe verwaltbar ergibt 8 MB. Boot- Sector Super- Block Block Descr. I-Nodes Datenblöcke erste Blockgruppe zweite Blockgruppe Ziel: teuere Positionierungszeiten minimieren: - Datenblöcke in der Nähe ihrer I-Nodes. - Datei I-Nodes in der Nähe vom Verzeichnis. Fehlertoleranz: - Super-Block repliziert pro Blockgruppe. - Kopie aller Blockdeskriptoren in jeder Blockgruppe, jedoch ohne Bitmaps. Fragmentierung von Blöcken wie bei BSD FFS nicht implementiert. 216

15 9.2.5 Zugriffsrechte Eigentümer (pro Datei oder Verzeichnis genau ein Eigentümer): - Jeder Benutzer wird durch eindeutige Nummer (UID) repräsentiert. - Ein Benutzer kann einer oder mehreren Benutzergruppen angehören, die durch eine eindeutige Nummer (GID) repräsentiert werden. Mit jeder Datei wird Besitzer & Gruppe, zu der Datei gehört abgespeichert. Als Gruppe wird normalerweise die primäre Gruppe des Besitzers verwendet. Ferner gibt es neun Zugriffsbits (r,w,x), für Besitzer, Gruppe und Andere. Zugriffsbits bei Verzeichnissen: - r: Inhalt darf aufgelistet werden, x: mit cd darf in das Verz. gewechselt werden, - x+w: neue Dateien dürfen im Verzeichnis angelegt werden. Beispiel Zugriffsbits: Besitzer, Gruppe, Rest Typ+Rechte #Links Größe Datum Name drwxr-xr-x 2 ps users 1024 Feb 10 10:39 Mail/ -rwxr-x--- 1 ps users 224 Feb 10 10:36 hello.c -rw ps users 103 Feb 12 09:39 test 217

16 9.2.6 Spezialbit: Setuid Problembeispiel: - Nur root darf auf die Passwortdatei zugreifen. - User sollten gelegentlich ihr Passwort ändern, dürfen aber nicht auf die Datei zugreifen. Lösungsansatz: - Passwortprogramm gehört root und hat sein Setuid-Bit gesetzt. - Wird es vom User gerufen, so läuft es nicht etwa mit der Zugriffsberechtigung des Users, sondern mit derjenigen des Eigentümers (z.b. root). - Nur der Eigentümer kann das Setuid-Bit setzen (und immer auch root). - Bem.: Es geht nicht um die Ausführungsberechtigung von /bin/passwd, sondern um den Zugriff auf /etc/passwd. - Verfahren patentiert (durch Dennis Ritchie). ls l zeigt bei den Benutzer-Zugriffsbits ein s (statt eines x) an. Bemerkung: - Passwortdatei (/etc/passwd) für Benutzer lesbar Angriff: Datei kopieren und Ausprobieren. - Deshalb in neuen Unix-Systemen getrennte Speicherung der Passwörter in einer nicht lesbaren Shadow-Datei (/etc/shadow). 218

17 Spezialbit: Setgid Bei der Ausführung des Programms wird immer die GID der Datei verwendet (und nicht die GID des aktuellen Benutzers). ls l zeigt bei den Gruppen-Zugriffsbits ein s (statt eines x) an. Bei Verzeichnissen bewirkt dieses Bit, daß neu angelegte Dateien der Gruppe des Verzeichnisses angehören (nicht der Gruppe des Benutzers). Spezialbit: Sticky Für öffentl. Verzeichnisse: hierin enthaltene Dateien können durch Eigentümer oder root gelöscht werden, unabh. von Verzeichnisrechten. Zum Beispiel für /tmp. - ls l zeigt bei allen gültigen Zugriffsbits ein t (statt eines x) an. 219

18 9.3 NTFS = New Technology File System Alle Dateiinformationen werden als Datei gespeichert, auch die Metadaten. Weiterentwicklung des HPFS (OS/2), seit Windows 2000 NTFS Version Bit für große Dateien. Kleine Blockgröße für große Partitionen möglich. Mehrere Datenströme pro Datei. Optionale Kompression. Sicherheit: - Zugriffskontrolle pro Benutzer oder Gruppe, - Verschlüsselung. Fehlertoleranz: - NTFS ist ein Journaling File-System, - Transaktionen mit Logging, - RAID-Unterstützung. Helen Custer, Inside Windows NT File System, Microsoft Press,

19 9.3.1 Datenstrukturen für eine Datei Eine Datei ist eventuell mehrfach geöffnet. Möglicherweise mehrere Ströme pro Datei. File control block hat Dateireferenz in MFT. Object manager data NTFS memory data NTFS disk process file handle table... file object file object stream control blocks data stream:0 data stream:1 file control block master file table

20 9.3.2 Dateiverwaltung Dateinamen werden in Verzeichnisdateien gehalten und sind von Datei- Referenzen zu unterscheiden. Datei-Referenz (file reference): - bezeichnet eindeutig eine Datei bzw. ein Verzeichnis innerhalb eines Volumes. - Sequenznummer: wird hochgezählt, für jede neue Datei mit gleicher Dateinummer. - Dateinummer: Index in Master File Table (MFT) #Sequenz Dateinummer 222

21 9.3.3 Aufbau eines NTFS Volumes (Partition): Unterteilung in Clusters (ein oder mehrere fortlaufenden Sektoren). BSC (Boot Sector): - Boot-Programm (optional). - #Sektoren pro Cluster, Plattengeometrie,... MFT (Master File Table): - MFT ist selbst auch eine Datei - 12,5 % der Partition werden reserviert. - ggf. erweitern Fragmentierung der MFT. - entspricht der I-Node Tabelle in Unix. - beschreibt die Lage der Datenblöcke. - pro Datei/Verzeichnis ein Eintrag und ein Cluster. Systemdateien an einer Standardposition: - MFT2: Kopie der ersten drei Zeilen der MFT. - Log-Datei: Änderungen an MFT protokollieren. - Volume-Datei: Größe & Name des Volumes, Versionsnummer der Part. - Bitmap-Datei: freie & belegte Cluster. BSC MFT System- Files File Area 223

22 - Boot-Datei: o Größe eines Clusters, o und eines MFT-Eintrags, o sowie Boot-Code (Kopie von PBS). - Quota-Tab.: Kontigent pro Benutzer. - Bad-Cluster-Datei: vermerkt defekte Cluster. Attribute: - Jede Datei bzw. Verz. ist Satz von Attributen. - Alle Elemente einer Datei, wie der Name, SicherheitsID, aber auch Daten sind Attr. - Jedes Attribut wird durch den Code für Attributtyp bzw. Attributnamen identifiziert. 224

23 9.3.4 MFT-Eintrag für eine kurze Datei: attribut code. standard info: - Dateilänge, - MS-DOS Attribute, - Anzahl der Hard-Links, - Zeitstempel für Zugriffe, - Sequenznr. der gültigen File-Reference. security descriptor: Zugriffskontrolle. Daten der Datei direkt in der MFT abgelegt. Bem.: Dateiname in Dateintrag & Verz. (im Unterschied zu Unix I-Nodes). standard info file name security descr. data empty 225

24 9.3.5 MFT-Eintrag für eine lange Datei: Große Dateien ausserhalb der MFT in sog. runs bzw. extents abgelegt. MFT-Eintrag für Daten enthält nur Zeiger. Falls ein MFT-Eintrag nicht genügt, werden weitere alloziert. Adressierung: - virtuelle Clusternummer (VCN): Adressierung innerhalb einer Datei. - logische Clusternummer (LCN): Adressierung innerhalb der Partition. standard info file name security descr. data starting VCN 0 3 starting LCN no. of clusters 3 4 VCN VCN data data LCN LCN

25 9.3.6 Aufbau eines kurzen Verzeichnisses: Index of Files: Sammlung von Referenzen auf Dateien. Sequentielle Suche in kleinen Verz. (die in MFT-Eintrag Platz finden). Dateinamen im Verzeichnis repliziert. Bitmap: Belegung von index of files. std. info directory name security descr. index of files Bitmap empty File Ref. Name Length 217 etc lib usr

26 9.3.7 Aufbau eines langen Verzeichnisses: Pro Verzeichnis ein B + -Baum indiziert nach Namen der Dateien. Aber kein B + -Baum über alle Dateien eines Volumes. Extents: wo finden sich weitere index of files. std. info directory name security descr. index of files Bitmap File Ref. Name Length 217 etc lib usr Extents VCN cd csh doc LCN VCN ms ps fh LCN

27 9.4 Dateisysteme mit Fehlererholung Allgemeines Inkonsistente Metadaten durch z. B. Absturz: - Verzeichniseintrag fehlt zur Datei oder umgekehrt, - Block ist benutzt aber nicht als belegt markiert. Reparaturprogramme: - Prgs. wie chkdsk, scandisk oder fsck können u. U. inkonsistente Metadaten reparieren. - Datenverluste bei Reparatur sind jedoch wahrscheinlich. - Bei großen Platten lange Laufzeit. Lösung: Journaling-Dateisysteme - Schreibzugriffe in Transaktionen gekapselt. - Buchführung der Modifikationen in einer Protokolldatei (log file). - Protokollierung immer vor der Durchführung. - Im Recovery-Fall wird Protokolldatei mit den akt. Änderungen abgeglichen: - Redo-Log: TAs wiederholen/abschliessen. - Undo-Log: TAs rückgängig machen. 229

28 Checkpoints: - Log-File kann nicht beliebig groß werden. - Gelegentlich wird für einen konsistenten Zustand (Checkpoint) auf Platte gesorgt. - Alle Protokolleinträge vor diesem Checkpoint können gelöscht/überschrieben werden. - Außerdem wird hierdurch Recovery schneller. Bewertung: - Metadaten immer konsistent. - Datenverlust aber weiter möglich. - TAs und Logging verursachen Overhead. - Logging erfolgt deshalb auch über Disk-Cache. Beispiele: NTFS, ReiserFS, EXT3. 230

29 9.4.2 Fallstudie: Journaling in NTFS Logfile-Service (LFS) schreibt in Logdatei: - NTFS greift immer über LFS auf Logdatei zu. - Zugriffe auf Logdatei und Dateien erfolgen immer über Cache-Manager (Performance). - Arbeiten im Cache schneller und Logging wird gebündelt. log file service log TA NTFS driver flush the log file read/write/flush the log file cache manager file access write volume updates 231

30 Logdatei: - Restart-Bereich: zeigt an, wo im Fehlerfall Recovery beginnt (sicherheitshalber repliziert). - Logging-Bereich: für Protokollierung. Einträge im Logging-Bereich: - nummeriert mit Logical Sequence Number (LSN). - Alle Einträge einer TA sind rückwärts-verkettet. - Beispiele: Create/DeleteAttribute, Checkpoint-Record, PrepareTA, Commit,... - Update-Eintrag: besteht aus idempotenter Undo- und Redo-Operation: o Wiederholtes Ausführen einer Operation führt immer zum gleichem Ergebnis. o Beispiel: undo: Cluster freigeben, redo: Cluster belegen. 232

31 Ablauf der Protokollierung: NTFS ruft LFS, um TAs zu protokollieren, die Metadaten im Cache ändern. - LFS übergibt LSN an Cache Manager, - Cache Manager identifiziert Log-Eintrag zu diesem Update, - Cache Manager speichert höchste LSN mit jeder Seite jüngste Änderung. NTFS modifiziert Volume im File-System Cache. Wenn der Cache Manager eine Menge von Seiten mit Meta-Daten wegschreiben möchte, so ruft er den LFS: - Cache Manager übergibt die höchste LSN dieser Seiten an LFS. - LFS ruft anschließend den Cache-Manager zurück und veranlasst diesen alle ausstehenden Log-Einträge bis zu dieser LSN zu löschen. Gleichzeitig werden mit dem Löschen der Log-Daten auch die Volume- Änderungen auf Disk geschrieben. 233

32 NTFS schreibt alle 5 Sek. einen Checkpoint: - LSN des letzten Checkpoints wird im Restartbereich abgespeichert. Ferner werden zwei Tabellen gesichert, die LFS im Hauptspeicher verwaltet: - dirty page table: LSNs zu Metadaten im Cache, die noch nicht gespeichert wurden - transaction table: nicht abgeschlossene Transaktionen (letzte LSN einer TA). Checkpoint speichert LSNs beider Tab. - Einträge mit kleinerer LSN sind nun frei. - zwischen den Einträgen eines Checkpoints können weitere TAs eingestreut sein: Restart- Bereich Logging-Bereich TA 1 redo / undo TA 2 redo / undo TA 1 commit DPT TT TA 2 CP redo / undo TA 2 redo / undo Dirty Page Table = 1483 Transaction Table =

33 redo pass Recovery (Phasen 0-3): Initialisierung (0): - Letzter Checkpoint aus Restart-Bereich. LSN redo - Laden der zugehörigen transaction table (TT) und die dirty page table (DPT). Analyse Phase (1): - ab erstem Checkpoint-Record (LSN C ), also beim DPT-Record aufsteigend bearbeiten. - Update-Records mit LSN > LSN C verwenden, um gesicherte Tabellen zu aktualisieren: - wird ein Commit gefunden, so muss TA aus TT entfernt werden. - werden Metadaten modifiziert, so muss die LSN in der DPT vermerkt werden. - wenn beide Tab. aktuell sind, so sucht NTFS in beiden Tab. die kleinste LSN = LSN min. - Redo-Phase beginnt bei LSN redo = LSN min., Falls LSN C < LSN min, dann LSN redo = LSN C. Redo Phase (2): - Operationen ab LSN redo wiederholen, Zugriffe wieder über Cache leiten. Undo Phase (3): - nicht abgeschlossene TAs rückgängig machen. - Einstieg ist jeweils Eintrag aus der TT (jeweils letzte LSN einer TA) dann rückwärts lesen. Abschließend werden Cache-Daten gelöscht. UR DPT UR TT CP UR 235

34 9.5 Limitierung der Plattennutzung Mehrbenutzersysteme: - Einzelnen Benutzern sollen verschieden große Kontingente zur Verfügung stehen. - Ziel: gegenseitige Beeinflussung vermeiden. Quota-Systeme: - Tabelle enthält maximale und augenblickliche Anzahl von Blöcken für Dateien und Verzeichnisse eines Benutzers. - Dateisystem verwaltet Tabelle auf Disk. - In der Regel weiche (können kurzfristig Überschritten werden) und harte Grenzen. - Disk-full Meldung, wenn Quota verbraucht. Beispiele: - NTFS, - EXT2,

35 9.6 Disk-Caching Festplattenkontroller verfügen über große On-board-Cache (> 8 MB): - Disk Caching wird intensiv genutzt. - Sobald gesuchter Sektor gefunden wurde, wird gesamter Track in den Cache eingelesen. - Weitere Anfragen zu Blöcken aus diesem Track bedient der Kontroller direkt aus Cache. Das BS puffert übertragene Blocks zusätzlich in einem Blockcache im HS: - Metadaten evt. sofort durchschreiben. Optional: virtuelle Disk (RAM-Disk) im HS unter Kontrolle des Benutzers. 237

36 9.7 Memory-Mapped Files (Teil einer) Datei wird in den virtuellen Adreßraum eingeblendet. Speicherzugriffe auf diesen Bereich werden wie Dateizugriffe behandelt. Implementierung: - logischen Adreßraum reservieren. - Seitentabellendeskr. zeigen auf Disk-Blöcke. - bei einem Seitenfehler wird von Disk geladen. - Zurückschreiben beim Schließen des Mappings. Beispiel: Unix #include <unistd.h>, <stdio.h>, <fcntl.h>, <sys/mman.h> void main() { char * p; int filedesk; } filedesk = open("txt", O_RDWR); p = mmap(0, getpagesize(), PROT_READ PROT_WRITE, MAP_PRIVATE, filedesk, 0); printf("%08x\n", p); munmap(p, getpagesize()); close ( filedesk ); 238

37 9.8 Redundanz & Spiegelung RAID= Redundant Array of Inexpensive Disks: - Daten auf mehrere Disks verteilen und replizieren, - mehrere Levels definiert von Universität Berkeley, - Software- und Hardware-Lösungen vorhanden. RAID Level 0: stripe 0 - z.b. Windows NT, stripe 4 - keine Redundanz der Daten, stripe 8 - hohe Lese- und Schreibleistung, - Datenblöcke (Stripes) auf mehrere Disks verteilt. stripe 12 stripe 1 stripe 5 stripe 9 stripe 13 stripe 2 stripe 6 stripe 10 stripe 14 stripe 3 stripe 7 stripe 11 stripe 15 RAID Level 1: - z.b. Windows NT, - benötigt zwei Festplatten, - wird auch als Spiegeln bezeichnet, - Gesamtkapazität entspricht einer Platte, - Schreiboperationen immer auf beiden Disks. stripe 0 stripe 1 stripe 2 stripe 3 stripe 0 stripe 1 stripe 2 stripe 3 stripe 6 stripe 7 stripe 8 stripe 9 stripe 6 stripe 7 stripe 8 stripe 9 239

38 RAID Level 2: - unterschiedliche Bits eines Bytes auf verschiedene Platten, - fehlerkorrigierend mit Hamming Code, - zuzüglich ECC Bits. RAID Level 3: - unterschiedliche Bits eines Bytes auf verschiedene Platten, - Paritätsinfo auf eine Festplatte, - Mindestens 3 Platten. A1 A2 A3 A4 ECC-A ECC-A ECC-A B1 B2 B3 B4 ECC-B ECC-B ECC-B C1 C2 C3 C4 ECC-C ECC-C ECC-C D1 D2 D3 D4 ECC-D ECC-D ECC-D E1 E2 E3 E4 ECC-E ECC-E ECC-E A1 A2 A3 A4 Parity-A B1 B2 B3 B4 Parity -B C1 C2 C3 C4 Parity -C D1 D2 D3 D4 Parity -D E1 E2 E3 E4 Parity -E 240

39 RAID Level 4 - Blockweiser Betrieb: - Platten werden nicht mehr komplett gespiegelt. Festplattenkapazität wird besser ausgenutzt. - Redundanz durch Checksumme (XOR). - Nachteil: Parity Platte ist Flaschenhals. block 0 block 1 block 2 block 3 P(0-3) block 4 block 8 block 12 block 5 block 9 block 13 block 6 block 10 block 14 block 7 block 11 block 15 P(4-7) P(8-11) P(12-15) RAID Level 5: - Paritätsinfo verteilt über alle Festplatten. - blockweiser Betrieb, - z.b. Windows NT. block 0 block 1 block 2 block 3 P(0-3) block 4 block 5 block 6 P(4-7) block 7 block 8 block 12 block 9 P(12-15) P(8-11) block 13 block 10 block 14 block 11 block 15 P(16-19) block 16 block 17 block 18 block

40 9.9 Zusammenfassung File Allocation Table: - Clustergroesse (512byte - 32KB) beim Formatieren festgelegt, - FAT zu Beginn einer Partition (am Stück & gespiegelt), - Indizierung in FAT per Clusternummer, - Cluster einer Datei in FAT verkettet, Namen in Verzeichnisdateien. I-Nodes: zentrale Verwaltungsstruktur in allen Unix Dateissystemen. - Dateityp, Berechtigungen (für Owner, Group, Other und Spezialbits), - Zeiger auf Datenblöcke (multi-level Index Allocation); - Dateinamen in Verzeichnissen (nicht im I-Node); - Eigentümer: User-ID & Group-ID: Unix System V: - Superblock f. Metadaten (z.b. Bitmap für freie Blöcke) - gefolgt von I-Nodes (fest Anzahl am Stück), - Rest für Datenblöcke. 242

41 BSD 4.2 Fast Filing System: - oft grosse Distanz zw. I-Nodes und Datenblöcken - Cylinder Group Blocks (CGB): o Superblock repliziert, o I-Nodes + Datenbloecke pro CGB, o Fragmente fuer letzten Block (interne Frag. minimieren), o Minimierung der Armbewegungen durch Beruecksichtugung von Zylindern. Linux EXT2: wie BSD 4.2 FFS - Blockgruppen statt CGBs moderne Disks verwenden keine CHS Adressierung, - aber keine Fragmentierung unterstützt. NTFS: - MFT (entspricht I-Nodes) kann aber fragmentiert sein, - Dateien bestehen aus einem Satz von Attributen, - Daten direkt in MFT, falls kleine Datei/Verz., - grosse Verzeichnisse: B + -Baum f. Namen, - Recovery (nur für Metadaten): o Transaktionen mit Logging über Cache, o nebenläufiger Checkpoint alle 5 Sekunden, o sichert dirty page table & transaction table. 243