Ein einfaches Dateisystem

Transkript

1 Ein einfaches Dateisystem Betriebssysteme Hermann Härtig TU Dresden

2 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2014/5, Dateisysteme 2

3 Aufgaben eines Dateisystems Gegenstand Persistenz von Daten, d. h. Daten sollen Prozess- und Systembeendigungen überstehen (auch Abstürze) Umgang mit großen Datenmengen (z.b. > 4GB = 2 32 auf IA32) Schutz (separate Kapitel dieser Vorlesung) Basismechanismen für Datenbanken Organisation des Zugriffs paralleler Prozesse auf Dateien Zentrale Herausforderungen Hardwareeigenschaften des persistenten Speichermediums Robustheit ( separate Kapitel in dieser Vorlesung) Betriebssysteme WS 2014/5, Dateisysteme 3

4 Dateisystem Begriffe (nach NEHMER) BS-Komponente, die Anwendungsprogrammen einen effizienten Zugriff auf persistent gespeicherte Daten ermöglicht Datei Behälter für die dauerhafte Speicherung von Informationen (gleicher oder ähnlicher Struktur) unter einem inhaltlichen Gesichtspunkt codiert in Bytes, durch einen Bezeichner repräsentiert Verzeichnis besondere, vom Dateisystem verwaltete Datei zur Strukturierung der auf Externspeicher abgelegten Dateien Betriebssysteme WS 2014/5, Dateisysteme 4

5 Datei-Operationen Operation typische Parameter Erzeugen (Create) Name, Attribute, Zugriffsart Handle Entfernen (Delete, Unlink) Name Handle Öffnen (Open) Name, Zugriffsart Handle Schließen (Close) Handle Lesen (Read) Handle, Anzahl Zeichen, Puffer Schreiben (Write) Handle, Anzahl Zeichen, Puffer Append Handle, Anzahl Zeichen, Puffer Seek Handle, Position Lesen/Setzen von Attributen Umbenennen Einblenden Betriebssysteme WS 2014/5, Dateisysteme 5

6 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2014/5, Dateisysteme 6

7 Aufgaben: Benennung (von Dateien) Benennen: symbolisch, (auch) Mensch als Benutzer Identifizieren: Programme, Datenbanken als Benutzer (schnelles) Lokalisieren Zugreifen Beispiele /Users/haertig/lehre/Betriebssysteme/2014/Dateisysteme.key 4, 19, 329 (I-Knoten-Nummer); 17 (Filedescriptor) canaletto.inf.tu-dresden.de; Betriebssysteme WS 2014/5, Dateisysteme 7

8 Zugriffschutz Datei-Attribute Eigentümer, Besitzer, Rechte des Besitzers und anderer Zeiten Erzeugung, letzte Modifikation, letzter Zugriff,... Organisatorisches aktuelle/maximale Größe Verwaltungsinformationen Betriebssysteme WS 2014/5, Dateisysteme 8

9 Datei-Typen in Unix-Welt: alle (cum grano salis) Objekte werden auch als Dateien behandelt Beispiele normale Dateien (regular file) Verzeichnisse (directories) E/A-Geräte (special files) Datenströme (pipes) Symbolic Links Betriebssysteme WS 2014/5, Dateisysteme 9

10 flach (Unix) ARRAY of BYTE Zugriffsstrukturen Lesen/Schreiben in beliebigen Einheiten an beliebigen Stellen Aufprägung von Strukturen durch Anwendungen Record -Strukturen (satzstrukturierte Dateien) Länge konstant oder variabel ein Datensatz (record) pro Zugriff (Lesen/Schreiben) sequentiell direkt (B- bzw. B*-Bäume), Zugriff über Schlüssel indexsequentiell Betriebssysteme WS 2014/5, Dateisysteme 10

11 Indexsequentielle Dateien Datensätze beliebiger Länge mit Schlüssel Zugriffsreihenfolge: sequentiell oder über Schlüssel Ant Fox Pig Cat Cow Dog Goat Lion Owl Pony Rat Worm Hen Ibis Lamb Bsp aus Tannenbaum Betriebssysteme WS 2014/5, Dateisysteme 11

12 Verzeichnisse und Pfadnamen Problem: systemweite Eindeutigkeit von Dateinamen Lösung: Name eindeutig in einem Kontext auch Kontexte haben Namen Pfadname: Folge von Teilnamen Namens-Auflösung: von einem Ausgangs- Kontext ausgehend wird jeder Teilname in seinem Kontext interpretiert Beispiel: /home/hh7/mail/nov/15 / Wurzel bin etc home hh mail Brief.eml nov 15 Betriebssysteme WS 2014/5, Dateisysteme 12

13 Mehrere Namen für eine Datei: Harte Links Harte Links Identifikatoren in mehreren Verzeichnissen Limitation: Gültigkeit Identifikatoren über Rechnergrenzen hinweg? / bin etc home hh mail Beispielanwendung: TimeMachine MACOS nov 15 Brief.eml Betriebssysteme WS 2014/5, Dateisysteme 13

14 Mehrere Namen für ein Objekt: Weiche Links Symbolische Links Namen als Objekte Zyklen Beispiel / bin etc home x hh x /home/hh7/mail/nov /bin/x/15 = /home/hh7/mail/nov/15 mail nov Brief.eml 15 Betriebssysteme WS 2014/5, Dateisysteme 14

15 Beispiel für Zyklen /etc/bin/xyutils /bin/xyutils /bin/xyutils /usr/local/bin/xyutils /usr/local/bin/xyutils /etc/bin/xyutils Auflösung von /bin/xyutils/example /usr/local/bin/xyutils/example /etc/bin/xyutils/example /bin/xyutils/example /usr/local/bin/xyutils/example /etc/bin/xyutils/example Betriebssysteme WS 2014/5, Dateisysteme 15

16 Beispiel: Backup (TimeMachine) gestern / heute bin etc home bin etc home hh hh mail mail nov Brief.eml nov Brief.eml Betriebssysteme WS 2014/5, Dateisysteme 16

17 Beispiel: Backup gestern / heute bin etc home home hh mail nov Brief.eml 15 Betriebssysteme WS 2014/5, Dateisysteme 17

18 Kontexte für Namen Ausgangs-Kontexte durch Prozesse festgelegt, z. B. in Unix : Root directory: Kontext für globale Namen home directory: current directory bei login und durch parameterloses cd / bin etc home hh current directory: Ausgangskontext für relative Pfadnamen nov mail Brief.eml Betriebssysteme WS 2014/5, Dateisysteme 18

19 Prozesse und Pfadnamen Ausgangs-Kontexte durch Prozesse festgelegt, z. B. in Unix : current root: Ausgangskontext für absolute Pfadnamen chroot Kommando mehrere Globale Namensräume OS Virtualisierung admin ordinary guru / bin etc home hh mail nov Brief.eml Betriebssysteme WS 2014/5, Dateisysteme 19

20 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2014/5, Dateisysteme 20

21 Verzeichnisse Implementierung und Zugriff analog normale Datei mit: interner Struktur speziellen Operationen opendir / closedir readdir lookup rename Betriebssysteme WS 2014/5, Dateisysteme 21

22 Eintrag im Unix-Verzeichnis 2 14 i-node number Zugriff auf /home/hh7/mbox Root-Directory bin dev lib etc home tmp looking up home yields i-node 6 i-node 6 is for /home mode size times 132 i-node 6 says that /home is in block 132 block 132 is /home directory sdsd 30 erik 51 jim 26 hh hal tmp /home/hh7 is i-node 26 i-node 26 is for /home/hh7 mode size times 406 i-node 26 says that /home/hh7 is in block 406 block 406 is /hh7 directory dick 92 books 60 mbox 81 minix 17 src /home/hh7/mbox is i-node 60 Betriebssysteme WS 2014/5, Dateisysteme 22

23 i-nodes (I-Knoten) i-node Attributes Adressen der Datenböcke Betriebssysteme WS 2014/5, Dateisysteme 23

24 i-nodes (I-Knoten) i-node Attributes Single indirect block Double indirect block Betriebssysteme WS 2014/5, Dateisysteme 24 Adressen der Datenböcke

25 i-nodes (I-Knoten) i-node Attributes Triple indirect block Adressen der Datenböcke Betriebssysteme WS 2014/5, Dateisysteme 25

26 Verwaltung des freien Plattenspeichers Verwendung von Listen Verwendung von Bitmaps Betriebssysteme WS 2014/5, Dateisysteme 26

27 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Plattenspeicher Persistenz bei Auftreten von Fehlern Betriebssysteme WS 2014/5, Dateisysteme 27

28 Schnittstelle Namensdienste: symbolische Namen Identifikatoren Zugriffe auf (Daten in) Dateien: häufig: open (Zugriff)* close Zugriff über Kopieren aus Datei in Adressraum und zurück: read/write (Datei, Position in Datei, Länge, Adresse im Adressraum) keine Ausrichtung der Adressen notwendig seek-operation ersetzt Position in Datei als Parameter Einblenden in Adressraum: map (Datei, Adresse in Adressraum, Offset, Länge) dann Zugriff über normale Maschinen-Instruktionen Offset und Adresse müssen an Seitengrenzen ausgerichtet sein Zugriffe auf Dateiattribute... Betriebssysteme WS 2014/5, Dateisysteme 28

29 Integration in Systemarchitektur Adressräume z. B. 4 GB Seite Kachel/Rahmen Block MMU Hardware Netz Dateisysteme Platte Hauptspeicher Regionmanager Seitenersetzung Betriebssysteme WS 2014/5, Dateisysteme 29

30 Zugriff mittels Einblendung mmap (Datei, Adresse, Länge, Offset) bei Seitenfehler: Zugriff auf Datei über Seitenfehlerbehandlung dann Zugriff über normale HW-Instruktionen Adressraum Datei Betriebssysteme WS 2014/5, Dateisysteme 30

31 Zugriff mittels Einblendung Prozess mit Adressraum mmap Datei Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2014/5, Dateisysteme 31

32 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2014/5, Dateisysteme 32

33 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Dateisystem Kernkomponente oder Serverprozess Seitenfehler Kern Betriebssysteme WS 2014/5, Dateisysteme 33

34 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Seitenfehler Dateisystem Kernkomponente oder Serverprozess Seitenfehler Kern Betriebssysteme WS 2014/5, Dateisysteme 34

35 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Seitenfehler Dateisystem Kernkomponente oder Serverprozess Seite Seitenfehler Kern Betriebssysteme WS 2014/5, Dateisysteme 35

36 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Seitentab.-Eintrag Seitenfehler Seite Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2014/5, Dateisysteme 36

37 Zugriff mittels Kopieren (read/write) Prozess mit Adressraum read Read_Call [Datei_Id, Position] Dateisystem Read_Reply [Result, Data] Systemcall oder Botschaften Kernkomponente oder eigener Serverprozess Betriebssysteme WS 2014/5, Dateisysteme 37

38 Ablauf eines write Dateizugriffs (Unix) fd = open( drops/papers/xy.tex, RW,...) Pfadname i-node number (Namensauflösung) i-node number fd seek (fd, position) write (fd,address, length) Im folgenden beteiligte Datenstrukturen Ablauf vereinfacht: ignoriert werden Fehlerbehandlung Attribute, Rechte Vorhandensein mehrerer Dateisysteme pro Rechner Plattentreiberdetails Betriebssysteme WS 2014/5, Dateisysteme 38

39 Beteiligte Datenstrukturen (des Dateisystems) Prozesssteuerblock: current directory, Filedescriptor fd Verzeichnisse Tabelle geöffneter Dateien, pro Datei: file pointer (gegenwärtige Schreib-/Leseposition),... i-node number Dateitabelle auf Platte (Tabelle der I-Knoten) Index in dieser Tabelle (i-node number) identifiziert Datei für alle (auch nicht geöffnete) Dateien: i-node Allokation (Zuordnung von Dateiblöcken zu Plattenblöcken) Attribute Puffer-Verwaltung Betriebssysteme WS 2014/5, Dateisysteme 39

40 Dateideskriptoren Prozess in out err Betriebssysteme WS 2014/5, Dateisysteme 40

41 Tabelle geöffneter Dateien Open File Table file pointer R/W pointer to i-node reference counter file pointer R/W pointer to i-node reference counter Allokation Plattenblöcke I-Node Mode Mode Link count Link count Uid Uid Gid Gid File size File size Times Times Adresses of first 10 Adresses disk blocks of first 10 disk blocks Single indirect Single indirect Double indirect Double indirect Triple indirect Triple indirect Betriebssysteme WS 2014/5, Dateisysteme 41

42 i-node (I-Knoten) Tabelle offener Dateien Dateitabelle auf Platte i-node Teil 2... i-node number open Attribute Platten-Adresse 1. Block Platten-Adresse 2. Block Platten-Adresse 3. Block Betriebssysteme WS 2014/5, Dateisysteme 42

43 Pufferverwaltung und Ablauf read/write Block-Kachel-Tabelle ( Buffer Cache ) Struktur im Kernadressraum Zuordnung: Plattenadresse Puffer Puffer allokieren/laden (resident im Hauptspeicher) Ablauf (read/write) fd file pointer, i-node Plattenadresse Puffer evtl. Puffer besorgen evtl. Laden von Platte Kopieren in Adressraum Betriebssysteme WS 2014/5, Dateisysteme 43

44 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Adressraum A B Datei Betriebssysteme WS 2014/5, Dateisysteme 44

45 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Platte Puffer (resident im HS) Betriebssysteme WS 2014/5, Dateisysteme 45

46 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Platte Puffer (resident im HS) Datei Platte Puffer Platte Betriebssysteme WS 2014/5, Dateisysteme 46

47 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Platte Puffer (resident im HS) Datei Platte Puffer Platte Betriebssysteme WS 2014/5, Dateisysteme 47

48 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Platte Puffer (resident im HS) A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2014/5, Dateisysteme 48

49 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Platte Puffer (resident im HS) B A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2014/5, Dateisysteme 49

50 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei A B filepointer Platte Puffer (resident im HS) B B A A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2014/5, Dateisysteme 50

51 Gegenüberstellung: read/write vs. map read/write Kopie vor jeder Manipulation mehrere Prozesse können sich per read eine Kopie holen und dann den vom anderen Prozess vorher geschriebenen Wert überschreiben mmap Einsparen von Kopieroperationen Synchronisation wie bei gemeinsamem Speicher Betriebssysteme WS 2014/5, Dateisysteme 51

52 Beispiel: Konto open(kontodatei,... ); KontoAdrInDatei = Find_Konto; read(kontodatei, KontoAdrInDatei, &Konto, Länge); mmap (Kontodatei,...); KontoAdr = Find_Konto; KontoAdr->Stand += Betrag; Konto.Stand += Betrag; write(kontodatei, KontoAdrInDatei, &Konto, Länge); Betriebssysteme WS 2014/5, Dateisysteme 52

53 Grenzen Inkonsistente Datenstrukturen bei Crash Fragmentierung des Plattenspeichers Betriebssysteme WS 2014/5, Dateisysteme 53

54 Zusammenfassung Integration von Dateisystemen in Systemarchitektur Prinzipielle Teilaufgaben Ein einfaches altes Beispiel Betriebssysteme WS 2014/5, Dateisysteme 54