Ein einfaches Dateisystem

Transkript

1 Ein einfaches Dateisystem Betriebssysteme Hermann Härtig TU Dresden

2 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2010, Dateisysteme 2

3 Aufgaben eines Dateisystems Gegenstand Persistenz von Daten, d. h. Daten sollen Prozess- und Systembeendigungen überstehen (auch Abstürze) Umgang mit großen Datenmengen (z.b. > 4GB = 2 32 auf IA32) Schutz (separate Kapitel dieser Vorlesung) Basismechanismen für Datenbanken Organisation des Zugriffs paralleler Prozesse auf Dateien Zentrale Herausforderungen Hardwareeigenschaften des persistenten Speichermediums Robustheit ( separate Kapitel in dieser Vorlesung) Betriebssysteme WS 2010, Dateisysteme 3

4 Dateisystem Begriffe (nach NEHMER) BS-Komponente, die Anwendungsprogrammen einen effizienten Zugriff auf persistent gespeicherte Daten ermöglicht Datei Behälter für die dauerhafte Speicherung von Informationen (gleicher oder ähnlicher Struktur) unter einem inhaltlichen Gesichtspunkt codiert in Bytes, durch einen Bezeichner repräsentiert Verzeichnis besondere, vom Dateisystem verwaltete Datei zur Strukturierung der auf Externspeicher abgelegten Dateien Betriebssysteme WS 2010, Dateisysteme 4

5 Datei-Operationen Tanenbaum Modern OS Operation typische Parameter Erzeugen (Create) Name, Attribute, Zugriffsart Handle Entfernen (Delete, Unlink) Handle Öffnen (Open) Name, Zugriffsart Handle Schließen (Close) Handle Lesen (Read) Handle, Anzahl Zeichen, Puffer Schreiben (Write) Handle, Anzahl Zeichen, Puffer Append Handle, Anzahl Zeichen, Puffer Seek Handle, Position Lesen/Setzen von Attributen Umbenennen Einblenden Betriebssysteme WS 2010, Dateisysteme 5

6 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2010, Dateisysteme 6

7 Aufgaben: Benennung (von Dateien) Benennen: symbolisch, (auch) Mensch als Benutzer Identifizieren: Programme, Datenbanken als Benutzer (schnelles) Lokalisieren Zugreifen Beispiele /home/hh7/tmp/dateien02s.ppt 4, 19, 329 (I-Knoten-Nummer); 17 (Filedescriptor) canaletto.inf.tu-dresden.de; Betriebssysteme WS 2010, Dateisysteme 7

8 Symbolische Dateinamen Tanenbaum Modern OS Benutzer legen Dateinamen fest... innerhalb bestimmter Grenzen, je nach System nach Konventionen: Folgen lesbarer Zeichen Groß-/Kleinschreibung signifikant (oder nicht) kontextabhängig (oder nicht) Extensionen, z. B. komprimiertes Quell-Programm:.c.gz Längenbeschränkungen mit Rechnernamen, z. B. erwin:/home/hh7/tmp/x Hierarchiebildung mehrere Namen für ein Objekt inhaltsbezogene Benennung Möglichkeiten zur Abkürzung Betriebssysteme WS 2010, Dateisysteme 8

9 Zugriffschutz Datei-Attribute Eigentümer, Besitzer, Rechte des Besitzers und anderer Zeiten Erzeugung, letzte Modifikation, letzter Zugriff,... Organisatorisches aktuelle/maximale Größe Verwaltungsinformationen Strukturinformationen Betriebssysteme WS 2010, Dateisysteme 9

10 Datei-Typen in Unix-Welt: alle (cum grano salis) Objekte werden auch als Dateien behandelt Beispiele normale Dateien (regular file) Verzeichnisse (directories) E/A-Geräte (special files) Datenströme (pipes) Symbolic Links Betriebssysteme WS 2010, Dateisysteme 10

11 Zugriffsstrukturen flach (Unix) ARRAY of BYTE Lesen/Schreiben in beliebigen Einheiten an beliebigen Stellen Aufprägung von Strukturen durch Anwendungen Record -Strukturen (satzstrukturierte Dateien) Länge konstant oder variabel ein Datensatz (record) pro Zugriff (Lesen/Schreiben) sequentiell direkt (B- bzw. B*-Bäume), Zugriff über Schlüssel indexsequentiell Betriebssysteme WS 2010, Dateisysteme 11

12 Indexsequentielle Dateien Tanenbaum Modern OS Datensätze beliebiger Länge mit Schlüssel Zugriffsreihenfolge: sequentiell oder über Schlüssel Ant Fox Pig Cat Cow Dog Goat Lion Owl Pony Rat Worm Hen Ibis Lamb Betriebssysteme WS 2010, Dateisysteme 12

13 Verzeichnisse und Pfadnamen Problem: systemweite Eindeutigkeit von Dateinamen Lösung: Name eindeutig in einem Kontext auch Kontexte haben Namen Pfadname: Folge von Teilnamen Namens-Auflösung: von einem Ausgangs-Kontext ausgehend wird jeder Teilname in seinem Kontext interpretiert / bin etc home nov Wurzel mail 15 hh Brief.em l Beispiel: /home/hh7/mail/nov/15 Betriebssysteme WS 2010, Dateisysteme 13

14 Mehrere Namen für eine Datei: Harte Links Harte Links Identifikatoren in mehreren Verzeichnissen Limitation: Gültigkeit Identifikatoren über Rechnergrenzen hinweg? / bin etc home hh mail nov Brief.em l 15 Betriebssysteme WS 2010, Dateisysteme 14

15 Mehrere Namen für ein Objekt: Weiche Links Symbolische Links Namen als Objekte / bin etc home Zyklen! Beispiel x hh x /home/hh7/mail/nov mail /bin/x/15 = /home/hh7/mail/nov/15 nov Brief.em l 15 Betriebssysteme WS 2010, Dateisysteme 15

16 Beispiel für Zyklen /etc/bin/xyutils /bin/xyutils /bin/xyutils /usr/local/bin/xyutils /usr/local/bin/xyutils /etc/bin/xyutils Auflösung von /bin/xyutils/example /usr/local/bin/xyutils/example /etc/bin/xyutils/example /bin/xyutils/example /usr/local/bin/xyutils/example /etc/bin/xyutils/example Betriebssysteme WS 2010, Dateisysteme 16

17 Beispiel: Beispiel Backup Alle X Stunden vollständige Kopie des Dateisystems Nur das Nötige Kopieren Mehrfache harte Links auf alles, was sich nicht änderte Betriebssysteme WS 2010, Dateisysteme 17

18 Beispiel: Beispiel Backup gestern / heute bin etc home bin etc home hh hh mail mail nov Brief.em l nov Brief.em l Betriebssysteme WS 2010, Dateisysteme 18

19 Beispiel: Beispiel Backup gestern / heute bin etc home home hh mail nov Brief.em l 15 Betriebssysteme WS 2010, Dateisysteme 19

20 Ausgangs-Kontexte durch Prozesse festgelegt, z. B. in Unix : Kontexte für Namen Root directory: Kontext für globale Namen home directory: current directory bei login und durch parameterloses cd / bin etc home hh current directory: Ausgangskontext für relative Pfadnamen nov mail Brief.em l Betriebssysteme WS 2010, Dateisysteme 20

21 Prozesse und Pfadnamen Ausgangs-Kontexte durch Prozesse festgelegt, z. B. in Unix : current root: Ausgangskontext für absolute Pfadnamen chroot Kommando admin ordinary / bin etc home guru mehrere Globale Namensräume OS Virtualisierung mail hh nov Brief.em l Betriebssysteme WS 2010, Dateisysteme 21

22 Verbinden von Namensräumen: Mounting Einbinden eines Namensraumes in einen anderen Gerät: /dev/cdrom / volumes etc home / CDRom hh hh7 ch4 hh7 ch4 mail nov Brief.em l mount /dev/cdrom /volumes/cdrom 15 Betriebssysteme WS 2010, Dateisysteme 22

23 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Betriebssysteme WS 2010, Dateisysteme 23

24 Verzeichnisse Implementierung und Zugriff analog normale Datei mit: interner Struktur speziellen Operationen opendir / closedir readdir lookup rename Betriebssysteme WS 2010, Dateisysteme 24

25 Eintrag im Unix-Verzeichnis Tanenbaum Modern OS i-node number 2 14 Zugriff auf /home/hh7/mbox Root-Directory i-node bin dev lib etc home tmp looking up home yields i-node 6 is for /home mode size times 132 i-node 6 says that /home is in block 132 block 132 is /home directory sdsd 30 erik 51 jim 26 hh7 Betriebssysteme WS 2010, Dateisysteme hal tmp /home/hh7 is i-node 26 i-node 26 is for /home/hh7 mode size times 406 i-node 26 says that /home/hh7 is in block 406 block 406 is /hh7 directory dick 92 books 60 mbox 81 minix 17 src /home/hh7/mbox is i-node 60

26 i-nodes (I-Knoten) i-node Attributes Adressen der Datenböcke Betriebssysteme WS 2010, Dateisysteme 26

27 i-nodes (I-Knoten) i-node Attributes Single indirect block Double indirect block Betriebssysteme WS 2010, Dateisysteme 27 Adressen der Datenböcke

28 i-nodes (I-Knoten) i-node Attributes Triple indirect block Adressen der Datenböcke Betriebssysteme WS 2010, Dateisysteme 28

29 Verwaltung des freien Plattenspeichers Verwendung von Listen Verwendung von Bitmaps Betriebssysteme WS 2010, Dateisysteme 29

30 Wegweiser Gegenstand und Begriffe Dateien und Verzeichnisse Implementationsaspekte Ablauf eines Dateizugriffs Plattenspeicher Persistenz bei Auftreten von Fehlern Betriebssysteme WS 2010, Dateisysteme 30

31 Schnittstelle Namensdienste: symbolische Namen Identifikatoren Zugriffe auf (Daten in) Dateien: häufig: open (Zugriff)* close Zugriff über Kopieren aus Datei in Adressraum und zurück: read/write (Datei, Position in Datei, Länge, Adresse in Adressraum) keine Ausrichtung der Adressen notwendig seek-operation ersetzt Position in Datei als Parameter Einblenden in Adressraum: map (Datei, Adresse in Adressraum, Offset, Länge) dann Zugriff über normale Maschinen-Instruktionen Offset und Adresse müssen an Seitengrenzen ausgerichtet sein Zugriffe auf Dateiattribute... Betriebssysteme WS 2010, Dateisysteme 31

32 Integration in Systemarchitektur Adressräume z. B. 4 GB Seite Kachel/Rahmen Block MMU Hardware Netz Dateisysteme Platte Hauptspeicher Regionmanager Seitenersetzung Betriebssysteme WS 2010, Dateisysteme 32

33 Zugriff mittels Zugriff mittels Einblenden Einblendung Adressraum mmap (Datei, Adresse, Länge, Offset) bei Seitenfehler: Zugriff auf Datei über Seitenfehlerbehandlung dann Zugriff über normale HW-Instruktionen Pager muss Struktur der Dateiimplementierung kennen! Adressraum Datei Betriebssysteme WS 2010, Dateisysteme 33

34 Zugriff mittels Einblendung Prozess mit Adressraum mmap Datei Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2010, Dateisysteme 34

35 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2010, Dateisysteme 35

36 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Dateisystem Kernkomponente oder Serverprozess Seitenfehler Kern Betriebssysteme WS 2010, Dateisysteme 36

37 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Seitenfehler Dateisystem Kernkomponente oder Serverprozess Seitenfehler Kern Betriebssysteme WS 2010, Dateisysteme 37

38 Zugriff mittels Einblendung Prozess mit Adressraum ld/st mmap Datei Seitenfehler Dateisystem Kernkomponente oder Serverprozess Seite Seitenfehler Kern Betriebssysteme WS 2010, Dateisysteme 38

39 Zugriff mittels Einblendung Prozess mit Adressraum ld/st Datei mmap Seitentab.-Eintrag Seitenfehler Seite Dateisystem Kernkomponente oder Serverprozess Kern Betriebssysteme WS 2010, Dateisysteme 39

40 Zugriff mittels Kopieren (read/write) Prozess mit Adressraum read Read_Call [Datei_Id, Position] Dateisystem Read_Reply [Result, Data] Systemcall oder Botschaften Kernkomponente oder eigener Serverprozess Betriebssysteme WS 2010, Dateisysteme 40

41 Ablauf eines write Dateizugriffs (Unix) fd = open( drops/papers/xy.tex, RW,...) Pfadname i-node number (Namensauflösung) i-node number fd seek (fd, position) write (fd,address, length) Im folgenden beteiligte Datenstrukturen Ablauf vereinfacht: ignoriert werden Fehlerbehandlung Attribute, Rechte Vorhandensein mehrerer Dateisysteme pro Rechner Plattentreiberdetails Betriebssysteme WS 2010, Dateisysteme 41

42 Beteiligte Datenstrukturen (des Dateisystems) Prozesssteuerblock: current directory, Filedescriptor fd Verzeichnisse Tabelle geöffneter Dateien, pro Datei: file pointer (gegenwärtige Schreib-/Leseposition),... i-node number Dateitabelle auf Platte (Tabelle der I-Knoten) Index in dieser Tabelle (i-node number) identifiziert Datei für alle (auch nicht geöffnete) Dateien: i-node Allokation (Zuordnung von Dateiblöcken zu Plattenblöcken) Attribute Puffer-Verwaltung Betriebssysteme WS 2010, Dateisysteme 42

43 Prozess in out err Betriebssysteme WS 2010, Dateisysteme 43

44 Open File Table file pointer R/W pointer to i-node reference counter file pointer R/W pointer to i-node reference counter Allokation Plattenblöcke I-Node Mode Mode Link count Link count Uid Uid Gid Gid File size File size Times Times Adresses of first 10 Adresses disk blocks of first 10 disk blocks Single indirect Single indirect Double indirect Double indirect Triple indirect Triple indirect Betriebssysteme WS 2010, Dateisysteme 44

45 i-node (I-Knoten) Tabelle offener Dateien Dateitabelle auf Platte i-node Teil 2... i-node number open Attribute Platten-Adresse 1. Block Platten-Adresse 2. Block Platten-Adresse 3. Block Betriebssysteme WS 2010, Dateisysteme 45

46 Pufferverwaltung und Ablauf read/write Block-Kachel-Tabelle ( Buffer Cache ) Struktur im Kernadressraum Zuordnung: Plattenadresse <-> Puffer Puffer allokieren/laden (resident im Hauptspeicher) Ablauf (read/write) fd file pointer, i-node Plattenadresse Puffer evtl. Puffer besorgen evtl. Laden von Platte Kopieren in Adressraum Betriebssysteme WS 2010, Dateisysteme 46

47 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Adressraum A B Datei Betriebssysteme WS 2010, Dateisysteme 47

48 Ablauf write write(fd, address, length); Nutzer Adressraum A B Datei filepointer Adressraum A B Datei Betriebssysteme WS 2010, Dateisysteme 48

49 Ablauf write write(fd, address, length); Nutzer Adressraum Datei A B filepointer Platte Puffer (resident im HS) Betriebssysteme WS 2010, Dateisysteme 49

50 Ablauf write write(fd, address, length); Adressraum A B Datei filepointer Platte Puffer (resident im HS) Datei Platte Puffer Platte Betriebssysteme WS 2010, Dateisysteme 50

51 Ablauf write write(fd, address, length); Adressraum A B Datei filepointer Platte Puffer (resident im HS) Datei Platte Puffer Platte Betriebssysteme WS 2010, Dateisysteme 51

52 Ablauf write write(fd, address, length); Adressraum A B Datei filepointer Platte Puffer (resident im HS) A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2010, Dateisysteme 52

53 Ablauf write write(fd, address, length); Adressraum A B Datei filepointer Platte Puffer (resident im HS) B A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2010, Dateisysteme 53

54 Ablauf write write(fd, address, length); Adressraum A B Datei A B filepointer Platte Puffer (resident im HS) B B A A Datei Platte Puffer Platte Kopieren Betriebssysteme WS 2010, Dateisysteme 54

55 Gegenüberstellung: read/write vs. map read/write Kopie vor jeder Manipulation mehrere Prozesse können sich per read eine Kopie holen und dann den vom anderen Prozess vorher geschriebenen Wert überschreiben mmap Einsparen von Kopieroperationen!!! Synchronisation wie bei gemeinsamem Speicher Betriebssysteme WS 2010, Dateisysteme 55

56 Gegenüberstellung: read/write vs. map read/write Kopie vor jeder Manipulation mehrere Prozesse können sich per read eine Kopie holen und dann den vom anderen Prozess vorher geschriebenen Wert überschreiben mmap Einsparen von Kopieroperationen!!! Synchronisation wie bei gemeinsamem Speicher Betriebssysteme WS 2010, Dateisysteme 56

57 Beispiel: Konto open(kontodatei,... ); KontoAdrInDatei = Find_Konto; read(kontodatei, KontoAdrInDatei, &Konto, Länge); mmap (Kontodatei,...); KontoAdr = Find_Konto; KontoAdr->Stand += Betrag; Konto.Stand += Betrag; write(kontodatei, KontoAdrInDatei, &Konto, Länge); Betriebssysteme WS 2010, Dateisysteme 57

58 Beispiel: Konto open(kontodatei,... ); KontoAdrInDatei = Find_Konto; read(kontodatei, KontoAdrInDatei, &Konto, Länge); mmap (Kontodatei,...); KontoAdr = Find_Konto; KontoAdr->Stand += Betrag; Konto.Stand += Betrag; write(kontodatei, KontoAdrInDatei, &Konto, Länge); Betriebssysteme WS 2010, Dateisysteme 58

59 Zusammenfassung Integration von Dateisystemen in Systemarchitektur Prinzipielle Teilaufgaben Ein einfaches altes Beispiel Betriebssysteme WS 2010, Dateisysteme 59

60 ABER: Limitationen Kleine Blöcke, riesige Dateien Ausfall von Platten Absturz eines BS Verlust von Pufferinhalten, Inkonsistenzen Platte./. Flash-Speicher spätere Kapitel in dieser Vorlesung Betriebssysteme WS 2010, Dateisysteme 60