Literatur. Betriebssysteme - WS 2015/16 - Teil 15/Dateisysteme1

Transkript

1 Literatur [15-1] Rémy Card, Theodore Ts'o, Stephen Tweedie: Design and Implementation of the Second Extended Filesystem [15-2] Dateisystem [15-3] Liste von Dateisystemen [15-4] Dateisystem 2

2 Übersicht Dateien und Dateisysteme Treiber Partitionen Realisieren von Dateisystemen Die in diesem Teil vorgestellten Informationen stellen lediglich das Prinzip dar - im Detail ist alles etwas komplizierter... 3 Dateisysteme auf Massenspeichern Die Daten auf Speichermedien strukturiert durch Tabellen werden als Dateisystem (Filesystem) bezeichnet. Die Art dieser Organisation wird auch Dateisystem genannt. Ein Dateisystem wird beim (High-Level-)Formatieren auf das Medium geschrieben. Als Medien kommen in Frage: Memory Sticks CD, DVD oder Blue Ray Festplatten oder SSDs Wechselplatten bzw. Wechselmedien Es können auch Magnetbänder so organisiert sein. Die Art der Organisation ist abhängig vom Medium. Im folgenden werden stellvertretend für diese Medien bzw. Geräte die Festplatten und SSDs betrachtet. 4

3 Begriffe I Datei = File = Zusammenhängende Daten auf einem Medium mit einem Namen sowie Verwaltungsinformationen Verwaltungsinformationen: Besitzer (Owner, User) oder dessen Gruppe (Group) Datum der Erstellung, der letzten Änderung, des letzten Zugriffs Größe Zugriffsrechte (Erlaubnisse, Permissions) Ordner = Directory = Verzeichnis = Zusammenfassung von Beschreibungen mehrerer Dateien in Form einer eigenen Datei Ordner sind Arrays von Beschreibungen (Deskriptoren). Diese Beschreibungen können auch als Verweise (Referenzen) auf Dateien (und andere Ordner) aufgefasst werden. 5 Begriffe II Es gibt auch Dateisysteme, die sich über mehrere Medien erstrecken und es gibt auch solche, die erlauben, dass sich eine Datei über mehrere Medien erstreckt. Eine Implementierung muss minimal folgendes realisieren: Jede Datei hat einen Namen, der innerhalb eines Ordners eindeutig ist. Jedes Dateisystem hat mindestens einen Ordner. Jede Datei muss mindestens einem Ordner zugeordnet sein. Es können Ordner rekursiv geschachtelt werden. Dateien müssen erzeugt, gelöscht, vergrößert und verkleinert werden können. Die Namen von Dateien sowie deren Verwaltungsinformationen können jederzeit abgefragt und geändert werden. 6

4 Realisierung I Teil der Schichtenstruktur innerhalb des Kernels. 7 Realisierung II Durch die Schichtenstruktur wird eine Abstraktion von den Eigenschaften der Geräte realisiert: Die Treiber passen eine allgemeine Schnittstelle an die Spezialitäten der Geräte an bzw. realisieren den Zugriff auf die Geräteregister. Dadurch braucht sich die Dateisystemimplementierung nicht um diese Details zu kümmern. Wird ein neues Gerät angeschlossen, reicht die Installation des Treibers für dieses Gerät aus. Die Treiberschnittstelle wird durch das Betriebssystem bestimmt. Initial sind nach der Installation eines Betriebssystems Treiber für die üblichen oder am meisten am Markt vorhandenen Geräte schon vorhanden. 8

5 Sinn der Treiberschnittstelle Die Treiber simulieren ein virtuelles Gerät mit festgelegten Eigenschaften: Das Medium ist in Blöcke fester Länge aufgeteilt. Jeder Block hat eine von 0 ansteigend gezählte Nummer. Auf jeden Block kann lesend oder schreibend zugegriffen werden. Das gilt nur für Festplatten und SSDs. Ein Medium wird also als ein Array von Böcken angesehen: Die Blöcke hatten bei Platten früher die Länge von 512 Byte, heute von 4 KByte. 9 Treiberschnittstelle I Alle Treiber haben innerhalb eines Kernels eine einheitliche Schnittstelle, die im Prinzip wie folgt aufgebaut ist: Operation Init Open Close Read Write Seek Control Poll Erläuterung Initialisieren des Geräts (Reset) Beginn der Verarbeitung Ende der Verarbeitung Lesen von Blöcken Schreiben von Blöcken Positionieren auf einen bestimmten Block Setzen und Abfragen von Modi, Statuswerte Nachfragen, ob letzter I/O-Vorgang beendet ist Dadurch wird es sehr einfach, unterschiedliche Geräte in den Kernel einzubinden, da alle Besonderheiten der Geräte in den Routinen verdeckt sind. 10

6 Treiberschnittstelle II Intern werden die Geräte/Treiber nummeriert, so dass ein Array aus Verweisen auf die Schnittstellen der Treiber entsteht, also ein Array von Strukturen, bestehend aus Zeigern auf Funktionen :-) 11 Treiberschnittstelle III Das Filesystem im Kernel ist in zwei Bereiche eingeteilt: Geräte-unabhängiger Teil: dieser ist für alle Geräte gleich; hier sind die Algorithmen der Systemaufrufe realisiert. Geräte-abhängiger Teil: Treiber Die Treiberroutinen sind die, die an die Geräte-Register gehen, den Interrupt-Handler definieren, die DMA-Operationen veranlassen etc. [die Schnittstelle zum Geräte-unabhängigen Teil des Kernels ist in Wirklichkeit etwas komplizierter] Diese Routinen werden in der Regel von dem Hersteller der I/O- Hardware programmiert und müssen zur Installation des Geräts installiert werden. Das Dateisystem ruft entsprechend den Systemaufrufen lediglich die korrespondierenden Treiberroutinen auf. 12

7 Die Realität ist etwas komplizierter Das Dateisystem muss Fehler erfolgreich behandeln können. Wechselmedien benötigen besondere Routinen, z. B. das Sperren/Freigeben des Mediums oder das Feststellen des Medienwechsels Aus Performanzgründen werden Blöcke im Kernel zwischengespeichert - ein weiterer Cache. Es müssen Optimierungen durchgeführt werden, z. B. ist ein Scheduler für parallele Zugriffe verschiedener Tasks auf ein Medium erforderlich, um unnötige Positionierungen des Aktuators bei Platten zu vermeiden. 13 Partitionen I Einteilung einer großen Platte/SSD in mehrere logische Platten, die jeweils Partitionen genannt werden. Ein Tabelle der Zylinderbereiche der Partitionen befindet sich vorne im Bootbereich, d.h. im Block 0. Dort liegt auch der Code des ersten Booters. Das Root-Filesystem ist das, was während des Bootens zum Laden des Betriebssystems benutzt wird und daher das erste Dateisystems ist, auf das zugegriffen wird. 14

8 Partitionen II Eine Partition besteht aus einer Zylindergruppe. Bei einer SSD wird dies simuliert. Gründe für das Partitionieren von Platten: 1)Ein Hardware-Fehler wirkt sich nur auf die betroffenen Partitionen aus, alle anderen Bereiche bleiben intakt. 2)Durch die Begrenzung auf einen Bereich reduzieren sich die Entfernungen der Kopfbewegungen (kürzere Positionierungszeit). Für SSDs gilt nur der 1. Grund, jedoch nur für Fehler in der Software. 15 Beispiel: PC-Microsoft-System I Im 1. Block gibt es den Master-Boot-Record (MBR), der vier Deskriptoren für Partitionen hat. Die Einträge in dieser Partitionstabelle enthalten die Größe sowie die Startblocknummer der Partitionen des Mediums. Siehe: Primäre Partitionen = Partitionen, deren Deskriptoren im Master-Boot-Recird liegen 16

9 Beispiel: PC-Microsoft-System II Um mehr als vier Partitionen zu erhalten, werden die Boot- Sektoren der Partitionen selbst zur Beschreibung benutzt. Diese "lokalen" Boot-Sektoren sind linear miteinander verkettet, so dass lediglich ein Eintrag im MBR über die erste sekundäre Partition reicht. In Form einer linearen Listen sind alle weiteren Partitionen erreichbar. Sekundäre Partitionen = Partitionen, deren Deskriptoren nicht im MBR, sondern im eigenen Boot-Sektor liegen Aus der Sicht des MBR liegen alle sekundären Partitionen in einem Behälter, der den hintersten zu benutzten Eintrag im MBR belegt. Siehe: 17 Beispiel einer Partitionierung Dual-Boot-System mit Windows XP und Linux auf einer Platte 18

10 Exkurs: Major/Minor-Nummern I In UNIX gibt es Geräte-Dateien: dies sind Dateien, über die direkt auf die Blöcke der Platte bzw. der SSD lesend und schreibend zugegriffen werden kann. Zur Ansteuerung der richtigen Partition bzw. Platte werden zwei Parameter einer Gerätedatei zugeordnet: Major-Nummer: Diese dient der Identifikation der physikalischen Platte. Minor-Nummer: Diese ist ein Parameter für den Treiber und dient meist zur Identifikation der Partition auf einer Platte. Die Major-/Minor-Nummern lassen sich mit "ls -l" ansehen; die Geräte-Dateien befinden sich in der Regel im Verzeichnis "/dev". 19 Exkurs: Major/Minor-Nummern II 20

11 Exkurs: Major/Minor-Nummern III crw-rw-rw- 1 root staff 69, 0 Mar audio crw--w--w- 1 root wheel 0, 0 Apr 11 15:21 console crw-rw-rw- 1 root staff 11, 0 Mar des crw-r root kmem 3, 11 Mar eeprom brw-rw-rw- 2 root staff 16, 2 Oct fd0 brw-rw-rw- 1 root staff 16, 0 Mar fd0a brw-rw-rw- 1 root staff 16, 1 Mar fd0b crw-r--r-- 1 root kmem 3, 1 Mar kmem crw root staff 3, 4 Mar mbio crw root staff 3, 3 Mar mbmem crw-r root kmem 3, 0 Mar mem crw-rw-rw- 2 root staff 30, 5 Mar nrmt1 crw-rw-rw- 1 root staff 18, 5 Mar nrst1 crw-rw-rw- 1 root staff 3, 2 Apr 11 15:17 null crw-rw-rw- 1 root staff 2, 0 Mar tty 21 Prinzipieller Aufbau eines Dateisystems Deskriptor Verzeichnis für das Dateisystem als Ganzes Verwaltung... Verzeichnis für Deskriptoren aller Dateien Verzeichnis von Verkettungen von Blöcken Nutzdaten... Mit Nutzdaten belegte Blöcke Freispeicherliste mit unbelegten Blöcken Bis auf den Deskriptor am Anfang können die einzelnen Datenarten verteilt im gesamten Bereich liegen. 22

12 Bemerkungen Die Verwaltung der Blöcke erfolgt analog zu den Methoden der Verwaltung des Heaps (Halde) im RAM. Diese Methoden werden zur Verwaltung des Speichers innerhalb der Programme (Laufzeitsystem der Programmiersprache) des RAMs durch das Betriebssystem des Bereichs der Dateisysteme verwendet. 23 Verkettung von Blöcken I 24

13 Ablegen von Dateien II Das Verschieben von Dateien wie in der Lösung (3a) ist sehr ineffizient, da bei fast vollen Dateisystemen sehr viele Blöcke verschoben werden müssen jeder I/O-Vorgang relativ zur CPU-Geschwindigkeit sehr langsam ist Daher werden einfach-verkettete lineare Listen zur Verkettung der Dateien benutzt (Lösung 3b). 25 Ablegen von Dateien III Fragment = Belegtes Stück auf dem Medium, wobei dessen Blöcke direkt aufsteigende Nummern haben Fragmentieren = Aufteilen einer Datei auf mehrere Fragmente, die an verschiedenen Orten auf dem Medium liegen Aufteilen einer Datei auf Fragmente hat folgende Vorteile: Schnelles Ablegen der Information beim Schreiben Optimale Ausnutzung der Platte ohne Reorganisation Und folgende Nachteile: Lesen von vorn nach hinten erfordert mehrfaches Positionieren des Aktuators bei einer Platte. Bei Verlust des Deskriptors (Plattenfehler) ist eine Rekonstruktion der Datei nur sehr schwer oder unmöglich. Defragmentieren = Reorganisation der Blockbelegung einer Datei, so dass möglichst nur ein Fragment erforderlich ist 26

14 Defragmentierung I Beispiel vorher 27 Defragmentierung II Beispiel nachher 28

15 Defragmentierung III - Effekte Das Defragmentieren von Platten hat spürbar nur bei extremen Formen der Fragmentierung einen Vorteil. Der Grund dafür liegt im Cache der Platten im Lesen ganzer Zylinder Das Defragmentieren von SSDs sollte immer unterlassen werden. 29 Montieren (Mount) Ein Mount (Montieren, Einhängen) zweier Dateisysteme ist ein Zusammensetzen, so dass von einem Wurzel-Dateisystem ausgehend alle Dateien über Pfade erreichbar sind. Das Wurzeldateisystem ist das, welches beim Hochfahren als erstes montiert wird. Dieses ist immer zugreifbar. Von diesem Dateisystem wird auch das Betriebssystem geladen. Wurzel-Verzeichnis = Wurzel des Dateibaumes Montieren bei UNIX: Das Montieren von B in das Dateisystem A besteht darin, dass ein Ordner von A (Mount Point) durch das Wurzelverzeichnis von B samt allen daran hängenden Verzeichnissen überdeckt wird. Der überdeckte Ordner in A sowie alle über diesen verketteten Dateien bzw. Ordner von A sind nach dem Montieren von B nicht mehr zugreifbar, aber immer noch vorhanden. 30

16 Montieren (UNIX) - Vorher 31 Montieren (UNIX) - Nachher 32

17 Montieren (WINDOWS) Bei den Dateisystemen der MSDOS-Serie: Windows 95..ME, Windows NT bis 10 ist das Montieren anders realisiert: Die Dateisysteme werden unter verschiedenen Buchstaben an einen gedachten Wurzelordner angehängt; was bedeutet, dass sie alle aus der Sicht des Baums als Geschwister angesehen werden können. Es entsteht also ein Wald. Die Dateisysteme erhalten einen Buchstaben, der im absoluten Pfadnamen einer Datei als erstes gefolgt von einem Doppelpunkt genannt werden muss: Beispiel: "c:\windows". Die Trennsymbole zwischen Ordnern innerhalb eines Pfades ist der Backslash ("\"). 33 Nach dieser Anstrengung etwas Entspannung... 34