Betriebssysteme Teil 14: Dateisysteme

Transkript

1 Betriebssysteme Teil 14: Dateisysteme

2 Literatur [14-1] Rémy Card, Theodore Ts'o, Stephen Tweedie: Design and Implementation of the Second Extended Filesystem [14-2] Dateisystem [14-3] Liste von Dateisystemen [14-4] Dateisystem 2

3 Übersicht Dateien und Dateisysteme Treiber UNIX-Dateisystem Montieren von UNIX-Dateisystemen MSDOS: FAT16 und FAT32 Die in diesem Teil vorgestellten Informationen stellen lediglich das Prinzip dar - im Detail ist alles etwas komplizierter... 3

4 Dateisysteme auf Massenspeichern Die Daten auf Speichermedien strukturiert durch Tabellen wird als Dateisystem (Filesystem) bezeichnet. Die Art dieser Organisation wird auch Dateisystem genannt. Ein Dateisystem wird beim (High-Level-)Formatieren auf das Medium geschrieben. Als Medien kommen in Frage: Memory Sticks CD, DVD oder Blue Ray Festplatten oder SSDs Wechselplatten bzw. Wechselmedien Es können auch Magnetbänder so organisiert sein. Die Art der Organisation ist abhängig vom Medium. Im folgenden werden stellvertretend für diese Medien bzw. Geräte die Festplatten bzw. SSDs betrachtet. 4

5 Begriffe I Datei = File = Zusammenhängende Daten auf einem Medium mit einem Namen sowie Verwaltungsinformationen Verwaltungsinformationen: Besitzer (Owner, User) oder dessen Gruppe (Group) Datum der Erstellung, der letzten Änderung, des letzten Zugriffs Größe Zugriffsrechte (Erlaubnisse, Permissions)... Ordner = Directory = Verzeichnis = Zusammenfassung von Beschreibungen mehrerer Dateien in Form einer eigenen Datei Ordner lassen sich mit Behältern für Dateien vergleichen. Die Beschreibungen können auch als Verweise (Referenzen) auf Dateien (und andere Ordner) aufgefasst werden. 5

6 Begriffe II Dateisystem = Filesystem = Strukturierte Zusammenfassung von Dateien und Ordnern auf Medien Bemerkung: Es gibt auch Dateisysteme, die sich über mehrere Medien erstrecken und es gibt auch solche, die erlauben, dass sich eine Datei über mehrere Medien erstreckt. Die Implementierung des Dateisystems muss folgendes realisieren: Jede Datei hat einen Namen, der innerhalb eines Ordners eindeutig ist. Jedes Dateisystem hat mindestens einen Ordner. Jede Datei muss mindestens einem Ordner zugeordnet sein. Es können Ordner geschachtelt werden; bei älteren Dateisystemen ist dies nicht realisiert. Dateien müssen vergrößert und verkleinert werden können. Die Namen von Dateien sowie deren Verwaltungsinformationen können jederzeit abgefragt und geändert werden. 6

7 Realisierung I Teil der Schichtenstruktur innerhalb des Kernels. 7

8 Realisierung II Durch die Schichtenstruktur wird eine Abstraktion von den Eigenschaften der Geräte realisiert: Die Treiber passen eine allgemeine Schnittstelle an die Spezialitäten der Geräte an bzw. realisieren den Zugriff auf die Geräteregister. Dadurch braucht sich die Dateisystemimplementierung nicht um diese Details kümmern. Wird ein neues Gerät angeschlossen, reicht die Installation des Treibers für dieses Gerät aus. Die Treiberschnittstelle wird durch das Betriebssystem bestimmt. Initial sind nach der Installation eines Betriebssystems Treiber für die üblichen oder am meisten am Markt vorhandenen Geräte schon vorhanden. 8

9 Sinn der Treiberschnittstelle Die Treiber simulieren ein virtuelles Gerät mit fest gelegten Eigenschaften: Das Medium ist in Blöcke fester Länge aufgeteilt. Jeder Block hat eine von 0 ansteigend gezählte Nummer. Auf jeden Block kann lesend oder schreibend zugegriffen werden. Das gilt nur für Festplatten und SSDs. Ein Medium wird also als folgende Struktur (Array) angesehen: Die Blöcke hatten früher die Länge von 512 Byte, heute von 4 KByte. 9

10 Treiberschnittstelle I Alle Treiber haben innerhalb eines Kernels eine einheitliche Schnittstelle, die im Prinzip wie folgt aufgebaut ist: Operation Init Open Close Read Write Seek Control Poll Erläuterung Initialisieren des Geräts (Reset) Beginn der Verarbeitung Ende der Verarbeitung Lesen von Blöcken Schreiben von Blöcken Positionieren auf einen bestimmten Block Setzen und Abfragen von Modi, Statuswerte Nachfragen, ob letzter I/O-Vorgang beendet ist Dadurch wird es sehr einfach, unterschiedliche Geräte in den Kernel einzubinden, da alle Besonderheiten der Geräte in den Routinen verdeckt sind. 10

11 Treiberschnittstelle II Intern werden die Geräte/Treiber nummeriert, so dass ein Feld aus Verweisen auf die Schnittstellen der Treiber entsteht. 11

12 Treiberschnittstelle III Das Filesystem im Kernel ist in zwei Bereiche eingeteilt: Geräte-unabhängiger Teil: dieser ist für alle Geräte gleich; hier sind die Algorithmen der Systemaufrufe realisiert. Geräte-abhängiger Teil: Treiber Die Treiberroutinen sind die, die an die Geräte-Register gehen, den Interrupt-Handler definieren, die DMA-Operationen veranlassen etc. [die Schnittstelle zum Geräte-unabhängigen Teil des Kernels ist in Wirklichkeit etwas komplizierter] Diese Routinen werden in der Regel von dem Hersteller der I/O- Hardware programmiert und müssen zur Installation des Geräts mit installiert werden. Das Dateisystem ruft entsprechend den Systemaufrufen lediglich die korrespondierenden Treiberroutinen auf. 12

13 Die Realität ist etwas komplizierter Das Dateisystem muss Fehler erfolgreich behandeln können. Wechselmedien benötigen besondere Routinen, z. B. das Sperren/Freigeben des Mediums oder das Feststellen des Medienwechsels Aus Performanzgründen werden Blöcke im Kernel zwischengespeichert - ein weiterer Cache. Es müssen Optimierungen durchgeführt werden, z. B. ist ein Scheduler für parallele Zugriffe verschiedener Threads auf ein Medium erforderlich, um unnötige Positionierungen des Aktuators bei Platten zu vermeiden. 13

14 Exkurs: Major/Minor-Nummern I In UNIX gibt es Geräte-Dateien: dies sind Dateien, über die direkt auf die Blöcke der Platte bzw. des Geräts lesend und schreibend zugegriffen werden kann. Zur Ansteuerung der richtigen Partition bzw. Platte werden zwei Parameter als Bestandteil der Gerätedatei verwendet: Major-Nummer: Diese dient der Identifikation der physikalischen Platte Minor-Nummer: Diese ist ein Parameter für den Treiber, dient meist zur Identifikation der Partition auf einer Platte Die Major-/Minor-Nummern lassen sich mit "ls -l" ansehen; die Geräte-Dateien befinden sich in der Regel im Verzeichnis "/dev". 14

15 Exkurs: Major/Minor-Nummern II 15

16 Exkurs: Major/Minor-Nummern III crw-rw-rw- 1 root staff 69, 0 Mar audio crw--w--w- 1 root wheel 0, 0 Apr 11 15:21 console crw-rw-rw- 1 root staff 11, 0 Mar des crw-r root kmem 3, 11 Mar eeprom brw-rw-rw- 2 root staff 16, 2 Oct fd0 brw-rw-rw- 1 root staff 16, 0 Mar fd0a brw-rw-rw- 1 root staff 16, 1 Mar fd0b crw-r--r-- 1 root kmem 3, 1 Mar kmem crw root staff 3, 4 Mar mbio crw root staff 3, 3 Mar mbmem crw-r root kmem 3, 0 Mar mem crw-rw-rw- 2 root staff 30, 5 Mar nrmt1 crw-rw-rw- 1 root staff 18, 5 Mar nrst1 crw-rw-rw- 1 root staff 3, 2 Apr 11 15:17 null crw-rw-rw- 1 root staff 2, 0 Mar tty 16

17 Dateisystem - Implementierung Die Organisation auf dem Gerät realisiert: 1.Verzeichnis für das Dateisystem als Ganzes 2.Verzeichnis für Deskriptoren aller Dateien 3.Verzeichnis von Verkettungen von Blöcken 4.Mit Nutzdaten belegte Blöcke 5.Freie, also unbelegte Blöcke Eine Datei besteht damit aus: Einem Deskriptor Einem Eintrag in einem Ordner (Verzeichnis, Directory) Verkettete Blöcke Inhalt der Deskriptoren: Wem die Datei gehört Art und Größe Attribute, wie z. B. "archiviert" oder "sichtbar"... 17

18 Verkettung von Blöcken I 18

19 Ablegen von Dateien II Das Verschieben von Dateien wie in der Lösung (3a) ist sehr ineffizient, da bei fast vollen Dateisystemen sehr viele Blöcke verschoben werden müssen jeder I/O-Vorgang relativ zur CPU-Geschwindigkeit sehr langsam ist Daher werden einfach-verkettete lineare Listen zur Verkettung der Dateien benutzt (Lösung 3b). 19

20 Ablegen von Dateien III Fragment = Belegtes Stück auf dem Medium, wenn dessen Blöcke direkt aufsteigende Nummern haben. Fragmentieren = Aufteilen einer Datei auf mehrere Fragmente, die an verschiedenen Orten auf dem Medium liegen Aufteilen einer Datei auf Fragmente hat folgende Vorteile: Schnelles Ablegen der Information beim Schreiben Optimale Ausnutzung der Platte ohne Reorganisation Und folgende Nachteile: Lesen von vorn nach hinten erfordert mehrfaches Positionieren des Aktuators Bei Verlust des Deskriptors (Plattenfehler) ist eine Rekonstruktion der Datei nur sehr schwer oder unmöglich Defragmentieren = Reorganisation der Blockbelegung einer Datei, so dass möglichst nur ein Fragment erforderlich ist 20

21 Struktur eines typischen UNIX-Filesystems 21

22 Bemerkungen Der erste Block des Filesystems - der Bootblock - ist für Code und Daten beim Booten (Hochfahren) oder Montieren (mount) reserviert. Der Superblock ist ein globales Inhaltsverzeichnis, das den Aufbau, insbesondere die Länge der drei Abschnitte im Dateisystem festlegt. Darüber hinaus wird die Liste der freien Blöcke über den Superblock verwaltet (Freiliste, free list). Wenn dieser Superblock verloren geht, ist das Dateisystem meist nicht mehr zu retten. Daher werden mehrere Kopien der Superblöcke in Abständen auf der Platte verteilt. 22

23 Superblock (Beispiel) 23

24 Aufbau des Informationsknotens (inode) 24

25 Erläuterungen Da nur in wenigen Fällen eine Datei in einen Block passt, muss eine Datei als Kette von Blöcken verwaltet werden, d.h. irgendwo muss für jeden Block (außer für den letzten) vermerkt werden, welcher Block der folgende ist. Dies sollte aus Performanzgründen nicht im Block selbst, sondern außerhalb sein. Daher werden die Verweise auf die ersten Blöcke im Deskriptor selbst abgelegt. Reicht das nicht aus, dann ein Verweis auf einen Block, in dem nur Verweise auf Blöcke stehen (2. Stufe). Reicht das immer noch nicht aus, dann ein Verweis auf einen Block, in dem Verweise auf Blöcke stehen, in denen sich Verweise auf Blöcke befinden (3. Stufe) etc. Die Anwendung dieser Möglichkeiten hängt von der Länge der Datei ab. 25

26 Blockverkettungen (Beispiel) 26

27 Montieren (Mount) Ein Mount (Montieren, Einhängen) zweier Dateisysteme ist ein Zusammensetzen, so dass von einem Wurzel-Dateisystem ausgehend alle Dateien über Pfade erreichbar sind. Das Wurzeldateisystem ist das, von dem gebootet wurde. Dieses ist immer zugreifbar. Montieren bei UNIX: Das Montieren von B in das Wurzeldateisystem A besteht darin, dass ein Ordner von A (Mount Point) durch das Wurzelverzeichnis von B samt allen daran hängenden Verzeichnissen überdeckt wird. Der überdeckte Ordner in A sowie alle an diesen hängenden Dateien bzw. Ordner (von A) sind nach dem Montieren von B nicht mehr zugreifbar, aber immer vorhanden. 27

28 Montieren (UNIX) - Vorher 28

29 Montieren (UNIX) - Nachher 29

30 Superuser durch Mount I 30

31 Superuser durch Mount II Der Angreifer bastelt sich auf einem Wechselmedium ein UNIX- Dateisystem zusammen, bei dem die Binärversion vom bash mit Set-UID=root vorhanden ist. Es wird das Medium eingelegt und ohne root-rechte montiert. Vom Medium wird bash aufgerufen, der nun als root-shell läuft und seine root-uid an alle eingegebenen Kommandos vererbt. Das war's dann wohl... Das ist der Grund, warum nur root montieren darf... Oder andere Maßnahmen realisiert wurden. 31

32 Montieren (WINDOWS) Bei den Dateisystemen der MSDOS-Serie: Windows 95..ME, Windows NT bis 8.1 ist das Montieren anders realisiert: Die Dateisysteme werden unter verschiedenen Buchstaben an einen gedachten Wurzelordner angehängt; was bedeutet, dass sie alle aus der Sicht des Baums als Geschwister angesehen werden können. Es entsteht also ein Wald. Die Dateisysteme erhalten einen Buchstaben, der im absoluten Pfadnamen einer Datei als erstes gefolgt von einem Doppel-punkt genannt werden muss: Beispiel: "c:\windows". Im Gegensatz zu UNIX werden Dateisysteme nicht in einen einzigen Baum eingehängt, sondern liegen parallel wie bei einem "Gebüsch" nebeneinander. Die Trennsymbole zwischen Ordnern ist der Backslash ("\"). 32

33 MSDOS-Filesysteme FAT16/32 Von Microsoft ab 1977 entwickelt FAT = File Allocation Table Verschiedene Versionen: FAT12 (12 bit FAT) FAT16 (16 bit FAT) VFAT/FAT32 (32 bit FAT) Kleinste adressierbare Einheit: Cluster bestehen aus mehreren Blöcken. Blöcke haben die Länge von 512 Byte Maximale Blockzahl pro Cluster: 64 Maximale FAT16-Dateisystemgröße: 2 GByte 33

34 FAT32 FAT32 Blockadressen sind 32 bit, wobei nur 28 bit benutzt werden maximal 2 28 = Cluster Dateisystemgröße 8 Gbyte bei Clustergröße von 4 Kbyte maximal 2 43 Byte (ca. 8,8 TeraByte) Maximale Größe einer Datei: 4 GByte-1 Dateinamen im 8.3-Format (8 Zeichen vor einem Punkt und 3 danach) Siehe VFAT (Virtualized FAT) Wie FAT32 und wie FAT16 Lange Dateinamen Mehr Zeichen im Dateinamen erlaubt 34

35 Klassischer Aufbau 35

36 Bemerkungen I Im ersten Sektor (Block) eines Dateisystems befindet sich der Volumen Boot Sector, der nur für das betreffende Dateisystem gilt. Dieser enthält: Boot Code, der vom Boot Code des Master Boot Records (MBR) angesprungen wird. Tabellen mit Größenangaben dieses Filesystems (Disk Parameter Block, Media Parameter Block) Der Master Boot Record (MBR) befindet sich im 1. Sektor des gesamten Mediums und enthält die Partitionstabelle mit maximal 4 Einträgen. Dieser MBR wird u.a. mit dem Programm fdisk bearbeitet. Partitionstabellen enthalten die Größenangaben sowie die Startzylindernummer der Partitionen des Mediums. 36

37 Bemerkungen II Ordner werden wie Dateien durch einfach vorwärts verkettete lineare Listen von Clustern realisiert. Cluster für Dateien/Ordner werden aus der Menge der Cluster hinter der zweiten FAT geholt. Weil die FAT wichtige Daten enthält, wird eine Kopie angefertigt. Da diese direkt hinter dem Original liegt, hilft das wenig in der Praxis, da die Kopie sich zu dicht am Original befindet. Ordner bestehen aus einem Feld von Strukturen, in denen auch der Dateiname abgelegt ist. Da Dateiname und Dateiverwaltungsinformation zusammen an einer Stelle stehen, sind Links (Verknüpfungen) nicht möglich (bei UNIX steht die Verwaltungsinformation in den Beschreibungen und die Dateinamen in den Ordnern). 37

38 Directory-Eintrag (Deskriptor) 38

39 Bemerkungen I Ordner bestehen aus einer Aneinanderreihung von 32-bytelangen Deskriptoren. Jeder Ordner enthält die Datei ".", welche die Clusterverkettung für den eigenen Ordner enthält Jeder Ordner enthält die Datei "..", welche die Clusterverkettung den Elternordners enthält. Unterverzeichnisse sind Einträge mit gesetztem Attribut "Directory". Das erste Byte des Dateinamens zeigt den Status der Ordnereintrags (Belegt, Gelöscht:0xE5 etc.) - dieses Byte ist auch das 1. des Dateinamens, d.h. dieses Byte hat zwei Bedeutungen. 39

40 Bemerkungen II Um das Booten für ältere Systeme einfacher zu machen: Wurzelordner (Root) muss direkt nach der 2. FAT folgen Dieser darf max. 224 (Floppy) bzw. 512 (Platte) Einträge haben Diese Beschränkungen haben spätere Systeme nicht mehr. Dass die FAT auch als Kopie vorliegt ist sehr gut, nicht gut ist, dass die Kopie unmittelbar dem Original folgt, da in der Praxis bei Zerstörungen der Original-FAT meist auch die Kopie zerstört ist. 40

41 Verkettung der Dateiinhalte I Die Ordner und die Dateien werden durch einfach vorwärts verkettete lineare Listen von Clustern (Zusammenhängende Reihe von Blöcken) realisiert (Prinzip): Die Zeiger (Verweise) werden nun nicht in den Blöcken, sondern in der FAT-Tabelle getrennt von den Blöcken abgelegt. 41

42 Verkettung der Dateiinhalte II - Beispiel [23] [25] [30] [33] Deskriptor im Ordner 23 42

43 Verkettung der Dateiinhalte III - Beispiel [23] [25] [30] [33] Cluster der Datei Deskriptor im Ordner 23 FAT [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] 43

44 Aufbau der FAT Die FAT ist ein Feld von Verweisen auf Cluster, wobei jedem Cluster genau ein Eintrag in der FAT zugeordnet ist, d.h. dem Cluster N ist der N. Eintrag in der FAT zugeordnet, so dass von der Clusternummer schnell auf den FAT-Eintrag zugegriffen werden kann. In einem FAT-Eintrag steht die Clusternummer des folgenden Clusters oder der Wert 0xFFFF und zeigt, dass der korrespondierende Cluster der letzte der Datei ist, oder der Wert 0x0000 und zeigt, dass der korrespondierende Cluster frei ist (Free list) oder ein Wert und zeigt, dass der korrespondierende Cluster defekt ist. 44

45 VFAT/FAT32 Einführung langer Dateinamen sowie eines größeren Zeichensatzes: Bis 255 Zeichen Zeichen "+,;=[]" gehen auch Realisierung Der erste Ordnereintrag ist wie bei FAT16/FAT32-Alt mit einem Ersatz-MSDOS-Namen, z. B. "Bueche~1.doc" Anschließend werden die darauf folgenden Directory-Einträge für den Rest des langen Namens verwendet. Damit diese nicht mit richtigen Einträgen verwechselt werden, erhalten diese eine unsinnige Attribut-Kombination. Beginn/Ende werden durch eine laufende Nummer und ein Ende-Flag gekennzeichnet. 45

46 Nach dieser Anstrengung etwas Entspannung... 46