Dateisysteme 2010/11 IAIK

Transkript

1 Dateisysteme 2010/11 1

2 Motivation Speicher zu klein für alle Daten Information muss über Lebensdauer des Prozesses hinaus erhalten bleiben mehrere Prozesse teilen Informationen 2

3 Lösung Dateien auf Festplatten oder Ä. Information persistent nicht von Prozessen abhängig. Verschwindet erst wenn gelöscht Verwaltung durch Betriebssystem bezeichnet als Dateisystem 3

4 Dateien - Benutzersicht Benutzer will in der Regel keine Details über wo und wie der Speicherung muss Dateien aber referenzieren können Namensgebung wichtig 4

5 Namensgebung Erzeugung einer Datei: Prozess gibt Datei einen Namen Spätere Zugriffe über diesen Namen Regeln variieren Namenslänge Zeichen Sonderzeichen? Groß- Kleinschreibung? 5

6 Dateierweiterung zweigeteilte Dateinamen prog.c Kennzeichnet (informell) Dateityp MS/DOS-FS: eigenes Feld, 3 Stellen Unix et al: nur Konvention, auch prog.c.z möglich 6

7 Dateistruktur interne Struktur verschieden für das Betriebssystem meist nur Bytefolge andere Strukturen meist nur auf Mainframes 7

8 Dateitypen reguläre Dateien ASCII-Dateien (Text) Binäre Dateien (meist interne Struktur) Verzeichnisse special files (/dev/ ) 8

9 Dateizugriff sequentieller Zugriff alle Bytes nacheinander und zurückspulen Bandlaufwerk-kompatibel sequential access Einführung der Disketten: beliebige Reihenfolge möglich random access seek-system-call 9

10 Dateiattribute Datei hat Namen und Daten Attribute: zusätzliche Informationen Attribute sehr unterschiedlich 10

11 Attribute 11

12 Verzeichnisse Organisatorische Hilfe Verzeichnisse oder Ordner (directories, folders) Eine oder mehrere Ebenen 12

13 Eine Ebene A,B,C: Eigentümer (nicht Namen!) Früher auf PC s üblich, auch CDC 6000 (erster Supercomputer) Einfach fürs System. Nameclashes? 13

14 Zwei Ebenen Jedem Benutzer ein Verzeichniss Keine Namensprobleme. Nicht ausreichend 14

15 Hierarchische Dateisysteme 15

16 Implementierung Wie speichern wir Dateien und Verzeichnisse? Wie verwalten wir Speicherplatz? Wie machen wir das effizient und zuverlässig? 16

17 Layout eines Dateisystems Details hier Systemabhängig! 17

18 Realisierung von Dateien welche Plattenblöcke sind mit welchen Dateien assoziiert verschiedene Möglichkeiten 18

19 zusammenhängende Belegung einfach zu implementieren sehr gute Leseperformance Nachteil: Fragmentierung Siehe Kapitel Speicherverwaltung 19

20 zusammenhängende Belegung Verwendung: CD-ROMs u.ä. Dateigrößen im Voraus bekannt Es ändert sich nichts Magnetbänder 20

21 verkettete Listen verkettete Liste von Plattenblöcken 21

22 verkettete Listen Vorteile: alle Blöcke verwendbar kein Verlust durch externe Fragmentierung Alle Blöcke über ersten Block findbar sequentielles Lesen ok 22

23 verkettete Listen Nachteile: wahlfreier Zugriff extrem langsam: alle Blöcke davor müssen gelesen werden Speicherplatz pro Block keine Zweierpotenz 23

24 verkettete Liste / Tabelle Nachteile eliminierbar: Verkettung in Tabelle auslagern File-Allocation- Table (FAT) muss im Hauptspeicher gehalten werden 24

25 verkettete Liste / Tabelle 20GB-Platte, 1KB Blocke: 20 Millionen Einträge Paging möglich aber nicht ideal 25

26 I-Nodes Jeder Datei wird eine Datenstruktur zugeordnet: I-Node oder Index-Node enthält Attribute und Plattenadressen I-Node im Speicher wenn Datei offen 26

27 I-Nodes Speicherbedarf meist viel kleiner als FAT-Bedarf bei FAT: proportional Plattengröße I-Node: proportional zu Anzahl offener Dateien 27

28 I-Node 28

29 Verzeichnisse Öffnen einer Datei über Pfadnamen Verzeichnis enthält die für Zugriff auf Datei nötigen Informationen Plattenadresse der Datei Nummer des ersten Blocks Nummer des I-Node 29

30 Verzeichnisse I-Nodes: Verzeichnis enthält nur Namen und Verweis auf I-Node Attribute in I-Node gespeichert 30

31 Verzeichnisse Namen wie lang? Alle Dateinamen gleich lang? 8 Zeichen zu kurz 255 kaum ausgenutzt. Nicht für jede Datei reservieren! 31

32 Verzeichnisse Nachteil: entstehende Lücken 32

33 Verzeichnisse Sequentielles Durchsuchen nötig langsam bei vielen Dateien Hashtabelle nur sinnvoll wenn sehr viele Dateien 33

34 Verwaltung des Plattenspeichers Wesentlicher Gesichtspunkt Dateien werden in der Regel in Blöcke aufgeteilt Aspekte: Blockgröße Freie Blöcke Kontingente 34

35 Blockgröße Nahe liegend: Größe der Sektoren/Tracks/. Sind allerdings geräteabhängig Blockgröße zu groß: jede Datei min. ein Block Interne Fragmentierung! Mittlere Dateigröße: 2 KB 35

36 Messung Ca Files Davon ca < 2KB Median bei ca. 4 KB Reihe

37 Blockgröße Kleine Blöcke - viele Blöcke Datei lesen langsamer (viele seeks etc ) Beispiel für 2K Dateien (Schnitt) 37

38 Freie Blöcke Wie weiß ich, welche Blöcke frei sind? Zwei gebräuchliche Methoden: Bitmap Verkettete Liste von Blöcken 38

39 Verkettete Liste Jeder Block Liste freier Nummern Pro Block 255 Nummern (1KB/32Bit) 16GB: Blöcke (freie Blöcke) 39

40 Bitmap Bitmap mit n Bits 16GB: 2048 Blöcke 40

41 Ein Beispiel Ext: Linux extended Filesystem ext, ext2, ext3, ext4 Ursprung: Linux verwendete das minix-fs effizient, recht fehlerfrei aber zu limitierend VFS und ext 41

42 Ext im Vergleich Minix Längere FS Filenamen Größere Dateien Max FS size 64 MB Max file size Max file name 64 MB Ext FS Ext2 FS Ext 3 Ext 4 XFS 2 GB 32 TB 32TB 1EB 16EB 2 GB 2 TB 2TB 16TB 8EB 16/

43 Gemeinsame Konzepte Inodes Directories Links Special Files 43

44 UNIX Dateisystem Layout Bootblock Superblock: Info über Layout (# I-Nodes, Anzahl Plattenblöcke, Beginn der Liste der freien Blöcke) Bitmap für Blöcke Bitmap für Inodes Inodes Datenblöcke 44

45 Unix-FS 45

46 I-Node 46

47 I-Node I-Node 1 normalerweise für defekte Blöcke I-Node 2 Root-Verzeichnis Auffinden von /usr/lipp/file: / einlesen, usr suchen /usr einlesen, lipp suchen /usr/lipp einlesen, file suchen auf file zugreifen 47

48 48

49 Verzeichnisse unsortierte Liste von 16-Byte- Einträgen Dateiname (bis 14 Zeichen) und I-Node-Nummer 49

50 Links Hard link Zwei Verzeichniseinträge zeigen auf einen inode Soft (symbolic link) Inhalt der Datei ist Filename (mit Pfad) 50

51 VFS 51

52 ext2 Filetypen Regular files Directories Device special files Links Symbolic Links Große Partitionen: bis 4TB Lange Dateinamen (255) 52

53 ext2 Attribute (Beispiele): c: compressed Datei wird komprimiert gespeichert s: secured Blöcke werden nach Löschen der Datei mit Nullen überschrieben S: synchronized Daten werden sofort auf die Festplatte geschrieben A: append mode Dateien werde immer im append-mode geöffnet 53

54 ext2 Fast symbolic links Dateinamen im inode gespeichert Status des Dateisystems dirty : nach Absturz des OS, fsck empfehlenswert/erzwungen Regelmäßige fsck, auch wenn clean 54

55 ext2 Lange dateinamen: directories als verkettete Liste von Einträgen st r uct ext 2_di r _ent r y_2 { u32 i node; /* I node number * / u16 r ec_l en; / * Di r ect or y ent r y l engt h * / u8 name_l en; / * Name l engt h * / u8 f i l e_t ype; char name[ EXT2_NAME_LEN] ; / * Fi l e name * / }; I File I Long_file_name I f2 55

56 ext2 Performance Readaheads Mehr als ein Block wird von Festplatte angefordert Bei sequentiellen Dateizugriffen Bei Directory-reads Block-Groups inodes und Datenblöcke in der Nähe auf der Festplatte; vermindert headseek-times 56

57 ext2 Performance Preallocation Bei Zuordnung eines Blockes zu einer Datei werden bis zu 8 aufeinanderfolgende Blöche auf der Platte zugeordnet Verbessert write und read Zeiten 57

58 ext3 Wie ext2, plus Journal H-Bäume für große Directories Variante der B-Bäume Oneline-Größenänderung des Dateisystems 58

59 Journaling Änderungen werden in einem Journal (zirkulärer log) aufgezeichnet Vermeidet Probleme bei Abstürzen; Filesystem schneller wieder online Operation im Journal als abgeschlossen markiert: konsistenter Zustand; Inhalte können aus dem Journal ins FS übernommen werden, anderenfalls verworfen 59

60 Ext3 journaling 3 Ebenen: Journal (geringstes Risiko) Daten zuerst ins Journal, dann auf die Platte. Daten müssen zweimal geschrieben werden. Ordered (mittleres Risiko) Nur Metadaten gehen ins Journal, Dateiinhalte direkt ins Dateisystem. Neue Dateien gehen verloren, überschriebene können inkonsistent werden. Writeback (höchstes Risiko) Nur Metadaten ins Journal, Dateiinhalte über sync- Prozess. Gefahr von Datenverlust größer. 60

61 ext4 Weiterentwicklung von ext3 Viele grundlegende Änderungen Maximale Filesystemgröße 1EB (1,048,576 TB) Maximale Filegröße 16TB 61

62 Ext4 - extents Dateiblöcke in extents gemanaged Extent: mehrere pysisch aufeinanderfolgende Blöcke Bessere performance Reduziert Fragmentierung Bis zu 128MB groß Bis zu vier extents in einem inode 62

63 Ext4: delayed allocation Normale FS ordnen sofort einen Block zu, wenn benötigt Jetzt: Daten in cache gespeichert, erst wenn sie auf die Platte geschrieben werden müssen, werden Blöcke zugewiesen Harmoniert ideal mit extents und dem multiblock allocator 63

64 Ext4: sonstiges Schnelles fsck unused inodes nicht geprüft Journal checksumming Meistverwendeter Bereich; anfällig für HW-Ausfall. Prüfsumme stellt Integrität der Einträge sicher Online-Defragmentierung In Entwicklung 64

65 Ext4: inodes Größere inodes Ext3: 128 Bytes, Ext4: 256 Bytes Erlaubt weitere Felder (inode- Versioning, ns-timestamps) Reservierte inodes Bei Neuanlage eines Verzeichnisses Nanosecond timestamps Genauere Auflösung 65

66 Zuverlässigkeit Dateisystem ist kritische Infrastruktur Daten dürfen nicht verloren gehen Dateisystem kann helfen totaler Schutz unmöglich 66

67 Backups Wohl das wesentlichste! Jeden Tag Backup auf Band oder anderem geeigneten Medium Lösung für Wiederherstellung nach Desaster (Desaster Recovery) Wiederherstellung nach Dummheit 67

68 Konsistenz in Dateisystemen Dateisysteme Lesen Modifizieren Schreiben zurück Absturz vor zurückschreiben: Inkonsistenzgefahr Insbesondere bei I-Nodes oder Blöcken der Freiliste 68

69 Konsistenzprüfung Hilfsprogramme fsck scandisk Werden oft automatisch nach Absturz gestartet 69

70 fsck zwei Prüfungen: Blöcke, Dateien Blöcke: zwei Tabellen mit Zähler pro Block Tabelle 1: wie oft ist Block in Datei referenziert Tabelle 2: wie oft kommt Block in Freiliste vor alle i-nodes sowie Freiliste lesen und Eintragen 70

71 Ergebnisse: 0 1 oder 1 0 : konsistent 0 0 : vermisster Block in Freiliste eintragen 0 2 : doppelt in Freiliste auf 1 setzten 1 1 : aus Freiliste löschen 2 0 : problematisch auf freien Block duplizieren 71

72 Verzeichnissystemprüfung Baum durchlaufen und Anzahl der Verweise auf I-Nodes notieren Prüfen ob mit Linkcount in I-Node konsistent Linkcount zu groß: kein Problem, zurücksetzen. Würde aber zu Waisen führen zu klein: anpassen. Hätte fatale Folgen! 72