Einführung. Datei Verwaltung. Datei Verwaltung. Einführung. Einführung. Einführung. Einführung. Datei Verwaltung. Puffer Cache Verwaltung

Transkript

1 Verwaltung des s Verwaltung des s A Anwenderprogramm B C Gerät Gerät Gerät Gerät A rufe PufferCacheVerwaltung Anwenderprogramm B PufferCacheVerwaltung rufe C Gerät Gerät Gerät Gerät PufferCacheVerwaltung Zugriff auf ein wort: Mio. mal langsamer auf Festplatte statt auf Speicher Lokalität: selbe häufig benötigt Zwischenablage im Hauptspeicher bis zu dieser Ebene: "blöcke" Strukturierung als Dateisystem: Teile des Kernels Zuordnung von Dateinamen zu blöcken Massenspeicher: unstrukturierte Medien Aufgabe : strukturiertes Dateisystem Aufgaben: Zugriff auf über Dateinamen (transparent) Schnittstelle: Erzeugen, Löschen, Lesen, Schreiben... MultiUser: Schutz und gemeinsame Nutzung virtuelles Dateisystem: verschiedene Linux: virtuelles Dateisystem, Dateisystem + JournalingErweiterung zu Ext A Anwenderprogramm B PufferCacheVerwaltung rufe C Gerät Gerät Gerät Gerät verschiedene BS: verschiedene Ziel: Unterstützung mehrerer gemeinsame Schnittstelle Umsetzung der Aufrufe für jedes Dateisystem A Anwenderprogramm B PufferCacheVerwaltung rufe C Gerät Gerät Gerät Gerät Geräte Ansteuerung der ControllerBausteine evtl. mehrere Geräte pro ControllerBaustein Verwaltung des s

2 Verwaltung des s Sektor Spur nach LowLevelFormatierung: Zerlegung in Partitionen aus Sicht des Betriebssystems: jede Partition eigenständige "logische" Platte verschiedene in verschiedenen Partitionen erster Block der Platte: BootSektor enthält MasterBootRecord: Partitionstabelle (eine P. ist "aktiv") Lader Lader lädt BS aus aktiver Partition KopfSteuerung Spur Spur Zylinder Zeit für Einlesen eines Blocks: Zeit für Bewegen des Kopfes zur Spur Zeit für Warten auf Sektor Zeit für übertragung entscheidend einer/mehrere Köpfe pro Scheibe: Spuren übertragung in Blöcken: Sektoren physikalische Geometrie: vom Controller evtl. verborgen LowLevelFormatierung Planung der KopfBewegungen, Minimierung Zugriffszeit FIFO, SSF (shortest seek first), SCAN (Aufzug) Spuren Anlegen von Spuren und Sektoren Sektor: Präambel Bereich für Fehlerkorrektur Sektor und ZylinderNummer FIFO Menge der Anfragen SSF SCAN keine Optimierung innere / äußere Spuren vernachläss. bereits besuchte vernachläss. (Lokalität?) 6 5 ZylinderVersatz Einlesen großer Mengen: SpurWechsel (braucht Zeit) versetzte Numerierung Dreh richtung Interleaving Dreh richtung übertragung durch Controller nach Einlesen des Sektors (braucht Zeit) verschachtelte Numer. Verwaltung des s

3 RAID RAID Verbesserung Zugriffszeit und sicherheit Wort RAID (redundant array of independent disks) Bit Bit Bit Bit Parität Wort Wort spezielle RAIDController steuern mehrere Platten aus Sicht des BS: eine Platte "RAIDLevel" (willkürliche Numerierung) wie RAID, aber nur eine redundante Platte: Parität Detektion (nicht Korrektur) von BitFehlern: Ausfall einer Platte: Position bekannt, Korrektur möglich RAID RAID Strip Strip Strip Strip Strip Strip Strip Strip P Strip Strip 5 Strip 6 Strip 7 Strip Strip 5 Strip 6 Strip 7 P 7 Strip 9 Strip Strip Strip 9 Strip Strip P 8 Strip: Folge von k aufeinanderfolgenden Sektoren aufeinanderfolg. Strips auf verschiedenen Platten Einlesen / Schreiben großer mengen: parallel von / auf mehreren Platten, kleinere Zugriffszeit (nicht bei Anforderung einzelner Sektoren) höhere Ausfallwahrscheinlichkeit RAID mit Paritätsplatte Strips mit m Bytes: mbyte Paritätswort (XOR) Ausfall einer Platte: Rekonstruktion möglich Änderungen verlangen Konsultation aller Platten zur Berechnung der Parität Paritätsplatte stark belastet RAID RAID 5 Strip Strip Strip Strip Strip Strip 5 Strip 6 Strip 7 Strip 9 Strip Strip Strip Strip Strip Strip Strip Strip 5 Strip 6 Strip 7 Strip 9 Strip Strip Strip Strip Strip Strip P P 7 Strip Strip 5 Strip 6 Strip 7 Strip 9 P 8 Strip Strip Strip P 5 Strip 5 Strip Strip wie RAID, aber alle Platten dupliziert jeder Strip auf Platten geschrieben: Schreibgeschwindigkeit unverändert Lesen: höhere Geschwindkeit durch Auswahl der am wenigsten ausgelasteten Platte P 69 Strip 6 Strip 7 Strip 9 Verbesserung von RAID : Paritätsinformation verteilt Last verteilt auf mehrere Platten Ausfall einer Platte: Kopie springt ein RAID RAID 6 Wort Strip Strip Strip Strip P Q Wort Strip Strip 5 Strip 6 P 7 Q 7 Strip 7 Wort Strip 9 P 8 Q 8 Strip Strip Bit Bit synchronisierte Platten (Köpfe: gleicher Sektor, gleiche Spur) ein Bit des (gesamten) Wortes pro Platte Wort: wort und HammingCode Erkennen und Beheben BitFehler Erkennen BitFehler Aufwand: # redundante Platten ~ log(platten)! selten benutzt Bit Hamming Bit Bit Hamming Bit Hamming Bit Strip P 5 Q 5 Strip Strip Strip 5 zwei Fehlercodes P und Q berechnet auf verschiedenen Platten gespeichert Kompensation des Ausfalls von Platten möglich

4 Hash Tabelle Verwaltung des s zwischen Dateisystem und Zwischenspeicher für Blöcke (Sektoren) Schreiben und Lesen durch den Cache begrenzte Größe Verfahren für Verwaltung (ähnlich wie Seitenverwaltung) vorausschauendes Einlesen von Blöcken in Cache (ähnelt Prepaging bei Seitenverwaltung) Verwaltung des s Verwaltung des Verfahren ähneln denen der Seitenverwaltung: LRU, LFU Unterschied: große Gesamtzahl von Blöcken, nicht in Tabelle verwaltbar CacheBlock Liste für Auslagerungs verfahren (sortiert) HashTabellen # Block = Schlüssel HashFunktion: Schlüssel => Index (gleichverteilt!) (kurze) Liste von Blöcken pro Eintrag: durchsuchen Verwaltung des s schmutzige Blöcke Inhalt im Cache verschieden von Inhalt auf Platte mit dem Rückschreiben bis zum Shutdown warten? Absturz: Aktualisierungen verloren CacheKapazität begrenzt Rückschreiben schmutziger Blöcke: Cache fast voll und neue Blöcke benötigt, Anzahl schmutziger Blöcke > Grenze bdflush Block im Cache seit langer Zeit schmutzig kupdated: Test alle 5 Sec: älter als Sek.? Funktionen (Nutzung in Programmen): sync(), fsync(int fd), fdatasync(int fd); Verwaltung des s viele Zugriffe sequentiell: Vorauslesen aufeinanderfolgende Blöcke ohne Vorauslesen: Anfrage Block : Block von Platte einlesen, Anfrage Block : Block von Platte einlesen,... mit Vorauslesen (readahead): Anfrage Block : Block,, einlesen Anfrage Block : aus Cache bedient... schneller intelligentes Verfahren: wahlfreier Zugriff auf Datei: nicht vorauslesen! Verwaltung des s

5 Verwaltung des s Zusammen hängende Belegung Verfahren der BlockBelegung zusammenhängende Blöcke auf der Platte Datei: erster Block, Anzahl der Blöcke sequentieller Zugriff effizient wahlfreier Zugriff effizient: einfache Bestimmung der BlockNummer externe Fragmentierung Kompaktierung notwendig Datei wächst: verschiebungen Datei A Datei B Datei C frei erster HighLevelFormatierung nach LowLevelFormatierung Partition wird je nach Dateisystem strukturiert MBR Partition Partition Partition BootSektor Superblock Festplatte Dateisystem Verwaltung und Dateien/Verzeichnisse BootSektor evtl. zu Dateisystem gehöriges Betriebssystem von Lader im MBR geladen Superblock Informationen zum Dateisystem: Art, freie Blöcke... Verwaltung und Dateien/Verzeichnisse Belegungsinformation, eigentliche getrennt oder miteinander vermischt Verwaltung des s Verkettete Blöcke Verfahren der BlockBelegung Datei A Belegungs tabelle Datei B am Anfang eines blocks: Verweis auf nächsten Block (Index) Datei: Verweis auf ersten Block keine externe Fragmentierung Wachsen von Dateien kein Problem sequentieller Zugriff langsamer: nicht aufeinanderfolgend wahlfreier Zugriff: aufwendig Liste muss durchsucht werden, Liste nicht separat einlesbar! Datei C frei erster Verfahren der BlockBelegung Datei A Datei B Verwaltungsinformation von trennen kann zu Beginn in Hauptspeicher geladen werden wahlfreier Zugriff ist zwar Suche, aber im Hauptspeicher schnell Belegungstabelle: enthält alle FestplattenBlöcke viel Speicherplatz, muss als ganzes im Speicher liegen Datei C frei erster Verfahren der BlockBelegung Organisation des Dateisystems: Wie sind blöcke auf der Festplatte den Dateien zugeordnet? Varianten zusammenhängende Belegung verkettete Blöcke Belegungstabelle indizierte Belegung Indizierte Belegung INode INode Datei A Verfahren der BlockBelegung Datei B keine Tabelle, Verweise auf blöcke einer Datei über "IndexNodes" (INodes) Hinzunahme weiterer INodes falls notwendig auch getrennt von gespeichert nur INodes der benutzten Datei in den Speicher laden Datei C frei erster 5

6 Verwaltung des s Verwaltung des s Verzeichnisse Pfad name: hierarchisches Dateisystem etc moeller texte daten mail / etc home usr home moeller meier schulze meier /home/moeller/daten Wurzelverzeichnis: in fester Position in der Partition usr schulze gebräuchlichstes LinuxDateisystem (mittlerweile: Ext, kompatibel zu, mit Journaling) ähnelt UnixDateisystem Verwaltung von blöcken über INodes UnixDateisystem: Bereich für INodes, Bereich für : Unterteilung in Blockgruppen, Bereich für INodes, Bereich für in jeder Gruppe INodes und benachbart, versucht, für eine Datei Blöcke in derselben Gruppe zu belegen, Kopfbewegungen vermindert Verzeichnisse Verzeichnis: Beziehung zwischen Dateinamen und blöcken ein Eintrag eines Verzeichnisses: Dateiname und BlockInformation: erster block und Länge (zshg. Beleg.) erster block (verkettete Blöcke) erster Eintrag Belegungstabelle erster INode evtl. Dateiattribute (Unix: im INode!) Unix: Verzeichnis ist eine Datei, haben spezielle Struktur (VerzeichnisEinträge) HardLinks Verzeichnisse Unix: zwei Verzeichniseinträge verweisen auf selben INode selbe unter zwei Dateinamen erreichbar Zähler: wieviele Verweise? (Datei erst bei Löschen des letzten Verweises löschen) SoftLinks Unix: Dateien, die den Pfadnamen einer Datei enthalten BootBlock BlockGruppe BlockGruppe Super BlockGruppen Bitmap der Block Deskriptor blöcke # INodes # blöcke # freie INodes # freie Blöcke gesamtes Dateisystem! Kopie! "Preallocation" # INodes # blöcke # freie INodes # freie Blöcke BlockGruppe! Bitmap der INodes INode Tabelle 8 Byte pro INode: Art der Datei Eigentümer GruppenEig. Zugriffsrechte Zugriffszeit HardLinkCntr. Dateigröße BlockVerweise zusätzliche Blöcke für jede Datei reserviert, bevor diese benötigt werden verhindert Fragmentierung (verstreutes Abspeichern von Dateien) schnellerer Zugriff blöcke Größe bei Erzeugung wählbar:. bis.96 klein: geringe interne Fragm. groß: effizienterer transfer kein Zähler, können "ins Leere" verweisen 6

7 INodes Information: Art der Datei, Eigentümer... Feld von 5 BlockVerweisen direkte Verweise einfach indirekter Verweis zweifach indirekter Verweis dreifach indirekter Verweis indirekte Verweise: Verweis auf "IndexBlock" mit Verweisen Verwaltung des s Ext INode dreifach indirekt direkt einfach indirekt zweifach indirekt Block Dateisystem ist "konsistent": jeder block von Datei benutzt oder frei alle Dateien und Verzeichnisse durch Durchmustern des Baumes erreichbar Absturz während Schreiboperationen: Dateisystem kann inkonsistent werden nicht damit weiterarbeiten! falls nicht ordnungsgemäß "abgemountet": Konsistenztest mit Reparaturversuch beim Mounten Index Block dauert lange Ext Art der Datei & Zugriffsrechte: 6 Bit im INode Eigen tümer setuid setgid Art der Datei = Socket = symbolischer Link = gewöhnliche Datei = Blockgerät = Verzeichnis = Zeichengerät = FIFO (named pipe) r Zugriffsrechte Gruppe Welt w x r w x r w x Konsistenz bewahren, Zeit für Tests und Reparaturen vermindern Entwicklung von "journaling file systems" Ext, kompatibel zu spezieller Bereich auf Festplatte: "Journal" ("Log") Änderungen nicht direkt auf Dateisystem schreiben. Zwischenspeicherung im Journal erst wenn abgeschlossen. Übertragung aus Journal in Dateisystem erst wenn abgeschlossen. Löschen der JournalEinträge Verzeichnisse = Dateien mit besonderem Inhalt (VerzeichnisEinträge) INode, Name; auch: Art der Datei INodeNr. Byte Länge des Eintrags Länge des Dateinamens Typ (=Datei, =Verz.,...). \ \ \.. \ \ h o m e \ \ \ u s r \ o l d f i l e \ s b i n gelöscht aus Effizienzgründen: Vielfache von Bytes Phase Puffer Cache Phase Puffer Cache Booten Puffer Cache,, Crash bei Ext Transaktion ok ok ok ok ok ok ok ok ok Transaktion vollständig im Journal Transaktion vollständig im Dateisystem, Crash bei 7

8 Ext jede Modifikation des Dateisystems: mehrere, zusammengehörige Operationen block an Datei anhängen: freien Block im Dateisystem finden freien Block in Bitmap als belegt markieren Verweis im INode eintragen ggf. Verweise in IndexBlöcken eintragen Inhalt des blocks schreiben INode aktualisieren: Dateilänge, Zugriffszeit verändert "Meta" und zu einer Transaktion zusammengefasst Transaktion ist atomar: ganz oder gar nicht selbe rufe für alle siehe Skript oft gleichnamige Kommandos wie bei E/A: open(), read() Mounten: mount(), umount() Informationen über DS: sysfs(), statfs() Verzeichnisse: mkdir(), getdents() SoftLinks: readlink() Aktuelles Arbeitsverzeichnis: chdir(), getcwd() Eigentümer, Zugriffsrechte: chown(), chmod() Spezielle Operationen: fcntl() "Journal" Ext JournalingVarianten von Ext: und Metadaten "durch" das Journal langsam, aber sicher "Ordered" nur Meta durch das Journal direkt auf die Platte vor den Meta schreiben keine fehlerhaften Inhalte "Writeback" nur Meta durch das Journal nur Konsistenz gesichert, Inhalte evtl. falsch Verwaltung des s Verwaltung des s Mounten jedes Dateisystem: eigenes Wurzelverzeichnis Mounten: "Einhängen" anderer an beliebiger Stelle in einem Dateisystem neuer VerzeichnisBaum, nur eine Wurzel WurzelDateisystem (root file system): beim BootVorgang gemountet (anderes Verfahren) Mounten einheitl. Schnittstelle zu verschiedenen n Linux:, Ext, VFAT (Windows), NTFS (Win NT) Dateisystem A / vor dem Mounten Dateisystem B / "gemeinsames Modell": repräsentiert alle unterstützten eng an UnixDateisystem angelehnt: "hauseigenes" DS mit kleinem Overhead für Transformationen unterstützen! andere DS: z.t. aufwendige Transformation Unix: Verzeichnisse sind Dateien, andere DS nicht erfordert temporäre Erzeug. v. VerzeichnisDateien (im Speicher) usr etc home MountPunkt moeller meier schulze nach dem Mounten / usr etc home moeller meier schulze 8

9 Verwaltung des s z.b. bei Aktuelles Arbeitsverzeichnis Pfadnamen oft sehr lang Abkürzung: relative Pfadnamen beziehen sich auf Arbeitsverzeichnis (current working directory) jeder Prozess eigenes Arbeitsverzeichnis "geerbt" vom ElternProzess Verändern: int chdir(char *path); Abfragen: char *getcwd(char *buf, size_t size); open() ausgewertet int main() { char buf[]; int fd; Aktuelles Arbeitsverzeichnis getcwd(buf, 999); printf("cwd = %s\n", buf); fd = open(".tcshrc", O_RDONLY); printf("fd = %d\n", fd); chdir("/homes/moeller"); fd = open(".tcshrc", O_RDONLY); printf("fd = %d\n", fd); return ; } > cwdtest cwd = /homes/moeller/texte/bielefeld/lehre/ti/skript/tests fd = fd = > 9