Implementierung von Dateisystemen Teil 2 Prof. Dr. Margarita Esponda WS 2011/2012 44
Effizienz und Leistungssteigerung Festplatten sind eine wichtige Komponente in jedem Rechnersystem und gleichzeitig der wichtigste Engpass. Was ist wichtig für eine effiziente Verwendung von Festplatten? - Allokations-Strategie - Verzeichnis-Algorithmen - Datentypen in Verzeichniseintrag - Cluster-Größe - Attribute 45
Disk-Caching I/O ohne unifizierten Buffer-Cache - Solaris, Linux, Windows NT, 2000, XP 46
Disk-Caching Probleme - Prozesse mit vielen Ein-/Ausgabe- Operationen. priority paging Grenzen für die maximale Anzahl von Seiten des Dateisystems und für die maximale Anzahl von Prozessor-Seiten. unifizierter Buffer-Cache - Unix, Linux 47
Schreibe-Operation Kann synchron oder asynchron sein Synchrone Schreibe-Operation Findet genau in der Reihenfolge statt, in der das Datei- Subsystem die Operationen bekam. Die aufrufende Routine wartet, bis die Schreibe-Operation den Plattentreiber erreicht hat. 48
Schreibe-Operation Asynchrone Schreibe-Operation Die Daten werden im Cache gespeichert, und die Kontrolle geht zurück an die aufrufende Routine. Ein explizites Flag wird in das open-systemcall gesetzt, um synchrone Schreibe-Operationen zu erzwingen. Das ist oft sinnvoll für die Konsistenz der Information in Datenbanken. 49
Scheduling-Algorithmen Wenn Daten in das Dateisystem geschrieben werden, werden diese im Puffer zwischengespeichert. Der Plattentreiber kann die Schreibe-Operationen nach verschiedene Kriterien sortieren, um die mechanischen Bewegungen des Schreibe-Kopfs auf der Festplatte zu minimieren. 50
Wiederherstellung (Recovery) Ein Systemabsturz verursacht - Inkonsistenzen zwischen Verzeichnisstrukturen, Verweise auf freie Blöcke und Verweise auf freie FCBs Feststellung von Inkonsistenzen Bei Veränderungen von Metadaten des Dateisystems kann ein Bit gesetzt werden, das dann zurückgesetzt wird, wenn die Veränderungen erfolgreich beendet worden sind. 51
Wiederherstellung (Recovery) Konsistenzprüfung Ein Systemprogramm (fsck in UNIX oder chkdsk in Windows) vergleicht Daten der Verzeichnisstrukturen mit der Belegung der Datenblöcke auf der Festplatte und versucht, Inkonsistenzen zu beheben. Probleme - nicht alle Fehler können korrigiert werden - besonders schwer ist es, Fehler in Indextabellen zu beheben - UNIX-cache-Verzeichnisse nur für Lese-Operationen. - Schreibe-Operationen, die Speicherbelegung oder Veränderungen von Metadaten verursachen, werden nur synchron durchgeführt. 52
Konsistenz-Prüfung Was kann alles passieren? Ein Block ist verloren gegangen Bedeutet Speicherplatz-Verschwendung Die Liste der freie Blöcke muss aktualisiert werden Ein Datenblock ist doppelt als frei ausgewiesen Die Liste der freie Blöcke muss korrigiert werden Ein Block kommt in zwei Dateien vor sehr problematischer Fall Eine Datei wird gelöscht, damit der Block als frei gekennzeichnet wird der Block wird kopiert, damit beide Dateien einen eigenen Block haben. Der Benutzer muss benachrichtig werden, da eventuell keine von beide Korrekturen richtig ist. 53
Backup Automatische Datensicherung auf redundante Speichermedien Wiederherstellung der Daten anhand der Backup-Kopien nach Festplattencrash und anderen Katastrophen ist wichtig Zwei Möglichkeiten: - Vollständige Sicherung Alle Daten werden auf Backup-Medium kopiert - Inkrementelle Sicherung (z.b.) Tägliche Sicherung der Daten, die sich in den letzten 24 Stunden verändert haben. Sicherung (etwa am Wochenende) der Daten, die in der Woche verändert worden sind. Die Daten werden erst nach einem Zyklus überschrieben. Von Zeit zu Zeit Vollständige Sicherung, die nicht überschrieben wird. 54
Log-basierte Dateisysteme LFS Log-structured File System Motivation Festplattenzugriffszeit ist ein Leistungsengpass. Eine große Anzahl von Lesezugriffen können direkt auf den Platten-Cache stattfinden. Nach vielen Lesezugriffen folgen leider Schreibezugriffe meistens in kleinen Stückchen. Schreibezugriffe sind sehr ineffizient. 55
Grundlegende Idee ist: Log-basierte Dateisysteme LFS Log-structured File System die gesamte Platte als Log zu strukturieren alle Schreibaufträge werden zuerst im Arbeitsspeicher gepuffert in regelmäßigen Abständen in Form eines einzelnen Segments - unter Ausnutzung der vollen Festplattenbandbreite auf die Platte geschrieben das Segment kommt an das Ende des Logs Thread-Cleaner entfernen von hinten alte Segmente und legen aktive Daten in den Speicher, damit diese erneut mit dem nächsten Segment beschrieben werden. Die Buchhaltung ist nicht trivial, I-Nodes, I-Node-Map müssen ständig aktualisiert werden. 56
Log-basierte Dateisysteme In zeitlichen Abständen oder nach bestimmter Segmentgröße Ein Segment (I-Nodes + Verzeichnis + Dateiblöcke) wird im das Logbuch aufgeschrieben Segmentanfang Zusammenfassung des Segment-Inhaltes I-Nodes sind verstreut über das gesamte Logbuch I-Node-Map für schnellere Auffindung der I-Nodes Nach Auffinden des I-Nodes Auslesen der Blöcke wie gewohnt 57
Log-basierte Dateisysteme LFS Log-structured File System Erstaunlich gute Ergebnisse Interessantes Konzept Leider sehr inkompatibel mit den existierenden Dateisystemen nicht sehr weit verbreitet Der Grundgedanke kann bei konventionellen Dateisystemen verwendet werden. Robustheit gegenüber Fehler Protokoll (Log) über Aktionen wird geführt Journaling-Dateisysteme 58
Motivationsbeispiel: Löschen einer Datei: Journaling-Dateisysteme 1. Löschen aus Ihrem Verzeichnis 2. Eintragen des I-Node in den Pool der freien I-Nodes 3. Eintragen aller Plattenblöcke in den Pool der freien Plattenblöcke Was passiert, wenn das System nach Schritt 1 abstürzt? 1. Eintragen des I-Node in den Pool der freien I-Nodes 2. Löschen aus Ihrem Verzeichnis 3. Eintragen aller Plattenblöcke in den Pool der freien Plattenblöcke Was passiert, wenn das System nach Schritt 1 abstürzt? 59
Journaling-Dateisysteme Dateilöschen in Journaling-Dateisystem 1. Ein Log-Eintrag mit allen drei aufgelisteten Aktionen wird auf die Platte geschrieben 2. Der Log-Eintrag wird von der Platte zurückgelesen, um Integrität zu überprüfen 3. Dann beginnt die Ausführung der Operationen 4. Wenn alles erfolgreich durchgeführt wurde, wird der Log- Eintrag gelöscht. Die Operationen im Log müssen idempotent sein. D.h. beliebige Wiederholungen dürfen keine Fehler verursachen. 60
Log-basierte Dateisysteme LFS Log-structured File System Thread Cleaner durchsucht das Logbuch und räumt es auf liest das erste Segment des Logbuchs aus und vergleicht die I- Nodes mit dem I-Node-Map noch aktive Elemente werden in den Speicher geladen und bei der nächsten Aktualisierung auf die Platte geschrieben Eintragungen bereits gesicherter Elemente werden gelöscht Zirkulärer Puffer Schreiber fügt neue Segmente vorne an Cleaner entfernt alte Segmente hinten Ständige Aktualisierung der I-Nodes und des I-Node-Map notwendig 61
Journaling-Dateisysteme Log-aufzeichnende Dateisysteme behandeln jede Aktualisierung des Dateisystems als eine Transaktion. Alle Transaktionen werden zuerst in eine Log-Datei geschrieben. Eine Transaktion gilt als abgeschlossen, wenn sie in die Log-Datei geschrieben wurde. Das Dateisystem ist zu diesem Zeitpunkt noch nicht aktualisiert. Danach wird das Dateisystem asynchron geändert. Nach Vollendung der Aktualisierung wird die Transaktion vom Log entfernt. Bei Systemabsturz müssen noch alle im Log eingetragenen Transaktionen durchgeführt werden. 62
Journaling-Dateisysteme NTFS New Technology File System Microsoft - Metadaten-Journaling ext3 Linux - automatische Fehlerkorrektur journal Geplante Veränderungen von Metadaten und Dateiinhalten werden gespeichert. ordered nur Metadaten-Veränderungen werden gespeichert Aktualisierungen werden aber erst nach dem Veränderungen der Dateiinhalte abgeschlossen. writeback nur Veränderung der Metadaten werden gespeichert Veränderungen der Dateiinhalte können auch nach der Aktualisierung des Journals stattfinden. 63