7.2 Journaling-File-Systems (4)

Ähnliche Dokumente
Alle Metadaten werden in Dateien gehalten

6.2 Master-File-Table (3)

3 Master File Table (2)

Alle Metadaten werden in Dateien gehalten

Bedeutung der Metadateien. Alle Metadaten werden in Dateien gehalten. NTFS ist ein Journal-File-System

4 LCN VCN LCN Extents werden außerhalb der MFT gespeichert

Basiseinheit Cluster. Rückgrat des gesamten Systems. Basiseinheit Strom. entsprechender Eintrag für

Betriebssysteme (BS) Dateisysteme. Olaf Spinczyk.

Betriebssysteme, Rechnernetze und verteilte Systeme 1 (BSRvS1) Dateisysteme.

Fehlertoleranz. Betriebssysteme. Hermann Härtig TU Dresden

Betriebssysteme (BS)

Betriebssysteme (BS)

Grundlagen der Informatik für Ingenieure I. Background: 4. Dateisystem/Betriebssystemschnittstelle

Einführung in Dateisysteme

Lennard Main IAV2/2010 RDF Nürnberg

NAS und RAID zu Hause

Systeme 1. Kapitel 3 Dateisysteme WS 2009/10 1

Speichergeräte und -verbünde

Dateisysteme. Erweiterte Anforderungen an Speicher

Implementierung von Dateisystemen

F Implementierung von Dateien

Lösung von Übungsblatt 6

Wegweiser. Gegenstand und Begriffe. Dateien und Verzeichnisse. Implementationsaspekte. Ablauf eines Dateizugriffs. Plattenspeicher

SATA - SAS. Bandbreite ist nicht Performance. MB/s und GB/s sind wichtig für: Backbone Netzwerke Data-Streaming Disk-to-Disk Backup

Sektoraufbau. Überblick. Zonen. Datenblätter von drei Beispielplatten. Häufigstes Medium zum Speichern von Dateien

R.A.I.D. Redundant Array of Inexpensive ( oder Independent ) Disks Redundante Reihe billiger (oder unabhängiger ) Laufwerke

9.3 Fehlerbehandlung

Betriebssysteme 1. Thomas Kolarz. Folie 1

Journaling-Dateisysteme

Felix Großkreuz Philipps-Universität Marburg Fachbereich 12 Seminar IT-Administration SS2011

RAID. Name: Artur Neumann

Einführung in parallele Dateisysteme am Beispiel von GPFS. Proseminar von Jakob Schmid im SS 2014

Systemanforderungen Manufacturing Execution System fabmes

Wiederholung: Realisierung von Dateien

Das Dateisystem. ZFS im Detail. Florian Hettenbach

Betriebssysteme K_Kap11C: Diskquota, Raid

Betriebssysteme. Tutorium 12. Philipp Kirchhofer

Paragon Festplatten Manager 2010 Corporate Solutions:

Datenbanken Konsistenz und Mehrnutzerbetrieb III

Verlässliche Systeme

Lösung von Übungsblatt 3

Speicher- und Dateisysteme. Vortragender: Christian Rosenberg

Desaster Recovery und mehr. Philip Rankers Product Manager

STORAGE. Martin Schmidt Berufsschule Obernburg

Fehlerbehandlung (Recovery)

Vorlesungsinhalt. Recovery. G. Specht: Datenbanksysteme Kapitel XI. Vorlesung Datenbanksysteme Univ.-Prof. Dr.

Datensicherung. Strategie und Tools

9. Dateisysteme. Betriebssysteme Harald Kosch Seite 164

Einführung in Dateisysteme

Trügerische Datensicherung: Horrorszenario RAID-Ausfall

Die allerwichtigsten Raid Systeme

Moderne RAID Technologie

Michael Göhler. Linux User Group Erding. 25. September 2013

[W, T4, D, 15] [start_transaction, T3] [W, T3, C, 30] [W, T4, A, 20] [commit, T4] [W, T2, D, 25] System Crash

Laufwerke unter Linux - Festplatten - - USB Sticks - September 2010 Oliver Werner Linuxgrundlagen 1

Geräteverwaltung: Einführung

Verteilte Betriebssysteme

Fehlerklassifikation 1. Lokaler Fehler in einer noch nicht festgeschriebenen. Wirkung muss zurückgesetzt werden R1-Recovery

Kapitel 7 Physische Datenorganisation. Speicherhierarchie Hintergrundspeicher / RAID B-Bäume Hashing R-Bäume. Register. Cache.

Das ext2-dateisystem

Fehlerbehandlung (Recovery)

Transkript:

7.2 Journaling-File-Systems (4) Log vollständig (Ende der Transaktion wurde protokolliert und steht auf Platte): Redo der Transaktion: alle Operationen werden wiederholt, falls nötig Log unvollständig (Ende der Transaktion steht nicht auf Platte): Checkpoints Undo der Transaktion: in umgekehrter Reihenfolge werden alle Operation rückgängig gemacht Log-File kann nicht beliebig groß werden gelegentlich wird für einen konsistenten Zustand auf Platte gesorgt (Checkpoint) und dieser Zustand protokolliert (alle Protokolleinträge von vorher können gelöscht werden) ähnlich verfährt NTFS, wenn Ende des Log-Files erreicht wird. jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.2 Journaling-File-Systems XIII/41

7.2 Journaling-File-Systems (5) Ergebnis eine Transaktion ist entweder vollständig durchgeführt oder gar nicht Benutzer kann ebenfalls Transaktionen über mehrere Dateizugriffe definieren, wenn diese ebenfalls im Log erfasst werden keine inkonsistenten Metadaten möglich Hochfahren eines abgestürzten Systems benötigt nur den relativ kurzen Durchgang durch das Log-File. Nachteile Alternative chkdsk benötigt viel Zeit bei großen Platten ineffizienter, da zusätzliches Log-File geschrieben wird Beispiele: NTFS, EXT3, EXT4, ReiserFS jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.2 Journaling-File-Systems XIII/42

7.3 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Daten 1 Daten 2 Beispiel LinLogFS: Superblock einziger nicht ersetzter Block jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.3 Copy-on-Write- / Log-Structured-File-Systems XIII/43

7.3 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Daten 1 Daten 2 Daten 2 Beispiel LinLogFS: Superblock einziger nicht ersetzter Block jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.3 Copy-on-Write- / Log-Structured-File-Systems XIII/44

7.3 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Daten 1 Daten 2 Daten 2 Beispiel LinLogFS: Superblock einziger nicht ersetzter Block jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.3 Copy-on-Write- / Log-Structured-File-Systems XIII/45

7.3 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Daten 1 Daten 2 Daten 2 Beispiel LinLogFS: Superblock einziger nicht ersetzter Block jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.3 Copy-on-Write- / Log-Structured-File-Systems XIII/46

7.3 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Daten 1 Daten 2 Daten 2 Beispiel LinLogFS: Superblock einziger nicht ersetzter Block jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.3 Copy-on-Write- / Log-Structured-File-Systems XIII/47

7.4 Copy-on-Write- / Log-Structured-File-Systems Alternatives Konzept zur Realisierung von atomaren Änderungen Alle Änderungen im Dateisystem erfolgen auf Kopien Der Inhalt veränderter Blöcke wird in einen neuen Block geschrieben Superblock Superblock Daten 1 Daten 2 Daten 1 Daten 2 Daten 2 Beispiel LinLogFS: Superblock einziger statischer Block (Anker im System) jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.4 Copy-on-Write- / Log-Structured-File-Systems XIII/48

7.4 Copy-on-Write- / Log-Structured-File-Systems (2) Vorteile Gute Schreibeffizienz - vor allem bei Log-Structured-File-Systems Datenkonsistenz bei Systemausfällen ein atomare Änderung macht alle zusammengehörigen Änderungen sichtbar Schnappschüsse / Checkpoints einfach realisierbar Nachteile Erzeugt starke Fragmentierung, die sich beim Lesen auswirken kann Performanz nur akzeptabel, wenn Lesen primär aus Cache erfolgen kann oder Positionierzeiten keine Rolle spielen (SSD) Unterschied zwischen Copy-on-Write- und Log-Structured-File-Systems Log-Structured-File-Systems schreiben kontinuierlich an dasende des belegten Plattenbereichs und geben vorne die Blöcke wieder frei (kontinuierlicher Log) Beispiele: Log-Structured: LinLogFS, BSD LFS Copy-on-Write: ZFS, Btrfs (Oracle) jk SP (SS 2015, C-XIII) 7 Dateisysteme mit Fehlererholung 7.4 Copy-on-Write- / Log-Structured-File-Systems XIII/49

8 Fehlerhafte Plattenblöcke Blöcke, die beim Lesen Fehlermeldungen erzeugen z.b. Prüfsummenfehler Hardwarelösung Platte und Plattencontroller bemerken selbst fehlerhafte Blöcke und maskieren diese aus Zugriff auf den Block wird vom Controller automatisch auf einen gesunden Block umgeleitet Softwarelösung File-System bemerkt fehlerhafte Blöcke und markiert diese auch als belegt jk SP (SS 2015, C-XIII) 8 Fehlerhafte Plattenblöcke 7.4 Copy-on-Write- / Log-Structured-File-Systems XIII/50

9 Datensicherung Schutz vor dem Totalausfall von Platten z. B. durch Head-Crash oder andere Fehler 9.1 Sichern der Daten auf Tertiärspeicher Bänder, Bandroboter mit vorgelagertem Platten-Cache WORM-Speicherplatten (Write Once Read Many) Sichern großer Datenbestände Total-Backups benötigen lange Zeit Inkrementelle Backups sichern nur Änderungen ab einem bestimmten Zeitpunkt Mischen von Total-Backups mit inkrementellen Backups jk SP (SS 2015, C-XIII) 9 Datensicherung 9.1 Sichern der Daten auf Tertiärspeicher XIII/51

9.2 Einsatz mehrerer (redundanter) Platten Gestreifte Platten (Striping; RAID 0) Daten werden über mehrere Platten gespeichert 0 3 6 9 1 4 7 10 2 5 8 11 Datentransfers sind nun schneller, da mehrere Platten gleichzeitig angesprochen werden können Nachteil keinerlei Datensicherung: Ausfall einer Platte lässt Gesamtsystem ausfallen jk SP (SS 2015, C-XIII) 9 Datensicherung 9.2 Einsatz mehrerer (redundanter) Platten XIII/52

9.2 Einsatz mehrerer redundanter Platten (2) Gespiegelte Platten (Mirroring; RAID 1) Daten werden auf zwei Platten gleichzeitig gespeichert 0 1 2 3 0 1 2 3 Implementierung durch Software (File-System, Plattentreiber) oder Hardware (spez. Controller) eine Platte kann ausfallen schnelleres Lesen (da zwei Platten unabhängig voneinander beauftragt werden können) Nachteil doppelter Speicherbedarf wenig langsameres Schreiben durch Warten auf zwei Plattentransfers Verknüpfung von RAID 0 und 1 möglich (RAID 0+1) jk SP (SS 2015, C-XIII) 9 Datensicherung 9.2 Einsatz mehrerer (redundanter) Platten XIII/53

9.2 Einsatz mehrerer redundanter Platten (3) Paritätsplatte (RAID 4) Daten werden über mehrere Platten gespeichert, eine Platte enthält Parität A 1 B 1 A 2 B 2 A 3 B 3 C 1 D 1 C 2 D 2 C 3 D 3 A P B P C P D P Paritätsblock enthält byteweise XOR-Verknüpfungen von den zugehörigen Blöcken aus den anderen Streifen eine Platte kann ausfallen schnelles Lesen prinzipiell beliebige Plattenanzahl (ab drei) jk SP (SS 2015, C-XIII) 9 Datensicherung 9.2 Einsatz mehrerer (redundanter) Platten XIII/54

9.2 Einsatz mehrerer redundanter Platten (4) Nachteil von RAID 4 jeder Schreibvorgang erfordert auch das Schreiben des Paritätsblocks Erzeugung des Paritätsblocks durch Speichern des vorherigen Blockinhalts möglich: P neu = P alt B alt B neu (P=Parity, B=Block) Schreiben eines kompletten Streifens benötigt nur einmaliges Schreiben des Paritätsblocks Paritätsplatte ist hoch belastet jk SP (SS 2015, C-XIII) 9 Datensicherung 9.2 Einsatz mehrerer (redundanter) Platten XIII/55

9.2 Einsatz mehrerer redundanter Platten (5) Verstreuter Paritätsblock (RAID 5) Paritätsblock wird über alle Platten verstreut A 1 B 1 B P A 2 B 2 A 3 C 1 D P C P D 1 C 2 D 2 A P A 3 B 3 C 3 D 3 zusätzliche Belastung durch Schreiben des Paritätsblocks wird auf alle Platten verteilt heute gängigstes Verfahren redundanter Platten Vor- und Nachteile wie RAID 4 Doppelte Paritätsblöcke (RAID 6) ähnlich zu RAID 5, aber zwei Paritätsblöcke (verkraftet damit den Ausfall von bis zu zwei Festplatten) wichtig bei sehr großen, intensiv genutzten RAID-Systemen, wenn die Wiederherstellung der Paritätsinformation nach einem Plattenausfall lange dauern kann jk SP (SS 2015, C-XIII) 9 Datensicherung 9.2 Einsatz mehrerer (redundanter) Platten XIII/56