Verlässliche Verteilte Systeme 1. Prof. Dr. Felix Gärtner. Teil 6: RAID-Systeme

Transkript

1 Verlässliche Verteilte Systeme 1 Angewandte IT-Robustheit und IT-Sicherheit Vorlesung im Wintersemester 2004/2005 Prof. Dr. Felix Gärtner Teil 6: RAID-Systeme Lehr- und Forschungsgebiet Informatik 4, RWTH Aachen, 1

2 Ankündigungen Vorlesung am Donnerstag, fällt leider aus 2

3 Übersicht Bisher: Hardware-Fehlertoleranz, Zuverlässigkeitsmetriken, Backups Jetzt: Hochverfügbare Speicherlösungen RAID = redundant arrays of inexpensive/independen disks Redundante Festplatten zur Erhöhung der Performanz und Ausfallsicherheit Methode der Fehlerbehandlung, die sich in der Praxis (fast bis in den Heimbereich) durchgesetzt hat Übersicht: Definition und geschichtliche Entwicklung RAID level RAID Produkte MTTF von RAID Dank an Michael Becher für die Grundlage der Folien Einige Folien übernommen aus Vorlesung FTCS von Prof. Haverkort im Sommer 2002 an der RWTH 3

4 Definition RAID Ursprüngliche Abkürzung: redundant array of inexpensive disks Neuerdings (lässt sich besser vermarkten): redundant array of independent disks Idee: Durch Zusammenschluss mehrerer Festplatten zu einem (logischen) Laufwerk... Kosten senken (durch Verwendung billiger Festplatten) Leistung steigern (Parallelisierung) Zuverlässigkeit erhöhen (durch Redundanz) Prägende Veröffentlichung: David A. Patterson, Garth Gibson, Randy H. Katz: A Case for Redundant Arrays of Inexpensive Disks (RAID), ACM SIGMOD, Chicago, June

5 Idee von RAID logisches Laufwerk, Performanzsteigerung, Zuverlässigkeitssteigerung Fehlererkennung zur Wartung/Wiederherstellung 5

6 Geschichtliches Bereits 1978 U.S.-Patent System for recovering data stored in failed memory unit von N. K. Ouchi 1981 IBM mit dem ersten Produkt 1988 Prägung des Begriffes durch Patterson, Gibson, Katz Ziel: keine Produkte beschreiben sondern den wissenschaftlichen Unterbau liefern Beschreibung von sechs RAID level (0-5) In der Folge: zahlreiche inkompatible Produkte mit Bezeichnung RAID 1992: Gründung des RAID Advisory Board (RAB) Zusammenschluss von acht Firmen (heute über 50), die RAID- Produkte herstellen Ziel: Standardisierung, Zertifizierung und Förderung von RAID- Technologie 6

7 Geschichtliches (Forts.) 1993: erste Ausgabe des RAIDbook des RAB Grundlage der Zertifizierung 1994: Vielzitierter Artikel, der die Entwicklungen zu RAID zusammenfasst Peter M. Chen, Edward K. Lee, Garth A. Gibson, Randy H. Katz, David A. Patterson: RAID: High-Performance, Reliable Secondary Storage. ACM Computing Surveys, 26(2), pp , June /1997: Einführung der RAB EDAP-Klassifizierung Neue Terminologie nach der Konfusion der RAID level Heute: Webseite des RAB veraltet, nicht mehr wirklich erreichbar wenige offiziell nach EDAP zertifizierte Produke wenige RAID level, die sich durchgesetzt haben (dann aber einigermaßen konsistent bezeichnet werden) 7

8 Motivation von RAID Beobachtungen: Geschwindigkeit der CPUs verdoppelt sich pro Jahr Speicherdichte der Festplatten verdoppelt sich pro Jahr Zugriffsgeschwindigkeit der Festplatten erhöht sich kaum Schlussfolgerung: mehrere Festplatten parallel verwenden Aber: Verwendung mehrerer (nicht-redundanter) Festplatten verschlechtert die Zuverlässigkeit (MTTF/N) Schlussfolgerung: Festplatten redundant auslegen aber wie? 8

9 Originale RAID level RAID level 0: Verteilung der Datenblöcke über mehrere Festplatten (striping), keine Redundanz RAID level 1: Spiegeln der gesamten Platte auf eine Zweite (Gegenteil von RAID 0) RAID level 2 bis 4: striping mit fehlerkorrigierendem Hamming-Code (parity bits auf separater Platte) RAID level 5: striping, jedoch auch der parity-informationen 9

10 RAID level 0: non-redundant striping keine Datenredundanz, daher eigentlich kein RAID disk striping = folds multiple disk address spaces into a single unified space seen by the host Verteilung der Daten streifenweise auf alle Laufwerke Beispiel für N=2: 10

11 Striping-Varianten fine-grain striping (feine Verteilung): Streifen (strip): 1 Byte bis zu 1 Sektor bei N Platten enthält jede Platte 1/N alle Datenblöcke Vorteile: Datentransferrate erhöht sich um Faktor N (paralleles Lesen und Schreiben) Last auf den Platten ist gleichverteilt Nachteil: ein einziger Plattenfehler ist katastrophal MTTF reduziert sich um Faktor 1/N coarse-grain striping (grobe Verteilung): Datenblöcke werden im Round-Robin-Verfahren vergeben für grosse Dateien: Transferrate erhöhen (durch paralleles Lesen/Schreiben unterschiedlicher Teile derselben Datei) automatische Lastverteilung für kleine Dateien: paralleles Lesen/Schreiben mehrerer kleiner Dateien einiger Plattenfehler betrifft nur noch viele Dateien 11

12 RAID level 1: Mirrored Disks Einzelne Platte wird jeweils gespiegelt Beispiel: eine Systemplatte plus ein Spiegel Schreiben: immer auf beide Platten Lesen: von der schnellsten Platte Allgemein: D-fache Spiegelung D-facher Aufwand beim Schreiben D-schnellste Antwortzeit nutzen D-1 Festplattenausfälle können toleriert werden 12

13 RAID level 2: striping mit Hamming Code striping wie RAID 0, aber mit strip size von einem 1 Bit...we can mimic the DRAM solution by bit-interleaving the data across disks of a group and then add enough check disks to detect and correct a single error. (Patterson et al., p. 112) Parity-Information auf separaten Platten 13

14 RAID 2: Bemerkungen besser als RAID 1: bei Verwendung des Hamming Codes für d Datenplatten benötigt man nur log 2 d + 1 parity-platten Beispiel: 10 Arbeitsplatten, 4 parity-platten Problem: bei bitweisem striping sind parallele Zugriffe so gut wie unmöglich Hamming Code verschwendet Redundanz, um die fehlerhafte Platte herauszubekommen Idee: Vergrößerung des strip size 14

15 RAID level 3: singe check disk benutzen den Disk-Controller, um fehlerhafte Platte herauszubekommen striping mit mehr Bits even oder odd parity auf einer einzigen separaten parity- Platte Beispiel: drei Platten, eine parity-platte, even parity: 15

16 RAID level 3: Bemerkungen Schreibzugriff: Daten schreiben, parity berechnen, parity schreiben Lesezugriff: Daten lesen, Controller abfragen alle Platten okay? Ja: fertig Nein: lese parity-platte, um Fehler zu korrigieren Vorteile: nur noch eine parity-platte Performance-Gewinn durch größere strips 16

17 RAID level 4: independent read/write wie RAID 3, strip size ist gleich einem Block Vorteile des coarse grain striping: paralleles Lesen/Schreiben grosser Dateien paralleles Lesen/Schreiben mehrerer kleiner Dateien Nachteil: parity-platte wird zum Flaschenhals Idee: parity verteilen 17

18 RAID level 5: no single check disk parity-informationen sind nun auch verteilt guter Kompromiss aus Redundanz und Performanz viele Implementierungen in der Praxis... RAID 2 bis 4 führen nur zu RAID 5 hin, waren nie ernst gemeinte Alternativen 18

19 weitere RAID level Im Artikel von Chen et al. wird ein weiteres RAID level 6 vorgeschlagen: wie RAID 5 (verteilte parity-informationen) Verwendung von Reed-Salomon parity codes und einer zusätzliche Platte kann den Ausfall von bis zu zwei Festplatten tolerieren einige Kombinationen von RAID levels möglich: RAID level 10 = level 1 + level 0 striping (für Performanz) und mirroring (für Ausfallsicherheit) RAID level 50 = level 5 + level 0 (?) RAID level 51 = level 5 + level 1 Verwirrende Vielfalt an Begriffen... 19

20 Die EDAP-Klassifikation EDAP = extended data availability and protection 1996 vom RAB eingeführte (neue) Klassifikation für RAID- Systeme Liste von 21 Kriterien, von denen jeweils Teilmengen abgedeckt werden müssen Kriterien aufeinander aufbauend (im Gegensatz zu RAID level) Drei Hauptkategorien: Failure-Resistant (FR): bei Laufwerksfehler den Verlust der Daten verhindern Failure-Tolerant (FT): bei Laufwerksfehler weiterhin Zugriff auf die Daten ermöglichen Disaster-Tolerant (DT): Daten müssen über größere Entfernung gespiegelt sein; ermöglicht Datenzugriff auch nach Ausfall eines ganzen Standortes Unterscheidung in Plattensystem (DS) und Array Controller (AC) manchmal Plus-Kategorie, z.b. FRDS+ 20

21 Failure Resistant Disk Systems (FRDS) Beispiel für die ersten 6 Kriterien: 1. Sicherheit des Datenzugriffs sowie Schutz gegen Datenverlust bei Fehlern einer Festplatte 2. Wiederherstellung des Dateninhalts einer fehlerhaften Festplatte und dessen Speichern auf einer Ersatzfestplatte bei akzeptabler I/O-Performance des gesamten RAID-Systems 3. Absicherung gegen Datenverlust durch ein 'write hole' (Inkonsistenz zwischen den Daten und der zugeordneten Redundanzdaten) 4. Schutz gegen Datenverlust trotz Ausfall eines I/O-Kanals des zugeordneten Servers als Ganzes 5. Schutz gegen Datenverlust trotz Ausfall einer Festplattenkomponente etwa Controller oder Stromversorgung 6. Überwachung und Fehlermeldung einer FRU (Field Replaceable Unit, z.b. Festplatte) Dies definiert ein FRDS, und ein FRDS+? 21

22 FRDS+ und FTDS FRDS+: Items 1 to 6, and Festplatten sind während des Betriebs austauschbar 8. Kein Datenverlust bei Ausfallen des Cache 9. Kein Datenverlust bei Ausfallen der externen Stromversorgung 10. Kein Datenverlust bei Überschreiten des zulässigen Termperaturbereiches 11. Warnmeldungen bei Strörungen im RAID-Speichersystem oder in dessen Umgebung FTDS: Items 1 to 11, and Sicherheit des Datenzugriffs sowie Schutz gegen Datenverlust trotz eines I/O-Kanalfehlers innerhalb des Festplattensystems 13. Sicherheit des Datenzugriffs trotz eines Controllerfehlers usw... 22

23 Von FTDS+ bis DTDS+ FTDS+: Items 1 to 13, and Sicherheit des Datenzugriffs trotz Cache-Speicher-Ausfällen 15. Sicherheit des Datenzugriffs trotz Ausfall des Netzteils. 16. Sicherheit des Datenzugriffs beim Austausch einer FRU 17. Es existiert eine im laufenden Betrieb zuschaltbare Reserverplatte (Disk hot spare) FTDS++: Items 1 to 17, and Sicherheit des Datenzugriffs sowie Schutz gegen Datenverlust beim Ausfall mehrerer Festplatten eines FTDS+-Systems DTDS: Items 1 to 16, and Sicherheit des Datenzugriffs sowie Schutz gegen Datenverlus bei Verlust eines Speichersystems am Standort DTDS+: Items 1 to 15, and Sicherheit des Datenzugriffs über größere Entfernungen (1 bis 10 km) bei Ausfall an einem Standort 23

24 RAID in der Praxis RAID level 2 bis 4 sind nicht in freier Wildbahn anzutreffen RAID kann in Software (Betriebssystem) oder Hardware (Controller) implementiert werden Software RAID: Windows 2000 und XP unterstützen RAID level 0 und 1 siehe: RAID Without Additional Hardware: Do it Yourself with Windows Aus Tom's Hardware Guide, online: Linux (ab Kernel 2.4) unterstützt RAID levels 0, 1, 4 und 5 zusätzlich: linear mode, zusammenfügen mehrerer Platten zu einer einzigen großen Platte siehe: The Software-RAID HOWTO von Jakob Østergaard und Emilio Bueso (letzte Version 1.1 vom Juni 2004) 24

25 Messungen RAID 0: Transferraten Windows 2000 aus Tom's Hardware Guide (siehe vorherige Folie) IBM DTLA Platte channel = IDE channel 4x RAID 0 fast 4mal besser als einfache Platte Motto von RAID 0: increased performance at no costs 25

26 Messungen RAID 0: Transferraten normale Transfer Rate (oben) mit 4 Platten, 3 IDE-Kanälen und RAID 0 (unten, Skala beachten) 26

27 Hardware RAID RAID-Controller teilweise schon auf Mainboards vorhanden, dann aber oft nur RAID 0, 1 oder 10 dezidierte SCSI-basierte Disk-Controller für RAID 0, 1, 5 Adaptec 2200S U320 RAID (SCSI) RAID level 0, 1, 10, 5, 50 ca. 650 EUR Promise FastTrak SX4000 (IDE) RAID level 0, 1, 10, 5 bis zu 4 Platten anschliessbar ca. 200 EUR 27

28 Mittelgroße Systeme Promise UltraTrak SX4000: RAID level 0, 1, 3, 5, 10, 30, 50 maximal 4 Festplatten IDE kann RAID level on-the-fly ändern hot-swap fähig Datendurchsatz 80 MB/s ca EUR 28

29 Große Systeme Symmetrix-Systeme (Fujitsu-Siemens bzw. EMC) höchste RAB EDAP-Stufe DTDS+ maximal 84 TB Kapazität GB Cache Laufwerke 29

30 MTTF-Überlegungen Annahmen: nur Festplattenfehler (keine Fehler in der Stromversorgung etc.) Fehler sind unabhängig (in der Praxis oft nicht der Fall) alle Bit-Fehler werden erkannt und korrigiert (Bitfehlerrate etwa 1 in ) 30

31 MTTF von RAID 1 31

32 MTTF von RAID 5 32

33 Zusammenfassung und Ausblick RAID-Systeme schützen gegen Festplattenausfälle, halten dabei Daten verfügbar verschiedene RAID level wesentlich: level 0, 1, 5 RAID ist der de-facto-standard für Speicherlösungen bei Servern sowohl in Software als auch in Hardware implementierbar hochverfügbare Festplatte! Wie macht man die Berechnung hochverfügbar? Transparentes Backup, heisse/kalte Reserve basiert oft auf RAID als Speicherlösung Nächstes Mal: einige Fallstudien zur Hochverfügbarkeit damit Abschluss des Fehlertoleranzteils dann: Übergang zur security 33