Rheinisch-Westfälische Technische Hochschule Aachen Lehrstuhl für Informatik 2 Prof. Dr. Ir. Joost-Pieter Katoen

Transkript

1 Rheinisch-Westfälische Technische Hochschule Aachen Lehrstuhl für Informatik 2 Prof. Dr. Ir. Joost-Pieter Katoen Proseminar Algorithms and Data Structures im WS 2011/2012 RAID Redundant Array of Independent [Inexpensive] Disks Stefan Wexel Matrikelnummer: Betreuer: Thomas Noll Stefan Wexel (3. Semester) Ginsterweg Kerpen stefan.wexel@rwth-aachen.de

2 2 1 Inhalt 2 Einführung Motivation Grundlagen Mean Time To Failure (MTTF) Single Large Expensive Disk (SLED) Mean Time To Recovery (MTTR) Mean Time Between Failures (MTBF) Geschichte RAID RAID RAID RAID 4 RAID Parität (Parity) RAID RAID Weitere RAID-Systeme RAID RAID RAID RAID-Kombinationen RAID 01 RAID RAID RAID RAID Hot-Spare Probleme Defekte Controller Fehlerhafte Datenträgerserien Bedienungsfehler Statistisch abhängige Fehler Weitere Probleme Reparaturzeit erhöht sich immer mehr Fehlerbehebungsalgorithmen von Festplattencontrollern RAID-Festplattengröße... 15

3 3 5 Übersicht Abkürzungsverzeichnis Abbildungsverzeichnis Literaturverzeichnis... 17

4 4 2 Einführung 2.1 Motivation In dieser Ausarbeitung wird das Thema RAID behandelt. RAID-Systeme organisieren mehrere Festplatten zu einem logischen System. Solche Systeme sollen die Datensicherheit und Geschwindigkeit erhöhen, bieten aber gleichzeitig auch weitere Vorteile, wie die Möglichkeit während des Betriebes die Kapazität des Systems zu erhöhen oder Festplatten auszutauschen. Dies stellt einen erheblichen Vorteil für große Datenzentren und Server dar, da dort der Betrieb nicht einfach unterbrochen werden kann oder darf. Durch gesunkene Kosten für Festplatten und Controller werden solche Systeme immer häufiger auch im privaten Bereich eingesetzt. 2.2 Grundlagen Mean Time To Failure (MTTF) Hiermit wird die mittlere Betriebsdauer bis zum Ausfall angegeben. Sie wird ausgerechnet mit den Annahmen, dass die Fehlerrate konstant ist und die Fehler stochastisch unabhängig sind Single Large Expensive Disk (SLED) Bis in die 90er Jahre waren SLEDs die üblichen Datenspeicher für Großrechner und damalige Server. Sie waren erheblich größer und teurer als heutige Festplatten und hatten einen sehr hohen Stromverbrauch Mean Time To Recovery (MTTR) Hiermit wird angegeben, wie lange ein System braucht, um nach einem Fehler wieder voll funktionstüchtig zu sein Mean Time Between Failures (MTBF) Mit der MTBF wird die Betriebszeit zwischen zwei Ausfällen angegeben. Die Formel zur Berechnung ist: ( ). Manchmal wird MTTF statt MTBF benutzt, wenn ein System nicht repariert sondern ersetzt wird.

5 5 2.3 Geschichte IBM 3380 (SLED) Conners CP3100 Seagate ST2000NM TB Kapazität (MB) Preis pro MB $10-$18 $7-$10 $0.10(14.10), $0.29 (17.11) (pro GB) MTTF/MTBF Stromverbrauch (W) Volumen (cm³) (Serverfestplatte) Tabelle 1 - Vergleichsdaten der IBM 3380 SLED und Conners CP3100 PC-Festplatte, sowie heutiger Serverfestplatte von Seagate David A. Patterson, Garth Gibson und Randy H. Katz haben 1987 gemeinsam in ihrer Publikation A Case for Redundant Arrays of Inexpensive Disks (RAID) die Grundlage für RAID-Systeme gelegt. Sie haben Vorschläge gebracht, wie man die großen und teuren SLEDs ersetzen könnte. Da durch die Verbreitung von PCs ein Markt für billigere Festplatten geschaffen wurde, kamen Patterson, Gibson und Katz auf den Gedanken, SLEDs durch einen Zusammenschluss von vielen Festplatten zu ersetzen. Die Festplatten waren zwar langsamer und boten weniger Speicherplatz als die damaligen SLEDs, hatten aber einen geringeren Preis pro MB, sowie weniger Platz- und Stromverbrauch. Diesen Zusammenschluss nannten sie array of inexpensive disks (im Folgenden Array genannt). Aus der Tabelle 1 kann man ablesen, dass ein Zusammenschluss von 75 CP3100s den gleichen Speicherplatz bringen würde wie eine IBM 3380, bei gleichzeitig größerer Bandbreite, weniger Stromverbrauch und geringeren Kosten. Allerdings wäre bei so einem Array ein neues großes Problem aufgetreten, nämlich die Zuverlässigkeit, die folgendermaßen ausgerechnet werden kann: Bei einem Array von 100 CP3100s würde dies zu einer MTTF von 300 Stunden führen, ca. 12 Tage, was zu unzuverlässig ist, als dass man so ein System in Servern benutzen könnte. Als Lösung für dieses Problem entwarfen Patterson, Gibson und Katz dann verschiedene RAID- Systeme, die im folgenden Kapitel vorgestellt werden. 3 RAID Bei den RAID-Systemen spricht man von verschiedenen RAID-Levels. Die bekanntesten und am meisten verwendeten RAID-Levels sind RAID 0, RAID 1 und RAID 5.

6 6 3.1 RAID 0 Abbildung 1 - RAID 0; Quelle: wikipedia RAID 0 kam erst später zu den RAID-Levels hinzu. Im Grunde gehört es nicht zu den RAID-Systemen, weil die Redundanz fehlt, welche eigentlich bei RAID- Systemen vorhanden sein soll, wie der Name schon sagt ( Redundant AID). Dieser RAID-Level ist allein für Beschleunigung vorgesehen. Um diese zu erreichen werden die Daten in gleich große Blöcke aufgeteilt und gleichmäßig auf den Festplatten verteilt. Dadurch ist ein paralleles Laden der Datenblöcke von mehreren Festplatten möglich, welche der RAID-Controller dann wieder zusammensetzt und so einen höheren Datendurchsatz erbringt. Dieses Prinzip der Festplattenaufteilung in Streifen nennt sich striping ( in Streifen zerlegen ). Als Striping-Granularität bezeichnet man die Größe der Datenblöcke, welche bei diesem RAID-Level meistens 64 kb beträgt. Allerdings ergibt sich mit diesem System auch der große Nachteil, der schon im Abschnitt 2.3 angesprochen wurde. Fällt eine Festplatte in einem RAID 0 Gespann aus, fällt das ganze System aus und man verliert fast alle Daten. Einzig kleine Dateien, die aufgrund ihrer Größe nicht gesplittet und nur auf den noch funktionierenden Festplatten gespeichert wurden, können vollständig wiederhergestellt werden, vorausgesetzt der Controller unterstützt dies. Daraus ergibt sich dann eine Ausfallwahrscheinlichkeit von ( ), mit und Zum Beispiel würde dies für ein RAID 0 aus 2 Festplatten, welche jeweils eine 5% Wahrscheinlichkeit haben innerhalb von 3 Jahren auszufallen, folgende Ausfallwahrscheinlichkeit für ein RAID 0 ergeben: ( ). Also ist ein RAID-0 mit 2 Festplatten nur ungefähr halb so zuverlässig wie eine einzige Festplatte. Im Gegensatz zu anderen RAID-Levels ist bei diesem RAID-Level die komplette Kapazität beider Festplatten nutzbar. RAID 0 wird vereinzelt in Spiele-PCs verwendet, wo die Datensicherheit nicht besonders gefragt ist, allerdings auch in Webservern, welche wegen hohen Zugriffszahlen sehr schnell sein müssen. Hier wird aber meistens auf RAID-Kombinationen mit RAID 1 gesetzt. 3.2 RAID 1 Bei RAID 1 handelt es sich um so genanntes Mirroring (Spiegelung). Jede Festplatte des Systems speichert genau die gleichen Daten. Hierbei handelt es sich aber nicht um einen Ersatz für eine Datensicherung, da Nutzerfehler, wie Löschen von Daten, Viren, etc. direkt auf die Spiegelplatten übertragen werden. RAID 1 bietet mehrere Vorteile: Abbildung 2 - RAID 1; Quelle: wikipedia Eine hohe Ausfallsicherheit ist gegeben, weil erst alle Daten verloren sind, wenn alle Festplatten ausgefallen sind

7 7 Dadurch, dass jede Festplatte alle Daten liefern kann, gibt es keinerlei Auszeit beim Ausfall einer Festplatte, besonders wichtig für sicherheitskritische Anwendungen und/oder Echtzeitanwendungen Festplatten können schnell ausgetauscht werden (im Störfall oder für ein Upgrade auf höhere Kapazität etc.). Bei einem Ausfall muss auf die Ersatzfestplatte nur der komplette Festplatteninhalt kopiert werden, es gibt kein zeitintensives Neu-Berechnen wie beispielsweise bei RAID 5. Höhere Performance Der größte Nachteil von RAID 1 ist jedoch der hohe Kapazitätsverlust gegenüber eigenständigen Festplatten. Egal wie viele Festplatten man zu einem RAID 1 zusammenschließt, die Kapazität des RAIDs entspricht immer dem der Festplatte mit der kleinsten Kapazität. Unter der Annahme, dass man nur Festplatten mit gleicher Kapazität verwendet, hat man als nutzbaren Speicher: mit n = Anzahl der Festplatten. Für das Lesen der Daten gibt es zwei Möglichkeiten: 1. Erhöhung der Geschwindigkeit: Durch gleichzeitiges Lesen der Daten von allen Festplatten kann die Leistung theoretisch um das n- fache gesteigert werden im Vergleich zu einer einzelnen Festplatte. So wäre die Leistung von einem System mit zwei Festplatten doppelt so hoch wie die von einer einzelnen Festplatt. Hier setzt allerdings die Leistungsfähigkeit des Controllers Grenzen. Gleichzeitiges Datenlesen wird nicht von allen Controllern unterstützt. Falls es unterstützt wird, kann es zu Problemen kommen, wenn eine Festplatte unbemerkte fehlerhafte Sektoren hat. 2. Erhöhung der Sicherheit: Genauso wie beim Erhöhen der Geschwindigkeit, wird hier von allen oder mehreren Festplatten gleichzeitig gelesen und zusätzlich werden die Daten verglichen. Wird ein Unterschied festgestellt, ist es irgendwo zu einem Fehler gekommen, sei es durch einen vorher noch nicht bemerkten fehlerhaften Sektor oder durch von Stromausfall verursachten Inkonsistenzen im RAID. Die Ausfallwahrscheinlichkeit ergibt sich wie folgt: mit. und Als Beispiel würde dies für ein RAID 1 aus 2 Festplatten mit jeweils einer 5%igen Wahrscheinlichkeit innerhalb von 3 Jahren auszufallen folgende Ausfallwahrscheinlichkeit für ein RAID 1 ergeben:. Also ist es für ein RAID 1 mit 2 Festplatten nur ungefähr -mal so wahrscheinlich auszufallen wie für eine einzelne Festplatte.

8 8 3.3 RAID 4 RAID 5 Die RAID Level 4 und 5 unterscheiden sich nur geringfügig. Von den bisherigen RAID-Levels unterscheiden sie sich besonders durch die Parität (siehe Unterkapitel), die hinzugekommen ist. Jede Festplatte wird in gleich große Datenblöcke unterteilt. Dadurch entstehen sogenannte Stripes, also Streifen über mehrere Festplatten (siehe beispielsweise Abbildung 3 mit dem A-Streifen (A1, A2, A3,, Ap)). Diese Streifen sind Datenblöcke, die auf jeder Festplatte an der gleichen Adresse sitzen. Dadurch wird der Zugriff auf diese durch den RAID-Controller vereinfacht Parität (Parity) Durch ein Paritätsbit oder einen Paritätsblock kann man Redundanz in Daten erzeugen. Dies funktioniert wie folgt: Es gibt 2 Möglichkeiten für ein Paritätsbit, bei der sogenannten Even-Parity gibt das Paritätsbit an, ob die Anzahl der Einsen in den Datenbits gerade ist. Wenn ja ist das Paritätsbit 0, sonst 1. Bei der Odd-Parity ist das Paritätsbit 1, wenn die Anzahl der Einsen gerade ist, sonst 0. Beispiel: Daten Even-Parity-Bit Odd-Parity-Bit Tabelle 2 - Paritätsbeispiel Ein Paritätsblock, welcher für RAID 4, 5 und 6 verwendet wird, funktioniert ähnlich. Hier werden die Datenblöcke XOR-verknüpft. Ein Beispiel dazu ist der Tabelle 3 zu entnehmen Datenblock Datenblock Datenblock = Paritätsblock Tabelle 3 - Paritätsblock-Beispiel RAID 5 Für ein RAID 5 benötigt man mindestens 3 Festplatten. Die Anzahl ist nicht nach oben beschränkt, allerdings gilt auch hier: Je mehr Festplatten, desto größer die Wahrscheinlichkeit eines Ausfalls mit Datenverlust. Bei RAID 5 wird die Redundanz durch Parität erzeugt. In jedem Stripe gibt es einen Paritätsblock. Der Paritätsblock ist wie in Abschnitt beschrieben eine XOR-Verknüpfung der Nutzdaten des Stripes. Die Paritätsblöcke werden rotierend Abbildung 3 - RAID 5; Quelle: wikipedia auf alle Festplatten verteilt. Sollte eine Festplatte ausfallen, können die verlorenen Daten wiederhergestellt werden, indem alle restlichen Daten eines Stripes mit einem XOR verknüpft werden. Das Ergebnis stellt den Inhalt des Blockes dieses Stripes der ausgefallenen Festplatte dar. Dieser Prozess des Wiederaufbaus der vormals defekten Festplatte nennt sich Rebuild. Die gleichmäßige Verteilung der Paritätsblöcke auf alle Festplatten führt zu einer schnelleren Schreibgeschwindigkeit und längeren Lebensdauer als das Speichern der Parität auf nur einer Festplatte (Grund und Beispiel: siehe RAID 4). Schaut man sich die Abbildung 3 an, kann man sehen,

9 9 dass Daten im Datenblock A1 und B2 gleichzeitig gelesen werden können. Beim Schreiben wird für den geänderten Wert von B2 eine neuberechnete Parität auf Disk 2 gespeichert, für A1 auf Disk 3. Wären die Paritätsinformationen wie bei RAID 4 auf nur einer Festplatte, könnten nicht beide neuberechneten Paritätsblöcke gleichzeitig geschrieben werden, sondern müssten nacheinander bearbeitet werden. Durch die Paritätsinformationen geht geringfügig Speicher verloren. Die für Daten verfügbare Gesamtkapazität errechnet sich wie folgt: ( ) mit n = Anzahl der Festplatten und c der Kapazität der kleinsten Festplatte. Beispiel: 4 Festplatten mit jeweils 2TB bieten ( ) und noch 2TB Paritätsinformationen. Dadurch, dass die Daten wie bei RAID 0 verteilt auf den Festplatten gespeichert werden, kann die Lese- und Schreibgeschwindigkeit erhöht werden. Das Berechnen der Parität führt allerdings wieder zu ein wenig Verlust bei der Schreibleistung im Vergleich zu RAID 0. Beim Lesen der Daten werden die Paritätsinformationen nicht benötigt und die Geschwindigkeit gleicht einem RAID 0 mit einer Festplatte weniger. Dies alles gilt unter der Voraussetzung, dass die Daten groß genug sind, um sie auf mehrere Festplatten aufteilen zu können. Sollte es sich um kleine Daten handeln, wird es keinen Geschwindigkeitszuwachs geben, so wie bei RAID 0. Bei einem RAID 5 ist man vor Datenverlust beim Ausfall von maximal einer Festplatte geschützt. Fällt diese Festplatte aus, muss sie ausgetauscht werden. Sollte in dieser Phase, vom Ausfall der Festplatte bis hin zum Fertigstellen des Rebuilds jedoch eine weitere Festplatte ausfallen, verliert man auch hier seine Daten. Um die Zeit ohne Redundanz zu verkürzen, könnte man hier eine oder mehrere Hotspare-Festplatten verwenden. Weitere Ausführungen zu den Problemen und zu Hotspare- Laufwerken folgen in späteren Kapiteln. RAID 5 ist wegen des Preis-/Leistungsverhältnisses für Heimserver bzw. Heim-NAS-Systeme/Server sehr belieb. Man erhält eine gute Performance und verliert im Vergleich zu anderen RAID-Levels trotz Redundanz nur sehr wenig Speicher RAID 4 RAID 4 ist fast identisch zu RAID 5. Der große Unterschied besteht darin, dass die Paritätsblöcke nicht auf allen Festplatten verteilt sind, sondern nur auf einer einzigen Festplatte gespeichert werden, der sogenannten Paritätsfestplatte. Dies birgt mehrere Nachteile beim Schreiben von Daten. Bei jedem Schreibvorgang wird die Parität gelesen und gegebenenfalls neu geschrieben. Im schlechtesten Fall werden kleine Datenmengen auf verschiedenen Festplatten, in verschiedenen Stripes geschrieben. Abbildung 4 - RAID 4; Quelle: wikipedia Beispiel: Änderungen in den Datenblöcken A1, B2 und D3. Bei RAID 5 würde in diesem Fall für die Änderung an A1, auf Disk 3 die Parität gelesen und neu geschrieben, für B2 auf Disk 2 und für D3 auf Disk 0. Bei RAID 4 werden alle Lese- und Schreiboperationen für die Parität auf Disk 3 durchgeführt. Dadurch könnten die Änderungen an B2 nicht parallel zu den Änderungen an A1 ausgeführt werden, weil Disk 3 mit der Parität von A1 beschäftigt ist. Folglich ist die Leistung bzw. der Datendurchsatz bei RAID 4 nicht so hoch wie bei RAID 5. Zusätzlich reduziert sich die Lebensdauer von der Paritätsfestplatte, weil die

10 10 Lese- und Schreiboperationen für die Parität nicht wie bei RAID 5 auf alle Festplatten verteilt sind sondern nur von dieser einen Festplatte behandelt werden müssen. Aufgrund dieser Nachteile wird RAID 5 in fast allen Situationen RAID 4 vorgezogen. Ein bekanntes Unternehmen, welches RAID 4 benutzt, ist NetApp. NetApp hat ein Dateisystem namens Write Anywhere File Layout (WAFL) entworfen, was den Nachteilen von RAID 4 entgegenwirkt. Es werden Daten gesammelt und in einen Stripe geschrieben, weshalb die Parität nur für diesen Stripe neu ausgerechnet werden muss, anstatt die Daten auf verschiedenen Stripes zu verteilen und mehrere Paritätsblöcke aktualisieren zu müssen. 3.4 Weitere RAID-Systeme RAID 2 RAID 2 wurde nur auf Servern bzw. Großrechnern verwendet. RAID 2 benötigt mindestens drei Festplatten (was einem RAID 1 mit drei Festplatten entspricht), wurde aber in der Regel mit mehr als 10 Festplatten genutzt. Abbildung 5 - RAID 2; Quelle: wikipedia Die Daten werden in Stripes gespeichert, aber nicht wie bei anderen RAID-Levels blockweise sondern bitweise. Für die Redundanz und Fehlerkorrektur wird der Hamming-Code verwendet. Der RAID-Controller synchronisiert die Laufgeschwindigkeit der Festplatten, sodass der gleiche Index auf allen Festplatten zur selben Zeit erreicht wird. Dies ermöglicht hohe Transferraten. Aufgrund des Hamming-Code Verfahrens können bitweise-fehler gefunden und repariert werden. Nur manche RAID 6 Konfigurationen können dies auch. Andere RAID-Levels, wie beispielsweise RAID 5, können einen einzelnen Bitfehler aufgrund der Parität zwar finden, aber nicht beheben. RAID 5 kann zwar erkennen, dass es in einem Stripe einen Fehler, beispielsweise im fünften Bit gibt, weil die Parität nicht mehr stimmt, aber es kann nicht bestimmt werden, welcher Datenblock dieses fehlerhafte Bit beinhaltet. Das Auftreten von mehreren Bitfehlern ist sehr selten. RAID 2 kann Doppelbitfehler (Bsp.: Bit 5 in A1 und Bit 5 in A4 Fehlerhaft) erkennen, aber nicht rekonstruieren. RAID 5 kann diese nicht mehr erkennen, weil die Parität in diesem Fall wieder stimmen würde. Heutige Festplatten benutzen intern auch den Hamming-Code für Fehlerbehebung. Dadurch können Bitfehler und Sektorfehler von der Festplatte selbst erkannt werden und RAID 2 verliert effektiv seine Vorteile gegenüber den anderen RAID-Levels. RAID 2 gehörte mit zu den ersten RAID-Levels, wird aber im Gegensatz zu den anderen in der Praxis heute kaum noch verwendet.

11 RAID 3 Ein RAID 3 ist fast identisch mit einem RAID 4. Paritätsinformationen werden auf einer einzigen Festplatte gespeichert, allerdings nicht wie RAID 4 in Blöcken, sondern byteweise. Zu den identischen Nachteilen wie bei RAID 4 gesellt sich hier ein weiterer Geschwindigkeitsverlust, weil die Parität byteweise berechnet wird und nicht blockweise. So sind mehr Berechnungen durch den Controller notwendig. Abbildung 6 - RAID 3; Quelle: wikipedia Ein RAID 3 ist schon mit 2 Festplatten möglich, allerdings würde die Paritätsfestplatte in diesem Fall identische Daten wie die Datenfestplatte enthalten, was einem RAID 1 entsprechen würde. Die Datenblöcke beim RAID 3 sind kleiner als die Datenblöcke die das Betriebssystem benutzt, um bei einem Schreib- oder Lesezugriff immer auf komplette Stripes zuzugreifen, was größere Transferraten aufgrund der Parallelität mit sich zieht. RAID 3 ist heutzutage fast vollkommen durch RAID 5 und teilweise RAID 4 ersetzt worden und wird wenn dann nur noch in Spezialfällen eingesetzt RAID 6 Abbildung 7 - RAID 6; Quelle: wikipedia Das RAID-Level 6 ähnelt dem RAID 5 sehr, mit dem Unterschied, dass RAID 6 einen Ausfall von 2 Festplatten ohne Datenverlust überstehen kann. Grund hierfür ist, dass es pro Stripe 2 Paritätsinformationsblöcke gibt, weshalb ein RAID 6 für die gleiche Nutzdatengröße wie RAID 5 eine Festplatte mehr benötigt. Dadurch ergibt sich als Minimalkonfiguration ein Array aus 4 Festplatten und die Kosten für den gleichen nutzbaren Speicher steigen somit. Unabhängig von der Implementation von RAID 6 sind aufgrund der doppelten Parität die Schreiboperationen etwas langsamer als bei RAID 5, weil mehr Paritätsinformationen berechnet werden müssen. Die Leseoperationen sind bei gleicher Festplattenzahl langsamer, weil eine Nutzdatenfestplatte für parallele Zugriffe weniger vorhanden ist. Für eine identische Anzahl an Nutzdatenfestplatten in RAID 5 und 6 sind die Leseoperationen auch gleich schnell. Dadurch dass eine Festplatte mehr ausfallen darf als bei RAID 5, ist man bei einem RAID 6 beim Ausfall von einer Festplatte und dem sich anschließenden Rebuild weiter vor Datenverlust geschützt, während beim Rebuild eines RAID 5 keine weitere Festplatte ausfallen darf.

12 Berechnung der Parität Eine Definition von RAID 6 von der Storage Networking Industry Association (SNIA) besagt, jede RAID Form, die trotz Ausfalls von 2 Festplatten ohne Datenverlust weiterhin Lese- und Schreibanforderungen durchführen kann, ist ein RAID 6. Diese Definition erlaubt verschiedene Implementationen zur Berechnung der Paritätsinfos. Meistens ist der erste Paritätsblock identisch zu dem Paritätsblock von RAID 5, also eine XOR-Verknüpfung der Nutzdaten des Stripes. Für den zweiten Redundanzblock, in Abbildung 7 mit einem tiefgestellten q gekennzeichnet, gibt es verschiedene Möglichkeiten zur Berechnung, mit unterschiedlicher Komplexität. Unter anderem werden hierfür Reed-Solomon-Code oder XORs über eine orthogonale oder diagonale Datenzeile verwendet. 3.5 RAID-Kombinationen RAID-Kombinationen, im Englischen nested RAID oder auch hybrid RAID, werden benutzt um die Performance und/oder Ausfallsicherheit zu erhöhen. RAID-Kombinationen sind für Heimanwender meistens uninteressant. Der Grund hierfür ist, dass man in den meisten Kombinationslevels mindestens 4 Festplatten benötigt, von denen mehr als 2 Festplatten für Redundanz verwendet werden. Man braucht also mehr Festplatten, um den gleichen Nutzspeicher zu bekommen wie bei Einzel-RAID-Levels. Dafür erhält man eine höhere Ausfallsicherheit. Es gibt unterschiedliche Namenskonventionen, etwa kann für RAID 10 auch RAID 1+0 verwendet werden. Hierbei folgen die Namen einer bottom-to-top -Konvention, die wie folgt aufgebaut ist: Die erste Zahl der Kombination steht für den RAID-Level, mit dem die Festplatten verbunden werden. Diese unteren Levels werden als Legs bezeichnet. In Abbildung 8 entspräche dies den RAID 1. Die zweite Zahl der Kombination steht für den RAID-Level, der mehrere der ersten Zahl entsprechenden RAID-Level miteinander verknüpft. In Abbildung 8 entspräche dies dem RAID RAID 01 RAID 10 Abbildung 8 - RAID 10; Quelle: wikipedia Das RAID 01 ist die einzige RAID-Kombination, die mit 3 Festplatten realisiert werden kann. Wenn diese Kombination gewählt wird, werden aber meistens 4 Festplatten verwendet. Die nutzbare Kapazität K ist identisch zu der von RAID 10 mit mit n = Anzahl der Festplatten (muss gerade sein) und = Kapazität der kleinsten Festplatte. Beide Kombinationen haben eine gesteigerte Sicherheit und höheren Datendurchsatz, wobei die Sicherheit bei RAID 01 nicht so hoch ist wie bei RAID 10. Bei einem RAID 01 kann nämlich nur festgestellt werden, welches RAID 0 System einen Fehler hat, aber nicht, welche Festplatte in diesem Untersystem den Fehler

13 13 verursacht. Bei einem RAID 10 ist dies möglich, was zu einer schnelleren Rekonstruktion bei einem Plattenausfall führt. Aus diesem Grund wird ein RAID 10 meistens einem RAID 01 vorgezogen RAID 50 Ein RAID 50 besteht aus mehreren RAID 5, mindestens 2, die mit einem RAID 0 verbunden sind. Es werden mindestens 6 Festplatten benötigt. Durch diese Konfiguration steigt die Performance Abbildung 9 - RAID 50; Quelle: wikipedia gegenüber RAID 5 und es gibt eine höhere Ausfallsicherheit. Das RAID 50 wird in Situationen verwendet, wo eine hohe Fehlertoleranz, Kapazität und Geschwindigkeit von Nöten ist, wie beispielsweise bei Datenbanken RAID 51 Abbildung 10 - RAID 51; Quelle: wikipedia sehr guter Geschwindigkeit. Ein RAID 51 besteht aus mindestens 2 RAID 5, die sich spiegeln. Es werden mindestens 6 Festplatten benötigt (2 RAID 5 mit jeweils 3 Festplatten). Bei dieser Konfiguration mit 6 Festplatten hat man nur die Kapazität von 2 Festplatten als Nutzdaten zur Verfügung. Solange beim RAID 51 noch mindestens ein RAID 5 funktionstüchtig ist, also bei diesem RAID 5 nur eine Festplatte ausfällt, gehen keine Daten verloren. In diesem Beispiel heißt dies, dass bis zu 4 Festplatten ausfallen dürfen vorausgesetzt, dass ein Leg komplett ausfällt. Diese RAID-Kombination bietet also eine sehr gute Ausfallsicherheit, dafür aber nur sehr wenig Nutzdatenspeicherplatz mit akzeptabler, aber nicht RAID 55 Das RAID 55 kann man als Verbesserung des RAID 51 ansehen. Die Mindestfestplattenanzahl ist zwar mit 9 Festplatten etwas höher, aber man hat auch mehr Nutzdatenspeicher und die Geschwindigkeit ist besser. Bei der Mindestkonfiguration hat man drei RAID 5, mit jeweils drei Festplatten mit einem weiteren RAID 5-Controller zusammengeschlossen. Mit dieser Konfiguration dürfen maximal 5 Festplatten ausfallen - ein komplettes RAID 5 Leg - sowie jeweils eine Festplatte von den anderen Legs. 3.6 Hot-Spare Die meisten RAID-Systeme unterstützen Hot Spare - Festplatten. Sie sind dazu gedacht, die MTTR zu verkürzen. Ein RAID 5 muss so nicht darauf warten, dass ein defektes Laufwerk ausgetauscht wurde, sondern kann direkt anfangen, die verlorenen Informationen wieder zu berechnen und auf dem Abbildung 11 - Hot Spare; Quelle: wikipedia

14 14 Hot Spare -Laufwerk zu speichern. Dieses Laufwerk ist also bis zu einem Fehler einer anderen Festplatte ungenutzt. Das Neuberechnen der Redundanz bei RAID 6 und RAID 5 kann mehrere Stunden dauern, je nach Größe und Auslastung des Systems. Eine schnelle Reparatur ist wichtig, weil in der Zeit, in der ein Laufwerk defekt ist, keine Redundanz mehr vorhanden ist. So würde man fast alle Daten verlieren, wenn eine zweite Festplatte bei einem RAID 5 ausfallen würde, bevor wieder die komplette Parität berechnet wurde. Anders ist dies bei einem RAID 6, bei dem zwei Festplatten ausfallen können, ohne dass Daten verloren gehen. 4 Probleme 4.1 Defekte Controller Durch den Ausfall eines Controllers kann ein komplettes RAID-System ausfallen. Da aber ein RAID- Controller keine mechanischen Bauteile besitzt, ist die Ausfallwahrscheinlichkeit sehr viel geringer als bei Festplatten. Sollte allerdings ein Controller ausfallen, kann es zu Problemen kommen, da nicht alle Controller untereinander kompatibel sind. Sollte also ein identischer Controller nicht mehr verfügbar sein, kann es zu einem vollständigen Datenverlust kommen. 4.2 Fehlerhafte Datenträgerserien Fehlerhafte Festplattenserien können dazu führen, dass innerhalb von kurzer Zeit mehrere Festplatten im gleichen System ausfallen und so unweigerlich Daten verloren gehen. Da meistens die Festplatten für ein RAID-System gleichzeitig gekauft werden, vom gleichen Anbieter und Hersteller, ist die Wahrscheinlichkeit groß, dass man Festplatten von der gleichen Serie und gleichem Produktionsschub, vielleicht sogar gleichem Produktionstag erhält. Eine Lösung wäre es, ein System mit Festplatten von unterschiedlichen Herstellern zu bestücken. 4.3 Bedienungsfehler RAID-Systeme schützen nicht vor Bedienungsfehlern. Es ist immer noch anfällig für Virenbefall und Anwenderfehler, wie das irrtümliche Löschen von wichtigen Daten, da Änderungen an den Daten auf allen Festplatten gespeichert werden. Hier sind Backups weiterhin notwendig. Fehlendes Wissen der Betreuer eines RAID-Systems ist eine andere Fehlerquelle. So passiert es, dass bei einem Festplattenausfall eine falsche Festplatte ausgetauscht wird und ein RAID-System zeitweise deaktiviert werden muss. 4.4 Statistisch abhängige Fehler Um die Ausfallwahrscheinlichkeit von RAID-Systemen auszurechnen wird meistens angenommen, dass Festplattenausfälle statistisch unabhängig sind. Dies ist allerdings sehr häufig nicht gegeben. Festplatten in einem RAID haben in der Regel das gleiche Alter oder sind wie in Abschnitt 4.2

15 15 erläutert, vom gleichen Hersteller oder gleichen Produktionsschub. Gleichzeitig sind sie den gleichen Umweltbedingungen (Temperatur, Luftfeuchtigkeit etc.) ausgesetzt. Da die mechanischen Fehler, die meistens für einen Festplattenausfall verantwortlich sind, genau von diesen Variablen abhängen, sind die Fehler eigentlich statistisch abhängig, zumindest bis zu einem gewissen Grad. Dies erhöht die Wahrscheinlichkeit eines Ausfalls von mehreren Festplatten in kurzen Zeitabständen. Lösungen hierfür gibt es kaum, da die Festplatten für ein RAID-System in unmittelbarer Nähe zu einander sein müssen. Einzig die Problematik mit fehlerhaften Datenträgerserien könnte ein wenig reduziert werden. 4.5 Weitere Probleme Reparaturzeit erhöht sich immer mehr Da die Datenübertragungsrate von Festplatten langsamer steigt als die Festplattenkapazität bei gleichzeitig nur geringfügig fallenden Fehlerraten, steigt die Rebuild-Zeit. Dies in Verbindung mit nur einer Festplatte, die bei RAID 3, RAID 4 und RAID 5 ausfallen darf, führt zu einer erhöhten Gefahr, dass während eines Rebuilds eine weitere Festplatte ausfällt Fehlerbehebungsalgorithmen von Festplattencontrollern Heutzutage haben viele Festplatten eine interne Fehlerbehebung. Diese springt an, wenn festgestellt wird, dass bestimmte Datenbereiche nicht mehr in Ordnung sind. Sollte die Fehlerbehebung einen Fehler beim Lesen oder Schreiben von Daten feststellen, versucht diese die Daten wieder herzustellen und an eine andere Stelle der Festplatte zu schreiben. Dieser Vorgang kann allerdings bis zu einer Minute dauern, in welcher die Festplatte keine Rückmeldungen liefert. Die meisten RAID- Controller sind so eingestellt, dass sie Festplatten nach ca. 8 Sekunden ohne Rückmeldung aus dem RAID ausschließen, weil angenommen wird, dass sie ausgefallen sind. So kann es passieren, dass eigentlich noch funktionierende Festplatten aus dem RAID genommen werden, weil die Fehlerbehebung läuft. So genannte enterprise class Festplatten limitieren die Zeit für die Fehlerbehebung so weit, dass dies nicht passieren kann. Manch andere Festplatten lassen sich mit bestimmten Tools vom Hersteller oder Drittanbietern allerdings ebenfalls so konfigurieren, dass die Fehlerbehebung nicht mehr so lange braucht RAID-Festplattengröße Muss eine Festplatte aufgrund eines Fehlers ausgetauscht werden, muss die neue Festplatte die gleiche oder höhere Kapazität haben, sonst ist das Wiederherstellen sehr schwierig. Werden nun allerdings Festplatten mit der maximal verfügbaren Kapazität verwendet und es kommt zu einem Engpass genau dieser Festplatten, findet man nicht mehr so leicht einen Ersatz. Da verschiedene Festplattenserien und Festplatten von verschiedenen Herstellern oft geringfügig unterschiedliche Kapazitäten haben durch unterschiedliche Firmware, Controller oder Fertigungsmechanismen, ist dies ein reales Problem. Um dieses Problem zu reduzieren oder komplett zu beheben, gibt es verschiedene Ansätze. Manche Hersteller setzen für ihre Festplatten für RAID-Systeme eine geänderte Firmware ein, die die Plattenkapazität ein wenig verkleinert. Aber auch Hersteller von RAID-Controllern haben Lösungen parat. So lässt sich bei manchen Controllern manuell einstellen, wieviel Platz für das RAID-System benutzt werden soll, um die Kompatibilität zwischen verschiedenen Festplattenserien und verschiedenen Festplattenherstellern zu erhöhen.

16 16 5 Übersicht Zum Abschluss eine Tabelle mit denen man die RAID-Level vergleichen kann. Für die folgende Tabelle nehmen wir an, dass n die Anzahl der Festplatten im RAID und k die Kapazität der kleinsten Festplatte im RAID ist. Die Ausfallsicherheit wird angegeben mit der Anzahl der Festplatten, die ausfallen dürfen, ohne dass ein Datenverlust auftritt. RAID Mindestanzahl Nutzdatenkapazität Ausfallsicherheit ( ) ( ) ( ) ( ) ( ) 2 Tabelle 4 RAID - Vergleichstabelle

17 17 6 Abkürzungsverzeichnis MTBF... Mean Time Between Failures MTTF... Mean Time To Failure MTTR... Mean Time To Recovery SLED... Single Large Expensive Disk WAFL... Write Anywhere File Layout 7 Abbildungsverzeichnis Tabelle 1 - Vergleichsdaten der IBM 3380 SLED und Conners CP3100 PC-Festplatte, sowie heutiger Serverfestplatte von Seagate...5 Tabelle 2 - Paritätsbeispiel...8 Tabelle 3 - Paritätsblock-Beispiel...8 Tabelle 4 RAID - Vergleichstabelle Abbildung 1 - RAID 0; Quelle: wikipedia...6 Abbildung 2 - RAID 1; Quelle: wikipedia...6 Abbildung 3 - RAID 5; Quelle: wikipedia...8 Abbildung 4 - RAID 4; Quelle: wikipedia...9 Abbildung 5 - RAID 2; Quelle: wikipedia Abbildung 6 - RAID 3; Quelle: wikipedia Abbildung 7 - RAID 6; Quelle: wikipedia Abbildung 8 - RAID 10; Quelle: wikipedia Abbildung 9 - RAID 50; Quelle: wikipedia Abbildung 10 - RAID 51; Quelle: wikipedia Abbildung 11 - Hot Spare; Quelle: wikipedia Literaturverzeichnis Eduardo Pinheiro, Wolf-Dietrich Weber, Luiz André Barroso. Failure Trends in a Large Disk Drive Population. 5th USENIX Conference on File and Storage Technologies (FAST'07) Harris, Robin Juni (Zugriff am ). Layton, Jeffrey B Januar (Zugriff am ). Patterson, David A, Garth Gibson, und Randy H Katz. A case for redundant arrays of inexpensive disks (RAID). Proceedings of the 1988 ACM SIGMOD international conference on Management of Data Wikipedia. kein Datum. (Zugriff am ). Wikipedia. kein Datum. (Zugriff am ).

18 18 Wikipedia. kein Datum. (Zugriff am ). Wikipedia. kein Datum. (Zugriff am ). Wikipedia. kein Datum. (Zugriff am ). Wikipedia. kein Datum. (Zugriff am ).