Ist RAID noch zu. retten? Die Folgen des Disk- Wachstums. Mario Vosschmidt Consulting Systems Engineer NetApp

Transkript

1 Ist RAID noch zu retten? Die Folgen des Disk- Wachstums. Mario Vosschmidt Consulting Systems Engineer NetApp NetApp vertraulich nur zur internen Verwendung 1

2 RAID Eine bewährte Technologie Wie es begann: Standardisierung von Festplattenschnittstellen SCSI 1986 (NCR > SYMBIOS > LSI > NetApp) Erhöhung der Zuverlässigkeit von preiswerten Disks RAID 1988 NetApp Confidential - Internal Use Only 2

3 Mid-Range Disk Arrays 1989~ MB Disk Größe 15 ~ 60 Disks NetApp Confidential - Internal Use Only 3

4 RAID Level RAID 0 Striped Data Data Data RAID 1 (10) Mirrored und striped Data Data Mirror Mirror Data Data Parity RAID 5 Daten Disks und Parität Data Parity Data Data Data Data Parity Q Parity RAID 6 (P+Q) Data disks und dual parity Data Data Data Parity Parity Q Parity Q Parity Data Data Data Block-level Striping mit verteilter Parität & Q 4

5 Kontroller - Redundanz NetApp Confidential - Internal Use Only

6 Klassisches RAID Eine Volume Gruppe Daten Stripes RAID Layout orientiert sich an der Hardware Mehrere Volumes (LUNs) in einer Volume Gruppe (RAID Gruppe) z.b RAID 6 Kapazitätserweitung durch zusätzliche RAID Gruppen 6

7 Traditionelles Layout Hot Sparing Rekonstruktion ausgefallener Disks auf Hot Spare(s) Lange Laufzeiten Tage bei TB Disks 7

8 Leistung Konsistente Leistung gefordert Reduktion der Leistungseinbrüche Schnellere Rekonstruktion Auswirkungen weniger gravierend Leistungseinbruch durch Disk-Ausfall Akzeptabel Wie kann das erreicht werden?? Inakzeptabel Time RAID DDP *Results depend on pool size, drive type, and workload. 8

9 Declustered RAID Holland, Gibson: 1992 NetApp Confidential - Internal Use Only 9

10 Dynamic Disk Pools (DDP) Declustered RAID Implementierung Jeder Stripe (Allokation) besteht aus 10 Elementen, verteilt auf 10 Drives CRUSH* Algorithmus definiert die Verteilung der Stripes so, dass keine Kollisionen entstehen Controlled, Scalable, Decentralized Placement of Replicated Data Divergente Gruppen von jeweils 10 Stripe-Elementen All Drives sind aktiv, keine in Ruhe z.b drive pool 1

11 DDP Einsicht Stripe Level Dynamische Pools von Disk Drives Entkopplung von Logik und Physik Jeder Pool besteht aus virtuellen Stripes Dynamic-Stripes (D-Stripes) Jeder Dynamic-Stripe residiert auf einem Satz von pseudo-zufällig ausgewählten Drives Eine unterschiedliche Kombination vom Disks wird für jeden D-Stripe benutzt D-Stripes werden bei der Volume Erzeugung allokiert Verteilungsalgorithmus bestimmt, welche Drives benutzt werden 11

12 DDP Dynamic Stripes Jeder D-Stripe residiert auf genau 10 drives im Pool (Pseudo RAID6 p+q ) Immer 10 Drives, unabhängig von der Größe 24-drive pool 12

13 Pseudo Random Verteilung Weil &. al NetApp Confidential - Internal Use Only 13

14 DDP Disk Ausfall Für jeden D-Stripe der Daten auf der ausgefallenen Disk hielt: Segmente auf anderen Disks werden zur Rekonstruktion benutzt Eine andere Disk wird ausgewählt um die rekonstruierten Daten aufzunehmen Rebuild operations run in parallel across all drives drive pool 14

15 DDP Hinzufügen vom Disks zum Pool Hinzufügen von bis zu 12 Disks gleichzeitig Sofortiges Einsetzen von Verteilung Zur Herstellung des Gleichgewichtes Segmente werden verschoben (nicht mit RAID rekonstruiert) drive pool 15

16 DDP Doppelter Disk Ausfall Stripes mit Doppelfehler werden bevorzugt Rekonstruktion für orange and gelb werden vor den Anderen abgeschlossen NetApp Confidential - Internal Use Only 16

17 Dynamic Stripes 17

18 Dynamic Stripes Inspektion D-Piece D-Stripe ist 4GB groß und residiert auf jeweils 10 Drives IMMER 10 Drives, unabhängig von der Pool Größe Ein D-Piece ist der Inhalt einer drive für einen D-Stripe 18

19 Dynamic Stripes Inspektion Daten inerhalb eines D-Stripe werden als RAID 6 (p+q) geschrieben Jeder RAID 6 Stripe ist 1MB (8+2 mit 128K Segment Size) Jeder D-Stripe hat konventionelle RAID 6 Stripes D-Piece D-Stripe 19

20 Mehr Detail 20

21 Dynamic Stripes DDP Volumes liegen in 4GB D-Stripes 1TB volume hat z.b. 250 D-Stripes Max 64TB Volume Größe 21

22 Dynamic Pieces (D-Pieces) D-Piece Ein D-Piece ist der Inhalt einer drive für einen D-Stripe Keine Drive enthält mehrere D-Pieces von demselben D-Stripe Jedes D-Piece ist 512MB groß 22

23 Dynamic Stripe Allokation D-Stripes werden beim Anlegen des Volumes instanziiert DDP Algorithmus bestimmt die Platzierung Allokation beginnt im nächsten freien Extent im niedrigsten LBA LBA 23

24 Dynamische Stripe Allokation D-Stripes werden sequenziell auf Volume-Basis allokiert D.h. alle D-Stripes für Volume 1 zuerst, gefolgt durch Volume 2, dann Volume 3 24

25 Drive Ausfall D-Pieces einer fehlenden Drive werden anderswo rekonstruiert, so daß keine einzelne Drive mehere Teile eines D-Stripe enthält Rekonstruktion erfolgt auf das erste freie Disk Extent 25

26 Drive Addition Rekonstruierte Elemente werden auf den optimalen Platz verschoben 26

27 DDP Leistung 27

28 Key Performance Indikatoren Workload DDP ist exzellent für transkationale und gemischte Lasten Vergleichbar mit RAID 6, aber besser verteilt und mit schnellerer Wiederherstellung DDP kann bei einigen sequentiellen Profilen, insbesondere bei hoher Schreiblast, von Vorteil sein DDP erzeugt I/O Streuung, die auf schnellen Drives besser bedient wird Weniger optimal für 7200 RPM NL-SAS Drives Traditionelles RAID ist besser geeignet, um Spitzenwerte bei rein sequentiellen, gleichförmigen Arbeitslasten zu erreichen - besonders bei 7,2K NL-SAS Drives 28

29 DDP Spezifikationen 29

30 DDP Konfigurationsregeln Feature E5x00 E2x00 Minimale Anzahl Drives pro Pool 11* 11* Maximale Anzahl Drives pro Pool Gleichzeitiges Hinzufügen von Drives (DCE) 1 bis 12 drives 1 bis 12 drives Max Disk Pools pro system Unbegrenzt** Unbegrenzt** Max Disk Pool Volume 64TB*** 64TB*** Drive Support SAS, NL-SAS SAS, NL-SAS *11-Drive Minimum entspricht 8+2 plus Reserve (spare) ** 20 disk pools supported. *** 64TB max Volume ist z.b. ein einzelnes Volume in einem 24-drive pool mit 3TB Drives. 30

31 Volumes - Architektur Interoperabilität Feature Legacy Volumes DDP Volumes Thin Volumes Snapshot (legacy) Snapshot (new) Volume Copy Source only Synchronous Mirroring Asynchronous Mirroring (new checkpoint) Asynchronous Mirroring (legacy) Thin Provisioning N/A Flash Cache 31

32 E-Series SANtricity Storage Manager Storage-Funktionen der Enterprise-Klasse Dynamic Disk Pools Sechsmal schnellere Rebuilds (Minuten statt Tage) und konstant hohe Performance während des Festplatten- Rebuilds SSD-Cache und hybrider Storage Schnellerer Zugriff auf wichtige Dateien dank automatisiertem Caching in Echtzeit auf SSD; Kombination von SSDs und HDDs Verbesserte NetApp Snapshot Kopien Präzisere Recovery-Zeitpunkte und schnellere Recovery Thin Provisioning Verbesserung der Storage-Auslastung um bis zu 35 % und Vermeidung von Überprovisionierung Replizierung der Enterprise- Klasse Kostengünstige Disaster Recovery der Enterprise-Klasse von Daten mit FC- und IP- Replizierung Unterstützung von Laufwerkverschlüsselung Mehr Sicherheit für Compliance und Vorschriften 32

33 Die Produkte der E-Series Aktualisiert E GB-Cache-Speicher 6-Gbit-SAS-, 16-Gbit-FC-, 40-Gbit-IB-, 10-Gbit-iSCSI-Konnektivität 384 Laufwerke; Gehäuse für 12, 24 und 60 Laufwerke (SSD, SAS, NL-SAS) E , 24-GB-Cache-Speicher 6-Gbit-SAS-, 8-Gbit-FC-, 10-Gbit-iSCSI-, 40-Gbit-IB-Konnektivität 384 Laufwerke; Gehäuse für 12, 24 und 60 Laufwerke (SSD, SAS, NL-SAS) Neu E , 8-, 16-GB-Cache-Speicher 12-Gbit-SAS-, 16-Gbit-FC-, 10-Gbit-iSCSI-Konnektivität 192 Laufwerke; Gehäuse für 12, 24 und 60 Laufwerke (SSD, SAS, NL-SAS) E , 4-, 8-GB-Cache-Speicher 6-Gbit-SAS-, 8-Gbit-FC-, 1/10-Gbit-iSCSI-Konnektivität 192 Laufwerke; Gehäuse für 12, 24 und 60 Laufwerke (SSD, SAS, NL-SAS) KMU/Entry-Level-Klasse Arbeitsgruppe Abteilung Datacenter Hohe Performance SAS-, iscsi- Konnektivität DAS, Shared DAS, IP SAN einfaches Management Snapshot Replizierung SAS-, iscsi-, FC-Konnektivität Shared DAS, kleines SAN einfaches Management Snapshot Replizierung FC-, SAS-, iscsi- Konnektivität homogene SANs Performance-Mehrwert Konfigurationsflexibilität lokale und Remote- Replizierung FC-, SAS- oder IB-Konnektivität heterogene SANs höchste Performance Konfigurationsflexibilität lokale und Remote- Replizierung FC-, SAS- oder IB-Konnektivität System-Cluster Lustre, CXFS, GPFS maximale Bandbreite Kapazitätsdichte NetApp vertraulich nur zur internen Verwendung 33

34 Controller + Shelf = Modellnummern Controller/ Platten-Shelf- Gehäuse DE1600 (2 HE/12) nur 3,5 Zoll DE5600 (2 HE/24) nur 2,5 Zoll DE6600 (4 HE/60) 2,5 oder 3,5 Zoll E2600 E2700 E5400 E5500 E2612 E2712 E5412 E5512 E2624 E2724 E5424 E5524 E2660 E2760 E5460 E5560 NetApp vertraulich nur zur internen Verwendung 34

35 Zuverlässigkeit und Verfügbarkeit Datenverfügbarkeit Traditionelles RAID (Level 0,1, 3, 5, 6 und 10) und Dynamische Disk Pools (DDP) Multi-path Control Vom Host zu Array front-ends Path Redundanz vom Kontroller zu Disks Sofortige LUN Verfügbarkeit Dynamische Konfiguration / Rekonfiguration Dynamic Volume Expansion (i.e. DVE) Dynamic Capacity Expansion (i.e. DCE) Dynamic RAID-Level Migration (i.e. DRM)) Dynamic Segment (re)sizing (i.e. DSS) Volume Group Defragmentation 35

36 Zusammenfassung Traditionelles RAID beschränkt die operative Agilität Leistungseinbrüche Rekonstruktionszeiten DDP löst das Problem ohne zusätzlichen Aufwand Schnelle Rekonstruktion Geringere Exposition Vereinfachte Konfiguration NetApp Confidential - Internal Use Only 36

37 NetApp Proprietary - Limited Use Only 37