White Paper Fujitsu PRIMERGY Server RAID-Controller Performance 2013

Transkript

1 White Paper RAID-Controller Performance 213 White Paper Fujitsu PRIMERGY Server RAID-Controller Performance 213 Diese technische Dokumentation richtet sich an Personen, die sich mit der Disk-I/O- Performance von Fujitsu PRIMERGY Servern beschäftigen. Das Dokument soll helfen, aus dem Performance-Blickwinkel die Möglichkeiten und Anwendungsgebiete der verschiedenen RAID-Controller für interne Disk-Subsysteme kennenzulernen. Abhängig von den Anforderungen an Datensicherheit und Performance sowie geplanter oder vorhandener Server-Konfiguration ergeben sich Empfehlungen für die Auswahl und Parametrisierung der Controller. Betrachtet werden Controller, die im Jahre 213 für PRIMERGY Systeme verfügbar sind. Version 2.a Seite 1 (54)

2 White Paper RAID-Controller Performance 213 Version: 2.a Inhalt Dokumenthistorie... 2 Einführung... 3 RAID-Controller für PRIMERGY: Grundlagen... 4 Vorstellung der RAID-Controller... 4 Controller-Schnittstellen und ihre Durchsatzgrenzen... 7 Sicherung des Controller-Caches gegen Stromausfall... 1 Performance-relevante Einstellungen MegaRAID Advanced Software Options Besonderheiten der Onboard-Controller Messumfeld Messverfahren Messumgebung Controller-Vergleich RAID 1 (zwei SATA-Festplatten) RAID 1 (zwei SAS-Festplatten) RAID und 1 (vier SATA-Festplatten) RAID und 1 (fünf bis acht Festplatten) RAID und 1 (mehr als acht Festplatten) RAID Geringere Lastniveaus MegaRAID Advanced Software Options CacheCade FastPath... 5 Fazit Literatur Kontakt Dokumenthistorie Version 1. Version 1.a kleinere Korrekturen Version 2. Anpassung des Dokumententitels an 213 Ergänzung um die im Jahre 213 eingeführten Controller mit Unterstützung von PCIe Gen3 Ergänzung um die MegaRAID Advanced Software Options Neue Messergebnisse bei den Controller-Vergleichen für RAID 1 aufgrund geänderter Empfehlungen für die Cache-Einstellungen kleinere Korrekturen Version 2.a kleinere Korrekturen Seite 2 (54)

3 White Paper RAID-Controller Performance 213 Version: 2.a Einführung Festplatten sind sowohl besonders sicherheitsrelevante als auch Performance-kritische Komponenten im Server-Umfeld. Daher ist es wichtig, durch eine intelligente Organisierung dieser Komponenten deren Performance so zu bündeln, dass sie nicht zum Engpass im System werden, und gleichzeitig gegen den Ausfall einer Einzelkomponente gefeit zu sein. Hierfür gibt es Methoden, mehrere Festplatten in einem Verband derart zu arrangieren, dass der Ausfall einer Festplatte verkraftet werden kann. Man nennt dies Redundant Array of Independent Disks oder kurz RAID. Typischerweise werden dafür spezielle RAID- Controller verwendet. Die verschiedenen PRIMERGY Server sind in unterschiedlichen internen Ausbauvarianten mit verschiedenen RAID-Controller- und Festplattenkonfigurationen verfügbar. Das für alle Server der PRIMERGY Familie einheitlich angebotene Modular RAID -Konzept besteht aus einer modularen Controller-Familie und einem einheitlichen Management durch die Fujitsu RAID-Manager-Software ServerView RAID. Das umfangreiche Angebot der RAID-Lösungen ermöglicht dem Anwender, den passenden Controller für sein Anwendungsszenario zu wählen. Dabei wird die Leistungsfähigkeit des Disk- Subsystems durch den Controller, die Auswahl der Festplatten und die Eigenschaften des RAID-Levels bestimmt. Um alle diese Aspekte des Modular RAID hinsichtlich ihrer Performance zu beleuchten, sind im Rahmen der PRIMERGY White Paper Reihe verschiedene Dokumente entstanden: Zur umfassenden Einführung in die Thematik der Disk-I/O-Performance sei das White Paper Grundlagen Disk-I/O-Performance empfohlen. Das Dokument Performance einzelner Festplatten stellt die aktuell für PRIMERGY verfügbaren Festplatten und ihre Leistung in unterschiedlichen Anwendungsszenarien vor. Das vorliegende Dokument RAID-Controller-Performance 213 behandelt alle aktuell für PRIMERGY angebotenen RAID-Controller und deren Performance. Bei der Dimensionierung von internen Disk-Subsystemen für PRIMERGY Server kann man so vorgehen, dass man sich einen geeigneten Festplattentyp auswählt und die benötigte Festplattenanzahl für den gewünschten RAID-Level nach Faustformeln abschätzt. Der RAID-Controller ergibt sich dann von selbst durch Anzahl und Technologie der anzuschließenden Festplatten sowie durch den gewünschten RAID- Level. Das kann jahrelang ausreichend sein, um ein Disk-Subsystem treffsicher zu dimensionieren. In Laufe der Zeit schreitet jedoch die Technologie bei den Speichermedien (beispielsweise Solid State Drives, kurz SSDs) oder bei den internen Schnittstellen des Servers fort, und das neue Disk-Subsystem genügt nicht mehr den gestiegenen Ansprüchen. Oder, in einer produktiven Server-Konfiguration ändert sich das Anwendungsszenario und die erzielte Disk-I/O-Performance ist trotz ausreichender Festplattenanzahl nicht wie erhofft. In diesen beiden Fällen kann es lohnend sein, sich etwas genauer mit dem Performance- Einfluss des RAID-Controllers zu beschäftigen. Manchmal ist der richtige Controller, oder auch einfach der richtig konfigurierte Controller, die Voraussetzung für bestmögliche Performance. Damit ist das Ziel des vorliegenden Dokumentes umrissen. Zuerst wird ein Überblick über die für PRIMERGY Systeme zur Verfügung stehenden internen RAID-Controller gegeben. Die Durchsatzgrenzen der beteiligten Controller-Schnittstellen werden dann unter Performance-Aspekten vorgestellt. Nach einer kurzen Einführung in das Messumfeld werden die unterschiedlichen RAID-Controller bei verschiedenen RAID-Levels und in unterschiedlichen Anwendungsszenarien verglichen, was durch Messergebnisse untermauert wird. Zur Abgrenzung zu anderen Speichermedien wurde in der Vergangenheit der Begriff Festplatte oder auch Hard-Disk-Drive (HDD) für ein hartmagnetisch beschichtetes, rotierendes, direkt adressierbares, digitales, nichtflüchtiges Speichermedium eingeführt. Im Laufe der technischen Entwicklung wurden zusätzliche Festplatten -Gattungen als Speichermedien eingeführt, die die gleiche Schnittstelle zum Server verwenden und vom Server dementsprechend wie Festplatten behandelt werden. Als typisches Beispiel kann man eine SSD anführen, die als elektronisches Speichermedium keine beweglichen Teile beinhaltet, nichtsdestotrotz jedoch umgangssprachlich auch als Festplatte bezeichnet wird. In diesem Dokument wird durchgehend der Begriff Festplatte als Oberbegriff verwendet, während bei einer Differenzierung die Bezeichnungen SSD und HDD verwendet werden. In diesem Dokument sind Festplattenkapazitäten durchgängig zur Basis 1 angegeben (1 TB = 1 12 Bytes), während alle anderen Kapazitäten, Dateigrößen, Blockgrößen und Durchsätze zur Basis 2 angegeben sind (1 MB/s = 2 2 Bytes/s). Seite 3 (54)

4 White Paper RAID-Controller Performance 213 Version: 2.a RAID-Controller für PRIMERGY: Grundlagen In diesem Kapitel werden die für PRIMERGY Server verfügbaren RAID-Controller zunächst einmal mit ihren wesentlichen Funktionalitäten vorgestellt. Anschließend wird näher auf die Durchsatzgrenzen eingegangen, die sich für die einzelnen Controller aufgrund ihrer Schnittstellen im Server ergeben. Daraufhin werden die möglichen Einstellungen der Controller behandelt, und abschließend werden die Besonderheiten der Onboard-Controller diskutiert. Vorstellung der RAID-Controller Die folgende Tabelle fasst die wichtigsten Daten zur Funktionalität der verfügbaren RAID-Controller zusammen. Zur vereinfachten Bezeichnung dieser Controller werden im vorliegenden White Paper meist nur die kurzen Namen aus der Spalte Alias verwendet, also beispielsweise. Diese ergeben sich aus der Basis- Chip-Bezeichnung des Controllers und optional der Cache-Größe. LSI SW RAID on Intel C2 (Onboard SATA) LSI SW RAID on Intel C6 (Onboard SATA) LSI SW RAID on Intel C6 (Onboard SAS) RAID /1 SAS based on LSI MegaRAID 4Port RAID /1 SAS based on LSI MegaRAID 8Port RAID Ctrl SAS 6G /1 (D267) RAID Ctrl SAS 6G 5/6 512 MB (D2616) PY SAS RAID Mezz Card 6Gb RAID Ctrl SAS 6G 5/6 1GB (D3116) RAID Ctrl SAS 6G 5/6 1GB (D3116C) PY SAS RAID HDD Module 1)2) PY SAS RAID HDD Module 3. 1)2) PY SAS RAID HDD Module w/o cache 1) PY SAS RAID HDD Module w/o cache 3. 1) 1) 2) Unterstützte Interfaces Max. RAID Levels BBU/ # Disks FBU Cougar Point I - 3G SATA 3G 4 JBOD,, 1, 1 Patsburg A I - 3G SATA 3G 4, 1, 1 -/- Patsburg B I - 3G SATA 3G SAS 3G LSI164 P - 3G SATA 3G SAS 3G LSI168 P - 3G SATA 3G SAS 3G P - 6G SATA 3G/6G SAS 3G/6G Controller Name Alias FF Cache Frequenz P M 512 MB 6G SATA 3G/6G SAS 3G/6G P 1 GB 6G SATA 3G/6G SAS 3G/6G P 1 GB 6G SATA 3G/6G SAS 3G/6G LSI M 512 MB 6G SATA 3G/6G 2. 1)2) SAS 3G/6G LSI M 512 MB 6G SATA 3G/6G 3. 1)2) SAS 3G/6G LSI228-Lite- M - 6G SATA 3G/6G 2. 1) SAS 3G/6G LSI228-Lite- M - 6G SATA 3G/6G 3. 1) SAS 3G/6G Diese Controller sind nur für PRIMERGY BX92 S3 verfügbar. PCIe 1. x4 PCIe 1. x4 PCIe 2. x8 PCIe 2. x8 PCIe 2. x8 PCIe 3. x8 PCIe 2. x8 PCIe 3. x8 PCIe 2. x8 PCIe 3. x8 -/- 4, 1, 1 -/- 4, 1, 1E -/- 8, 1, 1E -/- 8, 1, 1E, 1 -/- 8, 1, 5, 6, 1, 5, 6 8, 1, 1E, 5, 6, 1, 5, 6 8, 1, 1E, 5, 6, 1, 5, 6 /- -/ -/ 8, 1, 1E, 5, 6, 1, 5, 6 2) -/ 8, 1, 1E, 5, 6, 1, 5, 6 2) -/ 8, 1 -/- 8, 1 -/- Die RAID-Levels außer und 1 sind bei dem LSI Controller nur benutzbar in Zusammenhang mit mehr Festplattensteckplätzen in PRIMERGY SX98 Storage Blades. Die Spalte FF gibt den Formfaktor wieder; I bedeutet integriert, P bedeutet PCIe-Slot und M bedeutet Mezzanine Karte. Die Spalte Max. # Disks gibt die maximale Anzahl Festplatten an, die direkt an dem Controller im Rahmen des RAID-Management-Konzeptes der PRIMERGY Server betrieben werden können. Diese Information kann hilfreich sein, um zu erkennen, ob der Controller einen theoretischen Engpass darstellen könnte. In einigen PRIMERGY Modellen kommen in Verbindung mit bestimmten Controller-Modellen sogenannte Expander (spezielle im SAS-Standard definierte Bauteile) zum Einsatz, um die maximale Anzahl der Festplatten darüber hinaus zu erhöhen. Der Expander kann dabei die Seite 4 (54)

5 White Paper RAID-Controller Performance 213 Version: 2.a Bandbreite der vorhandenen Ports nicht steigern, stellt sie aber in Summe allen angeschlossenen Festplatten zur Verfügung. Bei den RAID /1 SAS-RAID-Controllern ist der -Controller der 6G-Nachfolger vom LSI168- Controller, während die LSI228-Controller die Nachfolger des -Controllers sind, die zusammen die RAID 5/6 SAS-RAID-Controller-Familie bilden. Den LSI228-Controller gibt es mit den beiden Cache-Größen 1 GB und 512 MB, abgekürzt durch die beiden Aliasnamen und LSI Wenn im weiteren Verlauf nur von LSI228 die Rede ist, gilt die Aussage für beide Cache-Größen. Für die Gruppe der drei LSI228-Controller wurde 213 ein neuer Chip eingeführt, der PCIe Gen3 unterstützt. Zur besseren Unterscheidung in diesem Dokument wurden die Aliasnamen um die Endungen 2. bzw. 3. erweitert. Werden Aliasnamen ohne diese Endungen verwendet, gilt die Aussage für beide Controller-Varianten. Seite 5 (54)

6 Max. # Disks Expander CougarPoint Patsburg A Patsburg B LSI164 LSI168 B LSI LSI228-Lite White Paper RAID-Controller Performance 213 Version: 2.a Bei der Beurteilung der Leistungsfähigkeit von Disk-Subsystemen spielen bei heutigen Systemen die Prozessorleistung und der Speicherausbau des Systems meist keine signifikante Rolle ein eventuell vorhandener Engpass betrifft in der Regel die Festplatten und den RAID-Controller und nicht CPU oder Memory des Server-Systems. Daher können die verschiedenen RAID-Controller unabhängig von den PRIMERGY Modellen verglichen werden, in denen sie eingesetzt werden, auch wenn nicht bei allen PRIMERGYs aufgrund ihrer Ausbaubarkeit mit Festplatten alle Konfigurationen möglich sind. In der folgenden Tabelle ist zusammengestellt, welche RAID-Controller zum Zeitpunkt der Erstellung dieses White Papers in den einzelnen PRIMERGY Systemen für den Anschluss von Festplatten freigegeben sind oder in naher Zukunft freigegeben werden (oder in der Vergangenheit freigegeben waren) und wie viele Festplatten die Modelle maximal unterstützen. Die möglichen Kombinationen von PRIMERGY Ausbauvarianten und Controllern entnehmen Sie bitte den Konfiguratoren zu den Systemen. Onboard-Controller Controller mit PCIe-Schnittstelle PRIMERGY BX92 S3 2 BX924 S3 2 CX25 S1 8 -/ CX27 S1 24 -/ RX1 S7 4 RX1 S7p 4 RX2 S7 8 RX3 S7 16 -/ RX35 S7 24 -/ RX5 S7 8 RX6 S6 8 RX9 S2 8 SX94 S1 4 SX96 S1 1 TX1 S3 4 TX1 S3p 4 TX12 S3 4 TX12 S3p 4 TX14 S1 8 TX14 S1p 8 TX3 S7 24 -/ Bei dem Server Blade BX924 S3 ist der -Controller als Mezzanine-Karte realisiert. Entsprechend gilt dies bei dem Server Blade BX92 S3 für die LSI228-Controller. Das vorliegende White Paper untersucht die zuvor genannten Mezzanine-Karten nur in Zusammenhang mit internen Festplatten im selben Server Blade. Die Performance von Storage Blades PRIMERGY SX98, die mit solchen Mezzanine-Karten über SAS-Switche verbunden sind, wird in dem Performance Report der PRIMERGY SX98 behandelt. Seite 6 (54)

7 White Paper RAID-Controller Performance 213 Version: 2.a Controller-Schnittstellen und ihre Durchsatzgrenzen Ein RAID-Controller braucht einerseits eine Schnittstelle zu den Festplatten und andererseits zum Chipsatz des Motherboards. Die erste ist typischerweise SAS oder SATA, die zweite ist typischerweise PCIe oder, im Falle der integrierten Onboard-Controller, eine interne Busschnittstelle des Motherboards. Im Folgenden sind die oberen Grenzen für die Durchsätze von SAS, SATA und PCIe zusammengestellt. SAS und SATA Serial Attached SCSI (SAS) und Serial Advanced Technology Attachment (SATA) sind serielle Schnittstellen, deren Datendurchsatz von der Frequenz abhängt. Diese Schnittstellen dienen zum Anschluss nichtflüchtiger Speichermedien wie Festplatten, optischen Laufwerken und Bandlaufwerken. Typ Frequenz Theoretischer Durchsatz Praktischer Durchsatz (85%) SAS 3G / SATA 3G 3 MHz 286 MB/s 243 MB/s SAS 6G / SATA 6G 6 MHz 572 MB/s 486 MB/s Man findet die Frequenzen in der Abkürzung 3G oder 6G oft als Teil der Controller- oder Festplattenbezeichnung, alternativ wird bei SAS auch eine Versionsnummer 1. für 3G und 2. für 6G verwendet. Der theoretisch erreichbare Durchsatz errechnet sich folgendermaßen: 1 Bit pro 1 Hz, minus 2% Redundanz der seriellen Übertragung durch die sogenannte 8b/1b-Kodierung. Den in der Praxis erreichbaren Durchsatz kann man daraus durch Multiplikation mit.85 abschätzen. Diese 85% sind ein durchschnittlicher Erfahrungswert aus über die Jahre hinweg beobachteten Werten für verschiedenste Komponenten. Alle Komponenten einer Verbindung zwischen Endgeräten müssen dieselbe Version des SAS- oder SATA- Protokolls verwenden. Dazu zählen neben den Festplatten auch die Controller und ggf. verwendete Expander. Treffen unterschiedliche Komponenten aufeinander, wird automatisch der performanteste von allen Komponenten gemeinsam unterstützte Standard verwendet, eventuell also eine geringere Frequenz. Dabei sind die höheren Protokolle abwärtskompatibel. Während bei SATA oft jeder Port einzeln an eine Festplatte angeschlossen wird, werden vier SAS- Anschlüsse bzw. -Leitungen häufig zusammengefasst und als x4 SAS oder x4 wide port bezeichnet. Damit ist der direkte Anschluss von maximal vier SAS-Festplatten über eine Backplane möglich. Der Durchsatz von x4 SAS ist der Vierfache des entsprechenden einzelnen SAS-Anschlusses, dies gilt analog auch für SATA. Schnittstelle Anschluss Frequenz Theoretischer Durchsatz Praktischer Durchsatz (85%) SAS 3G / SATA 3G 1 x4 3 MHz 1144 MB/s 973 MB/s SAS 3G / SATA 3G 2 x4 3 MHz 2289 MB/s 1945 MB/s SAS 6G / SATA 6G 1 x4 6 MHz 2289 MB/s 1945 MB/s SAS 6G / SATA 6G 2 x4 6 MHz 4578 MB/s 389 MB/s Einige PRIMERGY Modelle kann man mit einer größeren Anzahl Festplatten ausbauen, als der Controller Festplattenanschlüsse hat. In diesem Fall wird die Anzahl der anschließbaren Festplatten mittels eines Expanders vergrößert. Wie bereits erwähnt, kann ein Expander den Datenstrom nur verteilen, nicht den Durchsatz erhöhen. Das SAS-Protokoll ist so definiert, dass es auch die SATA-Protokolle gleicher oder geringerer Frequenz transportieren kann (tunneln). Damit ist es Controllern beider SAS-Versionen möglich, mit SATA-Festplatten zu kommunizieren. Umgekehrt ist es nicht möglich, SAS-Festplatten über eine SATA-Schnittstelle anzuschließen. Seite 7 (54)

8 White Paper RAID-Controller Performance 213 Version: 2.a PCIe PCIe ist eine ebenfalls serielle Schnittstelle zwischen dem Controller und dem Motherboard. Die Steckverbindungen sind in unterschiedlicher Breite bzw. Anzahl von Lanes ausgeführt. Üblich sind x4 (vier Lanes) und x8 (acht Lanes), wobei es auf die tatsächliche Anzahl elektrisch genutzter Lanes ankommt (im weiteren Verlauf als funktionelle PCIe Breite bezeichnet). Der Durchsatz einer Lane wird ebenfalls durch die Frequenz bestimmt. Schnittstelle Anschluss Frequenz Theoretischer Durchsatz Praktischer Durchsatz (9%) PCIe 1., PCIe Gen1 x4 25 MHz 954 MB/s 858 MB/s PCIe 1., PCIe Gen1 x8 25 MHz 197 MB/s 1716 MB/s PCIe 2., PCIe Gen2 x4 5 MHz 197 MB/s 1716 MB/s PCIe 2., PCIe Gen2 x8 5 MHz 3815 MB/s 3433 MB/s PCIe 3., PCIe Gen3 x4 8 MHz 3756 MB/s 338 MB/s PCIe 3., PCIe Gen3 x8 8 MHz 7512 MB/s 6761 MB/s PCIe 1. wird auch oft als PCIe Gen1 bezeichnet, PCIe 2. als PCIe Gen2 und PCIe 3. als PCIe Gen3. Der theoretisch erreichbare Durchsatz errechnet sich folgendermaßen: 1 Bit pro 1 Hz multipliziert mit der Anzahl der Anschlüsse (x4 oder x8), minus 2% Redundanz der seriellen Übertragung durch die sogenannte 8b/1b-Kodierung bei PCIe 1. und 2. bzw. minus 1.54% Redundanz durch eine 128b/13b-Kodierung bei PCIe 3.. Den in der Praxis erreichbaren Durchsatz kann man daraus durch Multiplikation mit.9 abschätzen. Diese 9% sind ein durchschnittlicher Erfahrungswert aus über die Jahre hinweg beobachteten Werten für verschiedenste Komponenten. Alle PRIMERGY Server beginnend mit der 21 eingeführten Generation (z. B. PRIMERGY RX3 S5) unterstützen PCIe 2. und ab der 212 eingeführten Generation (z. B. PRIMERGY RX3 S7) PCIe 3.. Treffen unterschiedliche Komponenten aufeinander, wird die höchste von allen Komponenten gemeinsam unterstützte Frequenz verwendet. Seite 8 (54)

9 White Paper RAID-Controller Performance 213 Version: 2.a Anwendung auf die RAID-Controller In der nächsten Tabelle sind für alle RAID-Controller die Performance-bestimmenden Rahmendaten zusammengestellt. Die hier aufgeführten Durchsatzgrenzen ergeben sich mit Hilfe der beiden vorhergehenden Unterkapitel SAS und SATA sowie PCIe. Die jeweils maßgebliche Durchsatzgrenze ist in der Tabelle mit Fettdruck hervorgehoben. Controller- Alias # CPU Cores Cache Memory Typ # Disk- Anschlüsse Grenze für Durchsatz Disk-Interface Cougar Point 4 SATA 3G 973 MB/s Patsburg A 4 SATA 3G 973 MB/s Patsburg B 4 SAS 3G 973 MB/s PCIe- Version Effektive PCIe-Breite Grenze für Durchsatz PCIe- Interface LSI SAS 3G 973 MB/s 1. x4 858 MB/s LSI SAS 3G 1945 MB/s 1. x4 858 MB/s 1 8 SAS 6G 389 MB/s 2. 1 LSI LSI DDR2 / 8 MHz 8 SAS 6G 389 MB/s 2. DDR3 / 1333 MHz 8 SAS 6G 389 MB/s 2. DDR3 / 1333 MHz 8 SAS 6G x4 x8 x4 x8 x4 x MB/s 3433 MB/s 1716 MB/s 3433 MB/s 1716 MB/s 3433 MB/s 389 MB/s x4 338 MB/s MB/s x MB/s Für die Mehrzahl der Einsatzfälle stellen die Durchsatzgrenzen keinen Engpass dar. In der Praxis überwiegen nämlich die Anwendungsszenarien mit wahlfreiem Zugriff auf konventionelle Festplatten, in denen keine hohen Durchsätze erreicht werden. Für Anwendungsfälle mit rein sequentiellem Zugriff und der häufigen Blockgröße 64 kb ergibt sich die Limitierung im Falle von PCIe 1., x4, erst bei fünf konventionellen Festplatten; im Falle von PCIe 2., x8, tritt sie erst bei 17 konventionellen Festplatten ein. Bei sequentiellen oder wahlfreien Zugriffen auf moderne SAS-SSDs mit derselben Blockgröße ergibt sich die Limitierung im Falle von PCIe 2., x8, abhängig vom Schreibanteil bei neun bis 15 SSDs. Die Durchsatzwerte in der Spalte Grenze für Durchsatz Disk-Interface gelten für die Gesamtheit der Verbindungen zwischen dem Controller und den Festplatten. Die Durchsätze über diese SAS-/SATA- Schnittstelle sind nur im Falle von RAID mit den Durchsätzen aus Sicht der Applikation identisch. Bei anderen RAID-Levels ist der Durchsatz über die SAS-/SATA-Schnittstelle um einen spezifischen Faktor gegenüber dem Durchsatz aus Sicht der Applikation multipliziert. Dieser Faktor ist immer 1 und hängt vom RAID-Level und mehreren Merkmalen des Zugriffsmusters ab. Die realen Durchsatzgrenzen sind deswegen immer um den erwähnten spezifischen Faktor niedriger als die Werte in der Spalte Grenze für Durchsatz Disk-Interface. Seite 9 (54)

10 White Paper RAID-Controller Performance 213 Version: 2.a Sicherung des Controller-Caches gegen Stromausfall Um bei einem Stromausfall die Daten im Cache zu sichern, werden für PRIMERGY Server derzeit zwei Möglichkeiten angeboten: Battery Backup Unit (BBU) Die konventionelle Methode funktioniert mit einer Battery Backup Unit (BBU). Hier wird die Stromversorgung des flüchtigen Cache-Speichers während der Zeit eines Stromausfalls über eine wiederaufladbare Batterie (Akkumulator) gesichert. Da die Batterie eine begrenzte Kapazität hat, welche zudem aufgrund von physikalischen und chemischen Prozessen mit der Zeit abnimmt, kann sie die Versorgung des Cache- Speichers nur begrenzte Zeit gewährleisten. Diese Zeit ist nicht konstant, sondern abhängig von mehreren Einflussgrößen wie Alter der BBU, Ladestatus, Temperatur usw. Die BBU unterliegt daher einer eingeschränkten Garantie. Sobald der Strom wieder da und der Server hochgefahren ist, kann der RAID-Controller mit dem Cache- Speicherinhalt weiterarbeiten und die Daten bleiben konsistent. Flash Backup Unit (FBU) Mit der auf neuerer Technologie beruhenden Flash Backup Unit (FBU) werden die Daten bei einem Stromausfall nicht im Cache-Speicher gehalten, sondern der Inhalt des Cache-Speichers wird in einen nicht flüchtigen Flash-Speicher umkopiert. In diesem Flash-Speicher können die Daten fast beliebig lange verbleiben, so dass hier die von der BBU bekannte Haltezeit kein Problem mehr ist. Die Energie für den Kopiervorgang vom Cache-Speicher in den Flash-Speicher bei einem Stromausfall kommt aus einem SuperCap (Super Capacitor - Super Kondensator). Sobald der Strom wieder da und der Server hochgefahren ist, wird der Cache-Inhalt aus dem Flash-Speicher wieder in den Cache-Speicher zurückgeschrieben. Der RAID-Controller kann nun wieder weiterarbeiten und die Daten bleiben konsistent. Seite 1 (54)

11 White Paper RAID-Controller Performance 213 Version: 2.a Performance-relevante Einstellungen Wesentlich für eine optimale Performance des RAID-Controllers ist eine richtige Parametereinstellung für den jeweiligen RAID-Verband. Abhängig vom Controller gibt es einen unterschiedlichen Vorrat an Parametern, die einstellbar sind. Zwecks einfacher und sicherer Handhabung der Einstellungen von RAID- Controller und Festplatten empfiehlt sich die für PRIMERGY Server mitgelieferte RAID-Manager-Software ServerView RAID. Üblicherweise wird man spezifisch für den Anwendungsfall mittels der vordefinierten Modi Performance oder Data Protection die kompletten Cache-Einstellungen für Controller und Festplatten en bloc vornehmen. Der Modus Performance gewährleistet für die Mehrzahl der Anwendungsszenarien Performance-optimale Einstellungen. Durch den Modus Performance werden vorhandene Caches von Controller und Festplatten eingeschaltet, daher sollte der Cache des RAID-Controllers in diesem Modus durch eine Battery Backup Unit (BBU) oder Flash Back Unit (FBU) vor Datenverlust bei einem Stromausfall geschützt werden. Zusätzlich sollten auch die Festplatten-Caches durch Einsatz einer unterbrechungsfreien Stromversorgung (USV) gesichert werden. In speziellen Fällen kann eine Parametereinstellung sinnvoll sein, die von den Standardsetzungen des Modus Performance abweicht. Falls dies sinnvoll ist, wird im entsprechenden Teil des Kapitels Controller- Vergleich darauf hingewiesen. Hinter den Cache-Einstellungen der ServerView RAID Software verbergen sich abhängig vom Controller alle oder ein Teil der folgenden Einstellmöglichkeiten von RAID-Controller und Festplatten. Die ersten drei Einstellmöglichkeiten steuern den RAID-Controller, die letzte die Festplatten des RAID-Verbands. Alle Parameter sind spezifisch für jeden RAID-Verband einstellbar. Read mode Mit dem Parameter Read mode kann das Cache-Verhalten beim Lesen beeinflusst werden. Es stehen die zwei Optionen No read-ahead und Read-ahead zur Verfügung. Bei No read-ahead findet kein Caching beim Lesen statt. Bei "Read-ahead" macht der Controller dagegen Gebrauch vom Caching beim Lesen. Die Onboard-Controller (z. B. Patsburg A) lesen bei der Option Read-ahead generell Blöcke im Voraus. Die PCIe-Controller mit Cache arbeiten bei dieser Option differenzierter: Die angeforderten Blöcke werden kontinuierlich daraufhin analysiert, ob ein sequentieller Lesezugriff vorliegt. Erkennt der Controller einen solchen Zugriff, so fängt er an, zusätzlich zum angeforderten Block auch die sequentiell nachfolgenden in den Cache einzulesen, um sie für die erwarteten nächsten Anforderungen bereitzuhalten. Die jetzige Option Read-ahead ist also adaptiv. Hierin sind die beiden früheren Optionen Read-ahead und Adaptive verschmolzen. Write mode Unter dem Begriff Write mode werden die Einstellmöglichkeiten des Controller-Caches zusammengefasst, die die Behandlung von Schreibaufträgen steuern. Es gibt drei Optionen, um den Write-Cache einzustellen: Write-through, Write-back und Always Write-back (independent of BBU state). Die Option Writethrough garantiert, dass jeder Schreibauftrag vom Controller erst dann als erledigt zurückgemeldet wird, wenn er von der Festplatte quittiert wurde. Bei den Optionen Write-back und Always Write-back werden die Aufträge im Controller-Cache zwischengespeichert, der Anwendung sofort als erledigt quittiert und erst später an die Festplatte übergeben. Diese Prozedur ermöglicht eine optimale Ausnutzung der Controller- Ressourcen, eine schnellere Abfolge der Schreibaufträge und damit einen höheren Durchsatz. Eventuelle Stromausfälle können durch eine optionale BBU/FBU überbrückt werden und die Integrität der Daten im Controller-Cache ist damit garantiert. Die Option Always Write-back schaltet den Write-Cache permanent ein; er wird auch dann genutzt, wenn die BBU/FBU nicht einsatzbereit ist. Dagegen wird bei der Option Write-back automatisch auf Write-through umgeschaltet, solange der Controller-Cache nicht durch die BBU/FBU abgesichert ist. Cache mode Der Parameter Cache Mode, manchmal auch mit I/O Cache bezeichnet, beeinflusst das Verhalten des Controller-Caches beim Lesen. Die Option Direct legt fest, dass die zu lesenden Daten direkt von der Festplatte gelesen werden und auch nicht in dem Controller-Cache aufbewahrt werden. Die Alternative Cached bewirkt, dass zuerst versucht wird, die Daten im Controller-Cache zu finden und den Leseauftrag damit zu befriedigen, bevor auf die Festplatte zugegriffen wird. Dabei werden alle Daten in den Controller- Cache geschrieben, um für folgende Leseaufträge verfügbar zu sein. Seite 11 (54)

12 White Paper RAID-Controller Performance 213 Version: 2.a Disk cache mode Die möglichen Werte sind enabled und disabled. Das Einschalten des Festplatten-Caches bringt in den meisten Fällen eine Durchsatzsteigerung beim Schreibzugriff. Ist das System mit einer USV gesichert, so ist das Einschalten des Festplatten-Caches aus Performance-Gründen zu empfehlen. In der nächsten Tabelle ist dargestellt, welche dieser Einstellmöglichkeiten für die einzelnen Controller existieren. Controller-Alias Read mode Write mode Cache mode Onboard-Controller Cougar Point Onboard-Controller Patsburg A Onboard-Controller Patsburg B LSI164 / LSI 168 B LSI LSI228-Lite Zur Vervollständigung gibt die folgende Tabelle noch eine Zusammenstellung der Einstellungen, die derzeit in den Modi Data Protection und Performance in ServerView RAID implementiert sind. Man beachte, dass diese vordefinierten Einstellungskombinationen bei den Controllern mit Controller-Cache auch von der Existenz einer BBU/FBU abhängen, aber unabhängig vom gewählten RAID-Level sind. Controller- Alias Onboard-Controller Cougar Point Onboard-Controller Patsburg A Onboard-Controller Patsburg B BBU/ FBU? Read mode Readahead Readahead Readahead Data Protection Write mode Cache mode Disk cache off off off Read mode Readahead Readahead Readahead Performance Write mode Cache mode LSI164 / LSI168 off on off on B / LSI Readahead Readahead Readahead Readahead Writethrough Writeback Writethrough Writeback Direct Direct Direct Direct off off off off Readahead Readahead Readahead Readahead Always Write-back Writeback Always Write-back Writeback Direct Direct Direct Direct Disk cache LSI228-Lite off on on on on on on on on Seite 12 (54)

13 White Paper RAID-Controller Performance 213 Version: 2.a MegaRAID Advanced Software Options Die MegaRAID Advanced Software Options setzen sich aus CacheCade 2. und FastPath zusammen. Hierbei werden zwei unterschiedliche Ansätze der Performance-Steigerung verfolgt, die es getrennt zu betrachten gilt. Die MegaRAID Advanced Software Options gibt es für den B- und LSI Controller. Für die Aktivierung ist ein spezieller Lizenz-Key erforderlich. Obwohl die kleinste Konfiguration bei den MegaRAID Advanced Software Options zwei Festplatten verwendet, wird man typischerweise mehr Festplatten einsetzen, so dass im Falle von Blade Servern ein LSI Controller zusammen mit PRIMERGY SX98 Storage Blades benutzt werden muss. CacheCade 2. CacheCade 2. ist eine Read- bzw. Read-/Write-Caching Software für Hot Spot Daten, die in signifikanter Weise die Zugriffszeiten bei der Nutzung von HDD-Verbänden reduziert, indem SSDs als nicht-flüchtiger, dynamischer high-performance Controller Cache Pool verwendet werden. Dies verbindet in einfacher Weise die beiden Vorteile der Festplattentypen HDD und SSD große Kapazitäten und kurze Zugriffszeiten. Voraussetzung und Einschränkung Eine wesentliche Voraussetzung ist ein IO-Zugriffsschwerpunkt, ein sogenannter Hot Spot der Applikation. Die Daten sind dabei auf einem RAID-Verband aus HDDs, auf den wahlfrei (random) zugegriffen wird. Zur Verbesserung der Zugriffszeiten sind SSDs erforderlich, die als CacheCade 2. Cache konfiguriert und dem HDD-RAID-Verband zugeordnet werden. Diese HDDs und SSDs müssen am gleichen Controller angeschlossen sein. Mögliche Konfigurationen des CacheCade 2. Caches sind RAID, RAID 1 und RAID 1E bis maximal 512 GB nutzbare Cache-Kapazität. Über die Parametereinstellung write through bzw. write back wird festgelegt, ob der Cache nur als Lese-Cache oder Schreib-/Lese-Cache verwendet wird. Beispielkonfiguration Eine typische Konfiguration für CacheCade 2. wäre z. B. ein HDD-Verband vom Typ RAID aus vier SATA-6G-HDDs und ein SSD-Verband vom Typ RAID 1 aus zwei SAS-6G-SSDs als CacheCade 2. Cache. Diese Konfigurationen werden in diesem Dokument sowohl getrennt als auch in Kombination als CacheCade 2. näher betrachtet. FastPath FastPath ist ein High-Performance IO Accelerator für RAID-Verbände aus SSDs. Diese optimierte Version der LSI MegaRAID Technologie erlaubt eine deutliche Performance-Steigerung von Applikationen mit einer hohen IO-Last beim wahlfreien Zugriff, falls SATA-6G-SSDs oder SAS-6G-SSDs genutzt werden. Voraussetzung und Einschränkung Die Transaktionsrate von RAID-Verbänden aus hoch-performanten 6G-SSDs kann bei wahlfreiem Zugriff mit kleinen Blöcken limitiert sein, obwohl die Durchsatzgrenze von SAS-/SATA-6G bzw. PCIe noch nicht erreicht ist und eine ausreichende Anzahl SSDs zur Verfügung steht. In dem Fall ist es möglich, mit dem Einsatz von FastPath die Transaktionsrate erheblich zu steigern. Der IO-Bereich, ab dem FastPath erfolgreich eingesetzt werden kann, beginnt ab ca. 2 IO/s pro Controller. Im Kapitel Messumgebung ist für eine SAS-6G-SSD eine maximale Transaktionsrate von IO/s für den wahlfreier Zugriff mit 8 kb Blockgröße und einen Leseanteil von 67% ausgewiesen. Daraus lässt sich ableiten, dass die Begrenzung bei ca. vierzehn SSDs einsetzt. Seite 13 (54)

14 White Paper RAID-Controller Performance 213 Version: 2.a Besonderheiten der Onboard-Controller Einige PRIMERGY Modelle bieten mit einem Onboard-Controller derzeit CougarPoint, Patsburg A oder Patsburg B eine einfache, kostengünstige Einsteigerlösung für den Betrieb mit bis zu vier Festplatten. Mit der Unterstützung von RAID, RAID 1 und RAID 1 bietet ein solcher Onboard-Controller eine Reihe von gebräuchlichen RAID-Levels an und belegt keinen PCIe-Steckplatz. Alle Controller, die über die PCIe-Schnittstelle angebunden sind, werden hier nicht als Onboard-Controller behandelt, auch wenn sie auf dem Motherboard integriert sind (siehe Tabelle im Kapitel Vorstellung der RAID-Controller ). Der Onboard-Controller ist als eine Firmware-/Treiber-basierte Software-RAID-Lösung realisiert. Sie ist typischerweise im Southbridge -Chip integriert, der zum Motherboard-Chipsatz gehört. Während der Boot- Phase werden Zugriffe auf den RAID-Verband durch die Firmware realisiert. Sobald das Betriebssystem aktiv ist, übernehmen geeignete Treiber diese Aufgabe. Der Onboard-Controller hat keinen eigenen Prozessor, sondern nutzt die CPU des Server-Systems für die RAID-Funktionalität. Der anteilige Konsum von Prozessorleistung des Servers fällt bei neueren Servern immer weniger ins Gewicht. CougarPoint Der Onboard-Controller CougarPoint ist ein reiner SATA-Controller. Er kann über das BIOS in verschiedene Modi eingestellt werden. Obwohl zur effektiven Benutzung dieses Typs von Controllern nur der Modus RAID in Frage kommt, seien der Vollständigkeit halber alle Modi dieser SATA-Controller vorgestellt. Die fortgeschrittenen SATA-Features Native Command Queuing (NCQ) und hot swapping werden nicht in allen Fällen unterstützt. Es gibt drei Modi: RAID Aufgrund seiner Flexibilität empfehlenswerter Modus. Nur hierbei ist eine problemlose Migration einer SATA-HDD von einer Nicht-RAID- zu einer RAID-Konfiguration möglich. Alle Funktionalitäten von SATA werden unterstützt, also auch NCQ und hot swapping. Für die unterstützten RAID-Levels ist bei den PRIMERGY Servern eine Firmware namens LSI Logic Embedded MegaRAID im Controller-BIOS integriert. Nur in diesem Modus sind RAID-Verbände bereits während der Boot-Phase möglich, und nur in diesem Modus sind Controller und Festplatten in der RAID-Manager-Software ServerView RAID sichtbar und können dort verwaltet werden. Es sind spezielle Treiber notwendig. AHCI IDE Patsburg A und Patsburg B AHCI steht für Advanced Host Controller Interface und ist ein herstellerübergreifender Schnittstellenstandard für SATA-Controller. NCQ und hot swapping werden unterstützt. Auch für AHCI sind spezielle Treiber im Betriebssystem notwendig. In dieser Betriebsart werden die SATA-Ports als solche dem Betriebssystem sichtbar gemacht. NCQ wird nicht unterstützt. Es werden entsprechende SATA-Treiber benötigt, die auf der Fujitsu ServerStart DVD für verschiedene Betriebssysteme mitgeliefert werden. Der C6-Chipset der im Jahre 212 freigegebenen Server-Generation mit zwei und mehr Prozessorsockeln (z. B. PRIMERGY RX3 S7) hat eine völlig neue Architektur. Hierin ist erstmals ein SAS-/SATA-Controller integriert. Standardmäßig arbeitet dieser Controller im SATA-Modus (Patsburg A). Mit dem zusätzlich bestellbaren SAS Enabling Key erfolgt der Upgrade auf die höherwertige SAS-/SATA-Variante (Patsburg B). Im BIOS einiger Server, die den Patsburg A/B enthalten, sind zwar Möglichkeiten zur SATA-Konfiguration vorgesehen (u. a. AHCI ), diese beziehen sich aber im Allgemeinen ausschließlich auf die SATA- Anschlüsse für optische Laufwerke und finden bei den hier behandelten RAID-Konfigurationen keine Verwendung. Seite 14 (54)

15 White Paper RAID-Controller Performance 213 Version: 2.a Messumfeld Nachdem nun die unterschiedlichen Controller vorgestellt und ihre technischen Eigenschaften erläutert worden sind, wollen wir im nachfolgenden Kapitel Controller-Vergleich die Controller in verschiedenen Anwendungsszenarien diskutieren und dies anhand von Messergebnissen untermauern. Daher seien zuerst das Messverfahren und die Messumgebung an dieser Stelle kurz vorgestellt. Alle Details des Messverfahrens und Grundlagen zur Disk-I/O-Performance sind im White Paper Grundlagen Disk-I/O-Performance beschrieben. Messverfahren Standardmäßig werden Performance-Messungen von Disk-Subsystemen bei PRIMERGY Servern mit einem definierten Messverfahren durchgeführt, das die Festplattenzugriffe realer Anwendungsszenarien anhand von Kenndaten modelliert. Die wesentlichen Kenndaten sind: Anteil von wahlfreien Zugriffen / sequentiellen Zugriffen Anteil der Zugriffsarten Lesen / Schreiben Blockgröße (kb) Anzahl paralleler Zugriffe (# of Outstanding I/Os) Eine gegebene Wertekombination dieser Kenndaten heißt Lastprofil. Die folgenden fünf Standardlastprofile lassen sich typischen Anwendungsszenarien zuordnen: Standardlastprofil Zugriff Zugriffsart Blockgröße read write [kb] Anwendung File copy wahlfrei 5% 5% 64 Kopieren von Dateien File server wahlfrei 67% 33% 64 File-Server Database wahlfrei 67% 33% 8 Streaming sequentiell 1% % 64 Datenbank (Datentransfer) Mail Server Datenbank (Log-File), Datensicherung; Video Streaming (teilweise) Restore sequentiell % 1% 64 Wiederherstellen von Dateien Zur Modellierung parallel zugreifender Anwendungen mit unterschiedlicher Belastungsintensität wird die # of Outstanding I/Os mit 1, 3, 8 beginnend bis 512 gesteigert (ab 8 in Zweierpotenzschritten). Die Messungen des vorliegenden Dokumentes beruhen auf diesen Standardlastprofilen. Die wichtigsten Ergebnisse einer Messung sind: Throughput [MB/s] Datendurchsatz in Megabytes pro Sekunde Transactions [IO/s] Transaktionsrate in I/O-Operationen pro Sekunde Latency [ms] mittlere Antwortzeit in ms Für sequentielle Lastprofile hat sich der Datendurchsatz als übliche Messgröße durchgesetzt, während bei den wahlfreien Lastprofilen mit ihren kleinen Blockgrößen meist die Messgröße Transaktionsrate verwendet wird. Datendurchsatz und Transaktionsrate sind direkt proportional zueinander und lassen sich nach der Formel Datendurchsatz [MB/s] Transaktionsrate [IO/s] = Transaktionsrate [IO/s] Blockgröße [MB] = Datendurchsatz [MB/s] / Blockgröße [MB] ineinander überführen. Seite 15 (54)

16 White Paper RAID-Controller Performance 213 Version: 2.a Messumgebung Alle in diesem Dokument diskutierten Messergebnisse wurden mit den im Folgenden aufgelisteten Hardware- und Software-Komponenten ermittelt: System under Test (SUT) Modelle PRIMERGY RX3 S7 PRIMERGY TX3 S7 PRIMERGY TX12 S3p PRIMERGY BX92 S3 Betriebssystem Microsoft Windows Server 28 Enterprise x64 Edition SP2 RAID Manager Software ServerView RAID Manager ServerView RAID Manager Initialisierung von RAID- Verbänden Dateisystem RAID-Verbände werden vor der Messung mit einer elementaren Blockgröße von 64 kb ( Stripe Size ) initialisiert NTFS Messwerkzeug Iometer Messdaten Messdateien von 32 GB bei 1 8 Festplatten; 64 GB bei 9 16 Festplatten; 128 GB bei 17 oder mehr Festplatten Onboard SATA Controller Cougar Point Onboard SATA Controller Patsburg A Onboard SAS Controller Patsburg B Controller RAID /1 SAS based on LSI MegaRAID 4Port (LSI MegaRAID SAS 164) Controller RAID /1 SAS based on LSI MegaRAID 8Port (LSI MegaRAID SAS 168) Controller RAID Ctrl SAS 6G /1 (LSI MegaRAID SAS 28) Controller RAID Ctrl SAS 5/6 512MB (D2616) (LSI MegaRAID SAS 218) Controller RAID Ctrl SAS 6G 5/6 1GB (D3116) Controller RAID Ctrl SAS 6G 5/6 1GB (D3116C) Controller PY SAS RAID HDD Module Controller PY SAS RAID HDD Module w/o cache SATA-6G-HDD SAS-6G-HDD SAS-6G-SSD Intel BD82C22 PCH, Cougar Point (in PRIMERGY TX12 S3p) Driver-Name: megasr1.sys, Driver-Version: 15: BIOS-Version: A R SATA RAID Modus Intel C6 Chipset (in PRIMERGY RX3 S7) Driver-Name: megasr1.sys, Driver-Version: 15: BIOS-Version: SCU R Intel C6 Chipset (in PRIMERGY RX3 S7) Driver-Name: megasr1.sys, Driver-Version: 15: BIOS-Version: SCU R SAS Enabling Key Driver-Name: lsi_sas.sys, Driver-Version: Firmware-Version: BIOS-Version: Driver-Name: lsi_sas.sys, Driver-Version: Firmware-Version: BIOS-Version: Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Controller Cache: 512 MB Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Controller Cache: 1 GB Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Controller Cache: 1 GB Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Controller Cache: 512 MB Driver-Name: megasas2.sys, Driver-Version: Firmware-Paket: , Firmware-Version: Seagate ST9164NS, 2.5, 1 GB, 72 rpm, 6 Gb/s Toshiba MK141GRRB, 2.5, 146 GB, 15 rpm, 6 Gb/s Seagate ST2FM2, 2.5, 2 GB, 6 Gb/s Seite 16 (54)

17 White Paper RAID-Controller Performance 213 Version: 2.a Die für den Controller-Vergleich verwendeten Festplattenmodelle sind im Folgenden noch einmal ausführlich zusammen mit ihren grundlegenden Performance-Daten zusammengestellt, da diese für das Verständnis der mit den Controllern erzielten Performance-Werte wichtig sind. Bei den klassischen Festplatten (HDDs) wurden je eine leistungsfähige SATA-6G- und eine SAS-6G-Festplatte ausgewählt, und eine 2 GB SAS- 6G-SSD repräsentiert die Klasse der SSDs. Dargestellt sind jeweils die mit einer einzelnen Festplatte gemessenen Maximalwerte für die fünf Standardlastprofile im vorhergehenden Unterkapitel Messverfahren. In allen Fällen ist der Festplatten- Cache eingeschaltet, da dies fast immer die optimale Performance garantiert. Festplattentyp Kurz- Bezeichnung (Alias) Sequentieller Maximal- Durchsatz [MB/s] 64 kb Blockgröße Lesen Schreiben Maximale Transaktionsraten für wahlfreie Zugriffe [IO/s] 8 kb Blockgröße Leseanteil: 64 kb Blockgröße Leseanteil: 67% 67% 5% HDD SATA, 6 Gb/s, GB, 72 rpm hot-plug-fähig Kategorie geschäftskritisch (BC) HDD SAS, 6 Gb/s, GB, 15 rpm, Kategorie Enterprise (EP) SSD SAS, 6 Gb/s, GB, hot-plug-fähig, Kategorie Enterprise (EP) SATA-6G-HDD 18 MB/s 17 MB/s 372 IO/s 317 IO/s 314 IO/s SAS-6G-HDD 27 MB/s 24 MB/s 594 IO/s 56 IO/s 492 IO/s SAS-6G-SSD 339 MB/s 196 MB/s IO/s 36 IO/s 2985 IO/s Diese und weitere Informationen zu den für die PRIMERGY Server freigegebenen Festplatten finden sich im White Paper Performance einzelner Festplatten. Seite 17 (54)

18 White Paper RAID-Controller Performance 213 Version: 2.a Controller-Vergleich In den bisherigen Kapiteln sind alle wesentlichen Vorinformationen zu den Controllern gegeben worden. Diese Informationen werden schon in vielen Fällen die Controller-Auswahl für einen gegebenen Anwendungsfall einengen. Wenn weitere kundenseitige Informationen über den geplanten Controller-Einsatz hinzugenommen werden, lässt sich schon sehr viel mehr über die mit den einzelnen Controllern zu erwartende Performance sagen. In diesem Kapitel sollen daher die Controller differenziert für verschiedene RAID-Levels, Anwendungsszenarien, Belastungsintensitäten, Festplattenanzahlen sowie Festplattentechnologien verglichen werden. Die Aussagen werden dabei mit Hilfe von Messergebnissen veranschaulicht. Die Vergleiche sind gegliedert in die folgenden Unterkapitel, die unabhängig voneinander gelesen werden können: RAID 1 (zwei SATA-Festplatten) RAID 1 (zwei SAS-Festplatten) RAID und 1 (vier SATA-Festplatten) RAID und 1 (fünf bis acht Festplatten) RAID und 1 (mehr als acht Festplatten) RAID 5 Allgemeine Vorbemerkungen zu den Vergleichen: Bei den Vergleichen werden meist die im Kapitel Messverfahren beschriebenen fünf Lastprofile File copy, Database, File server, Streaming und Restore verwendet. Damit wird eine angemessene Abdeckung der wahlfreien und sequentiellen Anwendungsszenarien erreicht. Wenn das kundenseitige Belastungsprofil wesentlich hiervon abweicht, gelten die hier gemachten Aussagen nicht mehr uneingeschränkt. Als Maß für die Leistungsfähigkeit eines Disk-Subsystems wird wie allgemein üblich bei wahlfreien Lastprofilen die Transaktionsrate in IO/s angegeben und bei sequentiellen Lastprofilen der Durchsatz in MB/s. Es werden jeweils alle Controller diskutiert, die den gerade betrachteten RAID-Level und Festplattentyp unterstützen. Zwecks besserer Überschaubarkeit beschränken sich die Grafiken des aktuellen Kapitels meist auf die erreichbaren Maximalwerte. Diese werden in der Regel erst bei einer hohen Belastungsintensität des Disk-Subsystems erreicht. Exemplarisch für die Festplattentechnologien werden die drei im Kapitel Messumgebung näher behandelten Festplattentypen benutzt (SATA-6G-HDD, SAS-6G-HDD und SAS-6G-SSD). Dort sind auch deren wesentliche Performance-Daten zusammengestellt. An einigen Stellen in den folgenden Vergleichen werden die erreichten Performance-Werte auf Basis der Performance-Daten dieser Festplattentypen erklärt. Da die maximal mit den Controllern erreichbare Performance Gegenstand dieses Dokumentes ist, wurden für die Messungen die unveränderten Cache- und Festplatteneinstellungen von ServerView RAID im Modus Performance zugrunde gelegt, und nicht die des Modus Data Protection. Bei ausreichender kundenseitiger Absicherung gegen Stromausfälle ist diese Einstellung sinnvoll. Wenn eine Änderung dieser Einstellungen vorteilhaft ist, wird das im Einzelfall erwähnt. Konventionelle Festplatten (im Gegensatz zu SSDs) werden bei den nun folgenden Controller- Vergleichen nur noch kurz als HDDs bezeichnet. Die Gruppe der LSI228-Controller unterstützt in der neuesten Generation PCIe 3.. Dies bedeutet im Wesentlichen eine höhere Durchsatzgrenze, die in Konfigurationen mit vielen Festplatten erreicht wird. Daher gelten Aussagen über Konfigurationen mit bis zu acht Festplatten noch gleichermaßen für die Generationen PCIe 2. und 3.. In den entsprechenden Kapiteln werden die beiden Generationen also nicht getrennt dargestellt. Nur bei den größeren Konfigurationen RAID und RAID 1 mit mehr als acht Festplatten, sowie RAID 5 mit 24 Festplatten ist eine getrennte Behandlung der Generation PCIe 3. sinnvoll, und zwar anhand des -3.-Controllers. Seite 18 (54)

19 CougarPoint Patsburg A/B LSI228 CougarPoint Patsburg A/B LSI228 CougarPoint Patsburg A/B LSI228 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 (zwei SATA-Festplatten) Diesen Fall lohnt es gesondert zu betrachten, da nur so alle Onboard-Controller und ein großer Teil der PCIe-Controller miteinander verglichen werden können. Dies geschieht mit der im Kapitel Messumgebung näher beschriebenen SATA-6G-HDD. Die Performance-Werte für die einzelnen Lastprofile werden größtenteils durch die HDDs bestimmt, da die Controller bei dieser HDD-Anzahl noch nicht an ihren Grenzen arbeiten. Wahlfreie Zugriffe RAID 1 mit zwei SATA-6G-HDDs Die Grafik zeigt einen Controller-Vergleich für zwei SATA-6G-HDDs konfiguriert als RAID 1. Die drei Säulengruppen in der Grafik stellen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße) dar. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 2 SATA-6G-HDDs File copy File server Database Der - und der LSI228-Controller liefern hier insgesamt die höchsten Transaktionsraten. Seite 19 (54)

20 CougarPoint Patsburg A/B LSI228 CougarPoint Patsburg A/B LSI228 Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a Sequentielle Zugriffe RAID 1 mit zwei SATA-6G-HDDs Die nächste Grafik zeigt einen Controller-Vergleich für zwei SATA-6G-HDDs konfiguriert als RAID 1. Die zwei Säulengruppen in der Grafik stellen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße) dar. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 2 SATA-6G-HDDs Streaming Restore Insgesamt liegen in der Mehrzahl der Fälle bei diesem RAID-Level die maximalen Durchsätze nahe bei den Maximalwerten einer einzelnen Festplatte. Beim Lesen nutzen der -, der - und der LSI228-Controller bei höheren Belastungsintensitäten beide Festplatten und zeigen dadurch einen höheren maximalen Durchsatz. Seite 2 (54)

21 Patsburg B LSI164 LSI168 Patsburg B LSI164 LSI168 Patsburg B LSI164 LSI168 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 (zwei SAS-Festplatten) Auch diesen Fall lohnt es gesondert zu betrachten, da nur hier alle PCIe-Controller und zumindest ein Onboard-Controller miteinander verglichen werden können. Dies geschieht mit der im Kapitel Messumgebung näher beschriebenen SAS-6G-HDD und der SAS-6G-SSD. Wahlfreie Zugriffe RAID 1 mit zwei SAS-6G-HDDs Die Grafik zeigt einen Controller-Vergleich für zwei SAS-6G-HDDs konfiguriert als RAID 1. Die drei Säulengruppen in der Grafik stellen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße) dar. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 2 SAS-6G-HDDs File copy File server Database Der - und der LSI228-Controller liefern hier insgesamt die höchsten Transaktionsraten. Seite 21 (54)

22 Patsburg B LSI164 LSI168 Patsburg B LSI164 LSI168 Throughput [MB/s] Patsburg B Patsburg B Patsburg B Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit zwei SAS-6G-SSDs Die Grafik zeigt einen Controller-Vergleich für zwei SAS-6G-SSDs konfiguriert als RAID 1. Die drei Säulengruppen in der Grafik stellen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße) dar. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 2 SAS-6G-SSDs File copy File server Database Der - und der LSI228-Controller liefern hier insgesamt die höchsten Transaktionsraten. Sequentielle Zugriffe RAID 1 mit zwei SAS-6G-HDDs Die nächste Grafik zeigt einen Controller-Vergleich für zwei SAS-6G-HDDs konfiguriert als RAID 1. Die zwei Säulengruppen in der Grafik stellen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße) dar. Beim Schreiben liegen in allen Fällen bei diesem RAID-Level die maximalen Durchsätze nahe bei den Maximalwerten einer einzelnen Festplatte. Beim Lesen nutzen hier alle Controller außer dem Patsburg B bei höheren Belastungsintensitäten beide HDDs und erreichen dadurch höhere Lesedurchsätze, als eine einzelne HDD liefern würde. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 2 SAS-6G-HDDs Streaming Restore Seite 22 (54)

23 Patsburg B Patsburg B Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit zwei SAS-6G-SSDs Die nächste Grafik zeigt einen Controller-Vergleich für zwei SAS-6G-SSDs konfiguriert als RAID 1. Die zwei Säulengruppen in der Grafik stellen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße) dar. Beim Schreiben liegen in allen Fällen bei diesem RAID-Level die maximalen Durchsätze nahe bei den Maximalwerten einer einzelnen Festplatte. Beim Lesen nutzt hier die Mehrzahl der Controller bei höheren Belastungsintensitäten beide SSDs und erreicht dadurch höhere Lesedurchsätze, als eine einzelne SSD liefern würde. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 2 SAS-6G-SSDs Streaming Restore Der Patsburg-B-Controller erreicht beim Standardlastprofil Streaming etwa 5 MB/s. Das entspricht etwa der zweifachen praktischen Durchsatzgrenze einer SAS-3G-Verbindung. Damit sind die beiden SAS-3G- Verbindungen vollständig ausgelastet. Die höchsten sequentiellen Durchsätze erzielt man hier mit dem - und dem LSI228-Controller. Beide erreichen beim Standardlastprofil Streaming Durchsätze von deutlich mehr als 5 MB/s. Seite 23 (54)

24 CougarPoint Patsburg A CougarPoint Patsburg A CougarPoint Patsburg A Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID und 1 (vier SATA-Festplatten) In diesem Unterkapitel werden die in RAID 1 (zwei SATA-Festplatten) durchgeführten Controller-Vergleiche fortgeführt für vier Festplatten. Bei dieser höheren Festplattenanzahl zeigen sich schon klare Unterschiede zwischen den Controllern. Im Falle von RAID haben die Controller mit Cache in der Regel eine höhere maximale Performance, wenn man den Controller-Cache abschaltet. Daher beruhen die Transaktionsraten des - und - Controllers in diesem Unterkapitel auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus Performance von ServerView RAID: Read Mode von Read-ahead nach No read-ahead Write Mode von Always write-back nach Write-through Für RAID 1 wurden die Standardeinstellungen verwendet. Wahlfreie Zugriffe RAID mit vier SATA-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID, 4 SATA-6G-HDDs File copy File server Database Es ist deutlich zu erkennen, dass die Transaktionsraten umso höher sind, je höherwertiger der Controller ist. Seite 24 (54)

25 CougarPoint Patsburg A CougarPoint Patsburg A CougarPoint Patsburg A Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit vier SATA-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 1 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 4 SATA-6G-HDDs File copy File server Database Auch hier ist deutlich zu erkennen, dass die Transaktionsraten umso höher sind, je höherwertiger der Controller ist. Seite 25 (54)

26 CougarPoint Patsburg A CougarPoint Patsburg A Throughput [MB/s] CougarPoint Patsburg A CougarPoint Patsburg A Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a Sequentielle Zugriffe RAID mit vier SATA-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren maximalen Durchsätze des Festplattenverbandes für RAID bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). In diesen Fällen liefern alle Controller etwa die gleiche Performance. Maximale Durchsätze, sequentieller Zugriff, RAID, 4 SATA-6G-HDDs Streaming Restore RAID 1 mit vier SATA-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren maximalen Durchsätze des Festplattenverbandes für RAID 1 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). In den meisten dieser Fälle liefern alle Controller die gleiche Performance. Lediglich der - Controller arbeitet in diesem Fall beim Standardlastprofil Streaming in einem Bereich, in dem er nicht nur von zwei, sondern von vier HDDs gleichzeitig liest und dadurch den Durchsatz deutlich über den doppelten Wert für eine einzelne HDD steigern kann. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 4 SATA-6G-HDDs Streaming Restore Seite 26 (54)

27 White Paper RAID-Controller Performance 213 Version: 2.a RAID und 1 (fünf bis acht Festplatten) Zum Betrieb von mehr als vier Festplatten in den jetzigen PRIMERGY-Servern reichen die Onboard- Controller nicht mehr aus, daher werden im Folgenden ausschließlich die PCIe-Controller verglichen. Da zwei der PCIe-Controller für maximal acht Festplatten freigegeben sind (LSI168 und ), ist es sinnvoll einen Vergleich aller Controller bei acht angeschlossenen Festplatten durchzuführen. Die in diesem Unterkapitel zusammengestellten Performance-Werte decken zugleich repräsentativ den Bereich mittlerer Festplattenanzahlen ab. Da hierbei speziell die Maximalwerte bei höherem Performance-Bedarf interessieren, werden zur Verdeutlichung Messungen mit leistungsfähigen SAS-6G-HDDs oder SAS-6G- SSDs benutzt. Diese Festplatten sind im Kapitel Messumgebung näher beschrieben. Im Gegensatz zum LSI168-Controller wird der LSI164-Controller hier nicht mehr betrachtet, da letzterer in allen freigegebenen Konfigurationen maximal den Anschluss von vier Festplatten erlaubt. Die Performancerelevanten Aspekte dieses Controllers sind ausreichend im vorigen Unterkapitel RAID 1 (zwei SAS- Festplatten) behandelt worden. Im Falle von RAID haben die Controller mit Cache in der Regel eine höhere maximale Performance, wenn man den Controller-Cache abschaltet. Daher beruhen die Transaktionsraten des - und - Controllers in diesem Unterkapitel auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus Performance von ServerView RAID: Read Mode von Read-ahead nach No read-ahead Write Mode von Always write-back nach Write-through Für RAID 1 wurden die Standardeinstellungen verwendet. Wahlfreie Zugriffe Bei der Betrachtung der wahlfreien Zugriffe für größere Anzahlen von Festplatten ist es sinnvoll, zwischen HDDs und SSDs zu unterscheiden, da die Maximalwerte bei SSDs in einer ganz anderen Größenordnung liegen. HDDs Im Folgenden werden die Controller bei wahlfreien Zugriffen auf HDDs verglichen. Hierbei sind die maximalen Transaktionsraten des Speichermediums für das verwendete Lastprofil der wichtigste begrenzende Faktor. Dennoch ist die Performance in solchen Fällen nicht ganz unabhängig vom Controller, da es bei den Controllern ohne Cache (LSI168 und ) noch einen zusätzlichen Einfluss gibt, auf den an den entsprechenden Stellen hingewiesen wird. Obwohl die nun folgenden Resultate mit acht SAS-6G- HDDs gewonnen wurden, kann man sie auch verwenden, um für andere Festplattentypen und -anzahlen ( 8) die zu erwartenden maximalen Transaktionsraten abzuschätzen. Die Durchsätze, die bei wahlfreien Zugriffen auf HDDs entstehen, sind so niedrig, dass eventuelle Limitierungen an der PCIe- oder SAS- Schnittstelle der Controller keine Rolle spielen. Seite 27 (54)

28 LSI168 LSI168 LSI168 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID mit acht SAS-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID, 8 SAS-6G-HDDs File copy File server Database Die zwei rechten Säulen in jeder der drei Säulengruppen dieser Grafik stellen die zwei Controller mit Cache dar ( und ). Beide erreichen für jedes der drei Lastprofile ungefähr die maximale Transaktionsrate dieses RAID-Verbandes. Die beiden anderen Controller (LSI168 und ) erreichen jeweils nur etwa 6% bis 9% davon. Eine genauere Analyse der Transaktionsraten würde zeigen, dass diese beiden Controller für wahlfreie Lastprofile bei niedrigen bis mittleren Belastungsintensitäten (bis zu etwa 32 parallelen Zugriffen beim bzw. 64 beim LSI168) ähnliche Performance-Werte haben wie die beiden Controller mit Cache. Für höhere Parallelitäten behalten dann der LSI168- und der - Controller die bis dahin erreichten Transaktionsraten bei. Dieser prinzipielle Unterschied zwischen den beiden Gruppen von Controllern bei wahlfreien Zugriffen ist hier exemplarisch für acht Festplatten dargestellt. Der genaue Prozentsatz dieses Unterschiedes hängt von der Größe des RAID-Verbandes und vom Festplattentyp ab. Der Unterschied ist auch für RAID-Verbände mit kleineren Festplattenanzahlen relevant, sofern solche RAID-Verbände eine Performance-Steigerung oberhalb von 32 parallelen Zugriffen zeigen können. Bei den Messungen im Unterkapitel RAID 1 (zwei SAS-Festplatten) ist der Unterschied noch nicht erkennbar, bei den Messungen in RAID und 1 (vier SATA-Festplatten) ist er jedoch schon signifikant. Bei den vorgestellten Messungen fällt übrigens auf, dass für die Lastprofile mit der Blockgröße 64 kb nur etwa die halbe Transaktionsrate möglich ist wie bei dem Lastprofil mit der 8 kb Blockgröße, obwohl die maximalen Transaktionsraten des verwendeten HDD-Typs bei allen drei Lastprofilen relativ ähnlich sind. 1 1 Der Grund ist die Initialisierung des RAID-Verbandes mit der elementaren Blockgröße von 64 kb ( stripe size ). Das wahlfreie Lastprofil mit der Blockgröße 8 kb, die klein ist gegenüber der stripe size, kann direkt nach der Formel HDD-Anzahl HDD-Performance abgeschätzt werden. Verwendet das Lastprofil die gleiche Blockgröße, mit der der RAID-Verband initialisiert wurde, kann nur etwa die Hälfte davon erreicht werden. Eine ausführliche Begründung würde hier zu weit führen. Seite 28 (54)

29 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit acht SAS-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID 1 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen in der Grafik zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Der LSI168-Controller ist hier nicht mehr vertreten, da er RAID 1 nicht unterstützt. Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 8 SAS-6G-HDDs File copy File server Database In der Grafik zeigt sich dasselbe prinzipielle Verhalten wie bei RAID. Das heißt: Der Controller ohne Cache () erreicht für alle drei dargestellten Lastprofile maximal etwa 7% der Transaktionsrate der anderen beiden Controller mit Cache. Auch für diesen RAID-Level ist das ein Performance-Unterschied, der sich erst oberhalb von 32 parallelen Zugriffen auf den RAID-Verband ergibt. Seite 29 (54)

30 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a SSDs Während bei wahlfreien Zugriffen auf eine einzelne HDD die maximal mögliche Transaktionsrate bei eingeschaltetem Festplatten-Cache normalerweise < 7 IO/s ist, ist sie bei einer SAS-6G-SSD ungefähr um den Faktor 2 größer. Durch eine so hohe Transaktionsrate können Verbände aus mehreren SAS-6G-SSDs auch bei wahlfreien Zugriffen Durchsätze von mehreren hundert MB/s liefern. Das wiederum bedeutet, dass die Ressourcen und Schnittstellen der Controller in viel höherem Maße ausgelastet werden als bei HDDs und die Unterschiede zwischen den Controller-Generationen erkennbar werden. RAID mit acht SAS-6G-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des SSD- Verbandes für RAID bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID, 8 SAS-6G-SSDs File copy File server Database Am leistungsfähigsten ist hier der -Controller. Es ist auch interessant, sich die Durchsatzwerte klarzumachen, die mit diesen Transaktionsraten verbunden sind. Trotz der geringeren Transaktionsraten haben die beiden Lastprofile mit 64 kb Blockgröße die höheren Durchsätze. Der -Controller bewältigt beispielsweise beim Lastprofil File server etwa 1563 MB/s Durchsatz. Die nächste wesentliche Frage lautet: Inwieweit skaliert die nutzbare Transaktionsrate eines solchen RAID- Verbandes mit der SSD-Anzahl? Der -Controller erreicht bei acht SSDs für alle drei wahlfreien Lastprofile etwa die achtfache Transaktionsrate einer einzelnen SSD; er ist also noch nicht überlastet. Der -Controller erreicht je nach wahlfreiem Lastprofil etwa das Fünf- bis Siebenfache einer einzelnen SSD; er wäre also schon etwas im Überlastbereich. Seite 3 (54)

31 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit acht SAS-6G-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des SSD- Verbandes für RAID 1 bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID 1, 8 SAS-6G-SSDs File copy File server Database Auch hier hat der -Controller einen sehr deutlichen Vorsprung, vor allem bei kleinen Blöcken. Seite 31 (54)

32 LSI168 LSI168 Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a Sequentielle Zugriffe Im Folgenden werden anhand von Messungen mit acht Festplatten allgemeingültige Aussagen über die Controller bei sequentiellen Zugriffen zusammengestellt. Hierbei ist es sinnvoll, zwischen HDDs und SSDs zu unterscheiden, da bei den HDDs ein Controller-Modell mehr freigegeben ist und bei den SSDs die Durchsatzgrenzen des -Controllers besser veranschaulicht werden können. Für andere Festplattentypen und -anzahlen ( 8) kann man sich die zu erwartenden maximale Durchsätze hieraus durch geeignete Multiplikation errechnen. Wenn der so errechnete Durchsatz den Grenzwert des Controllers übersteigt, wird der Controller-Grenzwert wirksam. HDDs RAID mit acht SAS-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). Die Grafik zeigt, dass für sequentielle Durchsätze von 8 MB/s oder mehr der LSI168-Controller nicht mehr ausreicht. Dies ist bedingt durch die Durchsatzgrenze der PCIe- Schnittstelle (PCIe 1., x4, schwarze gestrichelte waagerechte Linie). Für höhere Durchsätze ist also einer der drei anderen Controller zu verwenden. Maximale Durchsätze, sequentieller Zugriff, RAID, 8 SAS-6G-HDDs PCIe 1.-x4 2 Streaming Restore Seite 32 (54)

33 Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a RAID 1 mit acht SAS-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID 1 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). Beim sequentiellen Lesen und Schreiben erreichen oder übertreffen alle drei betrachteten Controller für diesen RAID-Verband einen Durchsatz von annähernd dem vierfachen Maximaldurchsatz einer einzelnen HDD (hier also etwa 8 MB/s). Maximale Durchsätze, sequentieller Zugriff, RAID 1, 8 SAS-6G-HDDs Streaming Restore Seite 33 (54)

34 Throughput [MB/s] Throughput [MB/s] White Paper RAID-Controller Performance 213 Version: 2.a SSDs RAID mit acht SAS-6G-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). Insgesamt kommt man hier mit dem - Controller am weitesten. Maximale Durchsätze, sequentieller Zugriff, RAID, 8 SAS-6G-SSDs Streaming Restore RAID 1 mit acht SAS-6G-SSDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Durchsätze des Festplattenverbandes für RAID 1 bei sequentiellen Lastprofilen dar. Die beiden Säulengruppen in der Grafik zeigen die Durchsätze für die Standardlastprofile Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße). Auch hier kommt man mit dem -Controller am weitesten. Maximale Durchsätze, sequentieller Zugriff, RAID 1, 8 SAS-6G-SSDs Streaming Restore Seite 34 (54)

35 White Paper RAID-Controller Performance 213 Version: 2.a RAID und 1 (mehr als acht Festplatten) Zum Betrieb von mehr als acht Festplatten in den jetzigen PRIMERGY-Servern stehen die drei leistungsfähigsten Controller zur Verfügung: der -Controller und der -2.- bzw. LSI228-1G-3.-Controller. Hiermit sind derzeit Server-Konfigurationen mit bis zu 24 internen Festplatten möglich (z. B. in der PRIMERGY TX3 S7). Die Vergleiche bei RAID werden mit 24 Festplatten durchgeführt, und die Vergleiche bei RAID 1 mit 16 Festplatten (letzteres ist bei RAID 1 die derzeitige Obergrenze für einen einzelnen RAID-Verband). Hierdurch wird repräsentativ der Bereich großer Festplattenanzahlen abgedeckt. Wie auch im vorhergehenden Unterkapitel werden zur Verdeutlichung Messungen mit leistungsfähigen SAS- 6G-HDDs oder SAS-6G-SSDs benutzt. Diese Festplatten sind im Kapitel Messumgebung näher beschrieben. Im Falle von RAID haben die Controller mit Cache in der Regel eine höhere maximale Performance, wenn man den Controller-Cache abschaltet. Daher beruhen die Transaktionsraten des - und - Controllers in diesem Unterkapitel auf folgenden Änderungen gegenüber den Standardeinstellungen des Modus Performance von ServerView RAID: Read Mode von Read-ahead nach No read-ahead Write Mode von Always write-back nach Write-through Für RAID 1 wurden die Standardeinstellungen verwendet. Seite 35 (54)

36 Transaction rate [IO/s] White Paper RAID-Controller Performance 213 Version: 2.a Wahlfreie Zugriffe Bei der Betrachtung der wahlfreien Zugriffe für größere Anzahlen von Festplatten ist es sinnvoll, zwischen HDDs und SSDs zu unterscheiden, da die Maximalwerte bei SSDs in einer ganz anderen Größenordnung liegen. HDDs Im Folgenden werden die Controller bei wahlfreien Zugriffen auf HDDs verglichen. Hierbei sind die maximalen Transaktionsraten des Speichermediums für das verwendete Lastprofil der wichtigste begrenzende Faktor. Obwohl die nun folgenden Resultate mit 24 SAS-6G-HDDs gewonnen wurden, kann man sie auch verwenden, um für andere Festplattentypen und -anzahlen ( 24) die zu erwartenden maximalen Transaktionsraten abzuschätzen. Die Durchsätze, die bei wahlfreien Zugriffen auf HDDs entstehen, sind so niedrig, dass eventuelle Limitierungen an der PCIe- oder SAS-Schnittstelle der Controller keine Rolle spielen. RAID mit 24 SAS-6G-HDDs Die nächste Grafik stellt die mit den verschiedenen Controllern erreichbaren Transaktionsraten des Festplattenverbandes für RAID bei wahlfreien Lastprofilen dar. Die drei Säulengruppen zeigen die Transaktionsraten für die Standardlastprofile File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) und Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße). Maximale Transaktionsraten, wahlfreier Zugriff, RAID, 24 SAS-6G-HDDs File copy File server Database Die verwendeten SAS-6G-Festplatten haben für das Lastprofil Database die maximale Transaktionsrate 594 IO/s. Theoretisch sollte also ein Verband aus 24 solchen Festplatten maximal 594 IO/s 24 = IO/s schaffen. Die maximale gemessene Transaktionsrate für das Lastprofil Database beträgt IO/s; die Überschlagsrechnung wird also gut bestätigt. Für die Lastprofile mit der Blockgröße 64 kb ist bei den hier vorgestellten Messungen nur etwa die halbe Transaktionsrate möglich wie bei dem Lastprofil mit der 8 kb Blockgröße, obwohl die maximalen Transaktionsraten des verwendeten HDD-Typs bei allen drei Lastprofilen relativ ähnlich sind. 2 Alle Controller erreichen für jedes der drei Lastprofile ungefähr die maximale Transaktionsrate dieses RAID- Verbandes. 2 Der Grund ist die Initialisierung des RAID-Verbandes mit der elementaren Blockgröße von 64 kb ( stripe size ). Das wahlfreie Lastprofil mit der Blockgröße 8 kb, die klein ist gegenüber der stripe size, kann direkt nach der Formel HDD-Anzahl HDD-Performance abgeschätzt werden. Verwendet das Lastprofil die gleiche Blockgröße, mit der der RAID-Verband initialisiert wurde, kann nur etwa die Hälfte davon erreicht werden. Eine ausführliche Begründung würde hier zu weit führen. Seite 36 (54)