WHITE PAPER FUJITSU PRIMERGY SERVER Performance Report PCIe-SSDs iodrive 2

Transkript

1 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 WHITE PAPER FUJITSU PRIMERGY SERVER Performance Report PCIe-SSDs iodrive 2 Dieses Dokument untersucht die für einige PRIMERGY Server verfügbaren iodrive 2 PCIe-SSDs in Bezug auf die erreichbare Disk-I/O-Performance. Neben den Messergebnissen werden auch das Messverfahren und die Umgebung, in der die Messungen durchgeführt wurden, kurz erläutert. Version 1.b Fujitsu Technology Solutions 213 Seite 1 (21)

2 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Inhalt Dokumenthistorie... 2 Einführung und technische Daten... 3 Messverfahren... 5 Messumgebung... 6 Messergebnisse... 7 Eine einzelne PCIe-SSD... 7 Zwei PCIe-SSDs Vier PCIe-SSDs Einfluss der Nennkapazität Best Practice Optimieren der aktuellen Prozessorfrequenz Optimieren der Prozessorzuordnung Auswahl des Servers Vergleich mit anderen Speichermedien Fazit... 2 Literatur Kontakt Dokumenthistorie Version 1. Erste Reportversion Version 1.a Kleinere Korrekturen Version 1.b Kleinere Korrekturen Seite 2 (21) Fujitsu Technology Solutions 213

3 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Einführung und technische Daten Die PCIe-SSD ist ein neuartiges nichtflüchtiges Speichermedium für PRIMERGY Server, das in bestimmten Fällen anstelle von Hard Disk Drives (HDDs) oder Solid State Drives (SSDs) mit SAS- bzw. SATA- Schnittstelle als logisches Festplattenlaufwerk verwendet werden kann. Dadurch, dass das Speichermedium PCIe-SSD direkt an den PCIe-Bus ankoppelt, werden sehr hohe Transaktionsraten und niedrige Latenzzeiten möglich. Ein solches Speichermedium ist interessant zur Zugriffsbeschleunigung auf nichtflüchtig gespeicherte Daten in Fällen wie: Datenbanken Web2.-Server Auslagerungsdateien (besonders in virtuellen Umgebungen, denn dort sind diese Dateien ein wesentlicher Teil der Konzepte zur Arbeitsspeicherverwaltung) Technische Daten Die angebotenen PCIe-SSDs sind Flash-Speicher, die auf einem Multi Level Cell (MLC) NAND-Typ basieren. Derzeit gibt es zwei PCIe-SSD-Typen, ein Modell mit 785 GB und eins mit 1.2 TB Nennkapazität. Auf dem Speichermedium selbst ist ein leistungsfähiger Controller integriert, dadurch ist kein zusätzlicher RAID-Controller erforderlich. Die Busschnittstelle zum Server ist vom Typ PCIe 2., x4, was einen praktischen Durchsatz von bis zu etwa 172 MB/s erlauben würde. Laut dem Datenblatt Fusion-io iodrive 2 Solid-State Storage devices sind die maximalen Durchsatzwerte dieser PCIe-SSDs: Lastprofil Maximaldurchsatz iodrive 2 PCIe-SSD PCIe-SSD 785GB MLC PCIe-SSD 1.2TB MLC 1% read, 1 MB Blockgröße 1.5 GB/s 1.5 GB/s 1% write, 1 MB Blockgröße 1.1 GB/s 1.3 GB/s Die im vorliegenden Dokument behandelten iodrive 2 PCIe-SSDs sind die zweite Generation dieses Speichermediums für PRIMERGY Server. Die erste Generation (iodrive ) wurde in dem White Paper Performance Report PCIe-SSDs unter Performance-Gesichtspunkten behandelt. Die wesentlichen maximalen Performance-Werte wurden bei iodrive 2 PCIe-SSDs gegenüber der ersten Generation etwa verdoppelt, wie die folgende Tabelle der Werte aus dem Datenblatt Fusion-io iodrive 2 Solid-State Storage devices zeigt: Lastprofil Maximaldurchsatz iodrive PCIe-SSD PCIe-SSD 32GB MLC PCIe-SSD 64GB MLC 1% read, 64 kb Blockgröße 735 MB/s 75 MB/s 1% write, 64 kb Blockgröße 51 MB/s 55 MB/s Die PCIe-SSDs können nicht als Laufwerke zum Booten verwendet werden. Verwaltungs-Software Zu einer PCIe-SSD gehört immer die grafische Verwaltungs-Software iosphere. Hierin findet sich unter anderem das Menü Low-Level Format mit Einstellmöglichkeiten für die Formatierung des Speichermediums. Standardmäßig wird eine ausgewogene Einstellung mit einem Kompromiss aus guter Schreib-Performance und einer guten Ausnutzung der Speicherkapazität verwendet. Für spezielle Anwendungsszenarien lässt sich mit diesen Formatierungsoptionen eine Gewichtung entweder in Richtung höherer Speicherkapazität oder höherer Schreib-Performance vornehmen. Die angebotenen Formatierungsoptionen sind: Factory Capacity: Standardeinstellung für die Formatierung der PCIe-SSD. Die Nennkapazität steht hierbei als reale Speicherkapazität zur Verfügung. Maximum Capacity: Erhöht die reale Speicherkapazität des Mediums. Hierbei verringern sich die Schreibgeschwindigkeit und der Vorrat an Reserveblöcken für die durch zu viele Schreibzyklen abgenutzten Blöcke. Fujitsu Technology Solutions 213 Seite 3 (21)

4 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Improved Performance: Erhöhte Schreib-Performance auf Kosten von etwa 1% Speicherkapazität. High Performance: Maximale Schreib-Performance auf Kosten von etwa 2% Speicherkapazität. Darüber hinaus kann mit der Auswahl Custom auch ein beliebiger Prozentsatz der Nennkapazität eingestellt werden. Es ist zu beachten, dass eine Neuformatierung einer PCIe-SSD zwangsläufig zu einer Löschung der darauf gespeicherten Daten führt, da das Speichermedium dabei neu strukturiert wird. Für die Auswahl einer PCIe-SSD ist nicht zuletzt die Speicherkapazität interessant. Durch die Formatierungsoptionen ergeben sich aus der Nennkapazität folgende tatsächliche Speicherkapazitäten: Nennkapazität 785 GB 1.2 GB Formatierungsoption High Performance Improved Performance Factory Capacity Maximum Capacity High Performance Improved Performance Factory Capacity Maximum Capacity Tatsächliche Speicherkapazität 628 GB 76.5 GB 785 GB ~845 GB 964 GB GB 125 GB ~1294 GB Soll eine PCIe-SSD für eine Auslagerungsdatei verwendet werden, so ist für eine optimale Performance bei den Einstellungsmöglichkeiten aus dem Bereich Page File Support die Standardeinstellung Disable Page File Support auf Enable Page File Support umzustellen. Für andere Verwendungen der PCIe-SSD hat diese Einstellung keine Auswirkungen auf die Performance. Seite 4 (21) Fujitsu Technology Solutions 213

5 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Messverfahren Alle Details des Messverfahrens und Grundlagen zur Disk-I/O-Performance sind im White Paper Grundlagen Disk-I/O-Performance beschrieben. Standardmäßig werden Performance-Messungen von Disk-Subsystemen bei PRIMERGY Servern mit einem definierten Messverfahren durchgeführt, das die Festplattenzugriffe realer Anwendungsszenarien anhand von Kenndaten modelliert. Die wesentlichen Kenndaten sind: Anteil von wahlfreien Zugriffen / sequentiellen Zugriffen Anteil der Zugriffsarten Lesen / Schreiben Blockgröße (kb) Anzahl paralleler Zugriffe (# of Outstanding I/Os) Eine gegebene Wertekombination dieser Kenndaten heißt Lastprofil. Die folgenden fünf Standardlastprofile lassen sich typischen Anwendungsszenarien zuordnen: Standardlastprofil Zugriff Zugriffsart Blockgröße read write [kb] Anwendung File copy wahlfrei 5% 5% 64 Kopieren von Dateien File server wahlfrei 67% 33% 64 File-Server Database wahlfrei 67% 33% 8 Streaming sequentiell 1% % 64 Datenbank (Datentransfer) Mail Server Datenbank (Log-File), Datensicherung; Video Streaming (teilweise) Restore sequentiell % 1% 64 Wiederherstellen von Dateien Zur Modellierung parallel zugreifender Anwendungen mit unterschiedlicher Belastungsintensität wird die # of Outstanding I/Os mit 1, 3, 8 beginnend bis 512 gesteigert (ab 8 in Zweierpotenzschritten). Die Messungen des vorliegenden Dokumentes beruhen auf diesen Standardlastprofilen. Die wichtigsten Ergebnisse einer Messung sind: Throughput [MB/s] Datendurchsatz in Megabytes pro Sekunde Transactions [IO/s] Transaktionsrate in I/O-Operationen pro Sekunde Latency [ms] mittlere Antwortzeit in ms Für sequentielle Lastprofile hat sich der Datendurchsatz als übliche Messgröße durchgesetzt, während bei den wahlfreien Lastprofilen mit ihren kleinen Blockgrößen meist die Messgröße Transaktionsrate verwendet wird. Datendurchsatz und Transaktionsrate sind direkt proportional zueinander und lassen sich nach der Formel Datendurchsatz [MB/s] Transaktionsrate [IO/s] = Transaktionsrate [IO/s] Blockgröße [MB] = Datendurchsatz [MB/s] / Blockgröße [MB] ineinander überführen. Fujitsu Technology Solutions 213 Seite 5 (21)

6 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Messumgebung Alle in diesem Dokument diskutierten Messergebnisse wurden mit den im Folgenden aufgelisteten Hardware- und Software-Komponenten ermittelt: System Under Test (SUT) Hardware Modell 1 PRIMERGY RX3 S7 1 PRIMERGY RX9 S2 Prozessor PRIMERGY RX3 S7: 2 Xeon E (3.3 GHz) 2 Xeon E5-263 (1.8 GHz) PRIMERGY RX9 S2: 4 Xeon E7-885 (2. GHz) Speichermedien Software 4 PCIe-SSD iodrive TB MLC 1 PCIe-SSD iodrive GB MLC BIOS PRIMERGY RX3 S7: PRIMERGY RX9 S2: 1.9 BIOS-Einstellungen PRIMERGY RX3 S7: Für Messungen von Typ Performance : Execute disable bit = Disabled; Frequency Floor Override = Enabled; Power Technology = Custom; Energy Performance = Performance; CPU C6 Report = Disabled; Package C State limit = C Für Messungen vom Typ Default Execute disable bit = Enabled; Frequency Floor Override = Disabled; Power Technology = Energy Efficient; Energy Performance = Balanced Performance; CPU C6 Report = Enabled; Package C State limit = No Limit Betriebssystem Betriebssystemeinstellungen PRIMERGY RX9 S2: Performance/Watt=Performance; Hyper-Threading=Disabled, NX Memory Protection=Disabled Microsoft Windows Server 28 R2 Enterprise AFFINITY: Die AFFINITY für den Disk-I/O-erzeugenden Prozess (=dynamo im benutzten Messverfahren) wurde auf die optimale CPU gesetzt. Power Plan: Für Messungen von Typ Performance : Select a power plan = High performance; Für Messungen von Typ Default : Select a power plan = Balanced; Firmware Für PCIe-SSD iodrive 2: v7..2, rev 1869 Treiber Für PCIe-SSD iodrive 2: iomemory-vsl.sys build 126 Verwaltungssoftware Für PCIe-SSD iodrive 2: iosphere Initialisierung von RAID-Verbänden Dateisystem RAID-Verbände werden vor der Messung mit einer elementaren Blockgröße von 64 kb ( Stripe Size ) initialisiert NTFS Messwerkzeug Iometer Messdaten Messdatei von 32 GB Einige Komponenten sind möglicherweise nicht in allen Ländern / Vertriebsregionen verfügbar. Seite 6 (21) Fujitsu Technology Solutions 213

7 Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Messergebnisse Zur Untersuchung der Performance der PCIe-SSDs benutzen wir im Folgenden die fünf Standardlastprofile Database, File server, File copy, Streaming und Restore, die im Kapitel Messverfahren beschrieben worden sind. Wenn in den Grafiken verschiedene Belastungsintensitäten bei den Zugriffen auf das Speichermedium betrachtet werden, werden diese wie bei Fujitsu Technology Solutions üblich in # of Outstanding IOs angegeben. Die Anwendungsfälle mit geringer Belastungsintensität werden darin repräsentiert durch einen Outstanding IO und die Anwendungsfälle mit sehr hoher Belastungsintensität durch 512 Outstanding IOs. Eine einzelne PCIe-SSD Die grundlegenden Überlegungen sollen zunächst anhand einer einzelnen PCIe-SSD mit 1.2 TB Nennkapazität durchgeführt werden. Als Erstes werden die Lastprofile mit wahlfreiem Zugriff behandelt, und als Zweites die Lastprofile mit sequentiellem Zugriff. Wahlfreie Zugriffe Wie allgemein für wahlfreie Zugriffe üblich wird im Folgenden als Maß für die Leistungsfähigkeit die Transaktionsrate in IO/s angegeben. Die folgende Grafik stellt die Transaktionsraten für das Lastprofil Database (wahlfreier Zugriff, 67% read, 1 PCIe-SSD 1.2 TB, Lastprofil Database 8 kb Blockgröße) dar. Bei niedrigen Belastungsintensitäten liefert die PCIe-SSD 5 für alle Formatierungsoptionen etwa 8 45 bis 9 IO/s. Bei ansteigender 4 Belastungsintensität erhöht sich die Transaktionsrate gleichmäßig, bis sie bei 35 sehr hoher Belastungsintensität knapp 3 5 IO/s erreicht. Die Performance hängt 25 hier nicht von der benutzten Formatierungsoption ab Factory Capacity Maximum Capacity Improved Performance High Performance Fujitsu Technology Solutions 213 Seite 7 (21)

8 Transaction rate [IO/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Die nächste Grafik stellt die Transaktionsraten für das Lastprofil File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) dar. Bei niedrigen Belastungsintensitäten betragen die Transaktionsraten etwa 5 IO/s: Bei steigender Belastungsintensität steigt PCIe-SSD 1.2 TB, Lastprofil File server Factory Capacity Maximum Capacity Improved Performance High Performance auch die Transaktionsrate. Ab ungefähr 64 Outstanding IOs flacht der Performance- Zuwachs ab und erreicht bei den höchsten Belastungsintensitäten ein Maximum von etwa 19 IO/s. Es ist interessant sich klarzumachen, dass diese maximale Transaktionsrate bei der verwendeten Blockgröße einem Datendurchsatz von 119 MB/s entspricht. Dieser Wert kommt schon in die Nähe des Maximalwertes für eine iodrive 2 PCIe-SSD, daher ist das Abflachen verständlich. Auch bei diesem Lastprofil hängt die Performance nicht von der benutzten Formatierungsoption ab. Die nächste Grafik stellt die Transaktionsraten für das Lastprofil File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße) dar. Bei niedrigen Belastungsintensitäten betragen die Transaktionsraten etwa 65 IO/s. Bei steigender Belastungsintensität steigt auch die Transaktionsrate. Ab ungefähr 64 1 PCIe-SSD 1.2 TB, Lastprofil File copy Outstanding IOs flacht der Performance- 2 Zuwachs ab und erreicht bei den höchsten 18 Belastungsintensitäten ein Maximum von etwa 18 IO/s. Auch hier hängt die 16 Performance nicht von der benutzten 14 Formatierungsoption ab Factory Capacity Maximum Capacity Improved Performance High Performance Seite 8 (21) Fujitsu Technology Solutions 213

9 Throughput [MB/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Sequentielle Zugriffe In produktiven Anwendungen wird man PCIe-SSDs kaum für sequentielle Zugriffe verwenden, da schon konventionelle Festplatten hierfür gute Performance-Werte erreichen. Dennoch sollen hier der Vollständigkeit halber auch solche Lastprofile diskutiert werden. Wie allgemein für sequentielle Zugriffe üblich wird im Folgenden als Maß für die Leistungsfähigkeit nicht mehr die Transaktionsrate, sondern der Durchsatz in MB/s angegeben. Für das Verständnis der erzielbaren Durchsatzwerte ist es wesentlich, die Maximalwerte des Speichermediums zu kennen. Wie bereits erwähnt sind die Maximalwerte für 1 MB Blockgröße laut Datenblatt Fusion-io iodrive 2 Solid-State Storage devices : Lastprofil Maximaldurchsatz iodrive 2 PCIe-SSD PCIe-SSD 785GB MLC PCIe-SSD 1.2TB MLC 1% read, 1 MB Blockgröße 1.5 GB/s 1.5 GB/s 1% write, 1 MB Blockgröße 1.1 GB/s 1.3 GB/s Diese Werte dienen als Orientierungsrahmen für die folgenden Untersuchungen. Die folgende Grafik stellt die Durchsätze für das Lastprofil Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) dar. Bei der kleinsten Belastungsintensität kann man mit allen Formatierungsoptionen etwa einen Durchsatz von 45 MB/s PCIe-SSD 1.2 TB, Lastprofil Streaming Factory Capacity Maximum Capacity Improved Performance High Performance erzielen. Bei Erhöhung der Belastungsintensität auf 16 Outstanding IOs steigt der Durchsatz schnell bis auf 13 MB/s an. Damit ist der Maximalwert nahezu erreicht; bis zu den höchsten Belastungsintensitäten steigt der Datendurchsatz noch bis etwa 14 MB/s. Auch hier hängt die Performance nicht von der benutzten Formatierungsoption ab. Fujitsu Technology Solutions 213 Seite 9 (21)

10 Throughput [MB/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Die nächste Grafik stellt die Durchsätze für das Lastprofil Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße) dar. Bei niedrigen Belastungsintensitäten wird ein Datendurchsatz von etwa 7 bis 77 MB/s erreicht. Schon bei Erhöhung der Belastungsintensität auf zwei Outstanding 1 PCIe-SSD 1.2 TB, Lastprofil Restore IOs erreicht man den maximalen 11 Datendurchsatz von etwa 1 MB/s. Die 1 verschiedenen Formatierungsoptionen 9 unterscheiden sich bei diesem Lastprofil nicht signifikant Factory Capacity Maximum Capacity Improved Performance High Performance Gesamtvergleich der Formatierungsoptionen hinsichtlich der Performance Anders als bei der Vorgängergeneration ist es bei den iodrive 2 PCIe-SSDs normalerweise nicht erforderlich aus Performance-Gründen von der Standardformatierung Factory Capacity abzuweichen. Daher soll in den folgenden Kapiteln auf eine Diskussion anderer Formatierungsoptionen als Factory Capacity verzichtet werden. Diese abweichenden Formatierungsoptionen kommen nur in speziellen Fällen in Betracht. Seite 1 (21) Fujitsu Technology Solutions 213

11 Transaction rate [IO/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Zwei PCIe-SSDs Wie bei anderen logischen Laufwerken lassen sich auf Betriebssystemebene auch aus PCIe-SSDs RAID- Verbände bilden. Zur Erhöhung der Ausfallsicherheit kann man RAID 1 verwenden. Bei Lastprofilen, die nicht ausschließlich schreiben, führt dieser RAID-Level üblicherweise auch zur Performance-Steigerung für den Leseanteil der Zugriffe. Liegt ein Anwendungsfall vor, in dem eine höhere Performance wichtiger ist als Ausfallsicherheit, kann man auch einen RAID -Verband aus zwei PCIe-SSDs bilden. Im Folgenden sollen für jedes der fünf Standardlastprofile die möglichen RAID-Konfigurationen bei verschiedenen Belastungsintensitäten mit einer einzelnen PCIe-SSD (am Beispiel der 1.2 TB-Variante) verglichen werden Lastprofil Database Formatierung Factory Capacity 1 PCIe-SSD RAID 1 RAID - 2 Beim Lastprofil Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße) haben der RAID 1-Verband () und der RAID - Verband () für die niedrigste Belastungsintensität die gleiche Transaktionsrate wie eine einzelne PCIe-SSD (), nämlich etwa 8 bis 9 IO/s. Steigt die Belastungsintensität an bis auf 512 Outstanding IOs, entwickeln sich die Transaktionsraten zunehmend auseinander: Die einzelne PCIe-SSD () kommt bis auf ca. 5 IO/s, der RAID 1- Verband () erreicht bis ca. 6 IO/s, und der RAID -Verband () kommt bis auf ca. 68 IO/s Lastprofil File server Formatierung Factory Capacity 1 PCIe-SSD RAID 1 RAID - 2 Beim Lastprofil File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) liefern beide RAID-Verbände ( und ) für die niedrigste Belastungsintensität eine Transaktionsrate von etwa 5 IO/s, genauso wie die einzelne PCIe-SSD (). Wenn man die Belastungsintensität erhöht, steigen sowohl für die beiden RAID- Verbände als auch für die einzelne PCIe-SSD () die Transaktionsraten kontinuierlich an. Bei der höchsten Belastungsintensität erreicht der RAID-- Verband () etwa 35 IO/s, der RAID-1- Verband () etwa 26 IO/s und die einzelne PCIe-SSD () etwa 19 IO/s. Die Transaktionsrate für RAID 1 liegt für alle Belastungsintensitäten immer zwischen derjenigen für eine einzelne PCIe-SSD und derjenigen für RAID. Fujitsu Technology Solutions 213 Seite 11 (21)

12 Throughput [MB/s] Throughput [MB/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Lastprofil File copy Formatierung Factory Capacity 1 PCIe-SSD RAID 1 RAID - 2 Beim Lastprofil File copy (wahlfreier Zugriff, 5% read, 64 kb Blockgröße) ist es ähnlich wie beim Lastprofil File server. Die beiden RAID-Verbände ( und ) erreichen für die niedrigste Belastungsintensität eine Transaktionsrate von etwa 6 bis 7 IO/s, genauso wie die einzelne PCIe-SSD (). Wenn man die Belastungsintensität erhöht, steigen sowohl für die beiden RAID-Verbände als auch für die einzelne PCIe-SSD () die Transaktionsraten kontinuierlich an. Bei der höchsten Belastungsintensität erreicht der RAID--Verband () etwa 32 IO/s, der RAID-1-Verband () etwa 21 IO/s und die einzelne PCIe-SSD () etwa 18 IO/s. Die Transaktionsrate für RAID 1 liegt für alle Belastungsintensitäten immer zwischen derjenigen für eine einzelne PCIe-SSD und derjenigen für RAID Lastprofil Streaming Formatierung Factory Capacity 1 PCIe-SSD RAID 1 RAID - 2 Beim Lastprofil Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) haben sowohl die beiden RAID-Verbände ( und ) als auch die einzelne PCIe- SSD () für die niedrigste Belastungsintensität Datendurchsätze im Bereich von 4 bis 5 MB/s. Wenn man die Belastungsintensität bis auf 512 Outstanding I/Os erhöht, erreicht RAID maximal 277 MB/s und die einzelne PCIe-SSD maximal 139 MB/s. Bei RAID wird der Maximalwert annähernd schon bei 32 Outstanding I/Os erreicht. Die einzelne PCIe-SSD erreicht den Maximalwert bereits bei 16 Outstanding I/Os. Der Durchsatz für RAID 1 verläuft bis vier Outstanding I/Os wie bei einer einzelnen PCIe-SSD; etwa ab acht Outstanding I/Os verläuft der Durchsatz dann fast genauso wie bei RAID Lastprofil Restore Formatierung Factory Capacity 1 PCIe-SSD RAID 1 RAID - 2 Beim Lastprofil Restore (sequentieller Zugriff, 1% write, 64 kb Blockgröße) erreicht die einzelne PCIe-SSDs () bei einem Outstanding I/O etwa 76 MB/s. Für alle höheren Belastungsintensitäten wird der maximale Durchsatz erreicht, nämlich etwa 13 MB/s. Der Durchsatz bei RAID 1 () ist für alle Belastungsintensitäten etwa um 16 MB/s geringer als bei einer einzelnen PCIe-SSD. Mit RAID () erreicht man durchgehend die höchsten Werte: Der Datendurchsatz beträgt für einen Outstanding I/O etwa 9 MB/s und steigt für höhere Belastungsintensitäten schnell auf etwa 19 MB/s an. Beim weiteren Ansteigen der Belastungsintensität fällt der Durchsatz dann wieder leicht ab bis auf etwa 18 MB/s. Seite 12 (21) Fujitsu Technology Solutions 213

13 Throughput [MB/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Vier PCIe-SSDs Einige PRIMERGY Server (z. B. PRIMERGY RX9 S2) können mit bis zu vier PCIe-SSDs ausgestattet werden. Bei einer solchen Anzahl wird man nicht immer einen RAID-Verband aus allen PCIe-SSDs anlegen. Oft hat man mehrere Disk-I/O-erzeugende Prozesse oder Applikationen, die man lieber auf eindeutig getrennten PCIe-SSDs arbeiten lassen will. Für solche Fälle ist es interessant zu wissen, ob die verfügbare Disk-I/O-Performance mit der Anzahl von PCIe-SSDs im Server skaliert. Als Beispiel enthalten die folgenden beiden Grafiken Performance-Vergleiche zwischen einer einzelnen PCIe-SSD und vier parallel belasteten PCIe-SSDs (nicht im RAID-Verband), beides in einer PRIMERGY RX9 S2. Die durch das Messverfahren erzeugte Belastungsintensität pro PCIe-SSD und das Lastprofil sind an jeder Stelle der Kurven gleich. Für jedes Lastprofil ist in den Grafiken der mittlere Skalierungsfaktor (Q) über alle Belastungsintensitäten (# Outstanding I/Os) eingetragen. Die erste Grafik behandelt die wahlfreien Zugriffe. Es werden dieselben Standardlastprofile wie zuvor benutzt: Database (wahlfreier Zugriff, 67% read, 8 kb Blockgröße), File server (wahlfreier Zugriff, 67% read, 64 kb Blockgröße) 4 PCIe-SSDs 1.2 TB, wahlfreie Lastprofile und File copy (Q ist: mittlerer Quotient / je Lastprofil) (wahlfreier Zugriff, 5% read, 64 kb Database File server File copy Blockgröße) PCIe-SSDs 1 PCIe-SSD Q = 3.79 Q = 3.65 Q = 3.8 Die zweite Grafik behandelt die sequentiellen Zugriffe. Es werden ebenfalls dieselben Standardlastprofile wie zuvor benutzt: Streaming (sequentieller Zugriff, 1% read, 64 kb Blockgröße) und Restore (sequentieller Zugriff, 1% write, 64 kb 4 PCIe-SSDs 1.2 TB, sequentielle Lastprofile Blockgröße). (Q ist: mittlerer Quotient / je Lastprofil) Streaming Q = 2.91 Restore 4 PCIe-SSDs 1 PCIe-SSD Q = 3.9 Der Skalierungsfaktor Q von einer auf vier PCIe-SSDs liegt also meist knapp unter 4.. In einem Server mit vier PCIe-SSDs sind in Summe Transaktionsraten von bis zu IO/s und Datendurchsätze von bis zu 3165 MB/s möglich. Fujitsu Technology Solutions 213 Seite 13 (21)

14 Transaction rate [IO/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Einfluss der Nennkapazität Bei ansonsten gleichen Voraussetzungen gibt es auch einen geringen Performance-Unterschied zwischen den Kapazitätsvarianten 785 GB und 1.2 TB. Die folgenden Grafiken stellen dies für eine einzelne PCIe-SSD in einer PRIMERGY RX3 S7 dar. Der Vorsprung der größeren Kapazitätsvariante ist tendenziell stärker bei Lastprofilen mit Schreibanteil. In diesen Fällen liegt der Vorsprung meist im Bereich von 4% -1%. Lastprofil Database Formatierung Factory Capacity TB 785GB Lastprofil File server Formatierung Factory Capacity TB 785GB Seite 14 (21) Fujitsu Technology Solutions 213

15 Throughput [MB/s] Throughput [MB/s] Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Lastprofil File copy Formatierung Factory Capacity TB 785GB Lastprofil Streaming Formatierung Factory Capacity TB 785GB Lastprofil Restore Formatierung "Factory Capacity" TB 785GB Fujitsu Technology Solutions 213 Seite 15 (21)

16 Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Best Practice Wie jede I/O-Komponente eines Servers sind auch PCIe-SSDs von den Hardware-Gegebenheiten des Servers abhängig. Speziell spielen hier Prozessor, Hauptspeicher und der PCIe-Bus eine Rolle. Durch die richtige Auswahl, Konfiguration und Einstellung des Servers lässt sich die Performance von PCIe-SSDs positiv beeinflussen. Optimieren der aktuellen Prozessorfrequenz Die tatsächliche Prozessorfrequenz hat einen Einfluss auf die Performance von PCIe-SSDs. Der Idealfall ist, wenn das PRIMERGY System mit demjenigen Prozessortyp mit der höchstmöglichen Nennfrequenz ausgestattet ist. Diese Nennfrequenz ist jedoch für sich genommen noch nicht aussagekräftig, da moderne Prozessoren die tatsächliche Frequenz gegenüber der Nennfrequenz durch Technologien wie Turbo Modus und Stromsparfunktionen temporär sowohl erhöhen als auch erniedrigen können. Die Erniedrigung kann z. B in Anwendungssituationen mit geringerem Bedarf an Rechenleistung eintreten. Wenn in einer Anwendungssituation Performance wichtiger ist als Energieeinsparung, kann man durch Ändern von Einstellungen dieses Heruntertakten unterbinden. Die folgenden Beispiele verdeutlichen den Performance- Effekt, den man durch Optimierung der CPU-Frequenz erhält. Als Erstes wird untersucht, wie sich die Auswahl eines Prozessors mit höherer Nennfrequenz auswirkt. Hierzu wird in der folgenden Grafik eine PCIe-SSD 1.2 TB in einer PRIMERGY RX3 S7 betrachtet, die mittels geeigneter BIOS- und Betriebssystemeinstellungen (zusammengestellt im Kapitel Messumgebung ) her maximal auf Performance getunt ist. Die Grafik vergleicht die Datendurchsätzen für eine CPU mit 1.8 GHz und eine CPU mit 3.3 GHz für ausgewählte Lastprofile. Maximale Transaktionsrate PCIe-SSD (1.2 TB) bei zwei CPU-Frequenzen verschiedene Schreibanteile und Blockgrößen, wahlfreier Zugriff GHz 3.3 GHz kb 8 kb 64 kb 4 kb 8 kb 64 kb 4 kb 8 kb 64 kb 1% read 67% read % read Die Grafik demonstriert, dass für Blockgrößen bis 8 kb durch eine höhere Nennfrequenz ein signifikanter Vorteil erzielt werden kann. Für Lastprofile mit gemischten Lese- und Schreibzugriffen sowie für größere Blöcke hat eine niedrigere Nennfrequenz der CPU keine Auswirkung. In der Grafik wurden die wahlfreien Zugriffe lediglich als Beispiel gewählt; die Aussagen der Grafik gelten genauso für sequentielle Zugriffe. Seite 16 (21) Fujitsu Technology Solutions 213

17 Transaction rate [IO/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Als Zweites wird in der folgenden Grafik untersucht, wie sich das temporäre Heruntertakten einer CPU aufgrund von geringer Prozessorauslastung auswirkt. Die dargestellten Datenreihen repräsentieren: Default-Einstellungen, niedrige CPU-Auslastung (Default) Default-Einstellungen, mittlere CPU-Auslastung (Default + CPU load) Performance-Einstellungen, niedrige CPU-Auslastung (Performance) Default und Performance bezeichnen die Sätze von BIOS- und Betriebssystem-Einstellungen, die im Kapitel Messumgebung beschrieben sind. Maximale Transaktionsrate PCIe-SSD (1.2 TB), verschiedene Einstellungen verschiedene Schreibanteile und Blockgrößen, wahlfreier Zugriff Default Default + CPU load Performance kb 8 kb 64 kb 4 kb 8 kb 64 kb 4 kb 8 kb 64 kb 1 %read 67% read % read Die Grafik verdeutlicht die Performance-Steigerung, die man in Situationen mit geringer CPU-Auslastung durch Herbeiführen maximaler CPU-Frequenz erzielen kann. Es ist erkennbar, dass bei lesedominierten Lastprofilen mir kleinen Blockgrößen ( 8 kb) eine Steigerung um mehr als den Faktor drei möglich ist. Die maximale CPU-Frequenz kann man auf zwei Arten herbeiführen: entweder man wählt Performance-optimale Einstellungen ( Performance ), oder man bindet einen geeigneten Prozess an diejenige CPU, die die Interrupts der PCIe-SSD verarbeitet ( Default + CPU load ). Dieser gebundene Prozess sollte einen gewissen Mindestbedarf an Rechenleistung haben; er sollte jedoch seine CPU nicht in eine Hochlastsituation bringen. Im Fall Performance sorgt der BIOS-Parameter Frequency Floor Override dafür, dass die CPU immer mit der maximalen Frequenz arbeitet; im Fall Default + CPU load sorgt der Prozess dafür. Für größere Blockgrößen und schreibdominierte Zugriffe ist der Effekt nur gering. Auch in dieser Grafik wurden die wahlfreien Zugriffe lediglich als Beispiel gewählt; die Aussagen der Grafik gelten genauso für sequentielle Zugriffe. Fujitsu Technology Solutions 213 Seite 17 (21)

18 Throughput [MB/s] Throughput [MB/s] WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Optimieren der Prozessorzuordnung Auch die Zuordnung eines Disk-I/O-erzeugenden Prozesses zur günstigsten CPU hat einen deutlichen Einfluss auf die Performance einer PCIe-SSD. Diese Zuordnung ist für Windows-Betriebssysteme z. B. durch Start des Prozesses mittels start /affinity oder durch den Task Manager möglich; für Linux verwendet man hierfür z. B. die Utility numactl. Die günstigste CPU ist diejenige, die die Interrupts der PCIe-SSD verarbeitet. Die folgende Grafik vergleicht die Fälle günstige CPU (hier CPU ) und ungünstige CPU (hier CPU 1 ) für eine PCIe-SSD 1.2 TB in einer PRIMERGY RX3 S Maximale Durchsätze PCIe-SSD (1.2 TB) bei zwei CPU-Zuordnungen verschiedene Schreibanteile und Blockgrößen, wahlfreier Zugriff Affinity to CPU Affinity to CPU 1 4 kb 8 kb 64 kb 256 kb 4 kb 8 kb 64 kb 128 kb 4 kb 8 kb 64 kb 256 kb 1% read 67% read % read Es wird deutlich, dass die richtige Prozessorzuordnung für stark schreibdominierte Lastprofile relevant wird. Am ausgeprägtesten ist der Effekt für die Blockgröße 8 kb. Für diesen Fall sind Performance-Steigerungen von bis zu 8% möglich. Auch für größere Blockgrößen ist der Effekt noch signifikant. Auch in dieser Grafik wurden die wahlfreien Zugriffe lediglich als Beispiel gewählt; die Aussagen der Grafik gelten genauso für sequentielle Zugriffe. Auswahl des Servers Auch die Auswahl des Servers spielt für die Performance von PCIe-SSDs eine Rolle. Die folgende Grafik vergleicht eine PRIMERGY RX3 S7 (basierend auf der Prozessorfamilie Intel Xeon E5-26/46) und Maximale Durchsätze PCIe-SSD (1.2 TB) in RX3 S7 und RX9 S2 64 kb Blockgröße, wahlfreier Zugriff RX3 S7 RX9 S2 1% read 67% read % read eine PRIMERGY RX9 S2 (basierend auf der Prozessorfamilie Intel Xeon E7-48/88), die mit je einer PCIe-SSD 1.2 TB ausgestattet sind. Die Grafik vergleicht exemplarisch die Maxima von wahlfreien Lastprofilen mit Leseanteilen von 1%, 67% und %. Bei sequentiellen Lastprofilen wäre das Bild fast identisch. Die ausgewählte Blockgröße (64 kb) gewährleistet, dass Unterschiede in den Prozessorfrequenzen nicht ins Gewicht fallen; dies würde nur bei kleineren Blockgrößen passieren. Vor allem bei stark schreibdominierten Lastprofilen haben die auf der Prozessorfamilie E5-26/46 basierenden Server architekturbedingt einen deutlichen Vorsprung. Andererseits ermöglichen die auf der Prozessorfamilie E7-48/88 basierenden Server mehr Performance pro Server, da in ihnen bis zu vier PCIe-SSDs unterstützt werden. So sind in einer PRIMERGY RX9 S2 beispielsweise beim Lastprofil Database bis zu 155 IO/s und beim Lastprofil Streaming bis zu 317 MB/s möglich, während bei der PRIMERGY RX3 S7 die entsprechenden Maximalwerte 68 IO/s und 277 MB/s sind (beschrieben in den Unterkapiteln Zwei PCIe-SSDs und Vier PCIe-SSDs ). Seite 18 (21) Fujitsu Technology Solutions 213

19 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Vergleich mit anderen Speichermedien Im Folgenden soll die iodrive 2 PCIe-SSD mit ihrem eigenen Vorgänger sowie mit aktuell für herkömmliche Laufwerksschächte verfügbaren Speichermedien verglichen werden: einer konventionellen SAS-2.- Festplatte (SAS-2.-HDD) und einer SAS-2.-SSD. Die folgende Tabelle vergleicht die Performance-Werte der vier Speichermedien für die bereits zuvor verwendeten fünf Standardlastprofile. Maximale Performance für outstanding IOs Lastprofil SAS-2.-HDD 146 GB, 15 krpm, 2.5 SAS-2.- SSD MLC 2 GB 2.5 PCIe-SSD iodrive 64 GB Formatierung Advertised Capacity PCIe-SSD iodrive TB Formatierung Factory Capacity Quotient PCIe-SSD iodrive 2 / SAS-2.- HDD Quotient PCIe-SSD iodrive 2 / SAS-2.- SSD Quotient PCIe-SSD iodrive 2 / PCIe-SSD iodrive Disk cache enabled Disk Cache enabled Database 76 IO/s IO/s IO/s IO/s File server 591 IO/s 36 IO/s 83 IO/s 195 IO/s File copy 571 IO/s 2985 IO/s 7693 IO/s 1818 IO/s Streaming 192 MB/s 377 MB/s 617 MB/s 139 MB/s Restore 191 MB/s 196 MB/s 541 MB/s 137 MB/s Wie die Tabelle zeigt erreichen die Performance-Werte der iodrive 2 PCIe-SSD je nach Lastprofil maximal mehr als das 2.3-Fache der Vorgängergeneration iodrive, annähernd das 3.5-Fache der SAS-2.- SSD und mehr als das 7-Fache der SAS-2.-HDD. Die folgende Tabelle vergleicht die minimalen Latenzzeiten beim Lesen und Schreiben kleiner Blöcke. Lastprofil SAS-2.-HDD 146 GB, 15 krpm, 2.5 SAS-2.-SSD MLC 2 GB 2.5 PCIe-SSD iodrive 64 GB Formatierung Advertised Capacity PCIe-SSD iodrive TB Formatierung Factory Capacity Disk Cache enabled Disk Cache enabled Read Latency (1 kb sequential).89 ms.9 ms.29 ms.66 ms Write Latency (1 kb sequential).98 ms.128 ms.33 ms.18 ms Die minimale Latenz beim Schreiben (.18 ms) ist also bei der iodrive 2 PCIe-SSD deutlich geringer als bei den anderen Speichermedien des Vergleichs. Fujitsu Technology Solutions 213 Seite 19 (21)

20 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Fazit Die iodrive 2 PCIe-SSDs sind ein fortschrittliches nichtflüchtiges Speichermedium, das auf kleinem Raum eine sehr hohe Performance bietet, vor allem für transaktionslastige I/O-Zugriffe. Die Leistungsfähigkeit der Vorgängergeneration wurde sowohl bezüglich der maximalen Transaktionsrate als auch bezüglich des maximalen Datendurchsatzes annähernd verdoppelt. Eine iodrive 2 PCIe-SSD erreicht z. B. bei datenbanktypischen Zugriffen Transaktionsraten von bis zu etwa 5 IO/s, und bei sequentiellen Lesezugriffen - wie beim Videostreaming - Datendurchsätze von bis zu 139 MB/s. Durch das Bilden von RAID-Verbänden mit Betriebssystemmitteln oder durch unabhängigen Betrieb dieser Speichermedien lässt sich die Disk-I/O-Performance pro Server weiter steigern. In einigen PRIMERGY Servern können bis zu vier dieser PCIe-SSDs betrieben werden. Zur Optimierung der Disk-I/O-Performance dieses Speichermediums sind für Lastprofile mit kleinen Blöcken Tuningmaßnahmen bezüglich der Prozessorfrequenz sinnvoll; vor allem wenn die Zugriffe ausschließlich lesedominiert oder ausschließlich schreibdominiert sind. Zusätzlich sind für schreibdominierte Zugriffe gegebenenfalls Tuningmaßnahmen bezüglich der Prozessorzuordnung der Disk-I/O-erzeugenden Applikation sinnvoll. Letzteres kann vor allem bei Zugriffsprofilen mit kleinen Blöcken notwendig werden, damit die Applikation immer auf dem günstigsten Prozessor läuft. Auch die Beachtung der Prozessorarchitektur bei der Auswahl eines Systems spielt eine Rolle. Seite 2 (21) Fujitsu Technology Solutions 213

21 WHITE PAPER Performance Report PCIe-SSDs iodrive 2 VERSION: 1.B Literatur PRIMERGY Systeme PRIMERGY Performance Grundlagen Disk-I/O-Performance Fusion-io iodrive 2 Solid-State Storage Devices Datenblatt (EN) Fusion-io iodrive Solid-State Storage Devices (Vorgängergeneration) Datenblatt (EN) Performance-Report PCIe-SSDs Informationen über Iometer Kontakt FUJITSU Website: PRIMERGY Product Marketing mailto:primergy-pm@ts.fujitsu.com PRIMERGY Performance und Benchmarks mailto:primergy.benchmark@ts.fujitsu.com iodrive, iodrive2, iomemory und iosphere sind eingetragene Warenzeichen von Fusion-io. Alle Rechte vorbehalten, insbesondere gewerbliche Schutzrechte. Änderung von technischen Daten sowie Lieferbarkeit vorbehalten. Haftung oder Garantie für Vollständigkeit, Aktualität und Richtigkeit der angegebenen Daten und Abbildungen ausgeschlossen. Wiedergegebene Bezeichnungen können Marken und/oder Urheberrechte sein, deren Benutzung durch Dritte für eigene Zwecke die Rechte der Inhaber verletzen kann. Weitere Einzelheiten unter WW DE Copyright Fujitsu Technology Solutions 213 Fujitsu Technology Solutions 213 Seite 21 (21)