WHITE PAPER FUJITSU PRIMERGY SERVER SPEICHER-PERFORMANCE XEON 7500 (NEHALEM-EX) BASIERTER SYSTEME

Transkript

1 WHITE PAPER SPEICHER-PERFORMANCE XEON 7500 (NEHALEM-EX) BASIERTER SYSTEME WHITE PAPER FUJITSU PRIMERGY SERVER SPEICHER-PERFORMANCE XEON 7500 (NEHALEM-EX) BASIERTER SYSTEME In der Klasse der Quad Socket PRIMERGY Rack- und Blade-Server erfolgt mit den Intel Xeon 7500 (Nehalem-EX) basierten Systemen ein außergewöhnlicher, architekturbedingter Leistungssprung. Hierbei erhöht die neue Intel QuickPath Interconnect (QPI) Mikroarchitektur den Einfluss der Speicher-Performance auf die Systemleistung. Dieses White Paper erläutert diese Einflüsse und gibt Empfehlungen für performante Speicherbestückungen. Version Inhalt Dokumenthistorie... 2 Einleitung... 3 Speicherarchitektur... 4 Performante Speicherbestückungen... 8 Einflüsse auf die Speicher-Performance Literatur Kontakt Fujitsu Technology Solutions 2010 Seite 1 (19)

2 Dokumenthistorie Version 1.0 Seite 2 (19) Fujitsu Technology Solutions 2010

3 Einleitung Mit den Intel Xeon 7500 (Nehalem-EX) basierten Systemen erfolgt in der Klasse der Quad Socket PRIMERGY Rack- und Blade-Server derselbe architekturbedingte Leistungssprung, der die Attraktivität der Dual Socket PRIMERGY Server bei Einführung der Xeon 5500 (Nehalem-EP) Prozessoren eindrucksvoll erhöht hat. Bei den Quad Socket Servern beträgt die allgemeine Leistungssteigerung gegenüber der Vorgängergeneration in etwa Faktor 2.7. Dies entspricht dem Verhältnis der verfügbaren Hardware-Threads: die Generation Xeon 7500 unterstützt bis zu 16 Threads pro Prozessor, die Generation Xeon 7400 bis zu 6 Threads. Die Umsetzung dieses Rechenpotentials in Systemleistung gelingt jedoch nur mit Hilfe eines Paradigmenwechsels bei der Systemarchitektur, insbesondere bei der Anbindung der Prozessoren an den Hauptspeicher. Die neuen Prozessoren verwenden die Intel QuickPath Interconnect (QPI) Mikroarchitektur. Der QPI ersetzt die seit dem Intel Pentium Pro Prozessor (1995) genutzte Front Side Bus (FSB) Technologie, die hinsichtlich ihrer Komplexität, beispielsweise der Anzahl der im Chipset pro FSB benötigten Pins, an Grenzen gestoßen war. Die QPI Architektur beruht auf dem Gedanken, die Prozessoren mit Speicher-Controllern für eine Gruppe unmittelbar zugeordneter ( lokaler ) Speichermodule auszustatten. Es entsteht eine enge, schnelle Kopplung zwischen Prozessorkernen und lokalem Speicher. Gleichzeitig ist der Prozessor in der Lage, Speicherinhalte anderen Prozessoren über sogenannte QPI Links zur Verfügung zu stellen und solche selbst anzufordern. Dieser Ansatz mit seiner Unterscheidung von lokalem und fernem Speicher ändert die Systemarchitektur von Symmetric Multiprocessing (SMP) zu Non-Uniform Memory Access (NUMA). Die Berücksichtigung von NUMA bei der Vergabe von physikalischem Speicher und beim Scheduling von Prozessen erfolgt durch das Betriebssystem. Die Mechanismen funktionieren dann optimal, wenn die Gesamtmenge an Hauptspeicher zu gleichen Teilen über alle Prozessoren verteilt wird. Dies ist die Grundregel bei der Konfiguration leistungsfähiger Systeme. Weitere Regeln und Empfehlungen betreffen die Verteilung einer gegebenen Menge von Speichermodulen auf die maximal 16 (PRIMERGY RX600 S5) oder 8 (PRIMERGY BX960 S1) DIMM Steckplätze pro Prozessor. Diese Empfehlungen sind der Gegenstand dieses White Papers. Die Performance-Eigenschaften und -Auswirkungen verschiedener Speicherbestückungen sollen benannt und quantifiziert werden. Es geht um ähnliche Dinge wie bei den Xeon 5500 und 5600 basierten Dual Socket Servern [L5], jedoch liegen die Akzente deutlich anders. Die Bedeutung der unterschiedlichen Speichertaktung tritt zurück. Sie ist zwar ebenso wie bei den Dual Socket Servern in drei Stufen gegeben, diese liegen jedoch enger beieinander und sind von der Platzierung der Speichermodule unabhängig. Die Speichertaktung ergibt sich ausschließlich aus dem verwendeten Prozessormodell. In den Vordergrund tritt das Interleaving. Es ist im Vergleich zu den Dual Socket Servern mehrstufig und damit komplexer. Die erhöhte Komplexität ist eine Folge der Designziele für diese Serverklasse: mehr DIMM-Steckplätze pro Prozessor für größere Speicherausbauten und bessere RAS (Reliability, Availability, Serviceability) Eigenschaften. Dieses White Paper gibt zunächst einen Überblick über die Speicherarchitektur der Xeon 7500 basierten Quad Socket PRIMERGY Server. Danach wird ein pragmatischer Ansatz verfolgt. In der Annahme, dass zumeist Hilfestellung bei der Festlegung von Konfigurationen gesucht wird, werden performante Speicherbestückungen tabellarisch aufgelistet. Dies geschieht in der Annahme, dass für eine bestimmte Speichermenge (oder einen ungefähren Speicherausbau) eine möglichst geeignete Bestückung gesucht wird. In vielen Fällen wird es ausreichen, sich nur mit diesen Tabellen zu beschäftigen. Die Hintergründe für die empfohlenen Konfigurationen werden im Kapitel Einflüsse auf die Speicher-Performance anhand von Ergebnissen mit den Benchmarks STREAM und SPECint_rate_base2006 erläutert. Die Konfiguration leistungsfähiger Systeme ist bei den Quad Socket Servern einfacher als bei den Dual Socket Servern, trotz einer höheren Komplexität bei der Anbindung der Speichermodule an die Prozessoren. Die Anzahl verfügbarer DIMM Varianten ist kleiner, denn es gibt beispielsweise keine unbuffered Module. Auswirkungen auf die Speichertaktung brauchen nicht bedacht zu werden. Die möglichen Speicherkonfigurationen fallen in drei Gruppen: solche mit optimaler Performance, solche mit akzeptabler Performance für kommerzielle Anwendungen, und solche, die nicht zu empfehlen sind. Zahlreiche Beispiele für die beiden ersten Gruppen mit einem breiten Spektrum an Hauptspeicherausbauten werden im Folgenden aufgelistet. Fujitsu Technology Solutions 2010 Seite 3 (19)

4 Speicherarchitektur Dieses Kapitel gibt in drei Abschnitten einen Überblick über das Speichersystem. Anhand von Blockdiagrammen wird die Anordnung der DIMM Steckplätze und ihre Anbindung an die Prozessoren erläutert. Anschließend geht es um die BIOS Parameter, die den Hauptspeicher betreffen. Der dritte Abschnitt behandelt die verfügbaren DIMM Typen. DIMM Steckplätze und Anbindung Die folgende Grafik zeigt den Aufbau des Speichersystems. Die Darstellung beruht auf den im Juli 2010 verfügbaren bzw. angekündigten Quad Socket Systemen. Es sind hinsichtlich der verfügbaren DIMM Steckplätze und ihrer Anordnung zwei Fälle zu unterscheiden: Die PRIMERGY RX600 S5 unterstützt bis zu 16 DIMM Steckplätze pro Prozessor und damit maximal 64 Steckplätze im gesamten System. Die Steckplätze befinden sich auf separat zu bestellenden Speichereinschüben für jeweils 8 DIMM Streifen. In der Grafik ist dieser modulare Aufbau durch die gestrichelte Linie angedeutet. Die Grafik zeigt die maximale Bestückung. Für kleinere Speicherausbauten ist ein Betrieb mit nur einem Einschub pro Prozessor möglich. Die PRIMERGY BX960 S1 unterstützt bis zu 8 DIMM Steckplätze pro Prozessor und damit maximal 32 Steckplätze im gesamten Blade. Die Steckplätze befinden sich auf dem Motherboard. Im Vergleich zur RX600 S5 ergibt sich die Reduktion auf die Hälfte der Steckplätze dadurch, dass pro DDR3 Kanal nur ein DIMM Streifen unterstützt wird; bei der RX600 S5 sind es zwei Streifen. Für die Reduktion ist der engere Raum im Blade-Gehäuse ausschlaggebend. Um DIMM Steckplätze verwenden zu können, muss der zugehörige Prozessor vorhanden sein. Im Fall eines Betriebs mit nur zwei oder drei Prozessoren können die den leeren Sockets zugeordneten Steckplätze nicht benutzt werden. DDR3 DIMM present in RX600 S5 and BX960 S1 DDR3 DIMM present in RX600 S5 only = memory controller CPU 1 CPU 2 Bidirectional QPI link Bidirectional SMI link Synchronously operating pair of Mill Brook memory buffers In RX600 S5, this set of components is mounted on a memory riser card CPU 4 CPU 3 DDR3 memory channel Seite 4 (19) Fujitsu Technology Solutions 2010

5 Zwei weitere Grafiken zeigen die Speicheranbindung an einen einzelnen Prozessor im Detail. Die erste Grafik behandelt die PRIMERGY RX600 S5, die zweite die PRIMERGY BX960 S1. Jeder Prozessor verfügt über zwei in den Chip integrierte Speicher-Controller. Jeder Controller ist über bidirektionale, serielle SMI (Scalable Memory Interface) Links mit zwei Mill Brook Speicherpuffern verbunden. Dies sind eigene Chips, die sich bei der PRIMERGY RX600 S5 auf den Speichereinschüben und bei der BX960 S1 auf dem Motherboard befinden. Die Ellipsen in den Grafiken deuten an, dass sich die beiden SMI Links eines Controllers in Lockstep befinden, d.h. jeder einzelne Speicherzugriff (typischerweise in der Blockgröße 64 Bytes) erfolgt synchron über beide SMI Links und Speicherpuffer. Der 64-Bytes-Block ist auf beide Puffer bzw. ihre zugeordneten DIMM Streifen aufgespalten. Die Motivation hierfür ist die verbesserte Fehlererkennung durch erweitertes ECC. Die Speicherbestückung hinter zwei in Lockstep befindlichen Puffern muss hinsichtlich der DIMM Typen und Platzierung identisch sein. Diese starre Regel reduziert die Vielfalt denkbarer Speicherbestückungen erheblich. Die Bandbreitenangaben der Grafiken für die Komponenten QPI, SMI und DDR3 Kanal sind so zu verstehen, dass es abhängig vom Prozessortyp drei Möglichkeiten gibt. Bei den leistungsfähigsten Prozessoren laufen die QPI und SMI Links mit 6.4 GT/s (Gigatransfers per second) und der Hauptspeicher mit 1066 MHz. Bei den Prozessoren mittlerer Stärke laufen QPI und SMI mit 5.8 GT/s und der Hauptspeicher mit 978 MHz. Bei den kostengünstigen Prozessoren laufen QPI und SMI mit 4.8 GT/s und der Hauptspeicher mit 800 MHz. Die QPI und SMI Links sind bidirektional, und die aus den Datenpfadbreiten 2 Bytes (QPI) bzw. 1 Byte (SMI) resultierenden Bandbreiten gelten pro Richtung. Diese Eigenschaft der Datenübertragung wird als full-duplex bezeichnet. Bei den DDR3 Kanälen müssen sich lesender und schreibender Zugriff die Datenpfade der Breite 8 Bytes teilen, deshalb hier die Bezeichnung half-duplex. Bei den ebenfalls QPI basierten Xeon 5500 und 5600 Prozessoren der PRIMERGY Dual Socket Server gibt es nur einen Speicher-Controller pro Prozessor, der drei DDR3 Kanäle direkt steuert. Eine Pufferung zwischen Controller und DIMM Streifen findet nicht statt. Die drei DDR3 Kanäle befinden sich nicht in Lockstep und können unabhängig voneinander bestückt werden. DIMM Slot Designation of PRIMERGY RX600 S5 Bidirectional QPI link 6.4 or 5.8 or 4.8 GT/s 12.8 or 11.6 or 9.6 GB/s (full-duplex) depending on CPU model QPI towards neighbor CPU SMI = Scalable Memory Interface QPI = QuickPath Interconnect = Memory controller QPI towards I/O hub CPU QPI towards neighbor CPU QPI towards neighbor CPU Bidirectional SMI link 6.4 or 5.8 or 4.8 GT/s 6.4 or 5.8 or 4.8 GB/s (full-duplex) depending on CPU model Synchronous ( lockstep ) operation of two SMI links Throughput specification is per link Mill Brook memory buffer 2A 2C 2A 2C 1A 1C 1A 1C 2B 2D 2B 2D 1B 1D 1B 1D DDR3 memory channel with 1DPC or 2DPC 1066 or 978 or 800 MHz 8.5 or 7.8 or 6.4 GB/s (half-duplex) depending on CPU model DPC = DIMM per channel GB/s = Gigabytes per second GT/s = Gigatransfers per second Fujitsu Technology Solutions 2010 Seite 5 (19)

6 DIMM Slot Designation for CPU 1 of PRIMERGY BX960 S1 Bidirectional QPI link 6.4 or 5.8 or 4.8 GT/s 12.8 or 11.6 or 9.6 GB/s (full-duplex) depending on CPU model QPI towards neighbor CPU SMI = Scalable Memory Interface QPI = QuickPath Interconnect = Memory controller QPI towards I/O hub CPU QPI towards neighbor CPU QPI towards neighbor CPU Bidirectional SMI link 6.4 or 5.8 or 4.8 GT/s 6.4 or 5.8 or 4.8 GB/s (full-duplex) depending on CPU model Synchronous ( lockstep ) operation of two SMI links Throughput specification is per link Mill Brook memory buffer 2A 2B 2C 2D 1A 1B 1C 1D DDR3 memory channel with 1DPC or 2DPC 1066 or 978 or 800 MHz 8.5 or 7.8 or 6.4 GB/s (half-duplex) depending on CPU model DPC = DIMM per channel GB/s = Gigabytes per second GT/s = Gigatransfers per second BIOS Parameter Weitere Eigenschaften der Speicherarchitektur lassen sich am besten anhand der zugeordneten BIOS Parameter erläutern. NUMA Optimization Der Parameter NUMA Optimization legt fest, ob der physikalische Adressraum aus Segmenten ausschließlich lokalen Speichers gebildet wird. Das Betriebssystem wird über die Struktur des Adressraums, d.h. die Lokalitätszuordnung zwischen Adressbereichen und Prozessoren, informiert und kann Prozesse mit performantem lokalem Speicher bedienen. Diese Einstellung (NUMA Optimization = Enabled) sollte in aller Regel verwendet werden. Die Alternative, ein feinmaschiges Verschmieren des Adressraums über die vorhandenen Prozessoren, ist besonderen Anwendungsfällen vorbehalten, etwa im Bereich des technischwissenschaftlichen Rechnens, und wird in diesem White Paper nur zum Abschluss kurz behandelt. Interleaving Der Parameter Interleaving legt die Anzahl der Speicher-Controller fest, zwischen denen beim Aufbau eines aus 64-Bytes-Blöcken bestehenden Segments des physikalischen Adressraums alterniert wird: der erste Block liegt beim ersten Controller, der zweite beim zweiten, usw. Dadurch verteilt sich der nach dem Lokalitätsprinzip stets vorherrschende Zugriff auf aneinander angrenzende Speicherbereiche über mehrere Controller und die ihnen zugeordneten Komponenten. Es gibt maximal acht Controller im System, da jeder Prozessor zwei Controller hat. Die möglichen Werte für Interleaving sind demnach None, 2-way, 4-way, 8- way. Bei None werden die einem Controller zugeordneten Speicherressourcen erschöpft, bevor zu den Ressourcen des nächsten Controllers gewechselt wird. Seite 6 (19) Fujitsu Technology Solutions 2010

7 Es besteht ein Zusammenhang mit der zuvor erläuterten NUMA Optimization. Ist diese aktiv, und soll der Adressraum aus Segmenten mit lokalem Speicher aufgebaut werden, so bleiben für Interleaving nur die Möglichkeiten None und 2-way, wobei 2-way das Alternieren zwischen beiden Controllern desselben Prozessors meint. Die Fälle 4-way und 8-way sind mit aktivem NUMA nicht kompatibel und bleiben im Folgenden weitgehend außer Acht. Der wünschenswerte Fall 2-way ist möglich, wenn an beiden Controllern des Prozessors dieselbe Speicherkapazität konfiguriert ist. Eine identische Bestückung ist hierzu nicht erforderlich. Die optimale Speicher-Performance wird nur erreicht, wenn dieser Fall (Interleaving = 2-way) gegeben ist. Für technischwissenschaftliche Anwendungen ist es empfehlenswert, das System so zu konfigurieren, dass 2-way Interleaving vorliegt. Für kommerzielle Anwendungen folgen unten akzeptable Konfigurationen mit der Einstellung Interleaving = None. Hemisphere Mode Die Auswirkung des Parameters Hemisphere Mode ist im Vergleich zu Interleaving subtiler. Befindet sich das System im Hemisphere Mode, so verbessert sich geringfügig die Latenz des einzelnen Speicherzugriffs. Der Mode ist möglich, wenn für jeden Prozessor gilt, dass die Speicherbestückung an beiden Speicher- Controllern identisch ist. Dies ist eine Verschärfung der zuvor für 2-way Interleaving geforderten gleichen Kapazität an beiden Controllern. Der Hemisphere Mode vereinfacht die Abläufe für die Speicherkohärenz: bei jedem Speicherzugriff ist zu prüfen, ob sich die gültige Version des Blocks im DIMM oder im Cache eines fremden Prozessors befindet. Der Hemisphere Mode reduziert die Anzahl der hierbei beteiligten Agenten durch Teilung des Adressraums in obere und untere Hemisphäre, was erstem und zweitem Speicher- Controller pro Prozessor entspricht. Redundancy Für den Parameter Redundancy gibt es die Möglichkeiten Disabled, Sparing, Intrasocket Mirror und Intersocket Mirror. Eine Erläuterung dieser RAS Mechanismen liegt nicht im Rahmen dieses White Paper. Die im Kapitel Performante Speicherbestückungen folgende Auflistung geeigneter Speicherbestückungen enthält Fälle, die der effektiven Bestückung unter Redundanz entsprechen. Beispielsweise gibt es Konfigurationen mit unbenutzten DIMM Steckplätzen, die Raum für Sparing-Module lassen, oder es gibt Konfigurationen mit unbestücktem zweitem Speicher-Controller pro Prozessor, was der effektiven Bestückung bei aktivierter Spiegelung entspricht. Im Übrigen ist die Speicher-Performance unter Redundanz Gegenstand eines Abschnitts im Kapitel Einflüsse auf die Speicher-Performance. Im Folgenden wird unterstellt, dass der Hauptspeicher mit der nominalen, durch den Prozessortyp gegebenen Taktung läuft. Die Speicher-Performance unter Throttling oder im Energiesparmodus und die damit zusammenhängenden BIOS Optionen bleiben außer Acht. Verfügbare Speichertypen Für die Bestückung der genannten PRIMERGY Modelle kommen DIMM Streifen gemäß der folgenden Tabelle in Betracht. Es findet durchgehend ECC geschützter DDR3 Speicher Verwendung. Es gibt nur registered (RDIMM) Module. Typ Ansteuerung Max MHz Ranks Kapazität Rel. Preis pro GB RDIMM DDR PC registered GB 1.1 RDIMM DDR PC registered GB 1 RDIMM DDR PC registered GB 1.9 RDIMM DDR PC registered GB 2.4 Die Tabelle gibt in der letzten Spalte eine Orientierung zu den relativen Preisunterschieden. Zugrunde gelegt wurden die Listenpreise im Fall der PRIMERGY RX600 S5 im Juni Die Spalte zeigt den relativen Preis pro GB, normiert auf den registered PC DIMM der Größe 4 GB (hervorgehoben als Maßstab 1). Auffallend sind die höheren Kosten für 8 und 16 GB Module. Das Preisgefälle legt nahe, die Kostenfrage in Überlegungen zur Speicherbestückung einzubeziehen. Fujitsu Technology Solutions 2010 Seite 7 (19)

8 Die in der Tabelle genannten maximalen Frequenzen sind Eigenschaften der Bauteile, die im Fall 1333 MHz für die Xeon 7500 basierten Server theoretisch sind. Die maximale Speichertaktung beträgt bei diesen Servern 1066 MHz. Der Speicher läuft effektiv mit einer durch den Prozessortyp gegebenen Taktung von 800 oder 978 oder 1066 MHz, unabhängig von den in der Tabelle genannten Maximalwerten. Die Module werden in Sätzen zu jeweils vier Stück desselben Typs angeboten. Eine paarweise Beschaffung ist wegen der bereits genannten Notwendigkeit der Lockstep-Bestückung ohnehin erforderlich. Die Beschaffung in Sätzen zu vier vermeidet die Bestellung von DIMM Stückzahlen bzw. Speicherkapazitäten, die sich nicht performant bestücken lassen. Hinsichtlich der Verfügbarkeit einzelner DIMM Typen kann es je nach Vertriebsregion Einschränkungen geben. Auch bei den DIMM Typen und ihren Eigenschaften sind im Lauf der Zeit Veränderungen möglich. Ausschlaggebend ist stets der aktuelle Konfigurator. Performante Speicherbestückungen Die folgenden Tabellen geben für ein dichtes Raster von Speichergrößen Bestückungsvorschläge, die unter Performance-Gesichtspunkten geeignet sind. Die jeweils vorletzte Spalte enthält eine zweistufige Wertung der Performance-Eigenschaften der Konfiguration. Bestückungen der Klasse 1 liefern für kommerzielle und technisch-wissenschaftliche Anwendungen optimale Performance. Bestückungen der Klasse 2 sind für kommerzielle Anwendungen akzeptabel. Die Systemleistung kann jedoch bis zu 10% unter der mit Konfigurationen der Klasse 1 erreichbaren Leistung liegen. Das Kapitel Einflüsse auf die Speicher-Performance enthält die dieser Einschätzung zu Grunde liegenden Messergebnisse. Bei einigen Konfigurationen, etwa denen mit unterschiedlichen Modulgrößen, kann es zu Adressraumsegmenten mit unterschiedlichen Performance-Eigenschaften kommen. Die angegebene Wertung entspricht dann dem schlechtesten Fall. Die angegebene Kapazität geht von einem System mit vier gleich bestückten Prozessoren aus. Für Systeme, die mit zwei oder drei Prozessoren betrieben werden, sind die Kapazitäten entsprechend umzurechnen. Die DIMM Steckplätze sind wie auf den Speichereinschüben bzw. Motherboards der Systeme bezeichnet. Jedoch ist jedes Lockstep-Paar nur einmal angegeben. Ist beispielsweise bei der PRIMERGY RX600 S5 der Steckplatz 1B belegt, so muss 1D identisch belegt werden. Entsprechendes gilt für die Steckplatzpaare 1A-1C, 2B-2D, 2A-2C. Bei der PRIMERGY BX960 S1 sind die auf dem Motherboard befindlichen Steckplätze fortlaufend bezeichnet, d.h. am zweiten Prozessor heißen die acht verfügbaren Steckplätze nicht 1A, 2A, 1B, 2B, 1C, 2C, 1D, 2D, sondern 1E, 2E, 1F, 2F, 1G, 2G, 1H, 2H, usw. Hinsichtlich der Steckplatzbezeichnungen sei im Übrigen an die oben im Abschnitt DIMM Steckplätze und Anbindung gezeigten Grafiken erinnert. Mit grauer Schraffierung markiert sind Konfigurationen, bei denen nicht alle Steckplätze mit DIMM Streifen belegt sind. Bei der PRIMERGY RX600 S5 sind darunter die Konfigurationen, die ohne den zweiten Speichereinschub pro Prozessor auskommen. Diese grau markierten Konfigurationen sind interpretierbar als effektive Bestückungen unter Redundanz. Mit effektiv ist gemeint, dass das Betriebssystem den in den Tabellen genannten Speicherausbau sieht, während tatsächlich Speichermodule für den bis zu doppelten Ausbau verbaut sind. Sind beispielsweise alle Steckplätze des zweiten Speicher-Controllers nicht belegt, so wäre dort Platz für die Einrichtung des Spiegels bei aktiviertem Intrasocket oder Intersocket Mirroring. Ebenso gibt es Konfigurationen mit freien Steckplätzen an beiden Speicher-Controllern. Diese bieten Platz für Sparing Module. Seite 8 (19) Fujitsu Technology Solutions 2010

9 PRIMERGY RX600 S5 Kapazität 4 CPUs 32 GB 64 GB 96 GB 1B 1D 2-way 2B 2D 1A 1C 2A 2C 1B 1D 2B 2D 1A 1C 2A 2C Interleave Hemisphere Mode Performance Klasse Bemerkung 2 2 ja 2 Sparing Option 2 2 nein 2 Mirror Option ja 1 beste Perf / Sparing 4 4 nein 2 Mirror Option ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 128 GB ja 1 beste Perf / Sparing nein 2 Mirror Option 160 GB ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 192 GB ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 256 GB ja 1 beste Perf / Sparing nein 2 Mirror Option 288 GB ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 320 GB ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 384 GB ja 2 Sparing Option nein 2 Mirror Option ja 1 beste Performance 512 GB ja 1 beste Perf / Sparing nein 2 Mirror Option 576 GB ja 1 beste Performance 640 GB ja 1 beste Performance 768 GB ja 1 beste Performance 1024 GB ja 1 beste Performance Die für die Steckplatzpaare angegebenen Ziffern bedeuten die Modulgrößen in GB. Fujitsu Technology Solutions 2010 Seite 9 (19)

10 PRIMERGY BX960 S1 Kapazität 4 CPUs 32 GB 2-way 1A 1B 2A 2B 1C 1D 2C 2D Interleave Hemisphere Mode Performance Klasse Bemerkung 2 2 ja 2 Sparing Option 2 2 nein 2 Mirror Option ja 1 beste Performance 64 GB 4 4 ja 2 Sparing Option 4 4 nein 2 Mirror Option 96 GB ja ja 1 beste Performance 128 GB 8 8 ja 2 Sparing Option 8 8 nein 2 Mirror Option 160 GB ja GB ja ja 1 beste Performance 256 GB ja 2 Sparing Option nein 2 Mirror Option 288 GB ja GB ja GB ja GB ja 1 beste Performance Die für die Steckplatzpaare angegebenen Ziffern bedeuten die Modulgrößen in GB. Seite 10 (19) Fujitsu Technology Solutions 2010

11 Einflüsse auf die Speicher-Performance Dieses Kapitel erläutert für den technisch näher Interessierten die Faktoren, die Einfluss auf die Performance des Hauptspeichers haben. Es geht zunächst um die Frage, wie Speicher-Performance bei den diesem White Paper vorausgegangenen Untersuchungen gemessen wurde, und welche Aussagekraft diese Daten haben. Die Messtools Es gab Messungen mit den Benchmarks STREAM und SPECint_rate_base2006. STREAM Benchmark Der STREAM Benchmark von John McCalpin [L3] ist ein Tool zur Messung von Speicherdurchsatz. Der Benchmark führt Kopier- und Rechenoperationen auf großen Arrays vom Datentyp double durch und weist Ergebnisse für vier Zugriffstypen Copy, Scale, Add und Triad aus. Die letzten drei beinhalten Rechenoperationen. Das Ergebnis ist stets ein in GB/s angegebener Speicherdurchsatz. Triad Werte werden am häufigsten zitiert. Alle im Folgenden zur Quantifizierung von Speicher-Performance genannten STREAM Messwerte folgen dieser Praxis und sind GB/s für den Zugriffstyp Triad. STREAM ist der Industriestandard für die Messung der Speicherbandbreite von Servern, bekannt für seine Fähigkeit, Speichersysteme mit einfachen Mitteln unter größtmögliche Last zu setzen. Es ist offensichtlich, dass dieser Benchmark besonders geeignet für den hier vorliegenden Zweck ist, Einflüsse auf die Speicher- Performance in einem komplexen Konfigurationsraum auszuloten. In jedem Fall wird STREAM die maximale Performance-Auswirkung einer den Speicher betreffenden Konfigurationsmaßnahme zeigen, sowohl für Verschlechterungen als auch Verbesserungen. Die im Folgenden genannten prozentualen Verhältnisse beim STREAM Benchmark sind somit als Schranken für Performance-Effekte zu verstehen. Beim Einfluss des Speichers auf die Anwendungs-Performance wird unterschieden zwischen der Latenz des einzelnen Zugriffs und der von der Anwendung benötigten Bandbreite. Die Größen hängen zusammen, weil die reale Latenz mit zunehmender Bandbreite ansteigt. Weiter hängt es von der Anwendung und der Qualität des vom Compiler erzeugten Maschinencodes ab, in welchem Umfang die Latenz durch eine Parallelisierung des Speicherzugriffs verborgen werden kann. Pauschale Prognosen für alle Anwendungsszenarien sind vor diesem Hintergrund sehr schwer. SPECint_rate_base2006 Der Benchmark SPECint_rate_base2006 wurde als Modell für kommerzielle Anwendungs-Performance hinzugezogen. Er ist ein Bestandteil von SPECcpu2006 [L4] der Standard Performance Evaluation Corporation (SPEC). SPECcpu2006 ist der Industriestandard für die Vermessung der Systemkomponenten Prozessor, Speicherhierarchie und Compiler. Nach der großen Menge veröffentlichter Ergebnisse und deren intensiver Verwendung in Vertriebsprojekten und technischen Untersuchungen handelt es sich im Bereich der Server um den wichtigsten Benchmark. SPECcpu2006 besteht aus zwei voneinander unabhängigen Suiten von Einzel-Benchmarks, die sich in der überwiegenden Verwendung von integer bzw. floating-point Operationen unterscheiden. Der integer Teil ist repräsentativ für kommerzielle Anwendungen und besteht aus 12 Einzel-Benchmarks. Der floating-point Teil ist repräsentativ für technisch-wissenschaftliche Anwendungen und enthält 17 Einzel-Benchmarks. Das Ergebnis eines Messlaufs ist jeweils das geometrische Mittel der Einzelergebnisse. Innerhalb der Suiten wird ferner unterschieden zwischen dem speed Lauf mit nur einem Prozess und dem rate Lauf mit einer konfigurierbaren Anzahl parallel arbeitender Prozesse. Offenbar ist die zweite Variante für Server mit ihrer Vielzahl an Prozessorkernen und Hardware-Threads interessanter. Schließlich wird hinsichtlich der zulässigen Compiler-Optimierung unterschieden: Beim peak Ergebnis dürfen die Einzel-Benchmarks unabhängig voneinander optimiert werden, beim konservativeren base Ergebnis müssen die Compiler-Flags bei allen Benchmarks gleich sein, und gewisse Optimierungen sind nicht erlaubt. Damit ist erklärt, worum es sich bei SPECint_rate_base2006 handelt. Die integer Suite wurde gewählt, weil kommerzielle Anwendungen beim Einsatz von PRIMERGY Servern überwiegen. Eine regelkonforme Messung erfordert drei Durchläufe, und pro Einzel-Benchmark wird das mittlere Ergebnis gewertet. Bei der hier beschriebenen technischen Untersuchung wurde hierauf verzichtet. Zur Vereinfachung gab es stets nur einen Durchlauf. Fujitsu Technology Solutions 2010 Seite 11 (19)

12 Interleaving Das Interleaving ist der wichtigste Performance-Einfluss bei den Xeon 7500 basierten PRIMERGY Servern. Interleaving meint den Aufbau des physikalischen Adressraums durch Alternieren zwischen Speicherressourcen. Dies ist ein Fall von Performance-Gewinn durch Parallelisierung. Bei den Xeon 7500 basierten Servern ist Interleaving auf zwei Ebenen möglich: durch ein Alternieren zwischen Speicher- Controllern und zwischen den beiden DDR3 Speicherkanalpaaren eines Controllers. Der oben genannte BIOS Parameter betrifft nur die Controller-Ebene. Das Alternieren zwischen Speicherkanälen innerhalb eines Controllers ergibt sich gegebenenfalls automatisch. Ausschlaggebend ist stets, dass die Speicher- Kapazitäten an den beteiligten Ressourcen gleich sind. Das blockweise Alternieren muss aufgehen. Die Grafiken zeigen die Auswirkung als relative Performance bezogen auf die performanteste Bestückung (jeweils linkes Balkenpaar). Diese ist die Vollbestückung mit Speichermodulen desselben Typs. Die für die Bezeichnung der Bestückungen verwendete Kurzschrift gibt die DPC (DIMM Per Channel) Werte für die Speicherkanalpaare der beiden Speicher-Controller pro Prozessor an. Bei den Konfigurationen mit x-y 0-0 ist der zweite Controller nicht bestückt. Wie zuvor bei der tabellarischen Auflistung empfehlenswerter Konfigurationen wird jedes in Lockstep befindliche DIMM Paar nur einmal genannt. So meint die Bezeichnung 2-2 die Maximalbestückung eines Controllers mit vier DIMM Paaren bzw. acht DIMM. Entsprechend ist 1-0 die Minimalbestückung mit einem im Steckplatzpaar 1B-1D (Steckplatzbenennung der PRIMERGY RX600 S5) befindlichen DIMM Paar. Die 0 bezieht sich auf das leere Lockstep-Kanalpaar A-C. Die in den Grafiken dargestellten Messreihen wurden mit dem Prozessor Xeon E7530 und dual-rank Speichermodulen der Größe 8 GB durchgeführt. Die QPI und SMI Taktung betrug somit 5.86 GT/s und die Speichertaktung 978 MHz. Die relativen Performance-Unterschiede sind für andere Prozessortypen der Reihe Xeon 7500, und damit andere QPI, SMI und Speichertaktungen, in etwa gleich. PRIMERGY RX600 S Perf Perf Perf Perf Perf discouraged STREAM SPECint_rate_base Seite 12 (19) Fujitsu Technology Solutions 2010

13 PRIMERGY BX960 S Perf Perf Perf discouraged STREAM SPECint_rate_base Die Grafiken geben in gewissem Sinn das vollständige Bild der durch unterschiedliches Interleaving entstehenden Performance-Plateaus. Es ist unerheblich, dass die dargestellten Messreihen mit dem 8 GB DIMM erfolgten. Die Verhältnisse sind für die anderen DIMM Größen gleich. Wird die erste (linke) Konfiguration der PRIMERGY RX600 S5 als mit 2 GB DIMM bestückt gedacht, die zweite und vierte mit 4 GB DIMM, die dritte und fünfte mit 8 GB DIMM, so handelt es sich in allen fünf Fällen um Realisierungen des Speicherausbaus 128 GB. Die Grafik zeigt somit insbesondere die Performance-Unterschiede für Konfigurationsalternativen derselben Speicherkapazität. Die Plateaus lassen sich zu einer zweistufigen Gütebewertung zusammenfassen, die in den Grafiken genannt ist, und auf die oben, bei der Auflistung empfehlenswerter Konfigurationen, bereits Bezug genommen wurde. Die Konfigurationen der Klasse 1 erlauben ein vierfaches Interleaving über zwei Speicher-Controller mit je zwei Speicherkanalpaaren. Die Konfigurationen der Klasse 2 erlauben ein zweifaches Interleaving. Hierbei sind nur die mit bezeichneten Fälle Controller-übergreifend und damit Fälle von 2-way Interleaving im Sinn des BIOS Parameters. Die feineren Abstufungen innerhalb der beiden Güteklassen sind aus den Grafiken ersichtlich. Gelegentlich, etwa bei Teststellungen für kundenspezifische Benchmarks, mag es sinnvoll sein, diese Abstufungen zu berücksichtigen. Es darf aber bezweifelt werden, dass sie im Produktivbetrieb spürbar werden. Konfigurationen der Klasse 1 liefern für kommerzielle und technisch-wissenschaftliche Anwendungen optimale Performance. Konfigurationen der Klasse 2 sind für kommerzielle Anwendungen akzeptabel. Die Bestückungen ganz rechts in den Grafiken scheinen auch für kommerzielle Anwendungen nicht mehr empfehlenswert. Regelmäßige und mit nur einem DIMM Typ realisierte Bestückungen wie in den den Grafiken zugrunde liegenden Tests führen zu homogenen physikalischen Adressräumen mit einheitlicher Speicher- Performance. Bei unregelmäßigen Konfigurationen, etwa einem mit einheitlichem DIMM Typ, oder einem mit 8 GB Modulen am ersten Controller und 4 GB Modulen am zweiten, muss der physikalische Adressraum in Segmente mit unterschiedlichem Interleaving, und damit möglicherweise Fujitsu Technology Solutions 2010 Seite 13 (19)

14 unterschiedlicher Speicher-Performance, zerlegt werden. Für die Bewertung einer Konfiguration ist dann der schlechteste mögliche Fall von besonderem Interesse. In den genannten Beispielen wird es in beiden Fällen einen Bereich geben, der sich wie das der Grafiken verhält. Entsprechend sind die Performance- Eigenschaften solcher unregelmäßiger Konfigurationen zu bewerten. Wesentlich ist, dass auch inhomogene Adressräume stets zu den Performance-Plateaus der Grafiken zurückführen. Diese gelten dann nicht mehr für den Adressraum als Ganzes, sondern für einzelne Adressraumsegmente. Für die Anwendungs-Performance kann es zu zufälligen Schwankungen kommen, je nachdem, aus welchem Segment die Anwendung mit Speicher bedient wird. Speichertaktung Es sei zunächst wiederholt, dass die Auswirkung des Interleaving von der Speichertaktung unabhängig ist. Die relative Performance für Konfigurationen mit verschiedenem Interleaving, die im letzten Abschnitt beispielhaft unter der einheitlichen Taktung 978 MHz vermessen wurde, gilt für die Fälle 800 und 1066 MHz genauso. Die absolute Speicher-Performance, etwa als maximale Bandbreite in GB/s gemessen, hängt von der Speichertaktung aber selbstverständlich ab. Die effektive Speichertaktung ergibt sich aus dem Prozessortyp gemäß der folgenden Tabelle. Alle für die Xeon 7500 basierten PRIMERGY Server vorgesehen DIMM Module unterstützen die maximalen 1066 MHz sowohl in 1DPC als auch 2DPC Konfigurationen. Der von den Xeon 5500 und 5600 basierten Dual Socket Servern bekannte Einfluss von DIMM Typ und DPC Wert auf die Taktung existiert bei den Xeon 7500 basierten Systemen nicht. Klasse Xeon Typ #cores GHz Advanced Standard L3 Cache (MB) QPI / SMI (GT/s) Speicher (MHz) TDP (Watt) X X L X E L E Basic E Die ausschließliche Abhängigkeit der Speichertaktung vom Prozessortyp hat die Folge, dass ihr Einfluss auf die Anwendungs-Performance ein nicht isolierbarer Faktor unter anderen ist. Die anderen Faktoren sind Prozessortaktung, Anzahl Prozessorkerne, Cache-Größen und die in der Tabelle nicht genannten Unterschiede bei der Turbo Boost Funktionalität. SPECint_rate_base2006 Ergebnissen für die verschiedenen Prozessortypen lässt sich der Einfluss der Speichertaktung also nicht ansehen. Jedoch zeigt die folgende Tabelle die maximalen Speicherdurchsätze für die drei relevanten Fälle. Es handelt sich um STREAM Messungen in der PRIMERGY RX600 S5 mit vier Prozessoren und einer Speichervollbestückung mit dual-rank Modulen der Größe 8 GB. QPI / SMI (GT/s) DDR3 Speicherkanäle (MHz) Xeon Typ STREAM (GB/s) X E E Seite 14 (19) Fujitsu Technology Solutions 2010

15 Die Anzahl der Ranks STREAM Ergebnisse wie in der letzten Tabelle hängen nicht von der konfigurierten Speicherkapazität ab, d.h. die Verwendung von 8 GB Modulen war für diese Ergebnisse unerheblich. Mit 4 GB Modulen würden sich dieselben Bandbreiten ergeben. Der Benchmark verwendet stets nur 1 GB in jedem Fall nur ein Bruchteil der konfigurierten Gesamtkapazität. Einen sekundären Einfluss auf die gemessene Bandbreite hat jedoch die Anzahl der Ranks pro DDR3 Speicherkanal. Diese Anzahl ergibt sich aus dem DPC Wert der Konfiguration und der Anzahl der Ranks pro Modul gemäß der Tabelle im Abschnitt Verfügbare Speichertypen. Bei den soeben genannten Bandbreiten war die Anzahl der Ranks pro Kanal somit 4: eine 2DPC Bestückung mit dual-rank Modulen. Die folgende Grafik zeigt den Performance-Einfluss der Anzahl Ranks pro DDR3 Speicherkanal (nicht der Anzahl Ranks pro Modul!) bezogen auf den zuvor herausgestellten Fall einer Konfiguration mit 4 Ranks pro Kanal. Die Grafik zeigt die Auswirkung auf die maximale Speicherbandbreite. Für die Anwendungs-Performance, insbesondere bei kommerziellen Anwendungen, ist der Einfluss der Anzahl Ranks in der Regel vernachlässigbar. Er führt dort zu minimalen Performance-Unterschieden am Rand der Messbarkeit Impact of Number of Ranks per Channel on Memory Bandwidth ranks 4 ranks 2 ranks 1 rank STREAM Fujitsu Technology Solutions 2010 Seite 15 (19)

16 Speicher-Performance unter Redundanz Die wesentlichen Einflüsse auf die Speicher-Performance und ihre Auswirkungen auf die Anwendungs- Performance sind nun genannt. Für die bisher gesammelten Daten war das Speichersystem stets ohne Redundanz konfiguriert: der gesamte konfigurierte Speicher stand dem Betriebssystem als physikalischer Adressraum zur Verfügung. Es folgen nun einige Ergebnisse zur Speicher-Performance unter aktivierter Redundanz, d.h. aktiviertem DIMM Modul Sparing bzw. Mirroring. Die Ergebnisse wurden wieder mit dem Prozessor Xeon 7530, der damit gegebenen Speichertaktung von 978 MHz und mit dual-rank 8 GB DIMM gemessen. Die Einflüsse sind in anderen Konfigurationen aber in etwa gleich. Die Grafiken sind wiederum bezogen auf die jeweils links gezeigte optimale Speicher-Performance. Diese ist die Vollbestückung ohne Redundanz. Im Fall des Sparing liegen die Dinge einfach: die benötigten Messfälle sind identisch mit den oben, in den Grafiken im Abschnitt Interleaving bereits gezeigten Konfigurationen bzw Diese Konfigurationen bieten Platz für die Sparing-Module, deren Vorhandensein die Performance nicht ändert. Im Fall gilt dies freilich nur für die PRIMERGY RX600 S5. Die folgenden Grafiken zeigen die realen Bestückungen inklusive der Sparing-Module (im Bestückungsschema rot markiert) als bzw Dem Betriebssystem stehen in diesen Fällen aber nur 67% bzw. 50% der bestückten Kapazität zur Verfügung. Aus der Grafik für die PRIMERGY RX600 S5 ist ersichtlich, dass sich das Sparing in diesem System weitgehend performance-neutral realisieren lässt. In der PRIMERGY BX960 S1 bedeutet Sparing dagegen eine effektive Speicherkonfiguration der Güteklasse 2. Eine Konfiguration der Klasse 1 ist in diesem System unter Sparing nicht möglich. PRIMERGY RX600 S no redundancy sparing sparing intrasocket mirr intersocket mirr STREAM SPECint_rate_base no redundancy sparing sparing mirror Seite 16 (19) Fujitsu Technology Solutions 2010

17 PRIMERGY BX960 S no redundancy sparing intrasocket mirr intersocket mirr STREAM SPECint_rate_base no redundancy sparing mirror In grober Näherung wurde auch das Mirroring oben schon behandelt, als Konfiguration bzw Aber außer dem Wegfall des zweiten Speicher-Controllers pro Prozessor (dort befindet sich der Spiegel, entweder des eigenen ersten Controllers (intrasocket) oder des ersten Controllers eines anderen Prozessors (intersocket)) entsteht ein gewisser Overhead durch die ständige Aktualisierung des Spiegels. Deshalb sind die Werte etwas niedriger als oben für das bzw Dennoch lassen sich auch diese Fälle der Güteklasse 2 zuordnen. Zugriff auf fernen Speicher Bei den bisher beschriebenen Untersuchungen, sowohl mit STREAM als auch SPECint_rate_base2006, wurde ausschließlich lokaler Speicher verwendet, d.h. jeder Prozessor greift auf DIMM Module seiner eigenen Speicherkanäle zu. Es kommt nicht oder kaum zum Zugriff auf Module der anderen Prozessoren über die QPI Links. Diese Situation ist insofern repräsentativ, als sie dank der NUMA-Unterstützung in Betriebssystem und systemnaher Software auch für den überwiegenden Anteil an Speicherzugriffen realer Anwendungen gegeben ist. Die folgende Tabelle zeigt für beide Benchmarks die Auswirkung des gegenteiligen Falls. Durch Maßnahmen wie explizite Prozessbindung wurde die ausschließliche Verwendung von fernem Speicher erzwungen. Die Tabelle zeigt die Verschlechterung des Messergebnisses in Prozent. Benchmark Auswirkung der ausschließlichen Verwendung von fernem Speicher STREAM -25% SPECint_rate_base % Bei STREAM wird die Bandbreite der QPI-Links zwischen den Prozessoren zum ergebnisbestimmenden Engpass. Bei SPECint_rate_base2006 ist die Verschlechterung in erster Linie durch die höhere Latenz des Fujitsu Technology Solutions 2010 Seite 17 (19)

18 einzelnen Zugriffs bedingt. Für kommerzielle Anwendungen bedeutet die Verwendung von fernem Speicher demnach eine Verschlechterung zwischen 10 und 20%. Dieser zunächst praxisferne Befund ist hilfreich, um abzuschätzen, welche Auswirkung ein Abschalten der NUMA-Unterstützung im BIOS hat. Bei einer Konfiguration mit vier Prozessoren empfiehlt sich in diesem Fall die BIOS Einstellung Interleaving = 8-way, was den physikalischen Adressraum feinmaschig über alle vier Prozessoren verteilt. Die Zugriffe einer jeden Anwendung sind dann zu 25% auf lokalen und zu 75% auf fernen Speicher. Bei den genannten Benchmarks verschlechtert sich das STREAM Ergebnis dann um 20%, das SPECint_rate_base2006 Ergebnis um 9%. Letzteres dürfte in etwa repräsentativ für die Auswirkung der abgeschalteten NUMA-Unterstützung auf kommerzielle Anwendungen sein. Seite 18 (19) Fujitsu Technology Solutions 2010

19 Literatur [L1] PRIMERGY Systeme [L2] PRIMERGY Performance [L3] STREAM Benchmark [L4] SPECcpu2006 Benchmark [L5] Speicher-Performance Xeon 5600 (Westmere-EP) basierter Systeme Kontakt FUJITSU Technology Solutions PRIMERGY Product Marketing PRIMERGY Performance und Benchmarks Alle Rechte vorbehalten, insbesondere gewerbliche Schutzrechte. Änderung von technischen Daten sowie Lieferbarkeit vorbehalten. Haftung oder Garantie für Vollständigkeit, Aktualität und Richtigkeit der angegebenen Daten und Abbildungen ausgeschlossen. Wiedergegebene Bezeichnungen können Marken und/oder Urheberrechte sein, deren Benutzung durch Dritte für eigene Zwecke die Rechte der Inhaber verletzen kann. Weitere Einzelheiten unter WW DE Copyright Fujitsu Technology Solutions GmbH 2010 Fujitsu Technology Solutions 2010 Seite 19 (19)