Speicher-Performance Xeon 5500 (Nehalem EP)

Transkript

1 Speicher-Performance Xeon 5500 (Nehalem EP) basierter PRIMERGY Server Version 1.0 August 2009 Seiten 16 Abstract Die eindrucksvolle Performance der Xeon 5500 (Nehalem EP) basierten PRIMERGY Dual Socket Modelle ergibt sich in erster Linie aus einem Paradigmenwechsel bei der Anbindung des Hauptspeichers: QuickPath Interconnect (QPI) statt Front Side Bus (FSB). Die neue Architektur bringt einige neue Parameter mit sich, die bei der Konfiguration möglichst leistungsfähiger Systeme zu beachten sind. Die zentralen Themen sind die unterschiedliche Speichertaktung mit 800, 1066 und 1333 MHz, sowie eine möglichst gleichmäßige Verteilung der Speichermodule über drei Speicherkanäle pro Prozessor. Dieses White Paper erläutert die Performance-Auswirkungen dieser Faktoren und gibt Hilfestellung bei der Festlegung leistungsfähiger und zugleich kostengünstiger Konfigurationen. Inhalt Einleitung... 2 Speicherarchitektur... 3 Performante Speicherbestückungen... 5 Die Einflüsse auf die Speicher-Performance... 9 Zusammenstellung der Best Practice Regeln Literatur Kontakt... 16

2 Einleitung Die aktuelle Generation der Dual Socket PRIMERGY Rack-, Tower- und Blade-Server, die Intel Xeon 5500 (Nehalem EP) Prozessoren und den Intel 5520 Chipset verwendet, hat eine außergewöhnliche Performance- Steigerung in der Größenordnung einer Verdopplung gegenüber der Vorgängergeneration gebracht. Dieser Befund gilt für ein breites Spektrum von Lastprofilen und konnte mit diversen Benchmarks belegt werden. Zum größeren Teil ist diese Verbesserung auf eine Änderung bei der Anbindung der Prozessoren an die übrigen Systemkomponenten, insbesondere den Hauptspeicher, zurückzuführen. Diese Anbindung, der System-Interconnect, wurde in 86-basierten Servern seit dem Intel Pentium Pro Prozessor (1995) durch den Front Side Bus (FSB) realisiert. Die FSB Technologie ist hinsichtlich ihrer Kompleität, beispielsweise der Anzahl der im Chipset pro FSB benötigten Pins, zuletzt an Grenzen gestoßen. Der neue Ansatz, der mit den Xeon 5500 basierten Systemen eingeführt wird, ist der Intel QuickPath Interconnect (QPI). Der QPI bedeutet einen Paradigmenwechsel bei der Systemarchitektur vom Symmetric Multiprocessing (SMP) zum Non-Uniform Memory Access (NUMA). Der QPI verbindet Prozessoren untereinander, sowie Prozessoren und den für I/O zuständigen Chipsatz, mittels unidirektionaler, serieller Links, die je nach Prozessor-Modell 6.4, 5.9 oder 4.8 GT/s (Gigatransfers Per Second) leisten. Für die Anbindung des Hauptspeichers sind die Prozessoren der Serie Xeon 5500 mit Speicher-Controllern ausgestattet, d.h. jeder Prozessor steuert unmittelbar eine Gruppe ihm zugeordneter Speichermodule. Gleichzeitig ist der Prozessor in der Lage, über den QPI Link Speicherinhalte dem benachbarten Prozessor zur Verfügung zu stellen und solche selbst anzufordern. Durch die direkte Kopplung zwischen Prozessor und Speicher ist eine Steigerung der Speicher-Performance plausibel, jedoch mit dem Performance-Unterschied zwischen lokaler und ferner Anforderung, der die Klassifizierung dieser Architektur als NUMA rechtfertigt. Die Berücksichtigung von NUMA bei der Vergabe von physikalischem Speicher und beim Scheduling von Prozessen erfolgt durch das Betriebssystem. Soweit möglich, sollte die Gesamtmenge an Arbeitsspeicher symmetrisch über beide Prozessoren verteilt werden. Dies ist der Einstieg in eine Fülle weiterer Überlegungen, die sich aus den Eigenschaften des Speichersystems ergeben. So erfolgt die Taktung des Speichers mit 1333, 1066 oder 800 MHz, und der für eine gegebene Konfiguration effektive Wert ergibt sich aus Prozessortyp, Typ der verwendeten DIMM und deren Verteilung über drei Speicherkanäle pro Prozessor. Im Idealfall sollte Symmetrie nicht nur hinsichtlich der Anzahl DIMM Streifen pro Prozessor herrschen, sondern auch pro Kanal. Dies führt zur Empfehlung von DIMM Stückzahlen, die Vielfache von 6 sind (2 Prozessoren mit jeweils 3 Kanälen). Die klassische Rasterung bei der Konfiguration von Speicher mit 8, 16, 32, 64 und 128 GB lässt sich bei Beachtung dieser Richtlinie nicht realisieren. Falls der Kunde dennoch diese Speichergrößen wünscht: mit welchen Performance-Auswirkungen ist zu rechnen? Dieses White Paper gibt zunächst einen Überblick über die Speicherarchitektur der Xeon 5500 basierten PRIMERGY Server. Danach wird ein pragmatischer Ansatz verfolgt. In der Annahme, dass zumeist Hilfestellung bei der Festlegung von Konfigurationen gesucht wird, werden performante Speicherbestückungen tabellarisch aufgelistet. Dies geschieht in der Annahme, dass System und CPU-Typ gegeben sind, und für eine bestimmte Speichermenge (oder einen ungefähren Speicherausbau) eine möglichst geeignete Bestückung gesucht wird. In vielen Fällen wird es ausreichen, sich nur mit diesen Tabellen zu beschäftigen. Die Hintergründe für die empfohlenen Konfigurationen werden im dritten Kapitel anhand von Ergebnissen mit dem STREAM Benchmark erläutert. Dieses Kapitel empfiehlt sich für den Fall, dass die benötigte Speicherkapazität in den Tabellen des zweiten Kapitels nicht enthalten ist, und die Bestückung individuell festgelegt werden soll. Den Abschluss macht eine tabellarische Zusammenstellung von Best Practice Regeln. Hinsichtlich der Kompleität des Themas gilt folgendes Fazit. Eine Reihe von Best Practice Regeln ermöglicht die rasche Konfiguration leistungsfähiger Systeme - trotz einer auf den ersten Blick großen Zahl von Performance-Einflüssen. Von einer nach Kostenaspekten zusammengestellten ausgewogenen Lösung aus gesehen, ist ein Spielraum nach oben zwar häufig vorhanden, jedoch mit im Durchschnitt eher geringen Leistungsverbesserungen im Bereich unter 5%. Ein gewisses Fingerspitzengefühl wird bei der Abwägung, ob dieser Spielraum genutzt werden soll, immer notwendig sein, ebenso eine Kenntnis des Projekthintergrunds. Eine Teststellung für einen Benchmark ist gegebenenfalls anders zu behandeln als ein Warenkorb für Produktivsysteme. Fujitsu Technology Solutions 2009 Seite 2 (16)

3 Speicherarchitektur Dieses Kapitel gibt in drei Abschnitten einen Überblick über das Speichersystem. Anhand eines Blockdiagramms wird die Anordnung der verfügbaren DIMM Steckplätze erläutert. Anschließend werden die die vier Modi der Speicherbestückung erläutert, auf die auch der PRIMERGY Konfigurator Bezug nimmt. Der dritte Abschnitt behandelt die verfügbaren DIMM Typen. DIMM Steckplätze Die folgende Grafik zeigt den Aufbau des Speichersystems. Es sind hinsichtlich der verfügbaren DIMM Steckplätze und ihrer Anordnung drei Modellgruppen zu unterscheiden: Gruppe 1 (18 Steckplätze): Gruppe 2 (12 Steckplätze): Gruppe 3 (9 Steckplätze): PRIMERGY RX300 S5 und TX300 S5 PRIMERGY RX200 S5, TX200 S5 und BX620 S5 PRIMERGY BX920 S1 Die Darstellung beruht auf den im Juli 2009 verfügbaren Systemen. Fujitsu Technology Solutions 2009 Seite 3 (16)

4 Es gibt stets drei Speicherkanäle pro Prozessor. Jedoch variiert bei den drei Modellgruppen die Anzahl der maimal möglichen DIMM Streifen pro Kanal, wofür die Platzverhältnisse in den Gehäusen ausschlaggebend sind. Die Anzahl der pro Kanal bestückten DIMM Streifen beeinflusst die Taktung des Speichers und damit die Speicher-Performance. Diese Größe, auf die im Folgenden häufig Bezug genommen wird, wird mit DPC (DIMM Per Channel) bezeichnet. In einer 2DPC Konfiguration einer PRIMERGY RX300 S5 wären somit beispielsweise 2 DIMM Streifen pro Kanal, und damit in Summe 12 Streifen, vorhanden. Es ist nicht notwendig, dass alle Kanäle im System denselben DPC Wert haben. Deshalb ist für die Beschreibung einer Bestückung eine Kurzform gebräuchlich, z.b.: / die eine Bestückung mit jeweils zwei Speichermodulen pro Kanal am ersten Prozessor und jeweils einem Modul am zweiten Prozessor darstellt. Ein weiterer im Folgenden verwendeter Begriff ist die Speicherbank. Wie in der Grafik zu sehen ist, bildet eine Gruppe von drei über die Kanäle verteilten DIMM Streifen eine Bank. Die Farbgebung der Grafik (schwarz, blau, grün) entspricht der farblichen Markierung der Bänke auf den Motherboards der Server, die Fehler bei der Bestückung verhindern soll. Bei der Verteilung der DIMM Streifen über die pro Prozessor verfügbaren Steckplätze ist es wünschenswert, mit Bank 1 zu beginnen und bankweise vorzugehen, um ein möglichst gutes Interleaving zu erreichen. Das Interleaving ist ein Haupteinfluss auf die Speicher- Performance und wird unten ausführlich behandelt. Der zugehörige Prozessor muss vorhanden sein, um DIMM Steckplätze verwenden zu können. Im Fall eines Betriebs mit nur einem Prozessor können die dem leeren Socket zugeordneten Steckplätze nicht benutzt werden. Die vier Modi der Speicherbestückung Es gibt neben der Performance einen weiteren Aspekt bei der Festlegung der Speicherbestückung, der mit dem Kürzel RAS (Reliability, Availability, Serviceability) bezeichnet wird. Das Speichersystem bietet die Möglichkeit, für Kunden mit hohen RAS Anforderungen interessante Optionen anzubieten. Dies betrifft die beiden ersten der im Folgenden aufgelisteten vier Modi der Speicherbestückung. Diese beiden ersten Modi werden dem BIOS, falls gewünscht, vorgegeben. Ansonsten entscheidet die tatsächliche DIMM Bestückung, ob der Performance oder der Independent Channel Mode vorliegt. Wenn die richtigen DIMM Streifen richtig platziert sind, ergibt sich der Performance Mode automatisch. Spare Channel Mode: jede Bank ist entweder leer oder mit drei DIMM Streifen vom selben Typ und selber Kapazität bestückt. Es werden nur die DIMM Streifen in den Kanälen A und B (bzw. D und E), verwendet. Im Kanal C (bzw. F) steckt die Reserve für den Fall eines defekten Streifens. Der Mode muss im BIOS ausdrücklich vorgegeben werden. Mirror Channel Mode: es werden pro verwendeter Bank nur die Kanäle A und B (bzw. D und E) mit DIMM Streifen vom selben Typ bestückt. Alle Steckplätze des Kanals C (bzw. F) bleiben leer. Die Hardware spiegelt den Speicherinhalt transparent für Betriebssystem und Anwendungen. Der effektive physikalische Hauptspeicher beträgt nur die Hälfte der konfigurierten Kapazität. Ein ausfallender DIMM Streifen führt nicht zum Ausfall des Systems. Der Mode muss im BIOS ausdrücklich vorgegeben werden. Performance Mode: jede Bank ist entweder leer oder mit drei DIMM Streifen vom selben Typ und selber Kapazität bestückt. Diese Konfiguration ermöglicht das optimale Interleaving über die drei Speicherkanäle. Independent Channel Mode: hierunter fallen alle anderen Bestückungen. Jeder Steckplatz kann mit einem beliebigen DIMM Streifen aus der unten aufgeführten Typenliste belegt werden, solange unbuffered und Module nicht gemischt werden. Die beiden ersten Modi werden von einigen Modellen der Xeon 5500 basierten Server möglicherweise nicht unterstützt. Fujitsu Technology Solutions 2009 Seite 4 (16)

5 Verfügbare Speichertypen Für die Bestückung der genannten PRIMERGY Modelle kommen DIMM Streifen gemäß der folgenden Tabelle in Betracht. Es findet durchgehend ECC geschützter DDR3 Speicher Verwendung. Die Tabelle gibt in der vorletzten Spalte eine Orientierung zu den relativen Preisunterschieden. Zugrunde gelegt wurden die Listenpreise im Fall der PRIMERGY RX200 S5 im Juli Die Spalte zeigt den relativen Preis pro GB, normiert auf den DIMM der Größe 4 GB (hervorgehoben als Maßstab 1). Auffallend sind die hohen Kosten für 8 GB Module, sowie die günstigen Preise für unbuffered Module. Das Preisgefälle legt nahe, die Kostenfrage in Überlegungen zur Speicherbestückung einzubeziehen. Eine Verdopplung der Speicherkosten für eine Performance-Steigerung von beispielsweise 2% wäre kaum sinnvoll. Typ Ansteuerung Ma MHz Rank Kapazität rel. Preis pro GB DDR PC rg ECC GB 1.1 DDR PC rg ECC GB 1.0 DDR PC rg ECC GB 3.7 DDR rg ECC GB 1.1 DDR rg ECC GB 1 DDR rg ECC GB 3.4 Hinweise DDR ub ECC unbuffered GB 0.8 a) DDR ub ECC unbuffered GB 0.7 a) a) nicht verfügbar für PRIMERGY RX300 S5 and TX300 S5 Unbuffered Module haben auf Grund einfacherer Bauweise eine geringere maimale Kapazität und sind nur in 1DPC oder 2DPC Konfigurationen verwendbar. Hinsichtlich der Verfügbarkeit einzelner DIMM Typen kann es in einigen Vertriebsregionen Einschränkungen geben. Performante Speicherbestückungen Die folgenden Tabellen geben für ein dichtes Raster von Speichergrößen Bestückungsvorschläge, die unter Performance-Gesichtspunkten geeignet sind. Die Konfigurationen der ersten Tabelle sind deshalb ideal, weil für jede Konfiguration gilt: der Speicher ist über alle Speicherkanäle des Systems gleich verteilt. Diese Konfigurationen entsprechen dem Performance Mode. Die zweite Tabelle gilt den klassischen, von früheren Systemarchitekturen gewohnten Ausbauten 8, 16, 32 GB usw. Bei diesen Konfigurationen dürfte sich bei sorgfältiger Messung ein Performance-Nachteil von einigen wenigen Prozent im Vergleich zu den idealen Konfigurationen zeigen (sofern der Kapazitätsunterschied selbst keine Auswirkung auf das Messergebnis hat). Für die meisten Anwendungen sollte dieser Nachteil vernachlässigbar sein. (Ohne den unten folgenden Erläuterungen vorgreifen zu wollen: die Ursache für den Unterschied ist das 2-way interleave bei den klassischen Größen. Die idealen Konfigurationen sind 3-way interleaved.) Sämtliche Konfigurationen der ersten beiden Tabellen sind optimal hinsichtlich NUMA: der Speicher ist symmetrisch über beide Sockets verteilt. Anschließend werden asymmetrische Speicherbestückungen behandelt. Bestückungsalternativen, die die maimale Taktung mit 1333 MHz ermöglichen, sind rot markiert. Die hierbei genannte Prozessorklasse Advanced besteht aus den Xeon 5500 Modellen X5570, X5560 und X5550. Bei den roten Alternativen ist auf die Speicherkosten zu achten: die Verteuerung ist moderat, falls statt unbuffered DIMM verwendet werden, aber erheblich, wenn 8 GB Module ins Spiel kommen. In den letzten drei Spalten der folgenden Tabellen ist markiert, für welche PRIMERGY Modelle die jeweilige Konfiguration möglich ist. Mit den Erläuterungen des Kapitels Speicher-Performance sollte es möglich sein, Speicherbestückungen für hier nicht behandelte Ausbauten zu erstellen. Fujitsu Technology Solutions 2009 Seite 5 (16)

6 R/TX200 S5 BX620 S5 BX920 S1 R/TX300 S5 White Paper Speicher-Performance Xeon 5500 (Nehalem EP) basierter PRIMERGY Server Version: 1.0, August 2009 Ideale Speichergrößen Speichertyp Gesamtkapazität Modulgröße (GB) Bestückung Hinweise 6 GB 12 GB 18 GB 24 GB 36 GB 48 GB 60 GB 72 GB 84 GB 96 GB 108 GB 120 GB 144 GB unbuffered unbuffered PC unbuffered unbuffered PC PC / / Preisvorteil zu / / und / / falls Advanced CPU und 1333 MHz gewünscht 1. Bank 2 GB Module 2. Bank 1 GB Module Preisvorteil ggü. 1DPC mit 4 GB Modulen / / und / falls Advanced CPU und 1333 MHz gewünscht 1. Bank 4 GB Module 2. Bank 2 GB Module / / / und / und / und / interessant für BX920 S1 falls Advanced CPU und 1333 MHz gewünscht 1. Bank 8 GB Module 2. Bank 2 GB Module 1. Bank 4 GB Module 2. Bank 4 GB Module 3. Bank 2 GB Module 1. Bank 8 GB Module 2. Bank 4 GB Module / , 4 und / Bank 8 GB Module 2. Bank 4 GB Module 3. Bank 2 GB Module / und / und / Bank 8 GB Module 2. Bank 8 GB Module 3. Bank 2 GB Module 1. Bank 8 GB Module 2. Bank 8 GB Module 3. Bank 4 GB Module / Fujitsu Technology Solutions 2009 Seite 6 (16)

7 R/TX200 S5 BX620 S5 BX920 S1 R/TX300 S5 White Paper Speicher-Performance Xeon 5500 (Nehalem EP) basierter PRIMERGY Server Version: 1.0, August 2009 Klassische Speichergrößen Speichertyp Gesamtkapazität Modulgröße (GB) Bestückung Hinweise 4 GB 8 GB 16 GB 32 GB 64 GB 128 GB unbuffered unbuffered PC unbuffered PC PC / / Preisvorteil zu und 3 Kanäle / / / falls Advanced CPU und 1333 MHz gewünscht Preisvorteil zu / Kanäle genutzt / / falls Advanced CPU und 1333 MHz gewünscht / / / interessant für BX920 S1 falls Advanced CPU und 1333 MHz gewünscht / / Preisvorteil zu 8 GB Modulen / Nur in den rot markierten Fällen sind 1333 MHz möglich. In allen Fällen mit drei bestückten Bänken beträgt die Taktung stets 800 MHz, und dies ist bereits gegeben, wenn auch nur ein einziger Kanal mit 3DPC bestückt ist. Ansonsten gelten in den nicht rot markierten Fällen 1066 MHz bei den CPU-Typen Xeon E5520 bis X5570, und 800 MHz bei E5502 bis E5506. Die gewünschte Speicherkapazität wird als gegeben angenommen. Ihr impliziter Einfluss auf die Anwendungs-Performance, etwa in Form von I/O-Raten, muss hier naturgemäß außer Acht bleiben. Asymmetrische Speicherbestückungen Nicht alle Systeme ermöglichen auf Grund ihres Formfaktors in allen Ausbaustufen eine symmetrische Speicherbestückung. Die Grafik auf Seite 3 zeigt die asymmetrische Anordnung der DIMM Steckplätze bei der PRIMERGY BX920 S1: es befinden sich zwei Speicherbänke beim ersten Socket, und eine beim zweiten. Dies legt hinsichtlich der NUMA Empfehlung, den Speicher symmetrisch über beide Sockets zu verteilen, einen anderen Akzent bei der Auflistung empfehlenswerter Konfigurationen nahe. NUMA-optimale Konfigurationen Bis zur Kapazität 48 GB sind in der PRIMERGY BX920 S1 trotz der Asymmetrie der Steckplätze Konfigurationen möglich, die die Gesamtkapazität an Speicher in zwei gleiche Hälften teilt. Diese Konfigurationen sind NUMA-optimal. In den bisher gezeigten Tabellen für ideale und klassische Speichergrößen sind diese Bestückungen bereits vermerkt. Fujitsu Technology Solutions 2009 Seite 7 (16)

8 Für die Kapazitäten 32 GB und 48 GB wurden dabei einheitlich 8 GB Module verwendet. Deren Kostennachteil lässt sich abmildern, wenn auf der Seite der CPU mit sechs DIMM Steckplätzen statt dessen 4 GB Module eingesetzt werden. Die folgende Tabelle zeigt diese Varianten, bei denen lediglich zwei oder drei teure 8 GB Module benötigt werden. Da es sich um 2DPC Konfigurationen handelt, ist eine Speichertaktung mit 1333 MHz hier nicht erreichbar. Im Fall von Advanced Prozessoren ist dies der einzige Performance-Unterschied zu den zuvor gezeigten Varianten. Für die anderen Prozessoren gibt es nur den Kostenunterschied. PRIMERGY BX920 S1 NUMA-optimale Varianten Speichertyp Gesamtkapazität Modulgröße (GB) Bestückung Hinweise 32 GB 4 und / GB Module links 8 GB Module rechts 48 GB 4 und / GB Module links 8 GB Module rechts Asymmetrische Konfigurationen Bei den Bestückungen in der nächsten und letzten Tabelle befindet sich links mehr Speicher als rechts. Der Überhang liegt jeweils zwischen 1/5 und 1/3 der Gesamtkapazität. Für höchstens die Hälfte des Überhangs, also 1/10 bis 1/6, kommt es statistisch gesehen zum fernen Zugriff über den QPI Link. In diesen Fällen einer moderaten Asymmetrie ist mit einem Performance-Nachteil der Größenordnung 1-2% gegenüber den symmetrischen Konfigurationen zu rechnen. Für Lasten, bei denen remote-zugriffe ohnehin nicht vermeidbar sind, z.b. bei Datenbanken mit ihren großen Shared Memory Segmenten, ist mit keinem Performance- Nachteil zu rechnen. Dies wurde mit OLTP2-Messungen auf der PRIMERGY BX920 S1 unter Windows Server 2008 und SQL Server 2008 nachgewiesen. Die Tabelle beginnt mit einer kostengünstigen Alternative zur symmetrischen 32 GB Bestückung, die ganz ohne 8 GB Module auskommt. Bestückungen für kleinere Speicherausbauten lassen sich alle symmetrisch realisieren. PRIMERGY BX920 S1 Asymmetrische Konfigurationen Speichertyp Gesamtkapazität Modulgröße (GB) Bestückung Hinweise 32 GB / GB / GB 4 und / GB Module links 8 GB Module rechts 60 GB 4 und / Bank beide Seiten 8 GB, 2. Bank links 4 GB Module 64 GB / GB / Fujitsu Technology Solutions 2009 Seite 8 (16)

9 Die Einflüsse auf die Speicher-Performance Dieses Kapitel erläutert für den technisch näher Interessierten die Faktoren, die Einfluss auf die Performance des Arbeitsspeichers haben. Es geht zunächst um die Frage, wie Speicher-Performance bei den diesem White Paper vorausgegangenen Untersuchungen gemessen wurde, und welche Aussagekraft diese Daten haben. Das Messtool: der STREAM Benchmark Der STREAM Benchmark von John McCalpin [L3] ist ein Tool zur Messung von Speicherdurchsatz. Der Benchmark führt Kopier- und Rechenoperationen auf großen Arrays vom Datentyp double durch und weist Ergebnisse für vier Zugriffstypen Copy, Scale, Add und Triad aus. Die letzten drei beinhalten Rechenoperationen. Das Ergebnis ist stets ein in GB/s angegebener Speicherdurchsatz. Triad Werte werden am häufigsten zitiert. Alle im Folgenden zur Quantifizierung von Speicher-Performance genannten STREAM Messwerte folgen dieser Prais und sind GB/s für den Zugriffstyp Triad. STREAM ist der Industriestandard für die Messung der Speicherbandbreite von Servern, bekannt für seine Fähigkeit, Speichersysteme mit einfachen Mitteln unter größtmögliche Last zu setzen. Es ist offensichtlich, dass dieser Benchmark besonders geeignet für den hier vorliegenden Zweck ist, Einflüsse auf die Speicher- Performance in einem kompleen Konfigurationsraum auszuloten. In jedem Fall wird STREAM die maimale Performance-Auswirkung einer den Speicher betreffenden Konfigurationsmaßnahme zeigen, sowohl für Verschlechterungen als auch Verbesserungen. Die im Folgenden genannten prozentualen Verhältnisse beim STREAM Benchmark sind somit als Schranken für Performance-Effekte zu verstehen. Beim Einfluss des Speichers auf die Anwendungs-Performance wird unterschieden zwischen der Latenz des einzelnen Zugriffs und der von der Anwendung benötigten Bandbreite. Die Größen hängen zusammen, weil die reale Latenz mit zunehmender Bandbreite ansteigt. Weiter hängt es von der Anwendung und der Qualität des vom Compiler erzeugten Maschinencodes ab, in welchem Umfang die Latenz durch eine Parallelisierung des Speicherzugriffs verborgen werden kann. Pauschale Prognosen für alle Anwendungsszenarien sind vor diesem Hintergrund sehr schwer. Es kann sich nur um Erfahrungswerte handeln, wenn nun der Versuch gemacht wird, die Verhältnisse beim STREAM Benchmark in Relation zur Performance realer Anwendungen zu setzen: Für kommerzielle Anwendungen (Datenbanken, SAP, usw.) kann etwa ein Viertel des STREAM Verhältnisses angesetzt werden. Zeigt z.b. STREAM 20% Verschlechterung, so werden 5% Verschlechterung für kommerzielle Anwendungen auf Grund von Erfahrungswerten angenommen. Für technisch-wissenschaftliche Anwendungen muss von einer größeren Empfindlichkeit für die Speicher-Performance ausgegangen werden, d.h. technisch-wissenschaftliche Anwendungen werden sich stärker als kommerzielle wie STREAM verhalten. Es kann etwa die Hälfte des STREAM Verhältnisses angesetzt werden. Da kommerzielle Anwendungsszenarien in der Prais häufiger sind, wird im Folgenden die erste dieser Faustregeln herangezogen, um Einflüsse auf die Performance von realen Anwendungen abzuschätzen. Untermauert werden diese Faustregeln von punktuell vorliegenden Ergebnissen mit Standard-Benchmarks. Beispielsweise zeigt STREAM eine Verbesserung von 11%, wenn der Speicher mit 1333 MHz statt 1066 MHz getaktet wird. Die Verbesserung beträgt 3% für SPECint_rate2006 (repräsentativ für kommerzielle Anwendungen) und 5% für SPECfp_rate2006 (technisch-wissenschaftliche Anwendungen). 3% ergeben sich auch für SPECjbb2005 (Java Performance). Bei der Bewertung, wie stark sich ein Einfluss tatsächlich bemerkbar macht, sollte außerdem bedacht werden, dass er sich unmittelbar nur bei voll ausgelastetem System zeigt, ansonsten in einer Veränderung der CPU-Auslastung. Sofern die Auslastung nicht bereits sehr hoch ist, ist eine wirklich spürbare Auswirkung auf Antwortzeiten dann unwahrscheinlich. Fujitsu Technology Solutions 2009 Seite 9 (16)

10 Primäre Performance-Einflüsse Dieser Abschnitt behandelt die beiden wichtigsten Einflüsse auf die Speicher-Performance: die Taktung und das Interleaving. Bei beiden Parametern gibt es jeweils drei Möglichkeiten: eine Taktung mit 800, 1066 oder 1333 MHz, sowie ein 1-way, 2-way oder 3-way Interleave. Die Planung einer Speicherkonfiguration sollte zuallererst eine Planung hinsichtlich dieser Parameter sein. Effektive Taktung des Speichers Die beim Einschalten des Systems vom BIOS ermittelte effektive Taktung ergibt sich aus drei Faktoren: Der Prozessortyp. Die Modelle der Serie Xeon 5500 sind gemäß der folgenden Tabelle in drei Gruppen unterteilt, für die Intel die Bezeichnungen Basic, Standard und Advanced verwendet. Prozessoren der Gruppe Basic unterstützen nur 800 MHz, die Gruppe Standard 800 und 1066 MHz, die Gruppe Advanced außerdem die maimalen 1333 MHz. Der DIMM Typ. Es gibt DIMM Streifen bis maimal 1066 MHz und maimal 1333 MHz. Der DPC (DIMM Per Channel) Wert. Eine 1333 MHz Taktung ist nur bei 1DPC möglich. Eine 2DPC Konfiguration begrenzt die Taktung auf 1066 MHz, eine 3DPC Konfiguration auf 800 MHz. Sind die sechs Kanäle ungleich bestückt, so ist der größte DPC Wert ausschlaggebend. Klasse Xeon Typ #cores GHz Advanced Standard Basic L3 Cache (MB) QPI (GT/s) Ma Speicher MHz TDP (Watt) X X X E E E L E L E E Wünschenswert ist die höchstmögliche Taktung. Effektiv wird jedoch das Minimum der Maima: der schlechteste Bestwert für die drei Faktoren bestimmt die Taktung der Konfiguration. Die Taktung wird einheitlich für das System und nicht pro Prozessor festgelegt. Das folgende Beispiel soll den Mechanismus erläutern. Eine PRIMERGY RX200 S5 ist mit Prozessoren vom Typ X5570 und mit Modulen der Größe 4 GB nach dem Schema / voll bestückt. Das ergibt eine Speicherkapazität von 48 GB bei einer Taktung von 1066 MHz. Der Prozessor würde zwar 1333 MHz unterstützen, jedoch begrenzen sowohl der Speicher als auch die 2DPC Bestückung die Taktung auf 1066 MHz. Die Konfiguration von 1333-MHz-fähigen PC Modulen der Größe 4 GB wäre nicht sinnvoll, weil die durch 2DPC gegebene Begrenzung auf 1066 MHz weiterhin bestünde. Die Kapazität 48 GB ließe sich aber auch mit PC Modulen der Größe 8 GB nach dem Schema / erreichen. Diese Konfiguration hätte die optimale Taktung von 1333 MHz. Die zweite Variante ist performanter, die erste kostengünstiger. Für eine Abwägung zeigt die folgende Grafik die maimalen, durch unterschiedliche Taktung verursachten Performance-Auswirkungen. Die Grafik versucht gleichzeitig, ein vernünftiges Verhältnis zwischen Prozessorgruppen und Speichertechnologie in Form einer Matri darzustellen Mhz-fähiger PC Speicher ist ausschließlich für Prozessoren der Gruppe Advanced (die Typenbezeichnung beginnt mit X) sinnvoll. Und bei Prozessoren der Gruppe Fujitsu Technology Solutions 2009 Seite 10 (16)

11 Basic erübrigt sich jede Überlegung zum Thema Speichertaktung: stets wird die effektive Taktung 800 MHz betragen. Die Grafik zeigt die STREAM Triad GB/s und in rot die prozentuale Veränderung gegenüber einer mittleren Taktung mit 1066 MHz. Die 1333-MHz-Taktung mit Hilfe von 8 GB Modulen im gerade gegebenen RX200 S5 Beispiel würde gegenüber der Anfangskonfiguration eine best case Performance-Steigerung von etwa 10% bringen, für kommerzielle Anwendungen realistischerweise um die 3%. Gleichzeitig würde der Kostenanteil für Speicher auf das mehr als Dreifache steigen. Ohne Sonderfällen, etwa Projekten im Umfeld HPC (High Performance Computing), vorgreifen zu wollen, wird die Entscheidung in aller Regel zugunsten von 4 GB Modulen und einer 1066 MHz Taktung ausfallen. In der Grafik werden STREAM Werte von Konfigurationen mit unterschiedlichen DPC verglichen, weil sich die jeweils gewünschte Taktung nur durch Variierung des DPC Werts herstellen ließ. Dass dabei Konfigurationen mit unterschiedlicher Gesamtkapazität verglichen werden, ist für Messungen mit STREAM unerheblich: der Benchmark verwendet vom verfügbaren physikalischen Speicher stets nur 1 GB. Ergibt sich eine gleiche Taktung bereits aus anderen Gründen, so ist die maimale Speicherbandbreite für Konfigurationen mit unterschiedlichen DPC in erster Näherung gleich, siehe etwa die 800 MHz Ergebnisse / GB/s / GB/s / GB/s für Konfigurationen mit der CPU E5506 und dual-rank Modulen der Größe 4 GB. Eine kleine Einschränkung dieser Aussage folgt weiter unten im Abschnitt über die Anzahl der Ranks für den Fall, dass die Gesamtzahl der Ranks pro Kanal ungerade ist. Bei einer Bestückung mit dual-rank Modulen kann dieser Fall jedoch nicht eintreten. Fujitsu Technology Solutions 2009 Seite 11 (16)

12 Das Fazit zur Taktfrequenz des Arbeitsspeichers lautet: Bei ansonsten vergleichbaren Bedingungen steigert eine Taktung mit 1333 MHz die Performance gegenüber 1066 MHz um maimal etwa 10%, für kommerzielle Anwendungen realistischerweise um etwa 3%. Eine Taktung mit 800 MHz bringt einen Verlust von maimal 20%, für kommerzielle Anwendungen in der Größenordnung 5%. Es sei an dieser Stelle wiederholt, dass diese Hinweise auf kommerzielle Anwendungen als grobe Orientierungshilfen und nicht als belastbare Prognosen für konkrete Anwendungsfälle zu verstehen sind. Interleaving Interleaving meint im vorliegenden Zusammenhang den Aufbau des physikalischen Adressraums durch Alternierung zwischen den drei Speicherkanälen pro Prozessor: der erste Block liegt im ersten Kanal, der zweite im zweiten, usw. Dadurch verteilt sich der nach dem Lokalitätsprinzip stets vorherrschende Zugriff auf aneinander angrenzende Speicherbereiche über alle Kanäle. Dies ist ein Fall von Performance-Gewinn durch Parallelisierung. Gleichzeitig macht sich die Verzögerung weniger bemerkbar, die nach der Physik von DRAM Speicher vor dem Wechsel der aktiven ( offenen ) Speicherzeile beachtet werden muss. Die folgende Grafik zeigt die gegenüber dem vorherigen Bild zur Speichertaktung noch stärkere Auswirkung des Interleaving. Der Idealfall ist das 3-way interleave, das sich auf jeden Fall dann ergibt, wenn alle drei Kanäle identisch bestückt werden. Der Performance Mode der Speicherbestückung zielt auf dieses Szenario. Die Grafik deutet auch an, weshalb sich dieser Idealfall trotz aller Empfehlung häufig nicht erreichen lässt (von Konfigurationen im Spare Channel Mode, dem die mittlere Spalte der Grafik ja auch entspricht, einmal abgesehen): der Wunsch nach den klassischen Speicherausbauten in Zweierpotenzen. Bedenkt man wieder, dass die Angaben der Grafik Etremwerte sind, so erscheinen auch 2-way interleave Konfigurationen als durchaus vertretbar. Das 1-way interleave, das eigentlich ein non-interleave ist und nur der Systematik halber als 1-way bezeichnet wird, sollte vermieden werden. Hier ist von einem Performance- Verlust auszugehen, der unter normalen Umständen in keinem vernünftigen Verhältnis zur Fujitsu Technology Solutions 2009 Seite 12 (16)

13 Leistungsfähigkeit der Prozessoren steht. Nur wenn die Ausfallsicherheit im Mirror Channel Mode das ausschlaggebende Kriterium vor allen Performance-Fragen ist, scheint diese Bestückung sinnvoll. Das Interleaving wird, wie die Taktung, vom BIOS beim Einschalten des Systems festgelegt. Ist die Anzahl GB pro Kanal gleich, so ist bei drei bestückten Kanälen ein 3-way interleave möglich, bei zwei Kanälen (falls ein Kanal nicht benutzt wird) ein 2-way interleave. Diese für das Interleaving beste Situation kann bei Verwendung von DIMM Streifen unterschiedlicher Größe auch bei nicht einheitlichen DPC Werten gegeben sein. Entscheidend ist die Summe der GB pro Kanal. Sind die GB pro Kanal verschieden, so wird es zu einer Zerlegung des physikalischen Speichers in Bereiche mit unterschiedlichem Interleaving kommen. Das Ziel lautet in diesem Fall, Bereiche mit 1-way interleave zu vermeiden. So wird das BIOS ein / mit identischen 4 GB Streifen, das etwa für die Erreichung einer Gesamtkapazität von 32 GB sinnvoll ist, in zwei 2-way Hälften nach dem Schema / (50% der Speicherkapazität) 2-way Interleaving / (50%) 2-way Interleaving statt nach / (75%) 3-way Interleaving / (25%) 1-way Interleaving auflösen, um die starke Inhomogenität der zweiten Variante zu vermeiden. Das Fazit bzgl. Interleaving lautet: Das ideale 3-way interleave bedeutet gegenüber 2-way einen Performance-Gewinn von bis zu 20%, bei kommerziellen Anwendungen realistischerweise um die 5%. Das 2-way interleave entsteht bei den klassischen Speicherkapazitäten in Zweierpotenzen (8, 16, 32 GB usw.) und beim Spare Channel Mode. Von Konfigurationen mit 1-way interleave ist wegen eines zu hohen Performance-Verlusts abzuraten. Ist die Anzahl GB pro Kanal nicht gleich, wird es zu Speicherbereichen mit unterschiedlichem Interleaving kommen. Sekundäre Performance-Einflüsse Bei den bisher besprochenen Themen darf davon ausgegangen werden, dass sie sich in der Anwendungs- Performance bei sorgfältiger Messung im genannten Rahmen bemerkbar machen. Bei den folgenden Themen ist ein Nachweis bei Messungen der maimalen Speicherbandbreite zwar möglich, jedoch in einer Größenordnung, die ein Durchschlagen auf eine realistische Anwendungs-Performance fraglich macht. UDIMM oder RDIMM? Gemäß der folgenden Tabelle stehen für die Modelle PRIMERGY RX200 S5, TX200 S5, BX620 S5 und BX920 S1 außer den DIMM Modulen (RDIMM) auch unbuffered Module (UDIMM) zur Verfügung. Auf Grund einfacherer Bauart sind UDIMM kostengünstiger und etwas günstiger im Energieverbrauch. Sofern sie die gewünschte Speicherkapazität abdecken können, sollten sie aus diesen Gründen bevorzugt werden. Typ Ansteuerung Ma MHz Rank Kapazität Hinweise DDR PC rg ECC GB DDR PC rg ECC GB DDR PC rg ECC GB DDR rg ECC GB DDR rg ECC GB DDR rg ECC GB DDR ub ECC unbuffered GB a) DDR ub ECC unbuffered GB a) a) nicht verfügbar für PRIMERGY RX300 S5 and TX300 S5 Eine Mischung von RDIMM und UDIMM ist nicht möglich. Fujitsu Technology Solutions 2009 Seite 13 (16)

14 Bei RDIMM werden die Steuerbefehle des Speicher-Controllers in dem namengebenden Register, das sich in einem eigenen Baustein auf dem DIMM befindet, zwischengepuffert. Dies bewirkt eine Entlastung des Speicherkanals und ermöglicht 3DPC Konfigurationen, die mit UDIMM nicht möglich sind. Umgekehrt führen bereits 2DPC Konfigurationen mit UDIMM zu einer Höherbelastung (im Vergleich zu 1DPC), die eine Ansteuerung des DIMM mit 2N Timing (statt 1N) erfordert: Steuerkommandos sind nur noch bei jedem zweiten Takt des Speicherkanals möglich. Dies führt zu einer Reduktion der maimalen Speicherbandbreite von 2DPC Konfigurationen mit UDIMM um etwa 5% im Vergleich zu RDIMM. Für die Performance kommerzieller Anwendungen ist dieser Effekt vernachlässigbar. Die Anzahl der Ranks Die vorstehende Tabelle zeigt außerdem, dass Speichermodule mit 1 oder 2 Ranks verfügbar sind. Das bedeutet: es gibt DIMM mit nur einer Gruppe von DRAM Chips, die synchron Speicherbereiche der Breite 64 Bit lesen oder schreiben. Der einzelne Chip ist dabei für 8 Bit zuständig. Oder es gibt zwei solcher Gruppen. Die Adress- und Datenleitungen des DIMM sind dann jedoch für beide Gruppen gemeinsam, d.h. zu einem Zeitpunkt kann nur eine der Gruppen aktiv sein. Die Motivation für dual-rank DIMM ist zunächst die größere Kapazität, wie aus der genannten Tabelle zu sehen ist. Ein zweiter Vorteil von dual-rank Modulen ergibt sich aus dem bereits angesprochenen physikalischen Grund. Speicherzellen sind zweidimensional angeordnet. Es wird eine Zeile eröffnet und anschließend in dieser Zeile eine Spaltenposition ausgelesen. So lange die Zeile offen ist, können weitere Spaltenwerte mit deutlich geringerer Latenz ausgelesen werden. Dieser Latenzunterschied motiviert Optimierungen des Speicher-Controllers, die die anstehenden Aufträge im Hinblick auf möglichst offene Speicherzeilen umordnen. Bei dual-rank Modulen steigt die Wahrscheinlichkeit, auf eine offene Zeile zugreifen zu können. Das macht sich bei einer Messung der Speicherbandbreite mit STREAM gemäß folgender Tabelle bemerkbar: CPU X5570 X5570 Arbeitsspeicher Typ Kapazität #rank Bestückung PC PC Bandbreite (GB/s) 4 GB / GB / Ähnliche Effekte zeigen sich, wenn bei Bestückungen mit höheren DPC Werten die Anzahl der Ranks pro Kanal ungerade ist. Bei Verwendung von dual-rank Modulen kann dieser Fall nicht eintreten. Bei einer Bestückung mit 2 GB Modulen ist der Performance-Nachteil von realistischerweise 2-3% bei einer ungeraden Anzahl Ranks pro Kanal ein weiterer Grund für die Bevorzugung der dual-rank UDIMM Module. Fujitsu Technology Solutions 2009 Seite 14 (16)

15 Zusammenstellung der Best Practice Regeln Für die Auswahl einer performanten und kosteneffizienten Speicherkonfiguration sollten die folgenden einfachen sieben Regeln berücksichtigt werden. Die Regeln sind in etwa nach ihrer Wichtigkeit geordnet. NUMA Den Speicher wenn möglich symmetrisch über beide Sockets verteilen und im BIOS den NUMA-Modus aktivieren (Default-Wert). (BX920 S1: Bis 48 GB sind trotz der Asymmetrie der Steckplätze NUMA-optimale Konfigurationen möglich. Die moderate Asymmetrie bei größeren Ausbauten wird sich im Normalfall nur im geringen Prozentbereich bemerkbar machen, was ignoriert werden kann.) Interleaving Bei der Bestückung eines Sockets bankweise vorgehen, d.h. möglichst alle 3 Kanäle einbeziehen. 1-way (non-interleaved) Bereiche vermeiden. Alle Konfigurationen der Tabellen auf den Seiten 6 bis 8 sind 3-way oder 2-way und liefern gute Performance MHz Nur unter vergleichsweise engen Voraussetzungen möglich: Advanced CPU und maimal 24 GB (kostengünstige Module) bzw. 48 GB (teure 8 GB Module). Interessant eher für Benchmarks und Projekte mit besonderen Randbedingungen (z.b. HPC). 800 und 1066 MHz Basic CPUs begrenzen grundsätzlich auf 800 MHz, ebenso 3DPC Bestückungen. DIMM Preisgefälle UDIMM und RDIMM Anzahl Ranks UDIMM-Module sind günstiger als RDIMM. Zwischen 1 GB bis 4 GB Modulen einerseits (egal, ob UDIMM oder RDIMM) und 8 GB Modulen andererseits (gibt es nur als RDIMM) ist ein deutlicher Preissprung zu beachten. Wenn möglich (vgl. die Tabellen auf den Seiten 6 bis 8), UDIMM Module aus Preis- und Energiegründen bevorzugen. Eine gerade Anzahl Ranks pro Kanal gibt einen kleinen Performance-Vorteil. Vor allem für Benchmarks interessant, wohl weniger für Produktivbetrieb. Bei ansonsten vergleichbaren Bedingungen gelten für kommerzielle Anwendungen folgende quantitativen Aussagen: Die Frequenz 1333 MHz bringt gegenüber 1066 MHz eine Verbesserung von etwa 3%. Die Frequenz 800 MHz bedeutet gegenüber 1066 MHz eine Verschlechterung von etwa 5%. Ein 3-way Interleave bedeutet gegenüber 2-way eine Verbesserung von etwa 5%. Vernachlässigbare Einflüsse: o o Das 2N Timing von unbuffered DIMM in 2DPC Konfigurationen. Eine ungerade Anzahl Ranks pro Kanal. Fujitsu Technology Solutions 2009 Seite 15 (16)

16 Literatur [L1] PRIMERGY Systeme [L2] PRIMERGY Performance [L3] STREAM Benchmark [L4] PRIMERGY RX200 S5 Datenblatt und Performance Report [L5] PRIMERGY RX300 S5 Datenblatt und Performance Report [L6] PRIMERGY TX300 S5 Datenblatt und Performance Report [L7] PRIMERGY BX620 S5 Datenblatt und Performance Report [L8] PRIMERGY BX920 S1 Datenblatt und Performance Report Kontakt PRIMERGY Hardware PRIMERGY Product Marketing PRIMERGY Performance und Benchmarks PRIMERGY Performance und Benchmarks Lieferung vorbehaltlich Verfügbarkeit, technische Änderungen ohne Vorankündigung möglich, Korrektur von Irrtümern und Auslassungen vorbehalten. Alle angegebenen Konditionen (TCs) sind empfohlene Einstandspreise in Euro ohne MwSt. (sofern im Tet nicht anderweitig angegeben). Sämtliche verwendete Hardware- und Software- Namen sind Handelsnamen und/oder Warenzeichen ihrer jeweiligen Hersteller. Copyright Fujitsu Technology Solutions GmbH 2009 Herausgegeben durch: Enterprise Products PRIMERGY Server PRIMERGY Performance Lab Internet: Etranet: ers/primergy