DataCenter 2020: Keine Effizienz-Unterschiede bei Kaltgang- und Warmgangeinhausung November 2011 Powered by
DataCenter 2020: Keine Effizienz-Unterschiede bei Kaltgang- und Warmgangeinhausung Das DataCenter 2020 ist ein Testlabor von T-Systems und Intel im Münchner Euro-Industriepark. Die beiden Unternehmen ermitteln dort Methoden, mit deren Hilfe man bestehende Rechenzentren optimieren und energieeffizienter betreiben kann. Zudem geht es darum, mit diesen Erkenntnissen ein Modell für das Rechenzentrum der Zukunft zu entwickeln. Bislang verbesserten die Forscher die Energieeffizienz durch Maßnahmen zur optimierten Luftführung, durch konsequente Trennung von Kalt- und Warmluft, durch die Anhebung der Zulufttemperatur und durch eine höhere Energiedichte im Rack. Wesentlichen Anteil am niedrigeren Energieverbrauch hat neben einer Kaltgangeinhausung die Optimierung des Luftvolumenstromes durch regelbare Lüfter in den Umluftkühlgeräten. In der dritten Forschungsphase wiederholten die Experten die in den ersten beiden Whitepapers beschriebenen Messungen mit einer Warmgangeinhausung, um zu sehen, ob sich diese Maßnahme ähnlich wie die Kaltgangeinhausung auswirkt. Mit diesen ersten Maßnahmen gelang es den Forschern im DataCenter 2020 den PUE-Wert von 1,8 auf 1,4 zu senken, wobei die Rechnereinlasstemperatur bei 22 C unverändert blieb. Der Wert Power Usage Effectiveness (PUE) misst die Effizienz des Energieeinsatzes im Rechenzentrum. Er zeigt, wie viel eingesetzte Energie tatsächlich von den IT-Geräten umgesetzt wird. PUE ist der Quotient der im Rechenzentrum eingesetzten Gesamtenergie (Total Facility Power Consumption) zum Energieverbrauch der IT-Geräte (IT Equipment Power Consumption). Das heißt, der PUE-ist ein Maß des Energiebedarfs für alle anderen Verbraucher (Klima, Lüftung, USV-Verlust, Sicherheit, Beleuchtung) im Rechenzentrum, um die IT betreiben zu können. Der PUE lässt jedoch keine Rückschlüsse auf die Energieeffizienz der IT-Geräte sowie die Gesamteffizienz des Rechenzentrums zu. Rückblick: Ergebnisse der ersten Optimierungsphase Die Forscher von T-Systems und Intel reduzierten in der ersten Optimierungsphase den Energieverbrauch im Rechenzentrum durch zwei einfache Mittel: 1. Die strikte Trennung von Kalt- und Warmluft etwa durch das Reduzieren von Leckage im Doppelboden sowie die Kaltgangeinhausung führen zu einer optimierten Luftführung. Dadurch lässt sich die Lüfterdrehzahl der Umluftkühlgeräte senken. 2. Die Anhebung der Einblas- bzw. Zulufttemperatur im Doppelboden (T1) bei gleichzeitiger Anhebung der Wasservorlauftemperatur verkürzt die Zeit für die Kühlung mittels Kältemaschinen und verlängert die Zeit für indirekte freie Kühlung. Das beste Ergebnis beim PUE-Wert erzielten die Experten dabei gemäß der Obergrenze der ASHRAE-Empfehlungen mit einer Rechnereinlasstemperatur (TA) von 27 C.
Die folgende Abbildung zeigt die Veränderungen nach Behebung der Leckage im Doppelboden sowie der Kaltgangeinhausung; die Rechnereinlasstemperatur (TA) bleibt dabei konstant auf 22 C. Durch die Abdichtung des Doppelbodens sowie die klare Trennung von Kalt- und Warmluft erhöht sich der Druck im Doppelboden und vergrößert sich das ΔT im Umluftkühlgerät (= Differenz zwischen Rücklufttemperatur und Zulufttemperatur) von 6 auf 17 Kelvin (K). Das heißt: Das Umluftkühlgerät arbeitet wesentlich effizienter als vorher. Zusätzlich konnte die Lüfterdrehzahl auf 30 Prozent (vorher 100 Prozent) gesenkt werden. Dadurch verbraucht der Lüftermotor ca. 90 Prozent weniger Energie. (siehe Abbildung 2, Seite 3) Durch die reduzierte Lüfterdrehzahl verlangsamt sich die Luftströmung. Da die Luft somit mehr Wärme aufnimmt, steigt die Rücklufttemperatur T2 zum Umluftkühlgerät von 24 C auf 38 C. Auch die Einblastemperatur T1 im Doppelboden konnte dadurch von 18 C auf 21 C erhöht werden. Aufgrund des sehr kleinen Temperaturgradienten liegt die Rechnereinlasstemperatur TA immer noch bei 22 C. Im nächsten Schritt (siehe Whitepaper: Hohe Energiedichte im Rechenzentrum effizient und zuverlässig) erhöhten die Experten des DataCenter 2020 die IT-Last auf bis zu 22kW/Rack, um zu überprüfen, inwiefern der PUE-Wert bzw. die Effizienz der Rechenzentrums- Infrastruktur von der Energiedichte abhängt. Die Rechnereinlasstemperatur (TA) blieb dabei weiterhin konstant auf 22 C. Dabei wählten sie zwei Szenarien: Im ersten Szenario nutzten sie ein einziges Umluftkühlgerät. Die Wasservorlauftemperatur des externen Kreislaufes betrug dabei standardmäßig 8 C. Dadurch sank der PUE bei einer Energiedichte von 22 kw/rack auf 1,32. Im zweiten Szenario nutzten sie ab einer Energiedichte von 10kW/Rack zwei Umluftkühlgeräte und wählten eine Wasservorlauftemperatur von 16 C des externen Kreislaufes und eine entsprechend reduzierte Lüfterdrehzahl. Wegen der Energiekennlinie der Lüftermotoren benötigt man mit zwei Umluftkühlgeräten, die im Vergleich zu einem Umluftkühlgerät jeweils nur die Hälfte des Luftvolumens transportieren, nur ein Viertel der Energie im Vergleich zum Betrieb mit einem Umluftkühlgerät. Die höhere Wasser-Vorlauftemperatur reduziert zudem den Einsatz von Kältemaschinen. Da man damit die indirekte freie Kühlung länger nutzen kann, sinkt auch hier der Gesamtenergieaufwand. Dadurch konnten die Experten den PUE-Wert bei einer Energiedichte von 22kW/Rack noch weiter auf 1,23 reduzieren. Air short circuit T 2 =24 C T=6K (Q=c v x m x dt) T R =24 C CRAC Unit Fan 100% Leakage Leakage Raised floor = 18 C p=16pa
Insgesamt zeigte sich, dass Energiedichten auch von mehr als 20 kw/rack mit Standardtechnik beherrschbar (also sicher und verfügbar) sind sowie effizient mit klassischer Umluftkühlung umgesetzt werden können. Die strukturierte Anwendung der im ersten Whitepaper genannten Optimierungsschritte bleibt dafür der Königsweg. Die Kaltgangeinhausung spielt auch bei höheren Energiedichten und bei Ausfallszenarien eine tragende Rolle. Die Messungen zeigten, dass man mit Maßnahmen zur Trennung von Kalt- und Warmluft (Leckage abdichten, Kaltgangeinhausung) die Energiedichte bzw. IT-Last pro Rack um das ca. Dreifache erhöhen kann und trotzdem die gleiche Betriebssicherheit wie im Falle ohne Einhausung im Rechenzentrum erhält. Alternativ profitiert man von einer nahezu dreifach höheren Reaktionszeit im Falle eines Komplettausfalls der Klimaversorgung. Neue Maßnahme: Warmgangeinhausung Im nächsten Schritt führten die Forscher all diese Messungen mit einer Warmgangeinhausung durch, um zu überprüfen, welche Ergebnisse diese Methode liefert. Über die Effizienzvorteile der unterschiedlichen Methoden existieren unterschiedliche Meinungen auf dem Markt, die empirisch nicht nachgewiesen sind. Unabhängig von der gewählten Einhausung gilt: Die Server verursachen bei identischer Hardware-Konfiguration und Auslastung dieselbe Wärmemenge, das heißt der Energieverbrauch und die zu kühlende Wärmemenge sind in beiden Systemen identisch. Bei den bisherigen Messungen mit Kaltgangeinhausung ergab sich als Bestwert im Umluftkühlgerät ein Temperaturunterschied ΔT von 17 Kelvin (Rücklufttemperatur 38 C, Zulufttemperatur 21 C); hier arbeitet das Umluftkühlgerät am effizientesten. T 2 =38 C T A =22 C T = 17K ( Q=c v x m x dt) CRAC Unit Fan 30% 21 C : 70 F 22 C : 72 F 38 C : 100 F Raised floor =21 C p = 4pa
Bei der Warmgangeinhausung wird die warme Abluft der Server umschlossen und direkt an das Umluftkühlgerät geleitet, der Raum des Rechenzentrums bildet den Kaltgang. Da das Umluftkühlgerät die kalte Luft in einen größeren Raum mit höherem Luftvolumen leitet, liegt folgende Hypothese nahe: Die Warmgangeinhausung erfordert eine höhere Lüfterdrehzahl als die Kaltgangeinhausung. Andererseits böte die Warmgangeinhausung Vorteile beim ΔT im Umluftkühlgerät (= höhere Effizienz), da die Abwärme der Server beziehungsweise die warme Luft über einen speziellen Kanal direkt zum Kühlregister des Umluftkühlgerätes geleitet wird. Dadurch ist die Warmluft besser isoliert, Luftverwirbelungen werden vermieden, die Wärme wandert nahezu 1:1 und ohne Verluste zum Umluftkühlgerät zurück. Daher stellt sich die Frage: Gleichen sich diese Effekte aus? Welches System ist effizienter? T 2 T A T = T 2 - ( Q=c v x m x dt) CRAC Unit Fan Raised floor p ( pa) T 2 T A T = T 2 - ( Q=c v x m x dt) CRAC Unit Fan Raised floor p (pa)
Grundsätzlich sind drei Parameter entscheidend für die Kühlfunktion: 1. Das von Wasser durchflossene Kühlregister des Umluftkühlgeräts, in dem die warme Luft beim Durchströmen gekühlt wird. Hier geht es darum, ein höheres ΔT (= Differenz zwischen Rückluft- und Zulufttemperatur) zu erreichen. 2. Der Lüfter des Umluftkühlgeräts, der die Strömungsgeschwindigkeit im Rechenzentrum definiert. Luft dehnt sich bei Bewegung aus, die Dichte nimmt ab und kann somit weniger Wärme aufnehmen, sie kühlt schlechter. Das heißt: Bei zu hoher Strömungsgeschwindigkeit sinkt die Wärmekapazität der Luft. Weiterhin ist insbesondere bei der Kaltgangeinhausung zu beachten: Wird der Lüfter des Umluftkühlgeräts nicht reguliert, herrscht im Kaltgang hoher Druck; dies kann zu Schäden bei den Lüftern der Server-Hardware führen. Beim Warmgang verteilt sich der Druck in einem größeren Raum. 3. Optimierte Luftführung durch Doppelboden, Einhausung und Vermeidung von Leckage-Luft. Sind all die eben genannten drei Parameter optimiert, dürfte es bei gleicher Methodik keine Unterschiede bei der Kaltgang- und Warmgangeinhausung geben, da die Wärmemenge stets identisch ist, so die Annahme der Experten am DataCenter 2020. Dieses Whitepaper zeigt, ob die Messungen diese Hypothese bestätigen. Unterschiede in Verfügbarkeit und Lüfterdrehzahl, kaum Abweichungen beim PUE Zunächst untersuchten die Experten das optimale Verhältnis von Energiedichte und Ausfallsicherheit. Dazu nahmen sie den zeitlichen Verlauf verschiedener Temperaturmesspunkte im Fall des Totalausfalls des Kühlsystems (Kaltwassersatz, Pumpen und Umluftkühlung) bei unterschiedlichen Energiedichten und Raumkonfigurationen auf. Die Methode: Sie regelten die Rechnereinlasstemperatur TA im DataCenter 2020 auf konstante 22 C. Server lassen in der heutigen Spezifikation eine TA von max. 35 C zu. Das heißt bis zu dieser Temperatur garantieren üblicherweise die Hersteller deren Funktionssicherheit. Die Experten simulierten daher einen externen Stromausfall (z.b. Störung EVU), der in der Regel einen Ausfall des gesamten Kühlsystems zur Folge hat. Die Server laufen dank USV (Autonomiezeit üblicherweise 12 Minuten) weiter und produzieren weiterhin Wärme. Als Folge der fehlenden Kühlung steigt die Rechnereinlasstemperatur TA an. Im Regelfall übernehmen in derartigen Situationen Notstrom- Aggregate die Versorgung des Rechenzentrums, insbesondere auch die der gesamten Klimatisierung. Die Notstromaggregate als auch die Kältemaschinen benötigen eine gewisse Anlaufzeit bzw. Reset-/Latenzzeit, bevor die Kälteenergie im Rechenzentrum wieder im vollen Umfang zur Verfügung steht um den weiteren gesicherten Betrieb der Server zu gewährleisten. Die Experten untersuchten daher, wie viel Zeit ohne Einhausung sowie mit Kaltgang- und Warmgangeinhausung bei verschiedenen Energiedichten pro Rack zur Verfügung steht, bis es zu einem Ausfall der Server wegen Überhitzung (>35 C Rechnereinlasstemperatur) kommt. Response Time (mm:ss) 30:00 25:00 20:00 15:00 10:00 05:00 00:00 hot aisle cold aisle no enclosure typ. UPS autonomic time 5,5 9,8 17,5 Density [kw/rack] Abbildung 5 zeigt, dass es hier durchaus Unterschiede zur Kaltgangeinhausung gibt. Bei geringerer Energiedichte im Rack bleibt bei der Warmgangeinhausung mehr Zeit bis zum Ausfall der Systeme. Grund ist das größere Volumen (Reservoir) an kalter Luft im Raum. Bei hoher Energiedichte im Rack von 17,5 kw/rack sind die Unterschiede geringer mit Vorteilen für die Kaltgangeinhausung, da hierbei das Problem der Warmluftdeponie überwiegt. Die beiden Systeme verhalten sich also abhängig von der Energiedichte im Rack unterschiedlich. Sowohl Kaltgang- als auch Warmgangeinhausung bieten größere Vorteile gegenüber dem Szenario ohne Einhausung. Im speziellen Fall einer Rackdichte von 10kW/Rack sind immer noch Reaktionszeiten über der üblichen Autonomiezeit von USV-Anlagen gegeben: Sollte die Versorgung innerhalb dieser Zeit nicht wieder hergestellt sein, erübrigt sich prinzipiell die Diskussion über längere Zeiten der Klimaredundanz, da die USV Anlage die IT-Ausstattung nicht mehr versorgen kann. Über das generelle Zeitverhalten von Einhausungen und Installationen ohne Einhausung gilt der eingangs erwähnte Faktor 3. Zusammenfassend kann man sagen, dass Einhausungen entgegen ursprünglicher Befürchtungen die Verfügbarkeit im Rechenzentrum deutlich erhöhen.
Fan (%) 60 50 40 30 20 hot aisle cold aisle 22 C Server Inlet Temperature 14 C Water Supply Temperature 5,5 7,5 9,8 12 15 17,5 22 Density [kw/rack] Gleiches gilt für die Lüfterdrehzahl im Umluftkühlgerät, die hier bereits auf Energieeffizienz optimiert ist und unter 50 Prozent liegt. Somit ist der Großteil der Energieeffizienz mit >85% Energieeinsparung beim Lüfter des Umluftkühlgerätes bereits erreicht. Abbildung 6 zeigt auch hier unterschiedliches Verhalten. Bei geringerer Energiedichte im Rack lässt sich die Drehzahl des Lüfters bei der Kaltgangeinhausung reduzieren, bei höherer Energiedichte trifft dies auf die Warmgangeinhausung zu. Der auffällige Sprung ist durch den Einsatz eines zweiten Umluftkühlgeräts ab einer Energiedichte von 10kW/Rack zu erklären. Die Unterschiede der optimierten Lüfterdrehzahlen sind äußerst gering und dürften in der Stromrechnung unterhalb der Nachweisgrenze liegen. 22K 20K 18K 22 C Server Inlet Temperature 14 C Water Supply Temperature Auch beim ΔT im Umluftkühlgerät ist das Verhalten innerhalb enger Grenzen nicht eindeutig. Bei kleineren und höheren Energiedichten scheinen die Vorteile bei der Kaltgangeinhausung zu liegen. Hier gelten aufgrund der geringen Unterschiede ebenso obige Aussagen zur Effizienz. ΔT 16K 14K 12K 10K hot aisle cold aisle 5,5 7,5 9,8 12 15 17,5 22 Density [kw/rack] PUE 1,45 1,4 1,35 1,3 1,25 1,2 1,15 hot aisle cold aisle 22 C Server Inlet Temperature 14 C Water Supply Temperature 5,5 7,5 10 12 15 17 22 Density [kw/rack] Zusammenfassend bestätigt Abbildung 8 die Annahme der Forscher des DataCenter 2020, dass es bei optimierten Parametern keine Unterschiede bei der Kaltgang- und Warmgangeinhausung gibt, da die Wärmemenge stets identisch ist. Denn es gibt nur minimale Abweichungen beim Wert Power Usage Effectiveness (PUE), der die Effizienz des Energieeinsatzes misst, welche innerhalb der Messtoleranz liegen. Wichtig ist, dass in beiden Systemen konsequent die gleiche Methodik angewandt wird, sprich Leckage eliminieren, Kalt- und Warmluft trennen und schließlich die Lüfterdrehzahl des Umluftkühlgerätes minimieren. Werden diese Optimierungsoptionen nicht konsequent genutzt, können Unterschiede in der Energieeffizienz entstehen in diesem Fall lassen sich aber die Resultate auch nicht vergleichen.
Kriterien für Wahl des Systems Nachdem es keine Unterschiede bei Kalt- und Warmgangeinhausung in Bezug zur Energieeffizienz gibt, erhält man bei genauerer Betrachtungsweise dann doch Hinweise, welche aus der operativen Sicht im täglichen Rechenzentrumsbetrieb entstehen. Ein Blick auf die Vor- und Nachteile von Kaltgang- und Warmgangeinhausung erleichtert dann eventuell die Entscheidung für ein System. Die Kaltgangeinhausung trennt Kaltluft und Warmluft voneinander, ist ohne größeren Umbau des Serverraums (Deckel auf die Racks und Türen an den Enden der Serverreihen) und bei niedrigerer Raumhöhe möglich. Auch der Brandschutz im Falle eines Gaslöschsystems ist ohne Änderung gewährleistet, da das Löschgas ungehindert über den offenen Doppelboden in den Einhausungsbereich strömen kann. Allerdings müssen Mitarbeiter einen Raum betreten, der rund 45 C warm ist, wenngleich es auf der Kaltgangseite optimal ist und die IT-Geräte nach wie vor optimal versorgt sind. Zudem ist ein Doppelboden zur Luftführung notwendig, um kühle Luft in den Kaltgang zu transportieren. Wie die Kaltgangeinhausung trennt auch die Warmgangeinhausung Kaltluft und Warmluft voneinander. Für den Menschen entsteht eine angenehme Atmosphäre, da sie einen kühlen Raum betreten, auch wenn z.b. Verkabelungsarbeiten ebenfalls im Warmgang erfolgen. Zudem lässt sich eine Warmgangeinhausung in eine bestehende Raumstruktur integrieren, um Hot- Spots zu beseitigen ohne den übrigen Raum mit Wärme zu belasten. Prinzipiell kann aus technischer Sicht auf einen Doppelboden verzichtet werden. Die Nachteile: Bei eingehaustem Warmgang sind mögliche Investitionen in den Umbau des Gaslöschsystems sowie zusätzliche Aufbauten für die Luftführung zu berücksichtigen. Falls kein Doppelboden vorliegt, müssen sämtliche Versorgungswege (Strom- und Netzwerkverkabelung) von der Decke erfolgen. Dies kann zusammen mit dem erforderlichen Luftkanal zu topologischen Problemen führen. Daher sollten die Betreiber eines Rechenzentrums auch im Falle der Warmgangeinhausung nicht auf einen Doppelboden verzichten. Dafür muss aber ausreichend Raumhöhe zur Verfügung stehen. Beide Systeme haben ihre Vor- und Nachteile, sind aber gleich effizient. Daher hängt die Wahl von den jeweiligen Anforderungen und der operativen Betriebsbedingungen ab. Grundsätzlich muss in beiden Systemen beachtet werden, dass alle im Warmgang befindlichen Komponenten wie Kabel, Stechdosenleisten und Sicherungen für Betriebstemperaturen von über 50 C geeignet sind. Viele Kabel oder Steckleisten erfüllen dies und sind bis 60 C zertifiziert. Gesamtfazit Die Forscher des DataCenter 2020 verbesserten mit Standard- Ausstattung und diversen Maßnahmen die Energieeffizienz und erreichten einen PUE von 1,23 ohne die Bedingungen für die Rechner zu verändern. Dies gelang durch eine Kaltgang- oder Warmgangeinhausung (hier gibt es keine Effizienzunterschiede), eine niedrigere Lüfterdrehzahl der Umluftkühlgeräte und eine höhere Energiedichte im Server-Rack. Die Einhausung der Kalt- oder Warmgänge erhöht zudem die Verfügbarkeit und Ausfallsicherheit der Server. So kann die Einhausung bei Energiedichten von 10 bis 17,5 kw/rack Investitionen etwa in eine vergleichsweise teure USV für die Kühlung vermeiden; eine Einhausung kann die USV für den Klimabereich aus Verfügbarkeitsgesichtspunkten allerdings nicht in vollem Umfang ersetzen, jedoch in weiten Strecken eine Alternative darstellen. Das beste Ergebnis beim PUE-Wert erzielten die Experten gemäß der Obergrenze der ASHRAE-Empfehlungen mit einer Rechnereinlasstemperatur (TA) von 27 C. Die Zulufttemperatur im Doppelboden (T1) liegt dann bei 26 C. Gleichzeitig lässt sich dadurch die Wasservorlauftemperatur im Kaltwassersatz (= äußerer Kühlkreislauf) auf 20 C erhöhen; diese ist in der Regel um etwa 6 C niedriger als die Temperatur der Luft im Doppelboden. Die höhere Wasservorlauftemperatur verkürzt die Zeit für die Kühlung mittels Kältemaschinen und verlängert die Zeit für indirekte freie Kühlung durch die Außenluft. Ausblick: Keine Kältekompression bei günstigem Standortklima Die Dauer der indirekten freien Kühlung durch die Außenluft ist auch von den Klimaverhältnissen am Standort eines Rechenzentrums abhängig. Beispiel München, Standort des DataCenter 2020: Zur Bereitstellung von 27 C Zulufttemperatur für die Server mit Einhausung werden 26 C bei der Doppelbodentemperatur benötigt. Dafür muss die Wasservorlauftemperatur des Kaltwasserkreislaufes ca. 20 C betragen. Diese Wassertemperatur kann man erreichen solange die Umgebungstemperatur 20 C nicht überschreitet. Im Falle eines hybriden Rückkühlers hilft die Verdunstungskälte zusätzlich und die Wasservorlauftemperatur von 20 C kann sogar mit 26 C Umgebungstemperatur erreicht werden. Der hybride Kühler kühlt trocken, wenn die Außenluft kälter als 20 C ist; steigt die Außentemperatur auf mehr als 20 C, kommt behandeltes Wasser auf den Kühler, so dass die Verdunstungskälte zur Kühlung genutzt wird. Diese sogenannte Wet-Kühlung stellt eine sehr effiziente Methode dar. Mit diesem Verfahren wird die (energieintensive) Kompressionskälte nur 1%, d.h.87h oder weniger als 4 Tage im Jahr benötigt.
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Status Quo Improvement I Improvement II 3147 5034 7146 3683 3132 1936 1533 600 87 8 C water supply temperature 14 C water supply temperature 20 C water supply temperature Hybrid Heat Exchanger Dry Hybrid Heat Exchanger Wet Chiller Abbildung 9 Daraus ergeben sich durchaus neue Gedankenspiele, wie eine Klimaanlage der Zukunft für Rechenzentren aussehen könnte. 500 Profil der durchschnittlichen Jahrestemperatur in München 450 400 350 300 250 200 150 100 50 0 34 32 30 28 26 24 22 20 18 16 14 12 10 8 6 4 2-0 -2-4 -6-8 -10-12 -14-16 -18-20 -22-24 Abbildung 10 Informationen zum DataCenter 2020 finden sich unter: www.datacenter2020.de Copyright 2010 Intel Corporation und T-Systems International GmbH Alle Rechte vorbehalten. Powered by