Steigerung der Energieeffizienz am DKRZ Measures to boost energy efficiency at DKRZ Garternicht, Ulf; Vogt, Gerald; Meyer, Jana Deutsches Klimarechenzentrum, Hamburg Korrespondierender Autor E-Mail: vogt@dkrz.de Zusammenfassung Die Leistungsaufnahme des DKRZ für den Supercomputer Blizzard, für Plattensysteme, sonstige IT- Infrastruktur und für Kühlsysteme, liegt bei 2 MW. 2011 entstanden damit ein Stromverbrauch von 17 GWh und Kosten von 1,85 Millionen Euro. Das DKRZ arbeitet an der Optimierung der Energieeffizienz: Dafür wurden für Blizzard Einhausungen zur baulichen Trennung zwischen Kalt- und Warmgang aufgebaut und Kühlwasserkreisläufe bzw. Kältemaschinen optimiert. Insgesamt sparen die Maßnahmen pro Jahr ca. 750 MWh bzw. etwa 425 Tonnen CO 2 ein und reduzieren die laufenden Kosten um knapp 100.000 Euro. Summary The power consumption at DKRZ for the high performance computing system Blizzard, disk systems, other ITinfrastructure and the cooling systems adds up to 2 MW. In 2011 the power input reached 17 GWh causing energy costs of 1.85 million Euro. DKRZ works intensively on the optimization of its energy efficiency: cold aisle and hot aisle housings for Blizzard were built and the cooling water circuits as well as the refrigerating machines were optimized. According to the measures being taken 750 MWH respectively 425 tons CO 2 and thus about 100.000 Euro of the running costs can be saved per year. Das DKRZ in Hamburg betreibt den Supercomputer Blizzard, an dem deutsche und internationale Klimaforscher ihre Klimamodelle simulieren lassen. Das IBM Power6 System hat eine Leistungsaufnahme von ca. 1,2 Megawatt (MW). Hinzu kommen ca. 300 Kilowatt (kw) für die Plattensysteme und weitere IT-Infrastruktur, die für den Betrieb notwendig ist. Kältemaschinen mit einer durchschnittlichen Leistungsaufnahme von ca. 450 kw versorgen den Rechner und die Klimatechnik in den Räumen mit dem notwendigen Kaltwasser, außer in den Wintermonaten, wenn bei Außentemperaturen unter 4 C das Wasser direkt in freier Kühlung ohne Kältemaschinen gekühlt werden kann. Mit einer Leistungsaufnahme von fast 2 MW, d.h. einem Stromverbrauch von über 17 GWh sind am DKRZ die Stromkosten von über 1,85 Millionen Euro im Jahr 2011 ein wesentlicher Kostenfaktor. Steigende Strompreise und -umlagen der letzten Jahre wirken sich damit besonders drastisch auf das DKRZ aus. In den Jahren 2011 und 2012 wurden daher eine Reihe von Maßnahmen durchgeführt, um die Energieeffizienz am DKRZ zu steigern. Diese Maßnahmen wurden gefördert durch das Klimaschutzkonzept der Stadt Hamburg, 2013 Max-Planck-Gesellschaft www.mpg.de 1/5
welches sich zum Ziel gesetzt hat, die CO 2 -Emissionen bis 2012 um 20% gegenüber 1990 zu reduzieren. Maßnahmen Die wichtigsten Maßnahmen im Rahmen dieses Projekts waren die bessere Regulierung der Luftströme in den Rechnerräumen sowie die Optimierung der Kühl- und Kaltwasserkreisläufe bei Kältemaschinenbetrieb. Im ersten Schritt wurden dazu Einhausungen für die bislang offen stehenden Rackreihen in den Rechnerräumen aufgebaut. Durch die Einhausungen wird eine bauliche Trennung zwischen dem Kaltgang und dem Warmgang geschaffen. Kalte Luft wird von den Klimaschränken durch den Unterboden und die Lochplatten in den Kaltgang transportiert, wo sie von den Rechnerkomponenten angesaugt und auf der Rückseite wieder in den Warmgang geblasen wird. Ohne die Einhausungen mussten im Bereich von Blizzard aktive Bodenlüfter dafür sorgen, dass auch die oberen Bereiche der Racks ausreichend mit Kaltluft versorgt wurden. Durch die offenen Rackreihen vermischt sich aber an deren Enden sowie im oberen Bereich der Racks die aus dem Unterboden zugeführte Kaltluft mit der Warmluft aus dem Raum. Für einen zuverlässigen Betrieb musste deshalb wesentlich mehr Kaltluft zugeführt werden, als eigentlich notwendig wäre, um ausschließlich die luftgekühlten Rechnerkomponenten zu versorgen, weil mit einem nicht unerheblichen Teil die gesamte Rechnerhalle gekühlt werden musste. A bb. 1: Einhausung des Hochleistungsrechners Blizzard. Mit den Einhausungen (Abb. 1) wird der Kaltgang durch ein Dach auf den Racks und durch Seitentüren vom Warmgang getrennt. Damit kommt es nicht mehr zur Vermischung der zugeführten Kaltluft mit der wärmeren Luft im Raum. Gleichzeitig wurden die Temperatursensoren zur Steuerung der Klimaschränke, welche die Luft kühlen und mit dem notwendigen Druck in den Unterboden bringen, auf der Innenseite im Dachbereich der Einhausungen angebracht. Auf diese Weise kann nun sichergestellt werden, dass genügend Kaltluft in den Kaltgängen vorhanden ist, um auch die oberen Bereiche der Racks optimal mit Kaltluft zu versorgen. 2013 Max-Planck-Gesellschaft www.mpg.de 2/5
A bb. 2: Wärm ebildaufnahm e des Hochleistungsrechners Blizzard vor Einhausung. Abbildung 2 und Abbildung 3 zeigen Wärmebildaufnahmen mehrerer Blizzard-Racks vor und nach dem Aufbau der Einhausung. Sie zeigen, wie die bisherigen wärmeren Rackbereiche am Anfang und Ende der Gänge sowie im oberen Bereich wesentlich besser und gleichmäßiger gekühlt werden. Insbesondere die Hot Spots im oberen Bereich des ersten Racks ganz links sind nun wesentlich besser gekühlt. --- Trenner --- A bb. 3: Wärm ebildaufnahm e des Hochleistungsrechners Blizzard nach Einhausung. Im zweiten Schritt wurden die Kühl- und Kaltwasserkreisläufe mit den Kältemaschinen optimiert. Die Kältetechnik im Rechenzentrum wurde mit dem Umbau des Gebäudes geplant, noch bevor feststand, welcher Rechner genau angeschafft werden würde. Aufgrund dessen wurde die Anlage nicht spezifisch für den tatsächlichen Betrieb optimiert. Für die weiteren Energieeffizienzmaßnahmen wurden deshalb sämtliche Parameter der Kühl- und Kaltwasserkreisläufe hinterfragt, um weitere Einsparpotenziale aufzudecken. So wurde etwa der Kühlwasserkreislauf mit einer festen Vorlauftemperatur von 30 C zu den Kältemaschinen betrieben. Es zeigte sich jedoch, dass die Kältemaschinen problemlos auch mit wesentlich geringeren Temperaturen zwischen 19 und 30 C betrieben werden können und dabei auch eine viel geringere 2013 Max-Planck-Gesellschaft www.mpg.de 3/5
Stromaufnahme aufweisen. Im günstigsten Fall bei 19 C benötigen die Kältemaschinen ca. 100 kw weniger Leistung als bislang bei 30 C. Die Einsparung wird teilweise kompensiert durch die höhere Stromaufnahme der Rückkühler auf dem Dach, die das Kühlwasser auf die Temperatur von 19 C kühlen müssen. Dies ist auch nur bei Außentemperaturen bis zu ca. 13 C möglich. Bei höheren Außentemperaturen steigt auch die Kühlwassertemperatur und die Stromersparnis bei den Kältemaschinen sinkt. Auch die Pumpen, die den Kühlwasserkreislauf betreiben, können mit wesentlich geringerem Druck und damit weniger Leistungsaufnahme betrieben werden, ohne dass die Kühlung dadurch beeinträchtigt wird. Durch den geringeren Druck wird nur die Temperaturspreizung erhöht. Schätzung der Einsparungen Die durch die Maßnahmen erreichten Einsparungen und die CO 2 -Reduktion lassen sich nicht ohne Weiteres bestimmen: Im Vergleich zum Vorjahr wurden einige neue Server installiert. Diese erhöhen den Stromverbrauch und erzeugen neue Abwärme, welche zusätzliche Kälteleistung erfordert. Die Ersparnis ist in großem Umfang abhängig von der Außentemperatur, sowohl im Tageslauf als auch im Lauf der Jahreszeiten. Die Leistungsaufnahme des Höchstleistungsrechners schwankt je nach Auslastung des Rechners in Einzelfällen sogar um mehr als 100 kw, was wiederum auch zu Schwankungen in der Kälteleistung führt. Verschiedene Umstellungen erfolgten schrittweise über mehrere Tage und Wochen. Die Leistungsaufnahme einiger von den Umstellungen betroffener Komponenten kann mangels Messstellen nicht direkt bestimmt werden. Einige der Optimierungen, wie etwa die Absenkung der Kühlwassertemperatur, erhöhen teilweise an anderen Stellen die Stromaufnahme, die dort mangels Messmöglichkeit nicht genau nachvollzogen werden kann. Aufgrund dieser Eigenschaften ist ein einfacher direkter Vergleich des Stromverbrauchs vor und nach den Maßnahmen nicht möglich. Um die Einsparung abschätzen zu können, bietet sich die Betrachtung des PUE (Power Usage Effectiveness) des Rechenzentrums vor und nach der Maßnahmendurchführung an. Der PUE ist der Quotient der gesamten Stromaufnahme des Rechenzentrums (also IT und Kühlung) geteilt durch die Stromaufnahme der vorhandenen IT-Anlagen. Er bewertet, wie effizient die IT betrieben wird. Je niedriger der PUE, desto effizienter die Kühlung. 2013 Max-Planck-Gesellschaft www.mpg.de 4/5
A bb. 4: Durchschnittlicher PUE im Norm albetrieb in Abhängigkeit von der Außentem peratur 2011 und 2012 (PUE von 2010 unbeschriftet als Vergleich) Der PUE am DKRZ lässt sich aus den Messdaten der Gebäudeleittechnik kontinuierlich bestimmen. Die Daten werden seit dem 10. Juni 2010 aufgezeichnet. Diese Daten können nach der Außentemperatur aufgeschlüsselt werden, um die Temperaturabhängigkeit zu berücksichtigen. Abbildung 4 zeigt das Ergebnis dieser Auswertung des PUE für alle vorhandenen Daten des Jahres 2010, des gesamten Jahres 2011 sowie für die Daten vom 14.06.2012 bis heute. Ein wesentlicher Teil der Umstellungen an der Kältetechnik wurde in der Zeit zwischen dem 01.01.2012 und dem 14.06.2012 vorgenommen, weshalb dieser Zeitraum von der Auswertung ausgenommen wurde. Der abgebildete PUE bezieht sich nur auf Zeiten, in denen die Kältemaschinen betrieben wurden. Bei Temperaturen unter 7 C Außentemperatur wird die Anlage teilweise in freier Kühlung betrieben, d.h. ganz ohne Kühlmaschinen. Durch die Umschaltlogik zwischen freier Kühlung und Kältemaschinenbetrieb überlappen sich im Temperaturbereich von 1 C bis 7 C Zeiten von freier Kühlung und Kühlung mit Kältemaschine. Um vergleichbare Zahlen zu erhalten, berücksichtigt die Abbildung ausschließlich Zeiten mit Kältemaschinenbetrieb. Da die durchschnittliche Leistungsaufnahme sämtlicher Rechnerkomponenten im Jahr 2012 ca. 1490 kw beträgt, entspricht eine Differenz von 0,01 im PUE einer Leistungseinsparung von ca. 14,9 kw. Im Temperaturbereich unterhalb von 12 C wird deshalb durch die durchgeführten Maßnahmen eine Einsparung von mehr als 120 kw erreicht. Da die Einsparungen stark von der Außentemperatur abhängen, können die tatsächlichen Einsparungen nur rückwirkend bestimmt werden. Auf der Basis einer durchschnittlichen Temperaturentwicklung in Hamburg, wie sie in den Jahren 2000 bis 2011 beobachtet wurde, können mit den durchgeführten Maßnahmen pro Jahr ca. 750 MWh eingespart werden. Nach nach Schätzung des Umweltbundesamts von 2011 entspricht dies ungefähr 425 Tonnen CO 2. Durch die Auswertung der gemessenen Leistungsdaten 2012 unter Berücksichtigung der schrittweisen Umsetzung der Maßnahmen ergibt sich eine Einsparung von ca. 475 MWh bzw. 270 Tonnen CO 2 im Jahr 2012. In Zusammenarbeit mit: Thomas Schlingmann, Cofely Deutschland GmbH, Hamburg 2013 Max-Planck-Gesellschaft www.mpg.de 5/5