New supercomputer at DKRZ ensures Germany s leading position in climate research

Transkript

1 Neuer Supercomputer am DKRZ sichert Deutschlands New supercomputer at DKRZ ensures Germany s leading position in climate research Böttinger, Michael; Meyer, Jana Deutsches Klimarechenzentrum, Hamburg Korrespondierender Autor boettinger@dkrz.de Zusammenfassung Im Jahr 2015 installierte das DKRZ das dritte Hochleistungsrechnersystem für Erdsystemforschung (HLRE-3). Mit der Finanzierung von 41 Millionen Euro ermöglichten das BMBF und die HGF die Beschaffung des neuen, energieeffizienten PetaFLOPS-Supercomputers Mistral, den Ausbau des HPSS-Archivsystems und den Umbau der Infrastruktur des Rechenzentrums. Mistral wird zweistufig installiert: Die erste Ausbaustufe nahm im Juli den Betrieb auf. Der Endausbau mit einer Rechnerleistung von drei PetaFLOPS ist für 2016 geplant. Im Oktober weihte das DKRZ mit vielen Ehrengästen den neuen Supercomputer ein. Summary In 2015 DKRZ took its third high performance computing system for earth system research (HLRE-3) into operation. 41 million euros, funded by BMBF and HGF, enabled DKRZ to install the new energy-efficient PetaFLOPS supercomputer Mistral, to upgrade its HPSS archive system, as well as to adapt the datacenter's technical infrastructure to the new requirements. Mistral is installed in two phases: its first phase took up the operation in July. Its final stage, planned to be completed in summer 2016, will deliver three PetaFLOPs. In October, DKRZ and numerous guests officially inaugurated Mistral. Das neue Hochleistungsrechnersystem für die Erdsystemforschung (HLRE-3) Die Ablösung des in die Jahre gekommenen Hochleistungsrechnersystems für die Erdsystemforschung (HLRE- II) durch ein neues PetaFLOPS-System (HLRE-3) stand am Deutschen Klimarechenzentrum (DKRZ) 2015 im Fokus. Die Kosten von insgesamt 41 Millionen Euro übernahmen zu zwei Dritteln das Bundesministerium für Bildung und Forschung (BMBF) und zu einem Drittel die Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF). Die Mittel wurden dem DKRZ über das Helmholtz-Zentrum Geesthacht Zentrum für Material- und Küstenforschung (HZG) zur Verfügung gestellt und ermöglichten neben der Beschaffung des neuen Supercomputers den ebenfalls notwendigen Ausbau des HPSS-Archivsystems sowie den Umbau von Rechnerräumen und der technischen Infrastruktur zur Stromversorgung und Kühlung Max-Planck-Gesellschaft 1/6

2 Mit der Inbetriebnahme von HLRE-3 geht das DKRZ auf die wachsenden Anforderungen von Wissenschaftlern ein, um verlässlichere und detailliertere Klimasimulationen erstellen zu können. Mit der Kombination aus Supercomputer, einem besonders großen Festplattensystem sowie einem der größten Klimadaten-Archive der Welt trägt das Deutsche Klimarechenzentrum dazu bei, Deutschlands Spitzenposition im Bereich der Klimaforschung zu sichern. Der neue Supercomputer Mistral Bereits im Mai 2014 unterzeichnete das DKRZ mit der französischen Firma Bull, die zur Atos-Gruppe gehört, einen Vertrag über die Beschaffung des HLRE-3-Hochleistungsrechners. Der neue Supercomputer mit Namen Mistral besteht aus Rechnerkomponenten von Bull, einem Festplattensystem der Firma Xyratex/Seagate sowie einer Hochleistungsvernetzung der Firma Mellanox. Der Aufbau Mistrals ist zweistufig für die Jahre 2015 und 2016 angelegt. Die Hardware der ersten Ausbaustufe 41 telefonzellengroße Rechnerschränke, von denen viele mehr als eine Tonne wiegen wurde ab Januar 2015 installiert. Die insgesamt Rechenknoten auf der Basis von Bullx B700 DLC Systemen mit je zwei Intel 12-Kern-Haswell-Prozessoren (insgesamt Prozessorkerne) erreichen eine Spitzenrechenleistung von 1,4 PetaFLOPS und liefern damit etwa die neunfache Anwendungsleistung des Vorgängersystems, einem IBM Power6 namens Blizzard. Der Hauptspeicher des Systems wächst im Vergleich zu Blizzard zunächst um den Faktor sechs auf 120 Terabyte, und das neue, Lustre-basierte parallele Dateisystem bietet mit 20 Petabyte ebenfalls mehr als dreimal so viel Speicherplatz wie HLRE-II. Zusätzlich zu den reinen Rechenknoten verfügt die erste HLRE-3-Ausbaustufe über zwölf integrierte Visualisierungsknoten mit je zwei NVidia Tesla K80 GPUs sowie etwa fünfzig weitere Knoten für die interaktive Nutzung, beispielsweise bei der Auswertung der Simulationsergebnisse. A bb. 1: Der Supercom puter Mistral am DKRZ besteht aus Rechnerkom ponenten von Atos/Bull, einem Festplattensystem von Xyratex/Seagate sowie einer Hochleistungsvernetzung von Mellanox. DKRZ (T. Ibold) Auf der zweimal jährlich veröffentlichten TOP500-Liste der leistungsstärksten Supercomputer weltweit erreichte die erste Ausbaustufe im Juni 2015 Platz 56 und im November immerhin noch Platz 64. In Deutschland belegt Mistral Platz 6. Im September 2015 wurde Blizzard abgeschaltet und ab Oktober demontiert, um so im Rechnerraum Platz für 2016 Max-Planck-Gesellschaft 2/6

3 Im September 2015 wurde Blizzard abgeschaltet und ab Oktober demontiert, um so im Rechnerraum Platz für die zweite Ausbaustufe Mistrals mit einer Gesamtrechenleistung von nunmehr drei PetaFlops und einem insgesamt 50 Petabyte großen parallelen Dateisystem zu schaffen. Nach Abschluss der weiteren Umbauarbeiten werden die neuen Komponenten für den Endausbau ab Februar 2016 erwartet und gehen planmäßig im Sommer 2016 in Betrieb. Seit Juli 2015 steht der neue Supercomputer DKRZ-Nutzern für ihre Berechnungen zur Verfügung und ist sehr gut angenommen worden. Zum Jahresende lag die Auslastung bereits bei mehr als 80 Prozent. Der hohe Bedarf an Rechenleistung wird auch durch die Rechenzeitanträge dokumentiert, die beim Wissenschaftlichen Lenkungsausschuss des DKRZ im November 2015 eingingen. Ein Grund für die gute Auslastung ist sicherlich, dass die Nutzer ihre Klimamodelle seit Juli 2014 auf einem baugleichen kleinen Testsystem an die neue Systemarchitektur anpassen konnten. Der neue Supercomputer ermöglicht es den Klimaforschern, regional höher aufgelöste Klimasimulationen durchzuführen, mehr Prozesse in Erdsystemmodellen zu berücksichtigen oder die Unsicherheiten in Klimaprojektionen zu reduzieren. Die Berechnung von Klimavorhersagen erfolgt auf dreidimensionalen Gittern: Je kleiner die einzelnen Gitterzellen sind, desto detailreicher werden die Simulationen. Bislang wurde Deutschland in regionalen Klimasimulationen im besten Fall mit Gitterweiten von zehn Kilometern oder mehr dargestellt. Dies ist immer noch zu grob, um feine topografische Strukturen und ihre Einflüsse auf das Wettergeschehen realistisch abzubilden. Kleinräumigere Prozesse wie Wolkenbildung konnten so nur parametrisiert berechnet, also näherungsweise dargestellt werden. Mistral ermöglicht Berechnungen mit einem 100-Meter-Gitter und erlaubt es damit erstmals, Wolken in einem Deutschlandmodell explizit zu berechnen. Mit dem Endausbau Mistrals können auch weitere Verbesserungen an den Simulationen vorgenommen werden: Ensemble-Rechnungen erlauben es beispielsweise, dasselbe Experiment mehrmals mit unterschiedlichen Startwerten bei gleichen Randbedingungen durchzuführen, etwa einer sich ändernden chemischen Zusammensetzung der Atmosphäre. Durch die statistische Auswertung der verschiedenen berechneten Klimaverläufe kann die Unsicherheit in Klimaprojektionen, etwa zur Niederschlagsentwicklung, besser bestimmt und reduziert werden. Faktor Energieeffizienz Trotz einer Leistungssteigerung um Faktor 20 ist Mistral in Sachen Energieeffizienz vorbildlich und wird im Endausbau gerade einmal so viel Strom verbrauchen wie sein Vorgänger Blizzard. Mistral setzt die benötigte elektrische Leistung hocheffizient in Rechenleistung um. Außerdem verbraucht die von Bull entwickelte Warmwasserkühlung des Supercomputers deutlich weniger Strom als herkömmliche Kühlkonzepte, da die an Prozessoren und Hauptspeichermodulen entstehende Wärme ganzjährig und in der Regel ohne den Einsatz von Kältemaschinen über die Außenluft abgeführt werden kann. Die warmwassergekühlten Computerserver verwenden lediglich zwei Prozent der Energie für die Kühlung, während es bei Blizzard noch etwa 25 Prozent waren. Die Effizienz eines Rechenzentrums kann mit dem sogenannten Power Usage Effectiveness-Wert (PUE) angegeben werden. Dieser stellt die insgesamt im Rechenzentrum verbrauchte Leistung ins Verhältnis zur Leistungsaufnahme der Rechner. Im Endausbau wird für den Supercomputer Mistral ein PUE-Wert von 1,15 erwartet: Mehr als 85 Prozent des Energieverbrauchs fließen in die tatsächliche Rechenleistung, weniger als 15 Prozent müssen für Infrastruktur wie die Kühlung aufgewandt werden Max-Planck-Gesellschaft 3/6

4 Ausbau des HPSS-Datenarchivs Die Planungen für das HLRE-3-System beinhalteten auch den Ausbau des HPSS-Archivsystems am DKRZ. Bereits im Dezember 2014 nahm das DKRZ, unterstützt durch IBM, die erste Ausbaustufe des neuen hierarchischen Speichermanagementsystems (HSM) auf Basis des High Performance Storage Systems (HPSS) in Betrieb. Das System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten bis Ende 2015 etwa 45 Petabyte, verteilt über 20 Millionen Dateien und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs. A bb. 2: Blick in das HPSS-Datenarchiv am DKRZ. Ende des Jahres 2015 sind hier bereits 45 Petabyte an Daten aus Klim asim ulationen gespeichert. DKRZ (M. Böttinger) Spezialisten von IBM/Global Technology Services installierten die aktuelle HPSS-Software zusammen mit dem Linux-Betriebssystem von Red Hat auf den neuesten IBM x86-servern sowie einen HPSS-Festplattencache von fünf Petabyte. Der Cache, ein temporärer Zwischenspeicher, entspricht der Speicherkapazität von gut ausgestatteten Notebook-Computern. Die IBM-Spezialisten migrierten die Daten des bisher am DKRZ eingesetzten kleineren HPSS-Systems auf das neue System im Laufe einer Betriebsunterbrechung von nicht einmal zwei Tagen. Das neue System ermöglicht einen deutlich höheren aggregierten Durchsatz (Lesen/Schreiben). Mit Beginn des Jahres 2015 flossen die Klimadaten zwischen Hochleistungsrechner und Archivsystem bereits mit bis zu 12 Gigabyte pro Sekunde, ab Herbst 2015 nach einem weiteren Ausbau sogar mit bis zu 18 Gigabyte pro Sekunde. Mit dem Ausbau ist das HPSS-Archiv in der Lage, das erwartete massive Datenwachstum in der Klimaforschung innerhalb der nächsten fünf Jahre mit einer geschätzten jährlichen Datenproduktion von bis zu 75 Petabyte und einem Gesamtvolumen von 500 Petabyte zu bewältigen passend zur erwarteten Steigerung der Datenproduktion durch den neuen Supercomputer. Feierliche Einweihung von Mistral 2016 Max-Planck-Gesellschaft 4/6

5 A bb. 3: Thom as Ludwig, Geschäftsführer des DKRZ (links) und Olaf Scholz, Erster Bürgerm eister der Freien und Hansestadt Ham burg (rechts) bei der Besichtigung des neuen Supercom puters Mistral. DKRZ (T. Ibold) Mit einem Festakt weihten am 5. Oktober 2015 Hamburgs Bürgermeister Olaf Scholz, der Parlamentarische BMBF-Staatssekretär Stefan Müller und weitere Ehrengäste den neuen Supercomputer Mistral ein. Olaf Scholz erklärte, dass Hamburg längst zu den Klimaforschungshauptstädten zähle. Stefan Müller betonte, dass die Kombination aus Supercomputer, dem besonders großen Festplattensystem und einem der größten Klimadaten-Archive der Welt dazu beitrage, Deutschlands Spitzenforschung zu sichern. Genau wie seine Vorgänger steht Mistral den Klimaforschern für aufwendige Klimasimulationen bereit, die regelmäßig in die Weltklimaberichte einfließen. Ludwig Kronthaler, Generalsekretär der Max-Planck- Gesellschaft, bestätigte in seinen Grußworten: Nur über das DKRZ waren und sind die Berechnungen für die Weltklimaberichte möglich. Daniela Jacob, Direktorin des Climate Service Center Germany, brach die Bedeutung der Berechnungen auf konkrete Fragen herunter: Kann ein Bauer auf einem bestimmten Flecken Erde in der Zukunft noch Bananen anbauen? Antworten darauf ergeben sich aus Klimamodellierungen mit einer hohen räumlichen und zeitlichen Auflösung. Mit Mistral kann die Gitternetzauflösung nun in Regionalmodellen auf 100 Meter verkleinert werden. A bb. 4: Am 5. Oktober 2015 weihte das DKRZ gem einsam m it zahlreichen Ehrengästen den neuen Supercom puter offiziell ein. DKRZ (T. Ibold) An die Festveranstaltung schloss sich ein Workshop an, bei dem die DKRZ-Nutzer ihre aktuellen Forschungsprojekte vorstellten und mit dem DKRZ-Team ihre Anforderungen in Bezug auf Infrastruktur und Dienste des DKRZ diskutierten. Eine Ausstellung mit mehr als 60 Postern informierte ebenfalls über wissenschaftliche Projekte, die mithilfe der DKRZ-Ressourcen ermöglicht wurden. Viele der Poster können auf der DKRZ-Webseite angeschaut und heruntergeladen werden Max-Planck-Gesellschaft 5/6

6 Im Anschluss an den Workshop nahmen knapp hundert Nutzer die Möglichkeit wahr, an einer Schulung zur Nutzung des neuen Rechners teilzunehmen Max-Planck-Gesellschaft 6/6