Effizientes Hochleistungsrechnen mit dem GreenCube Supercomputer für die Volker Lindenstruth FIAS, IfI, LOEWE Professur Chair of HPC Architecture Forschungsanlage FAIR University Frankfurt, Germany Phone: +49 69 798 44101 Fax: +49 69 798 44109 Email: voli@compeng.de Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten WWW: 1 www.compeng.de 1
Overview on FAIR research topics Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 2
GmbH GmbH 2010 2013 2016 Programm CPU On-line Tape CPU On-line Tape CPU On-line Tape # cores PB PB/a # cores PB PB/a # cores PB PB/a APPA 100 < 0,1 0,1 200 1,0 2,0 1.000 1,0 2,0 CBM 250 < 0,2 0,2 7.000 15,0 11,0 60.000 15,0 11,0 NUSTAR 100 < 0,1 0,0 300 2,0 2,0 2.000 2,0 2,0 PANDA 250 < 0,2 0,2 8.000 12,0 12,0 66.000 12,0 12,0 ALICE 3.000 1,5 0,0 6.600 3,5 0,0 14.500 8,0 0,0 FOPI 200 0,1 0,2 400 0,2 0,3 HADES 1.000 1,0 1,5 1.000 2,0 3,0 Observers EU Gitter-QCD 2.500 < 0,3 0,3 20.000 0,5 0,5 100.000 1,0 2,0 Theorie Hungary 1.000 < 0,2 0,2 5.000 0,5 0,5 20.000 1,0 2,0 Saudi- Arabia rest 500 < 0,3 0,3 2.000 1,5 1,5 10.000 3,0 3,0 USA Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 3 Austria China Finnland France Germany Greece India Italy Poland Slovakia Slovenia Spain Sweden Romania Russia UK 3 3
Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 4
Data Center State of the Art Electrical Power UPS 10% Data Center Cooling 12% Light, etc. 3% IT Equipment 50% PUE = Total Facility Power IT Equipment Power Power Usage Effectiveness Back Cooling 25% PUE = 2 (typical PUE = 1,6 3,5 average PUE = 2) Note: 12C/kWh 1W = 1,05 /a Source: EYP Mission Critical Facilities Inc., New York Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 5
Heat Transmission via Air and Water Required Volumetric Current: Thermal Power Loss Temperature Difference Air Specific Heat Capacity: Density: (Standard Conditions) Example: Notebook-Computer (30 W) Room: 25 C Example: Data Center (1 MW) Supply Air: 18 C max. 50 C Exit Air: 43 C Air Duct with Cross Section: = Wind Speed 12 (Beaufort), Hurricane! Water Specific Heat Capacity: Density: (Standard Conditions) Example: Data Center (1 MW) Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 6
LOEWE-CSC 2011 Green500: 10 Top500: 22 Cost: 200 /core CO 2 neutral Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 7 7
6% Server Fan Overhead Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 8
Cooling System Architecture Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 9
LOEWE-CSC Cooling Max cooling power 600 kw (900kW) Secondary pump 28 kw Primary pump 6 kw Cooling tower Fans 2x4.5 kw not required if outside temperature below 15 C PUE (best) 1.05 PUE @ 450 kw 1.07 Server fan overhead 6% All numbers measured Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 10
Feuchtkugeltemperatur 2010 Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 11
100 kw Container - Vaccum cooling system (PUE <1.1) Production operation with Lustre Walter Scön, GSI Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 12
1,8 MW MiniCube (PUE <1.1) 96 racks on 110 m² floor surface Volker Lindenstruth (www.compeng.de) 27. May September 22, 2012 2012 Copyright, Goethe, Uni, Uni, Alle Alle Rechte vorbehalten 131 3
Volker Lindenstruth (www.compeng.de) 27. May September 22, 2012 2012 Copyright, Goethe, Uni, Uni, Alle Alle Rechte vorbehalten 141 4
3D data center FIAS Patent submitted @ DPMA/PCT 5.7.2008 (Lindenstruth, Stöcker) Volker Lindenstruth (www.compeng.de) 27. May September 22, 2012 2012 Copyright, Goethe, Uni, Uni, Alle Alle Rechte vorbehalten 151 5
Cooler for Testing Hall MiniCube Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 16
GreenCube @ GSI Volker Lindenstruth (www.compeng.de) 27. May September 22, 2012 2012 Copyright, Goethe, Uni, Uni, Alle Alle Rechte vorbehalten 171 7
Volker Lindenstruth (www.compeng.de) 27. May September 22, 2012 2012 Copyright, Goethe, Uni, Uni, Alle Alle Rechte vorbehalten 181 8
FAIR HPC Backbone 1TB/s GRID Sites GRID Sites GRID Sites FAIR Metropolitan HPC System FAIR FAIR HPC-Link1 TB/s GRID Sites Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 19
Conclusions, Outlook Indirect passive cooling generates very efficient cooling of PUE<1.10 Ambient temperatures in Germany support entire year operation Any commercial servers are supported No active components in the data center No air ducts of any kind Highest power density of 20kW/m² per floor Mounting racks on steel structure supports vertical integration with 100kW/m² Cable lengths signifficantly shorter with 3D integration Efficient programming still one of the largest savings potentials Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 20
ecube Computing GmbH - most efficient HPC data centers - ZKI HPC Tagung am 20. September 2012.
ecube Computing @ HPC DC Die ecube Computing vermarktet die ecube-technologien für hocheffiziente Rechenzentren mit einem PUE < 1,1 Die ecube Computing bietet folgende Dienstleistungen: Analyse Ist-Situation/Anforderungen Erstellung eines Grobkonzepts für den Einsatz der ecube Technologien, inkl. PUE Berechnung und Kostenabschätzung Zusammenarbeit mit Planern/Architekten in der Planung und Ausführung Qualitätssicherung im laufenden Prozess im Hinblick auf die Zielparameter Großteil der Vergütung auf Basis der erzielten Einsparungen. 27.09.2012 22
Für weitere Fragen stehen wir gerne zur Verfügung. Kontakte: Alexander Hauser, Geschäftsführer / CEO E-Mail: Hauser@e3c.eu Fon: +496192400377 Mobile: +491709118183 ecube Computing GmbH, www.e3c.eu, Feldberg Str. 17, D- 65830 Kriftel
Vielen Dank Fragen? Volker Lindenstruth (www.compeng.de) 27. September 2012 Copyright, Goethe Uni, Alle Rechte vorbehalten 24