SuperMUC Energieeffizientes Supercomputing

Transkript

1 SuperMUC Energieeffizientes Supercomputing Dieter Kranzlmüller Munich Network Management Team Ludwig Maximilians Universität München (LMU) & Leibniz Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ)

2 Ernst A. Graf D. Kranzlmüller Energieffeizientes Supercomputing 2

3 Leibniz Rechenzentrum der Bayerischen Akademie der Wissenschaften Institutsgebäude 2 V2C VR & Visualisierung Hörsaaltrakt Cuboid (Dark Center) 72 x 36 x 36 Meter Institutsgebäude D. Kranzlmüller Energieffeizientes Supercomputing 3

4 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler D. Kranzlmüller Energieffeizientes Supercomputing 4

5 Das Münchner Wissenschaftsnetz (MWN) D. Kranzlmüller Energieffeizientes Supercomputing 5

6 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler Landesrechenzentrum für alle bayerischen Hochschulen und weitere wissenschaftliche Einrichtungen Spitzen Kapazitäten Spezialdienste, Landeslizenzen Backup und Archivzentrum (15 Petabyte, über 9 Milliarden Dateien) Verteilte Dateisysteme Kompetenzzentrum (Netze, HPC, Grid Computing, IT Management) D. Kranzlmüller Energieffeizientes Supercomputing 6

7 Zentrum für Virtuelle Realität und Visualisierung (V2C) 5 Seitenprojektionsraum + Powerwall D. Kranzlmüller Energieffeizientes Supercomputing 7

8 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler Landesrechenzentrum für alle bayerischen Hochschulen und weitere wissenschaftliche Einrichtungen Spitzen Kapazitäten Spezialdienste, Landeslizenzen Backup und Archivzentrum (15 Petabyte, über 9 Milliarden Dateien) Verteilte Dateisysteme Kompetenzzentrum (Netze, HPC, Grid Computing, IT Management) Nationales Höchstleistungsrechenzentrum Gauß Zentrum für Supercomputing Einbindung in Europäische HPC und Grid Projekte D. Kranzlmüller Energieffeizientes Supercomputing 8

9 Gauss Centre for Supercomputing (GCS) Gauß Zentrum für Supercomputing Zusammenschluss der drei deutschen Höchstleistungsrechenzentren zu einer virtuellen Organisation John von Neumann Institut für Computing (NIC) Höchstleistungsrechenzentrum Stuttgart (HLRS) Leibniz Rechenzentrum (LRZ) Größter Höchstleistungsrechnerverbund in Europa Gründung des GCS e.v. 13. April Hauptpartner im EU Project PRACE (Partnership for Advanced Computing in Europe) D. Kranzlmüller Energieffeizientes Supercomputing 9

10 Der Supercomputer SuperMUC

11 LRZ Schnellster Rechner Europas, weltweit Platz 4 auf der Liste der schnellsten Rechner (Top 500, Juni 2012) D. Kranzlmüller Energieffeizientes Supercomputing 11

12 LRZ Video: SuperMUC rendered on SuperMUC by LRZ D. Kranzlmüller Energieffeizientes Supercomputing 12

13 PRACE Tier LRZ: SuperMUC Internet Achive and Backup ~ 30 PB Snapshots/Replika 1.5 PB (separate fire section) $HOME 1.5 PB / 10 GB/s NAS 80 Gbit/s Desaster Recovery Site Peak: 3 PF expected: <3 MW >150,000 cores pruned tree (4:1) non blocking SB-EP 16 cores/node 2 GB/core non blocking WM-EX 40cores/node 6.4 GB/core GPFS for $WORK $SCRATCH 10 PB 200 GB/s Compute nodes 18 Thin node islands (each >8000 cores) Compute nodes 1 Fat node island (8200 cores) SuperMIG I/O nodes D. Kranzlmüller Energieffeizientes Supercomputing 13

14 Entwicklung der Spitzenrechenleistung und des Hauptspeichers 10,000,000 SuperMUC IBM 1,000,000 = 1 Peta fold every 4 years Double every 14.1 Montths HLRB2: SGI Altix Linux-Cluster 100,000 GFlop/s, GByte 10,000 1, = 1Tera... KSR IBM SP2 Cray T90 Fujitsu HLRB1: Hitachi SR Cray Y-MP2 Cray Y-MP8 GFlop/s GByte = 1Giga 1 D. Kranzlmüller Energieffeizientes Supercomputing 14

15 Das LRZ Gebäude vor der Erweiterung Foto: Ernst A. Graf D. Kranzlmüller Energieffeizientes Supercomputing 15

16 LRZ Erweiterungsbau Foto: Horst-Dieter Steinhöfer Grafik: Herzog+Partner für StBAM2 (staatl. Hochbauamt München 2) Foto: Ernst A. Graf D. Kranzlmüller Energieffeizientes Supercomputing 16

17 LRZ Erweiterung High End System Linux Cluster, Hosting/Housing, Servers (Tape) Archive/Backup, Disks Cooling, Water Air Processing Power, Transformers, UPS, D. Kranzlmüller 17

18 LRZ D. Kranzlmüller Energieffeizientes Supercomputing 18

19 Die schnellsten Supercomputer der Welt

20 Top 500 Supercomputer (November 2012) Exa Trillion Peta Billiarde Tera Billion Giga Milliarde Mega Million Kilo Tausend D. Kranzlmüller Energieffeizientes Supercomputing 20

21 Titan am Oakridge National Laboratory D. Kranzlmüller Energieffeizientes Supercomputing 21

22 Top 500 Supercomputer (November 2012) D. Kranzlmüller Energieffeizientes Supercomputing 22

23 Top 500 Supercomputer D. Kranzlmüller Energieffeizientes Supercomputing 23

24 Control Data Corporation CDC 6600 Photo: Computer History Museum, Mountain View, Kalifornien, D. Kranzlmüller First Supercomputer Schnellster Computer von Design: Seymour Cray Leistung: 1 Mflop/s D. Kranzlmüller Energieffeizientes Supercomputing 24

25 Cray 1 Supercomputer (Deutsches Museum, München) 1 deutsches museum.jpg D. Kranzlmüller Energieffeizientes Supercomputing 25

26 First Google Production Cluster Photo: Computer History Museum, Mountain View, Kalifornien, D. Kranzlmüller D. Kranzlmüller Energieffeizientes Supercomputing 26

27 Leistungsdaten Mobiltelefon iphone 4s: Apple A5 Prozessor Apple/Samsung System on a Chip (SoC) Am 2. März 2011 vorgestellt Basis: ARM Architektur Taktfrequenz 1 GHz 2 ARM A9 Prozessorkerne Zusätzlich: Grafikprozessor PowerVR SGX 543MP2 2 Prozessorkernen von Imagination Technologies D. Kranzlmüller Energieffeizientes Supercomputing 27

28 MNM Team AppleTV Cluster 4+2 Knoten, verbunden über 100 MBit Ethernet ATV2 Benchmarks: 4 Knoten erreichen MFlops/Watt Energieverbrauch ca. 10 Watts (Gesamt für alle 4 Knoten) Energeffizienz = 16 MFlops/Watt D. Kranzlmüller Energieffeizientes Supercomputing 28

29 Wozu Supercomputing?

30 Anwendungsbeispiele am LRZ Strömungsdynamik: Optimierung von Turbinen, Tragflächenoptimierung, Lärmreduktion, Klimatisierung in Zügen Fusionsforschung: Plasma in künftigen Fusionsreaktoren (ITER) Astrophysik: Entstehung und Entwicklung von Sternen und Galaxien Festkörperphysik: Supraleitung, Oberflächeneigenschaften Geophysik: Erdbebenszenarien Materialwissenschaften: Halbleiter Chemie: Katalysatorreaktionen Medizin und Medizintechnik: Blutströmungen, Aneurysmen, Klimatisierung in Operationssälen Biowissenschaften: Viruseigenschaften, Genom Analyse Klimatologie: Ozeanströmungen D. Kranzlmüller Energieffeizientes Supercomputing 30

31 Verteilung der Rechenzeit nach Anwendungsgebieten am LRZ D. Kranzlmüller Energieffeizientes Supercomputing 31

32 SOFIA Stratospheric Observatory For Infrared Astronomy Teleskop Gewicht: kg Durchmesser: 2.7m Ansichtswinkel: Entwickelt und gebaut in Deutschland Plattform: Boeing 747 SP Max. Bruttogewicht: kg Spannweite: 60m Max. Entfernung: km D. Kranzlmüller Energieffeizientes Supercomputing 32

33 Numerische Untersuchung der Lärmentwicklung von Flugzeugtriebwerken Rolls Royce Trent 1000 engine on a Boing 787 Dreamliner (copyright Rolls Royce plc 2010 ) Institut für Strömungsmechanik und Technische Akustik, Technische Universität Berlin Leitung F. Thiele Wissenschaftler D. Eschricht, J. Yan, L. Panek and K. Tawackolian Projekt Partner Rolls Royce Deutschland Iso surfaces of the density showing resolved turbulent flow structures a) standard DES; b) modified DES, unserrated nozzle; c) modified DES, serrated nozzle; d) serrated short cowl nozzle surface mesh with every second grid line shown D. Kranzlmüller Energieffeizientes Supercomputing 33

34 CERN European Organisation for Nuclear Research CERN D. Kranzlmüller Energieffeizientes Supercomputing 34

35 Large Hadron Collider (LHC) D. Kranzlmüller Energieffeizientes Supercomputing 35

36 LHC Detektoren D. Kranzlmüller Energieffeizientes Supercomputing 36

37 > 260 Sites > 55 Countries > 150,000 CPUs > 28 PetaBytes Disk > 14,000 Users > 200 VOs > 330,000 Jobs/Day D. Kranzlmüller Status February 2010: 37

38 WISDOM Malariaforschung World wide In Silico Docking On Malaria Vernachlässigte Krankheiten Biomedizinische Herausforderungen Docking Experimente: 46 Millionen Ligandsen Laufzeit: 6 Wochen Data: 1 TByte 1000 CPUs in 15 Ländern (~80 CPU Jahre) D. Kranzlmüller Energieffeizientes Supercomputing 38

39 Vogelgrippe Vogelgrippe H5N1 H5 und N1 = Proteine auf der Virusoberfläche Biologisches Ziel In silico Erforschung der Effizienz von Medikamenten Entdeckung potentieller neuer Medikamente Datenparameter: 5 Grid Projects: Auvergrid, BioinfoGrid, EGEE, Embrace, TWGrid 1 Docking Software: autodock ausgewählte Komponenten >100 CPU Jahre notwendig um alle Kombinationen zu testen H5 N1 Credit: Y-T Wu Credit: Y-T Wu ACOMP

40 Erdbeben/Tusnamis Seismische Software zur Feststellung des Epizentrums und der Erdbebenstärke Analyse des Indonesischen Seebebens (28 März 2005) Seismische Daten waren innerhalb von 12 Stunden verfügbar Ergebnisse wurden innerhalb von 30 Stunden simuliert (10 Mal schneller als auf einem einzelnen Computer) Ergebnisse Kein Nachbeben zu erwarten Epizentrum unterscheidet sich von früheren Fällen Unterschiedlicher Auslösemechanismus Peru, June 23, 2001 Mw=8.4 Sumatra, March 28, 2005 Mw=8.5 ACOMP

41 Beispiel: Blutflußsimulation Bild: D. Kranzlmüller University Amsterdam (UvA) 41

42 Blutflußsimulation in menschlichen Arterien Echtzeitsimulation zur Operationsplanung Berechnung im Grid Blutflußsimulation D. Kranzlmüller Energieffeizientes Supercomputing 42

43 Visualisierung im CAVE Simulation von Überflutungen Visualisierung der Ergebnisse im CAVE Das Unsichtbare Grid Cooperation with Slowak Academy of Sciences D. Kranzlmüller Energieffeizientes Supercomputing 43

44 Visualisierung auf der PSP D. Kranzlmüller Energieffeizientes Supercomputing 44

45 Visualisierung auf der PSP D. Kranzlmüller Energieffeizientes Supercomputing 45

47 Der Supercomputer als Forschungsgegenstand

48 IKT und Globale Erwärmung CO2 Emissionen 2010 werden auf 30.6 Gigatonnen geschätzt. Damit ist 2010 das Jahr mit den höchesten Emissionen bisher. International Energy Agency Picture Flickr User johnb D. Kranzlmüller Energieffeizientes Supercomputing 48

49 Energieverbrauch? D. Kranzlmüller Energieffeizientes Supercomputing 49

50 IKT und Globale Erwärmung 2 3% der weltweiten Treibhausausstöße werden durch die Verwendung von Computern erzeugt! U.S. Department of Energy Energieverbrauch 2008 in Deutschland: 616,6 TWh Stromverbrauch in HPC & Datenzentren: 10,1 TWh ca. 1.6% 6.4 Millionen Tonnen CO2 Bundesministerium für Wirtschaft und Technologie IKT ist fundamental wichtig bei der Messung und Verbesserung der Energieeffizienz in allen Lebensbereichen, IKT eingeschlossen. Stephan Scholz, CTO Nokia Siemens Networks D. Kranzlmüller Energieffeizientes Supercomputing 50

51 Finanzielle Auswirkungen (Strompreis) / KWh for industrial customers Source: energy.eu (effective April 2011) D. Kranzlmüller Energieffeizientes Supercomputing 51

52 Stromkosten deutscher Rechenzentren D. Kranzlmüller Energieffeizientes Supercomputing 52

53 Energieverbrauch im Rechenzentrum Rechenzentren sind Heizgeräte mit integrierter Logik APC, Whitepaper #113 (2010) Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller Energieffeizientes Supercomputing 53

54 Entwicklung des Stromverbrauchs am LRZ Stromverbrauch in MWh D. Kranzlmüller Energieffeizientes Supercomputing 54

56 SuperMUC Kühlung D. Kranzlmüller Energieffeizientes Supercomputing 56

57 IBM System x idataplex Direct Water Cooled Rack idataplex DWC Rack w/ water cooled nodes (front view) idataplex DWC Rack w/ water cooled nodes (rear view of water manifolds) Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller Energieffeizientes Supercomputing 57

58 IBM idataplex dx360 M4 Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller Energieffeizientes Supercomputing 58

59 D. Kranzlmüller Energieffeizientes Supercomputing 59

60 Kühlungsinfrastruktur 3. Stockwerk (Warmwasserverteiler) Bilder: StBAM2 (staatl. Hochbauamt München 2) D. Kranzlmüller Energieffeizientes Supercomputing 60

61 Kühlungsinfrastruktur Dach (Rückkühlwerke GOHL) Bilder: StBAM2 (staatl. Hochbauamt München 2) D. Kranzlmüller Energieffeizientes Supercomputing 61

62 SuperMUC Energieeffizientes Supercomputing Dieter Kranzlmüller D. Kranzlmüller Energieffeizientes Supercomputing 62