Forum 8: SuperMUC Europas schnellster Rechner

Transkript

1 Forum 8: SuperMUC Europas schnellster Rechner 33. Wirtschaftsphilologentagung Umdenken in unsicheren Zeiten Wirtschaftliche Entscheidungsmodelle in der Krise 27. und 28. September 2012 Universität Passau

2 SuperMUC Europas schnellster Rechner Dieter Kranzlmüller Munich Network Management Team Ludwig Maximilians Universität München (LMU) & Leibniz Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ)

3 Commodore VC 20 Hartlauer, 1984 D. Kranzlmüller SuperMUC Europas schnellster Rechner 2

4 Commodore VC 20 CPU: 6502, 8 Bit, 1.10 MHz 5 KB RAM Video Interface Chip (VIC) Commodore VC 20 D. Kranzlmüller SuperMUC Europas schnellster Rechner 3

5 Leistungsdaten Mobiltelefon iphone 4s: Apple A5 Prozessor Apple/Samsung System on a Chip (SoC) Am 2. März 2011 vorgestellt Basis: ARM Architektur Taktfrequenz 1 GHz 2 ARM A9 Prozessorkerne Zusätzlich: Grafikprozessor PowerVR SGX 543MP2 2 Prozessorkernen von Imagination Technologies D. Kranzlmüller SuperMUC Europas schnellster Rechner 4

6 Was ist ein Supercomputer?

7 Control Data Corporation CDC 6600 Photo: Computer History Museum, Mountain View, Kalifornien, D. Kranzlmüller First Supercomputer Schnellster Computer von Design: Seymour Cray Leistung: 1 Mflop/s D. Kranzlmüller SuperMUC Europas schnellster Rechner 6

8 First Google Production Cluster Photo: Computer History Museum, Mountain View, Kalifornien, D. Kranzlmüller D. Kranzlmüller SuperMUC Europas schnellster Rechner 7

9 Cray 1 Supercomputer (Deutsches Museum, München) 1 deutsches museum.jpg D. Kranzlmüller SuperMUC Europas schnellster Rechner 8

10 Top 500 Supercomputer (Juni 2012) Exa Trillion Peta Billiarde Tera Billion Giga Milliarde Mega Million Kilo Tausend D. Kranzlmüller SuperMUC Europas schnellster Rechner 9

11 LLNL/ASC Sequoia IBM Blue Gene/Q res.jpg D. Kranzlmüller SuperMUC Europas schnellster Rechner 10

12 Top 500 Supercomputer (Juni 2012) D. Kranzlmüller SuperMUC Europas schnellster Rechner 11

13 Top 500 Supercomputer D. Kranzlmüller SuperMUC Europas schnellster Rechner 12

14 Gordon Moore Gordon Moore: R&D Director (Fairchild Semiconductor) 1968 Mitgründer von Integrated Electronics (Santa Clara) law cpu intel.jpg Moore s Gesetz, 1965: Electronics Magazine (McGraw Hill): Vorhersage: Zukunft der Microchip Industrie? 19. April 1965: 35th Anniversary Issue Artikel: Gordon E. Moore Cramming more components onto integrated circuits Vorhersage bis 1975 D. Kranzlmüller SuperMUC Europas schnellster Rechner 13

15 Moore s Gesetz The complexity for minimum component costs has increased at a rate of roughly a factor of two per year. Certainly over the short term this rate can be expected to continue, if not to increase. Over the longer term, the rate of the increase is a bit more uncertain, although there is no reason to believe it will not remain constant for at least 10 years. (Gordon E. Moore, 1965) D. Kranzlmüller SuperMUC Europas schnellster Rechner 14

16 Moore s Empirische Daten Beobachtung: 1959: 1. planarer Transistor (Jack Kilby, Texas Instruments) 1964: ICs mit 32 Komponenten 1965: IC mit 64 Komponenten 1975: Komponenten Reaktionen: Öffentlichkeit: kaum beachtet Moore: würde nicht darauf wetten habe nur die Idee untermauern wollen, dass diese Technologie eine Zukunft hat ABER:... D. Kranzlmüller SuperMUC Europas schnellster Rechner 15

17 1975 / IEEE Intl. Electron Devices Meeting Intel: Speicher mit Komponenten Erklärungen: größere Chips mit weniger Fehlern durch optische Projektion von lithograph. Masken genaueres (feineres) Zeichnen von Bildern und Liniendicken Circuit and Device Cleverness 1965 bis 1975: Faktor 2 pro Jahr ab 1975: Faktor 2 pro 18 Monate Moore s Gesetz mehr als nur eine Vorhersage über Chips Verbesserungen von Computern (Speichergröße, Bandbreite,...) Wachstum der Industrie! D. Kranzlmüller SuperMUC Europas schnellster Rechner 16

18 Top 500 Supercomputer D. Kranzlmüller SuperMUC Europas schnellster Rechner 17

19 Computerleistung steigt exponentiell an

20 Energieverbrauch? D. Kranzlmüller SuperMUC Europas schnellster Rechner 19

21 IKT und Globale Erwärmung CO2 emissions in 2010 were estimated to be 30.6 gigatonnes, making 2010 the year with the highest emissions in history. International Energy Agency Picture Flickr User johnb D. Kranzlmüller SuperMUC Europas schnellster Rechner 20

22 IKT und Globale Erwärmung 2 3% of the world s greenhouse gas emissions come from the use of computers! U.S. Department of Energy Energy consumed in 2008 in Germany: 616,6 TWh Electricity consumed by HPC & Data Centres: 10,1 TWh ca. 1.6% 6.4 million tons of CO2 Bundesministerium für Wirtschaft und Technologie ICT is fundamental to measuring and directly improving energy efficiency across all industries, including its own, which makes it different from all the other industry sectors. Stephan Scholz, CTO Nokia Siemens Networks D. Kranzlmüller SuperMUC Europas schnellster Rechner 21

23 Finanzielle Auswirkungen (Strompreis) / KWh for industrial customers Source: energy.eu (effective April 2011) D. Kranzlmüller SuperMUC Europas schnellster Rechner 22

24 Stromkosten deutscher Rechenzentren D. Kranzlmüller SuperMUC Europas schnellster Rechner 23

25 Energieverbrauch im Rechenzentrum Rechenzentren sind Heizgeräte mit integrierter Logik APC, Whitepaper #113 (2010) Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller SuperMUC Europas schnellster Rechner 24

26 Energieeffizienz Gesamtsicht Reduce the power losses in the power supply chain Exploit your possibilities for using compressorless cooling und use energy efficient cooling technologies (e.g. direct liquid cooling) Re use waste heat of IT systems Use newest semiconductor technology Use of energy saving processor and memory technologies Consider using special hardware or accelerators tailored for solving specific scientific problems or numerical algorithms Monitor the energy consumption of the compute systems and the cooling infrastructure Use energy aware system software to exploit the energy saving features of your target platform Monitor and optimize the performance of your scientific applications Use most efficient algorithms Use best libraries Use most efficient programming paradigm Energy efficient hardware Energy efficient infrastructure Energy aware software environment Energy efficient applications Arndt Bode, ISC 12, Hamburg, Thursday Keynote, June 21, 2012 D. Kranzlmüller SuperMUC Europas schnellster Rechner 25

27 ICT GLOW Konferenz D. Kranzlmüller SuperMUC Europas schnellster Rechner 26

28 Energieverbrauch muss optimiert werden

29 Ernst A. Graf D. Kranzlmüller 28

30 Leibniz Rechenzentrum der Bayerischen Akademie der Wissenschaften Ernst A. Graf D. Kranzlmüller SuperMUC Europas schnellster Rechner 29

31 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler D. Kranzlmüller SuperMUC Europas schnellster Rechner 30

32 Das Münchner Wissenschaftsnetz (MWN) D. Kranzlmüller SuperMUC Europas schnellster Rechner 31

33 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler Landesrechenzentrum für alle bayerischen Hochschulen und weitere wissenschaftliche Einrichtungen Spitzen Kapazitäten Spezialdienste, Landeslizenzen Backup und Archivzentrum (15 Petabyte, über 9 Milliarden Dateien) Verteilte Dateisysteme Kompetenzzentrum (Netze, HPC, Grid Computing, IT Management) D. Kranzlmüller SuperMUC Europas schnellster Rechner 32

34 Zentrum für Virtuelle Realität und Visualisierung (V2C) 5 Seitenprojektionsraum + Powerwall D. Kranzlmüller SuperMUC Europas schnellster Rechner 33

35 Das Leibniz Rechenzentrum ist Gemeinsames Rechenzentrum für alle Münchner Hochschulen Mit 156 Mitarbeitern und 38 wiss. und stud. Hilfskräften Für mehr als Studentinnen und Studenten und Für mehr als Angestellten einschließlich Wissenschaftlerinnen und Wissenschaftler Landesrechenzentrum für alle bayerischen Hochschulen und weitere wissenschaftliche Einrichtungen Spitzen Kapazitäten Spezialdienste, Landeslizenzen Backup und Archivzentrum (15 Petabyte, über 9 Milliarden Dateien) Verteilte Dateisysteme Kompetenzzentrum (Netze, HPC, Grid Computing, IT Management) Nationales Höchstleistungsrechenzentrum Gauß Zentrum für Supercomputing Einbindung in Europäische HPC und Grid Projekte D. Kranzlmüller SuperMUC Europas schnellster Rechner 34

36 Gauss Centre for Supercomputing (GCS) Gauß Zentrum für Supercomputing Zusammenschluss der drei deutschen Höchstleistungsrechenzentren zu einer virtuellen Organisation John von Neumann Institut für Computing (NIC) Höchstleistungsrechenzentrum Stuttgart (HLRS) Leibniz Rechenzentrum (LRZ) Größter Höchstleistungsrechnerverbund in Europa Gründung des GCS e.v. 13. April Hauptpartner im EU Project PRACE (Partnership for Advanced Computing in Europe) D. Kranzlmüller SuperMUC Europas schnellster Rechner 35

37 The European Scientific Case Weather, Climatology, Earth Science degree of warming, scenarios for our future climate. understand and predict ocean properties and variations weather and flood events Astrophysics, Elementary particle physics, Plasma physics systems, structures which span a large range of different length and time scales quantum field theories like QCD, ITER Material Science, Chemistry, Nanoscience understanding complex materials, complex chemistry, nanoscience the determination of electronic and transport properties Life Science system biology, chromatin dynamics, large scale protein dynamics, protein association and aggregation, supramolecular systems, medicine Engineering complex helicopter simulation, biomedical flows, gas turbines and internal combustion engines, forest fires, green aircraft, virtual power plant D. Kranzlmüller SuperMUC Europas schnellster Rechner 36

38 SOFIA Stratospheric Observatory For Infrared Astronomy Plattform: Boeing 747 SP Max. Bruttogewicht: kg Spannweite: 60m Max. Entfernung: km Teleskop Gewicht: kg Durchmesser: 2.7m Ansichtswinkel: Entwickelt und gebaut in Deutschland D. Kranzlmüller SuperMUC Europas schnellster Rechner 37

39 Numerische Untersuchung der Lärmentwicklung von Flugzeugtriebwerken Rolls Royce Trent 1000 engine on a Boing 787 Dreamliner (copyright Rolls Royce plc 2010 ) Institut für Strömungsmechanik und Technische Akustik, Technische Universität Berlin Leitung F. Thiele Wissenschaftler D. Eschricht, J. Yan, L. Panek and K. Tawackolian Projekt Partner Rolls Royce Deutschland Iso surfaces of the density showing resolved turbulent flow structures a) standard DES; b) modified DES, unserrated nozzle; c) modified DES, serrated nozzle; d) serrated short cowl nozzle surface mesh with every second grid line shown D. Kranzlmüller SuperMUC Europas schnellster Rechner 38

40 Globale hochauflösende Gravitationsfeldbestimmung Institut für Astronomische und Physikalische Geodäsie, Technische Universität München Leitung T. Gruber Wissenschaftler T. Fecher, R. Pail Geoid, physikalisches Modell der Erdfigur Gravitätsanomalien (10 3m/s2) D. Kranzlmüller SuperMUC Europas schnellster Rechner 39

41 Anwendungsbeispiele am LRZ Strömungsdynamik: Optimierung von Turbinen, Tragflächenoptimierung, Lärmreduktion, Klimatisierung in Zügen Fusionsforschung: Plasma in künftigen Fusionsreaktoren (ITER) Astrophysik: Entstehung und Entwicklung von Sternen und Galaxien Festkörperphysik: Supraleitung, Oberflächeneigenschaften Geophysik: Erdbebenszenarien Materialwissenschaften: Halbleiter Chemie: Katalysatorreaktionen Medizin und Medizintechnik: Blutströmungen, Aneurysmen, Klimatisierung in Operationssälen Biowissenschaften: Viruseigenschaften, Genom Analyse Klimatologie: Ozeanströmungen D. Kranzlmüller SuperMUC Europas schnellster Rechner 40

42 Verteilung der Rechenzeit nach Anwendungsgebieten am LRZ D. Kranzlmüller SuperMUC Europas schnellster Rechner 41

43 Entwicklung der Spitzenrechenleistung und des Hauptspeichers 10,000,000 SuperMUC IBM 1,000,000 = 1 Peta fold every 4 years Double every 14.1 Montths HLRB2: SGI Altix Linux-Cluster 100,000 GFlop/s, GByte 10,000 1, = 1Tera... KSR IBM SP2 Cray T90 Fujitsu HLRB1: Hitachi SR Cray Y-MP2 Cray Y-MP8 GFlop/s GByte = 1Giga 1 D. Kranzlmüller SuperMUC Europas schnellster Rechner 42

44 Höchstleistungsrechner SGI Altix 4700 Foto Helmut Payer, produced by gsicom D. Kranzlmüller SuperMUC Europas schnellster Rechner 43

45 Zeitplan Beschaffung SuperMUC Konzeptgespräche mit Herstellern 12/ /2009 Begin der baulichen Erweiterung H Installation von Prototyp Systemen Q2/Q Festlegung des Konzepts 12/2009 Festlegung der Benchmarks 12/2009 Testphase Benchmarks 01 02/2010 Wettbewerblicher Dialog mit Herstellern 02/ /2010 Vertragsabschluss 12/2010 Test und Migrationssystem 04/2011 Fertigstellung Gebäude Q Installation Phase1 12/2011 Im Anschluss: Abnahme Tests D. Kranzlmüller SuperMUC Europas schnellster Rechner 44

46 Das LRZ Gebäude vor der Erweiterung Foto: Ernst A. Graf D. Kranzlmüller SuperMUC Europas schnellster Rechner 45

47 LRZ Erweiterungsbau Foto: Horst-Dieter Steinhöfer Grafik: Herzog+Partner für StBAM2 (staatl. Hochbauamt München 2) Foto: Ernst A. Graf D. Kranzlmüller SuperMUC Europas schnellster Rechner 46

48 LRZ Erweiterung High End System Linux Cluster, Hosting/Housing, Servers (Tape) Archive/Backup, Disks Cooling, Water Air Processing Power, Transformers, UPS, D. Kranzlmüller 47

49 SuperMUC: Technische Daten Schnellster Computer in Deutschland/Europa in Nodes with 2 Intel Sandy Bridge EP CPUs 207 Nodes with 4 Intel WestmereEX CPUs 9531 Nodes with total CPUs / Cores 3 PetaFLOP/s Peak Performance 324 TB Hauptspeicher InfinibandFDR10 Interconnect Large File Space for multiple purpose 10 PB File Space (IBM GPFS) with 200GigaByte/s aggregated I/O Bandwidth 2 PB NAS Storage with 10GigaByte/s aggregated I/O Bandwidth No GPGPUs or other Accelerator Technology Innovative Technology for Energy Effective Computing Hot Water Cooling Energy Aware Scheduling Most Energy Efficient high End HPC System PUE 1.1 Green IT D. Kranzlmüller SuperMUC Europas schnellster Rechner

50 System Parameters SuperMUC Number of Islands (thin+fat) 18+1 Number of nodes >9000 Number of cores > Processor types (thin + fat) SB EP + WM EX Total size of memory (TByte) >300 Expected electrical power consumption of total system (kw) 2800 Inlet temperature of compute node coolant ( C) >30 Outlet temperature of compute node coolant (range) ( C) 33 to 50 Topology within an island fully nonblocking Topology between islands pruned tree (4:1) IB technology FDR10 Theoretical bisection bandwith of the entire system (GByte/s) >11000 Parallel file system type GPFS NAS user storage NetApp Size of parallel storage (Pbyte) 10 Size of NAS user storage (PByte) 2+ (2 for Replica) Aggregate theoretical bandwidth to/from SAN/DAS storage (GByte/s) 200 Aggregate theoretical bandwidth to/from NAS storage (GByte/s) 10 D. Kranzlmüller SuperMUC Europas schnellster Rechner 49

51 LRZ Video: SuperMUC rendered on SuperMUC by LRZ D. Kranzlmüller SuperMUC Europas schnellster Rechner 51

52 LRZ Schnellster Rechner Europas, weltweit Platz 4 auf der Liste der schnellsten Rechner (Top 500) D. Kranzlmüller 52

53 PRACE Tier LRZ: SuperMUC Internet Achive and Backup ~ 30 PB Snapshots/Replika 1.5 PB (separate fire section) $HOME 1.5 PB / 10 GB/s NAS 80 Gbit/s Desaster Recovery Site Peak: 3 PF expected: <3 MW >150,000 cores pruned tree (4:1) non blocking SB-EP 16 cores/node 2 GB/core non blocking WM-EX 40cores/node 6.4 GB/core GPFS for $WORK $SCRATCH 10 PB 200 GB/s Compute nodes 18 Thin node islands (each >8000 cores) Compute nodes 1 Fat node island (8200 cores) SuperMIG I/O nodes D. Kranzlmüller SuperMUC Europas schnellster Rechner 53

54 Gesamtkostenbetrachtung von Rechnersystemen Gesamtkosten: Beschaffungskosten + Betriebskosten Betriebskosten: Gebäudefixkosten + Personal + Wartungskosten + Strom und sonstige Verbrauchskosten Gebäude, Wartungs und Beschaffungskosten nahezu konstant Sonstige Verbrauchskosten (z.b. Kühlflüssigkeit, Filter, Löschgas,..) nahezu konstant Stromkosten: Verbrauchsmenge x Einheitspreis Einheitspreis steigt (u.a. durch staatliche Regulierung: LRZ ca. 4 x USA / ca. 2 x F) Verbrauchsmenge steigt technologiebedingt, u.a. ~ Taktfrequenz abhängig von Systemgröße Supercomputer werden immer größer D. Kranzlmüller SuperMUC Europas schnellster Rechner 54

55 Entwicklung des Stromverbrauchs Stromverbrauch in MWh D. Kranzlmüller SuperMUC Europas schnellster Rechner 55

56 SuperMUC Kühlung D. Kranzlmüller SuperMUC Europas schnellster Rechner 56

57 IBM System x idataplex Direct Water Cooled Rack idataplex DWC Rack w/ water cooled nodes (front view) idataplex DWC Rack w/ water cooled nodes (rear view of water manifolds) Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller SuperMUC Europas schnellster Rechner 57

58 IBM idataplex dx360 M4 Torsten Bloth, IBM Lab Services - IBM Corporation D. Kranzlmüller SuperMUC Europas schnellster Rechner 58

59 D. Kranzlmüller SuperMUC Europas schnellster Rechner 59

60 Kühlungskonzept: Dediziert freier Kühlkreislauf D. Kranzlmüller 60

61 Kühlungsinfrastruktur 3. Stockwerk (Warmwasserverteiler) Bilder: StBAM2 (staatl. Hochbauamt München 2) D. Kranzlmüller SuperMUC Europas schnellster Rechner 61

62 Kühlungsinfrastruktur Dach (Rückkühlwerke GOHL) Bilder: StBAM2 (staatl. Hochbauamt München 2) D. Kranzlmüller SuperMUC Europas schnellster Rechner 62

63 SuperMUC HPL Energieverbrauchmessung Power (Machine Room, kw) Power (PDU, kw) Power (kw) :3018:0019:3021:0022:30 0:00 1:30 3:00 4:30 6:00 7:30 9:00 10:3012:0013:30 Time (Clock) Energy Consumption (kwh) Power (infrastructure, kw) Energy (Machine Room, kwh) Integrated Power (PDUs, kwh) Energy efficiency (single number in GFlops/Watt) 9,380E 01 (PDU, 10 minutes resolution, whole run) 9,359E 01 (PDU, 1 minutes resolution, whole run, without cooling) 9,359E 01 (PDU, 1 minutes resolution, whole run, cooling included) 8,871E 01 (machine room measurement, whole run) 7,296E 01 (infrastructure measurement, whole run) D. Kranzlmüller SuperMUC Europas schnellster Rechner 63

64 SuperMUC & Green IT D. Kranzlmüller 64

65 SuperMUC Europas schnellster Rechner Dieter Kranzlmüller 65

66 Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences > 260 Sites > 55 Countries > 150,000 CPUs > 28 PetaBytes Disk > 14,000 Users > 200 VOs > 330,000 Jobs/Day D. Kranzlmüller Status February 2010: 66

67 CERN European Organisation for Nuclear Research CERN D. Kranzlmüller SuperMUC Europas schnellster Rechner 67

68 Large Hadron Collider (LHC) D. Kranzlmüller SuperMUC Europas schnellster Rechner 68

69 LHC Detektoren D. Kranzlmüller SuperMUC Europas schnellster Rechner 69

70 Biomedicine: WISDOM World wide In Silico Docking On Malaria Vernachlässigte Krankheiten Biomedizinische Herausforderungen Docking Experimente: 46 Millionen Ligandsen Laufzeit: 6 Wochen Data: 1 TByte 1000 CPUs in 15 Ländern (~80 CPU Jahre) D. Kranzlmüller SuperMUC Europas schnellster Rechner 70

71 Beispiel: Blutflußsimulation Bild: D. Kranzlmüller University Amsterdam (UvA) 71

72 Blutflußsimulation in menschlichen Arterien Echtzeitsimulation zur Operationsplanung Berechnung im Grid Blutflußsimulation D. Kranzlmüller SuperMUC Europas schnellster Rechner 72

73 Visualisierung im CAVE Simulation von Überflutungen Visualisierung der Ergebnisse im CAVE Das Unsichtbare Grid Cooperation with Slowak Academy of Sciences D. Kranzlmüller SuperMUC Europas schnellster Rechner 73

74 Visualisierung auf der PSP D. Kranzlmüller SuperMUC Europas schnellster Rechner 75

75 D. Kranzlmüller 76

76 MNM Team AppleTV Cluster 4+2 Knoten, verbunden über 100 MBit Ethernet ATV2 Benchmarks: 4 Knoten erreichen MFlops/Watt Energieverbrauch ca. 10 Watts (Gesamt für alle 4 Knoten) Energeffizienz = 16 MFlops/Watt D. Kranzlmüller SuperMUC Europas schnellster Rechner 77

77 SuperMUC Europas schnellster Rechner Dieter Kranzlmüller D. Kranzlmüller SuperMUC Europas schnellster Rechner 78