Ausblick auf den HLRN III - die neue HPC Ressource für Norddeutschland

Transkript

1 Ausblick auf den HLRN III - die neue HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße Hannover naundorf@rrzn.uni-hannover.de 14. März 2013

2 Inhalt Der HLRN Verbund Der aktuelle HLRN-II Ausblick auf den HLRN-III Phase 1 (Ende 2013) Phase 2 (Ende 2014) Architektur Cray XC30 Software Vergleich HLRN-II HLRN-III Holger Naundorf, HLRN-III 14. März 2013 Seite 2

3 Der HLRN Verbund Der HLRN wurde als Zusammenschluss der 6 nördlichen Bundesländer (Berlin, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein) gegründet. Ende 2012 ist Brandenburg als 7. Mitglied beigetreten. Standorte der Hardware sind Berlin (Konrad-Zuse-Zentrum) Hannover (Leibniz Universität IT Services) Holger Naundorf, HLRN-III 14. März 2013 Seite 3

4 HLRN-II Berlin und Hannover betreiben identisch konfigurierte Systeme von (Beschaffung: 2008) ca CPU Kerne Verbindung über dedizierten 10GBit Link einheitliche Nutzer- und Projektverwaltung, gespiegelte Nutzerverzeichnisse System kann auch beim kompletten Ausfall einer Site weiter genutzt werden keine Komplexübergreifenden Jobs Fachberater für die Nutzer verteilt an Standorten in allen beteiligten Ländern Holger Naundorf, HLRN-III 14. März 2013 Seite 4

5 HLRN-II HLRN-II Komponenten pro Site: Service Nodes (data, perm, login) 2x 400TB Filesystem (Lustre) XE 48 Knoten (2x Quad-Core Intel Harpertown, 64GB), 4x DDR Infiniband ICE1 320 Knoten (2x Quad-Core Intel Harpertown, 16GB), 4x DDR Infiniband ICE2 960 Knoten (2x Quad-Core Intel Nehalem, 48GB), 4x DDR Infiniband dual-rail UV 4.5 Racks, 32 Knoten pro Rack (2x Octo-Core Intel Nehalem, 64GB), 2TB NUMA pro Rack Holger Naundorf, HLRN-III 14. März 2013 Seite 5

6 HLRN-III November 2010: Antragsskizze an die DFG Juli 2011: Genehmigung des Vollantrags März 2012: EU weite Aussschreibung des HLRN-III im Verhandlungsverfahren August 2012: Beginn der Verhandlungen mit IBM und Cray Oktober 2012: Finale Angebote nach drei Verhandlungsrunden Dezember 2012: Vertragsabschluss mit Cray September 2013: geplante Betriebsbereitschaft HLRN-III in Berlin Dezember 2013: geplante Betriebsbereitschaft HLRN-III in Hannover Ende 2014: Installation HLRN-III Phase 2 Holger Naundorf, HLRN-III 14. März 2013 Seite 6

7 HLRN-III Anforderungen Kriterien der Ausschreibung: Investitionssumme und Räumlichkeiten (30 M EUR) Limitierung der Betriebskosten (Wartung, Strom und Klima) (2 M EUR pro Jahr und Site für 5 Jahre) Erhalt der Expertise aus dem HLRN-II (Forderung mindestens ein Teil der MPP Komponente x86 CPU + Linux) extrem heterogener Anwendungsmix, d.h. die Leistungsbewertung kann nicht an einem singulären Benchmark festgelegt werden Anbieter mussten Leistungszusagen für 8 repräsentative Applikationen abgeben Garantierte Lauffähigkeit aller großen ISV und OpenSource Pakete Vorgaben für weitere Komponenten: SMP Knoten, Pre/Post-Processing und Dateisysteme Holger Naundorf, HLRN-III 14. März 2013 Seite 7

8 HLRN-III Hardware Phase 1 symmetrisch in Berlin + Hannover 4 Racks Cray XC Knoten (2x 12core Intel Ivy Bridge, 64GB RAM) Aries Interconnect Cores 46 TB Memory 329 TFlops peak 2 Pre/Post Knoten (4x 8core Intel Sandy Bridge, 768GB RAM) 1.4 PB Work-Filesystem (Lustre) 20GB/s Bandbreite 500TB /home /sw etc. (10GigE NFS) SMP Komponente in Hannover 32 Knoten 4x 8core Intel Sandy Bridge 256GB RAM 12 TB lokale Festplatten Infiniband FDR (Lustre + MPI) Holger Naundorf, HLRN-III 14. März 2013 Seite 8

9 HLRN-III Hardware Phase 2 Berlin: 6 Racks Cray XC Knoten (2x 12core Intel Haswell, 64GB RAM) Cores, 71 TB Memory, 1040 TFlops peak Hannover: 5 Racks Cray XC Knoten (2x 12core Intel Haswell, 64GB RAM) Cores, 59 TB Memory, 863 TFlops peak nur in Hannover 32 weitere SMP Knoten: 4x 10core Intel Ivy Bridge 512GB RAM 24 TB lokale Festplatten Infiniband FDR (Lustre + MPI) Lustre pro Site: 2.3 PB Work-Filesystem 31GB/s Bandbreite 2 weitere Pre/Post Knoten (4x 10core Intel Ivy Bridge, 1.5 TB RAM) pro Site Holger Naundorf, HLRN-III 14. März 2013 Seite 9

10 Endausbau MPP Komponente 3552 Knoten, 85k Cores, 222TB RAM, 2.5PFlops peak SMP Komponente 64 Knoten, 2300 Cores, 24TB RAM Work Dateisystem Lustre, 7.2PB Kapazität, 100GB/s I/O Bandbreite 8 Pre/Post Knoten, /home (500TB), Login Knoten,... In Phase 2 eventuell Tausch einiger Knoten zu CPU/GPU Konfiguration (Nvidia), je nach Bedarf der Nutzer. Holger Naundorf, HLRN-III 14. März 2013 Seite 10

11 Schema einer Site Holger Naundorf, HLRN-III 14. März 2013 Seite 11

12 HLRN-III Architektur Aufbau der Cray XC30 (Cascade) Die Kühlung erfolgt transversal. Packung der MPP Knoten in den XC30 Racks. Holger Naundorf, HLRN-III 14. März 2013 Seite 12

13 Aries Netzwerk Ein Aries Router pro Blade, direkt mit den PCIe 3.0 x16 Lanes eines Knotens verbunden. 1.3 µs Latenz 16GB/s Durchsatz (bidirektional) Knoten Router 16 Router werden über die Chassis-Backplane verbunden 6 Chassis werden elektrisch verkabelt optische Verkabelung zwischen den Gruppen Holger Naundorf, HLRN-III 14. März 2013 Seite 13

14 HLRN-III Software OS: Cray Linux Environment (CLE) auf der XC30, SLES auf den SMP und Pre/Post Knoten Compiler: GNU, Intel und Cray MPI: Intel MPI und Cray mpt Intel MKL + Cray Scientific Libraries Allinea DDT Debugger und/oder Totalview Intel und Cray Performance und Analysis Tools Batch: Moab/Torque HPC Suite Enterprise Edition Ein Cray Mitarbeiter zur Anwenderunterstützung und Portierung von OpenSource Paketen und Nutzerprogrammen. Holger Naundorf, HLRN-III 14. März 2013 Seite 14

15 HLRN-III vs. HLRN-II Anzahl Cores (MPP): 20k 85k größtes MPP Segment: 7680 cores cores RAM: 100TB 222TB peak Performance: 240 TFlops 2.5 PFlops Work Filesystem: 1.6 PB 7.2 PB Racks: Leistungsaufnahme: 1.6 MW 1.6 MW Holger Naundorf, HLRN-III 14. März 2013 Seite 15