magnitude Erste Erfahrungen mit dem neuen HPC-System der UDE

Transkript

1 magnitude Erste Erfahrungen mit dem neuen HPC-System der UDE ZKI-AK Supercomputing Holger Gollan

2 Agenda Die Universität Duisburg-Essen (UDE) Das Zentrum für Informations- und Mediendienste (ZIM Das Center for Computational Sciences and Simulation (CCSS) Der Weg zum neuen System Das neue System - magnitude Erste Erfahrungen

3 UDE Eine der jüngsten und größten Universitäten Deutschlands Gegründet 2003 als Fusion von zwei (jungen) Universitäten Studierende 19 % ausländische Studierende 466 Professoren wissenschaftliche Beschäftigte 11 Fakultäten

4 ZIM 2005 gegründet Zusammenschluss von Rechen- und Medienzentrum, DV der Verwaltung und Teile der DV der UB 5 Geschäftsbereiche, 2 Stabsstellen und Administration Seit 2010 Betrieb der Cray XT6m

5 CCSS Gegründet 2010, in Verbindung mit der Anschaffung der Cray XT6m Simulationen auf verschiedenen Levels, nicht nur HPC Sichtbarkeit des wissenschaftlichen Rechnens an der UDE und darüber hinaus Rund 30 Arbeitsgruppen unterschiedlicher Fakultäten (Physik, Chemie, Ingenieurwissenschaften, Mathematik, Biologie, Medizin, Wirtschaftswissenschaften) Zusammenarbeiten über Fakultätsgrenzen hinweg, methodenbasiert.

6 Support-Team Wissenschaftliches Rechnen Einrichtung Ende 2014/Anfang Wissenschaftler aus AGs der UDE mit Bezug zum wiss. Rechnen Dominik Brands (Mechanik) Olaf Hasemann (Fluiddynamik) Beratung und Unterstützung der Nutzer Ansprechpartner bei Beschaffungen Mithilfe im gesamten Prozess zur magnitude Support für Betrieb der magnitude

7 Antrag Großgeräteantrag nach Art. 91 b im Frühjahr 2014 Volumen 3,3 Mio, 10 % aus der UDE, AGs Kempf und Schröder Bewilligung durch die DFG im Frühjahr 2015 Verausgabung der Mittel bis Ende März 2016

8 Ausschreibung 2 Referenzinstallationen in der aktuellen TOP500-Liste vom Juni 2015 indirekte Wasserkühlung, Wassertemperatur Grad Celsius Leistungsaufnahme unter 200 kw, Einhaltung der Standfläche x86_64 Prozessoren mit mindestens 8 Cores pro Socket mindestens 2,6 GB RAM pro Core, für mind. 1/8 der Cores doppelter Hauptspeicher homogenes Verhalten über die gesamte Maschine paralleles Filesystem mit mind. 450 TB nutzbarem Plattenplatz Vier Benchmarks, um die Angebote zu bewerten

9 Die vier Benchmarks OpenFoam (CFD, C++, MPI) VASP 5 (QM, Fortran, MPI) Particles (MPI/OpenMP) PsiPhi (Fortran, MPI) Faktor 2, testet I/O, Filesystem Vergleich mit SuperMUC und mit idealem Speedup Zusätzlich Berücksichtigung der Anzahl der Kerne

10 Ergebnisse der Benchmarks

11 Gesamtauswertung der Benchmarks

12 Benchmarks + Knotenzahl

13 Standortfrage Keine Möglichkeit der Unterbringung in den bisherigen Serverräumen Suche nach externen Alternativen Nach vielen vergeblichen Versuchen Angebot der DU-IT zum Bau eines neuen Serverraums Neubau ermöglicht die Berücksichtigung unserer Wünsche Zusätzliche Flächen für weitere Infrastruktur

14 Eckdaten zum neuen DataCenter SZ 3 Gänge mit Kaltgangeinhausung (Luftkühlung) 1 Gang mit indirekter Wasserkühlung (Rücktüren) Max. 690 kw (540 kw USV) im Endausbau Netzersatzanlage (Notstromdiesel) 230 KW für magnitude Redundante LWL-Anbindung an UDE Netz 4 Zonen Sicherheitskonzept

15 Nutzungsplanung für SZ

16 es ist vollbracht

17 Einige Kennzahlen 564 Compute Nodes / Cores Intel E5-2650_v4 Broadwell CPUs Intel OmniPath Interconnect GB Main Memory 480 TB NEC LXFS Storage

18 Die TOP 500-Listen (Stand: Juni 2016) HPL: 435,8 TFlop/s (93 % efficiency) -> Platz 279 HPCG: 8,8 TFlop/s -> Platz 52 Green 500: 2,18 TFlops/W -> Platz 48

19 Abnahme

20 Zeitlicher Abriss Erstellung der Leistungsbeschreibung 1./2. Quartal 2015 EU-Ausschreibung (min. 8 Wochen) Auswertung der Angebot Mitte Okt Zuschlagserteilung inkl. Wartefrist für Einsprüche (ca. 2 Wochen) Erstellung der Vertragsdokumente ca. 3 Tage hier: EVB-IT Systemlieferungsvertrag im Nov Lieferung Mitte Feb Inbetriebnahme / Stabilitätsphase / Abnahme normaler Nutzerbetrieb seit

21 Erste Erfahrungen Filesystem und Netzwerk haben die Erwartungen erfüllt. System skaliert gut, auch bis zur vollen Größe Leichte Probleme mit OmniPath: Switche, Kabel, Karten LxFS: Anfangsschwierigkeiten SLURM und das Cluster-Management von NEC sind noch Neuland für uns.

22 Aktuelle Auslastung

23 Vielen Dank für Ihre Aufmerksamkeit!