NEC SX-ACE HPC-System

Transkript

1 Erste Erfahrungen mit dem neuen System Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

2 Überblick Rechnerkonfiguration Veränderungen SX-9 zu SX-ACE Benutzergruppen Erste Performanceergebnisse Energieverbrauch Zusammenfassung Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

3 NEC HPC-System: Konfiguration (bis 08/2014) 4 Vorrechner Intel Xeon E (16 Cores, 128 GB Hauptspeicher) 68 Linux-Cluster Knoten Intel-Xeon E (16 Cores, 128 GB bzw. 256 GB Hauptspeicher) Theoretische Peak-Performance: 38,6 TFlops 6 SX-9 Knoten mit je 16 Vektorprozessoren (je 100 GFlops) 512 GB Hauptspeicher 2,5 TB lokaler Plattenplatz Speicherbandbreite 256 GB/s Theoretische Peak-Performance: 9,6 TFlops globales GFS-Dateisystem: 500 TB Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

4 NEC HPC-System: aktuelle Konfiguration 4 Vorrechner Intel Xeon E (16 Cores, 128 GB Hauptspeicher) 134 Linux-Cluster Knoten 116 Intel Xeon E (16 Cores, 128 GB bzw. 256 GB Hauptspeicher) 18 Intel Xeon E5-2680v3 (24 Cores, 128 GB Hauptspeicher) 2288 Cores; Peak Performance: 47,2 TFlops 256 SX-ACE Vektorknoten mit jeweils 4 Vektor-Cores (je 64 GFlops) 64 GB Hauptspeicher kein lokaler Plattenplatz Speicherbandbreite: 256 GB/s 1024 Vektor-Cores mit einer Peak-Performance von 65,5 TFlops globales ScaTeFS-Dateisystem: 1,5 PB Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

5

6 NEC SX-ACE: Benutzergruppen bis 8/2014 seit 10/2014 Programme GEOMAR 72 % 89 % NEMO, KCM, Ostseemodell Anorganische Chemie 25 % 9 % Gaussian Geowissenschaften 3 % 1 % NEMO Theo. und Astrophysik 1% Fosite Exp. und Angew. Physik < 1 % Gaussian Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

7 Erste Performanceuntersuchungen: Programme STREAM Benchmark Strukturmodell für amorphes Silicium (Skalarprogramm) Jacobi-Iterationen (Helmholtz Gleichungen) Gaussian 09 NEMO Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

8 STREAM (TRIAD) Speicherbandbreite [GB/s] Anzahl Threads Intel Xeon E2670 Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

9 STREAM (TRIAD) 120 Speicherbandbreite [GB/s] Intel Xeon E2670 Intel Xeon E2680v Anzahl Threads Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

10 STREAM (TRIAD) Speicherbandbreite [GB/s] 250 NEC SX-ACE Intel Xeon E2670 Intel Xeon E2680v Anzahl Threads Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

11 Skalare Performance Strukturmodell für amorphes Silicium Erzeugung ungeordneter Strukturen aus einem regulären Gitter Hauptrechenzeit: Monte-Carlo Relaxationen Untersuchung von 5 Modellgrößen jeweils 5 unabhängige Realisierungen Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

12 Skalares Programm amorphes Silicium x=1 [sek] x= 5 [sek] x=10 [sek] x=20 [sek] x=50 [sek] x=100 [sek] NEC SX NEC SX-ACE Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

13 Skalares Programm amorphes Silicium x=1 [sek] x= 5 [sek] x=10 [sek] x=20 [sek] x=50 [sek] x=100 [sek] NEC SX NEC SX-ACE Intel Xeon E Intel Xeon E2680v Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

14 Skalares Programm amorphes Silicium x=1 [sek] x= 5 [sek] x=10 [sek] x=20 [sek] x=50 [sek] x=100 [sek] NEC SX NEC SX-ACE Intel Xeon E Intel Xeon E2680v SX-ACE verbesserte Skalarperformance Intel SandyBridge-Prozessoren 5mal schneller Intel Haswell-Prozessoren 10mal schneller Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

15 Vektorprogramm: Jacobi-Iterationen Programm zur Lösung von Helmholtz-Gleichungen Jacobi-Iterationen Vektorisierungsgrad: 99,6 % Performance für unterschiedliche Gittergrößen untersucht jeweils 5 unabhängige Realisierungen durchgeführt Vergleich mit SX-9 und Intel-Prozessoren Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

16 Jacobi-Iterationen: Vergleich SX-9 und SX-ACE Gittergrößee SX-9 [GFlops] SX-ACE [GFlops] x ,0 38, x ,1 38, x ,6 38, x ,3 Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

17 Jacobi-Iterationen: Vergleich SX-ACE und Intel Haswell Gittergrößee SX-ACE Walltime [sek] Intel E-2630v3 Walltime[sek] x x x x Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

18 Jacobi-Iterationen gleiche Performance auf SX-9 und SX-ACE SX-ACE: 60 % der theoretischen Peak-Performance Faktor schneller als aktueller Haswell-Prozessor Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

19 Gaussian 09 Programmpaket zur Berechnung der elektronischen Struktur von Molekülen ab-initio und semiempirische Verfahren verschiedene Methoden der Dichtefunktionaltheorie (DFT) SMP-parallelisiert für beide Komponenten unseres hybriden NEC-Systems verfügbar Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

20 Gaussian 09 Programmpaket zur Berechnung der elektronischen Struktur von Molekülen ab-initio und semiempirische Verfahren verschiedene Methoden der Dichtefunktionaltheorie (DFT) SMP-parallelisiert für beide Komponenten unseres hybriden NEC-Systems verfügbar Vergleichsberechnungen: SX-9 zu SX-ACE SX-ACE zu SandyBridge-Prozessoren Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

21 Gaussian 09 Programmpaket zur Berechnung der elektronischen Struktur von Molekülen ab-initio und semiempirische Verfahren verschiedene Methoden der Dichtefunktionaltheorie (DFT) SMP-parallelisiert für beide Komponenten unseres hybriden NEC-Systems verfügbar Vergleichsberechnungen: SX-9 zu SX-ACE SX-ACE zu SandyBridge-Prozessoren verwendete Gaussian-Version D verschiedene Berechnungsmethoden untersucht Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

22 Gaussian 09: Vergleich SX-9 und SX-ACE alle Berechnungen laufen auf SX-ACE schneller Performancesteigerungen liegen im Bereich von 10 % bis 40 % Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

23 Gaussian 09: Vergleich SX-ACE und SandyBridge nahezu alle Berechnungen auf SX-ACE schneller DFT-Berechnungen um Faktor 2-4 schneller Ausnahme: eine Dichteberechnung 6% langsamer weiterer Vorteil: Checkpointing möglich Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

24 Gaussian 09: Zusammenfassung Gaussian weiterhin eine sehr gute Performance für unsere Benutzer kein Nachteil: max. Nutzung von 4 Cores geringerer Hauptspeicher im Vergleich zur SX-9 Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

25 NEMO Nucleus for European Modelling of the Ocean globales Ozeanmodell zur Modellierung der Ozeandynamik und der Biogeochemie des Ozeans zwei verschiedene Code-Versionen untersucht Version 3.2 Version 3.4 Variante: NEMO-ORCA 0.25 Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

26 NEMO 3.2: Vergleich SX-9 und SX-ACE Zeit time-stepping [sek] SX Anzahl Knoten bzw. CPUs (SX-9) Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

27 NEMO 3.2: Vergleich SX-9 und SX-ACE Zeit time-stepping [sek] SX-9 SX-ACE (ppn=4) Anzahl Knoten bzw. CPUs (SX-9) Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

28 NEMO 3.2: Vergleich SX-9 und SX-ACE Zeit time-stepping [sek] SX-9 SX-ACE (ppn=4) SX-ACE (ppn=1) Anzahl Knoten bzw. CPUs (SX-9) Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

29 NEMO 3.2: Striping ScaTeFS: Dateien standardmäßig im non-stripe Format Input-Dateien im stripe-format Performancegewinn Nemo 3.2: geeignete Parameter stripesize: 512 KB chunksize: 4 MB Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

30 NEMO 3.2: SX-ACE Zeit time-stepping [sek] Anzahl Knoten SX-ACE (ppn=4) SX-ACE (ppn=1) SX-ACE (ppn=1), striping Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

31 NEMO 3.2: Vergleich SX-ACE und CRAY XC30 Zeit time-stepping [sek] SX-ACE (ppn=1) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

32 NEMO 3.2: Vergleich SX-ACE und CRAY XC30 Zeit time-stepping [sek] SX-ACE (ppn=1) E5-2695v2 (ppn=24) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

33 NEMO 3.2: Vergleich SX-ACE und CRAY XC30 Zeit time-stepping [sek] SX-ACE (ppn=1) E5-2695v2 (ppn=24) E5-2695v2 (ppn=6) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

34 SX-ACE: Vergleich NEMO 3.2 und Zeit time-stepping [sek] NEMO 3.2 NEMO 3.4 Anzahl Knoten NEMO NEMO Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

35 NEMO 3.4: Vergleich SX-ACE und CRAY XC Zeit time-stepping [sek] SX-ACE (ppn=1) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

36 NEMO 3.4: Vergleich SX-ACE und CRAY XC Zeit time-stepping [sek] SX-ACE (ppn=1) E5-2695v2 (ppn=24) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

37 NEMO 3.4: Vergleich SX-ACE und CRAY XC Zeit time-stepping [sek] SX-ACE (ppn=1) E5-2695v2 (ppn=24) E5-2695v2 (ppn=6) Anzahl Knoten Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

38 NEMO 3.4: Vergleich SX-ACE und CRAY XC NEC SX-ACE (1 Core/Knoten) E5-2695v2 (24 Cores/Knoten) E5-2695v2 (6 Cores/Knoten) Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

39 NEMO: SX-ACE Performance Gesamtperformance [GFlops] Anzahl Knoten NEMO 3.2 NEMO 3.4 Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

40 NEMO: Zusammenfassung läuft auch weiterhin sehr gut auf der SX-ACE Architektur hohe Einzelprozessor-Performance bis zu 20 GFlops/Core Vektorisierungsgrad > 99,6% profitiert sehr von hoher Speicherbandbreite sehr gutes Skalierungsverhalten SX-ACE Rechenzeiten mit aktuellen Clusterprozessoren bisher nicht erreichbar Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

41 NEC SX-ACE und Energieverbrauch NEC SX-9 reine Luftkühlung Stromverbrauch pro Knoten: max. Wert bei Volllast: 31 kw Normalbetrieb: 27 kw 162 kw für 6 SX-9 Knoten mit 9,6 TFlops Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

42 NEC SX-ACE und Energieverbrauch NEC SX-9 reine Luftkühlung Stromverbrauch pro Knoten: max. Wert bei Volllast: 31 kw Normalbetrieb: 27 kw 162 kw für SX-9 Knoten mit 9,6 TFlops NEC SX-ACE hybrides Kühlungssystem Stromverbrauch pro Rack (64 Knoten): max. Wert bei Volllast: 16 kw 64 kw für 256 Knoten mit 65,6 TFlops Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

43 Hybrides NEC SX-ACE System: Erstes Fazit bisher sehr zufrieden mit der Leistungsfähigkeit der SX-ACE Knoten Fortführung eines hybriden Rechnersystem wird von Benutzern sehr gut angenommen: neue Benutzergruppen auf beiden Systemarchitekturen Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel

44 Acknowledgement Thanks to Markus Scheinert (GEOMAR) Christian Gradert (Institut für Anorganische Chemie, CAU) Jens-Olaf Beismann (NEC) Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel