T-Systems SfR - HPCN Workshop

Transkript

1 HPC System Design und die Auswirkungen auf die Anwendungsperformance Thomas Alrutz HPC & escience Solutions & Innovations - Scientific & Technical ICT T-Systems Solutions for Research GmbH T-Systems SfR - HPCN Workshop

2 Motivation HPC System Design und Kennzahlen der Hardware Höchst mögliche Performance für die Ziel Anwendungen Möglichst geringe Energieaufnahme der verwendeten Komponenten Best möglicher Anschaffungspreis des Gesamtsystems Möglichst ausgewogene Total Cost of Ownership (TCO) des Gesamtsystems Kennzahlen beim Hardware Systemdesign (Maße) Stream Benchmark für Memory Bandbreite der Compute-Knoten MPI Latenz & Bandbreite des Interconnects CPU-Taktfrequenz (wichtig für die Leistungsaufnahme) Anzahl der integrierten CPU-Cores (wichtig für die pro Core Leistung) IO-Leistung paralleles Filesystem: Meta-Datenrate und Durchsatz in GB/sec T-Systems SfR - HPCN Workshop

3 Historie Installierte & betreute Clustersysteme (Knotenanzahl >> 50) 2004 DLR AT 192 Knoten SC AMD Opteron 2.4 GHz Infiniband SDR 2005 DLR AS-BS 162 Knoten SC AMD Opteron 2.6 GHz Infiniband SDR Erweiterung mit 48 DC AMD Opteron 2.4 GHz 2006 DLR AS-GÖ 84 Knoten DC AMD Opteron 2.2 GHz Infiniband SDR 2008 Erweiterung von DLR-AE mit QC AMD Barcelona 1.9 GHz HE 2007 DLR C²A²S²E 786 Knoten QC AMD Barcelona 1.9 GHz HE Infiniband SDR + GPFS 2008 Upgrade auf Infiniband DDR (Fat-Tree) 2009 DLR AS-BS 92 Knoten QC AMD Shanghai 2.6 GHz Infiniband DDR + GPFS 2009 DLR AT TRACE 200 Knoten QC Intel Nehalem 2.53 GHz Infiniband DDR + GPFS 2011 Erweiterung 150 Knoten HC Intel Westmere 2.66 GHz Infiniband QDR 2010 DLR C²A²S²E 648 Knoten HC Intel Westmere 2.93 GHz Infiniband QDR* + GPFS 2010 DLR AS-GÖ 200 Knoten HC Intel Westmere 2.66 GHz Infiniband Ql QDR + GPFS *Blockierungsfaktor von 50% bei mehr als 24 Knoten/288 Cores T-Systems SfR - HPCN Workshop

4 Kennzahlen CPUs und Interconnect Übersicht der CPU Architekturen mit Angabe der typischen Kennzahlen Socket SC AMD Opteron 2.6 GHz 10,4 GFlops 7,8 GBs Stream Triad Socket DC AMD Opteron 2.6 GHz - 20,8 GFlops - 10,2 GBs Stream Triad Socket QC AMD Opteron 2.7 GHz 86,4 GFlops - 20,7 GBs Stream Triad Socket QC Intel Nehalem 2,9 GHz 93,7 GFlops - 37,1 GBs Stream Triad Socket HC Intel Westmere 2,9 GHz 140,6 GFlops - 42 GBs Stream Triad Socket 12C AMD MagnyCours 2.2GHz -211 Gflops - 52 GBs Stream Triad Übersicht der unterschiedlichen Netzwerke mit typischen Kennzahlen 2003 Infiniband SDR 10Gbit / MPI: 800 MB/sec 2.5 usec Max 288 Ports 2006 Infiniband DDR 20Gbit / MPI: 1600 MB/sec 1.8 usec* Max 288 Ports 2009 Infiniband QDR 40Gbit / MPI: 3200 MB/sec 1.5 usec * Max 384 Ports 2010 Infiniband QDR Qlogic 40Gbit / MPI: 3200 MB/sec 1.5 usec Max 384 Ports *Nur mit ConnectX HCA Adaptern erzielbar T-Systems SfR - HPCN Workshop

5 Beispiel Systemdesign Neubeschaffung Cluster für DLR Institut AS-GÖ/AS-Fluidsysteme Harte Anforderungen an den neuen HPC-Cluster Mindestens Quad-Core Prozessortechnologie auf x86-64 Basis Hohe Memory Bandbreite bei moderatem CPU-Takt (Strom) Netzwerk QDR Infiniband Interconnect Paralleles GPFS Filesystem mit 320 TB und 2 GB/sec Durchsatz 200 Compute-Knoten mit je 24 GB (60) bzw. 48 GB (140) RAM Wasserkühlung der kompletten Compute-Racks (max. 200 kw) Luftkühlung der Infrastruktur-Racks (max. 50 kw) Maximale Stromaufnahme bis zu 250 kw Aufteilung des Systems in zwei voneinander getrennte Cluster bei Benutzung einer gemeinsamen Infrastruktur T-Systems SfR - HPCN Workshop

6 Anforderungsanalyse Applikationsmix Nutzung des Clusters durch verschiedene Applikationen erschwert die Entscheidung für eine homogene Architektur Für die Ausschreibung muss ein geeignetes Benchmarkszenario ausgewählt werden um die Applikationsanforderungen möglichst gut zu treffen Applikationsauswahl nach Nutzung auf dem alten Instituts-Cluster DLR TAU-Code (RANS/DES) kompressibel & inkompressibel DLR FLOWSI-Code (LES/DNS) OpenFOAM (Versionen 1.5, 1.6, 1.7) StarCD, StarCCM+ PIV-Bildauswertung T-Systems SfR - HPCN Workshop

7 Anforderungsanalyse Applikationsmatrix Code CPU-Takt Memory Bandbreite Memory Ausbau Netzwerk Latenz Netzwerk Bandbreite Skalierbarkeit Filesystem TAU Hoch Sehr Hoch Mittel Sehr Hoch Niedrig Hoch Mittel FLOWSI Hoch Sehr Hoch Mittel Mittel Hoch Mittel Sehr Hoch OpenFOAM Hoch Sehr Hoch Hoch Mittel Niedrig Niedrig Sehr Hoch Andere Einflussfaktoren TAU C-Code: Performanceunterschied icc/gcc Compiler ~ 10% FLOWSI Fortran-Code: Performanceunterschied ~ 20% - 30% TAU profitiert aufgrund der hohen Skalierbarkeit auch von einer hohen Message-Rate des Netzwerks FLOWSI profitiert bei der statistischen Auswertung (massiver FileIO) von einer hohen Meta-Datenrate des parallelen Filesystems T-Systems SfR - HPCN Workshop

8 Anforderungsanalyse Definition der Benchmarks für die Ausschreibung/Abnahme Aus der Applikationsmatrix sind folgende Benchmarks abgeleitet: 1. FLOWSI - Test A1Ra8N - Parallelität 128 Cores Iterationen, Storage 12GB, IO- LAST: 8,1 GB pro 200 Iterationen (write), 4 GB pro 1000 Iterationen (read & write) 2. TAU Rel p4 - Test DLR F6 DPW II half Case - Parallelität 96 Cores Iterationen Runge-Kutta, 4w, KW Turbulenzmodell, Storage 3.5GB, IO-Last 1,05 GB pro 1000 Iterationen 3. TAU Rel p4 - Test DLR F6 DPW II full Case - Parallelität 120 Cores Iterationen LU-SGS, 3v, KW Turbulenzmodell - Storage 84 GB, IO-Last 2,1 GB alle 25 Iterationen 4. Nachweis der 2GB/s Durchsatz des Filesystems durch Benchmark 3 über 10 Läufe gemittelt Zugesagte Performance muss von Bietern eingehalten werden T-Systems SfR - HPCN Workshop

9 Performancevergleich der neueren Systeme Grundlage: Benchmarks für Stream und Applikation System Stream FLOWSI A1Ra8N Barcelona 1.9 GHz Infiniband SDR Mellanox Nehalem 2.53 GHz Infiniband DDR Mellanox Westmere 2.93 GHz Infiniband QDR Mellanox TAU half RK 4w TAU full LUSGS 3v Faktor 14 GB/s 9008s 11963s -/- 1,0 32 GB/s 3032s 5256s 3562s 2,27-2,97 36 GB/s 2634s 5323s 3009s 2,24-3,42 Westmere 2.93 GHz Infiniband QDR Mellanox* Westmere 2.66 GHz Infiniband QDR Qlogic 41 GB/s 2635s 4867s 2253s 2,46-3,42 41 GB/s 2165s 4564s 2640s 2,62-4,16 Steigerung der Anwendungsperformance FLOWSI um den Faktor 4,1 Steigerung der Anwendungsperformance TAU um den Faktor 2,6 *Blockierungsfaktor von 50% bei mehr als 24 Knoten/288 Cores T-Systems SfR - HPCN Workshop

10 Analyse der Benchmark Resultate FLOWSI Benchmark profitiert vor allem von dem schnellen GPFS (3,3 GB/sec) Das 2.66 GHz System ist ca. 22% schneller als die 2.93 GHz Westmere Systeme Kein Unterschied zwischen den beiden schnelleren Westmere obwohl die Memory Bandbreite unterschiedlich ist. TAU profitiert klar von dem schnellen Interconnect (IB QDR-Qlogic) Bei Benchmark 2. (96 Cores) ist das 2.66 GHz 6,6%-16% schneller Bei Benchmark 3. (120 Cores) ist der 2.66 GHz 15% langsamer/14% schneller Offene Fragen : Warum schneiden die beiden 2.93GHz Westmere Systeme bei dem Benchmark Nr. 2 nicht so gut ab? 50% Blocking Faktor, Fat-Tree Architektur oder Message-Rate des Interconnects? T-Systems SfR - HPCN Workshop

11 Untersuchung der Abhängigkeit der Anwendungsperformance vom Interconnect 1. Benchmark Nr. 2 für Skalierungsrechnungen heranziehen (F6 DPW II 15.6 *10 6 ) 2. Kleineren Benchmarkfall (2*10 6 ) zur Verifikation (F6) Hohe Kommunikation 3. TAU-Version (2010) mit Verbesserungen bzgl. des Kommunikationsbedarfs 4. Einfluß des parallelen GPFS System möglichst gering alten während der Tests 5. Testsysteme im Produktionsmodus laufen lassen 1. 3 Westmere Systeme alle QDR 2. 1 Nehalem System mit DDR 6. Settings der Benchmarks mit den Standard Partitionierer von TAU (RCB) 7. Vergleichsberechnung mit der MPI Rank-Optimierung von TAU* 8. Andere Überlegungen zur Verbesserung * Rank Reordering for MPI Communication Optimization B. Brandfass DLR-AS C²A²S²E T-Systems SfR - HPCN Workshop

12 Vergleich der Knoten Performance mit TAU auf den Cluster Systemen Test der Basis Performance eines Knotens Klarer Vorteil für den schnellen Westmere mit hoher Memory Bandbreite Die Taktfrequenz spielt für die Performance von Tau eine untergeordnete Rolle System Stream TAU F6 15M RK 4w 200 Iter. Nehalem 2.53 GHz 8 Cores Infiniband DDR Mellanox Westmere 2.93 GHz 12 Cores Infiniband QDR Mellanox 32 GB/s -/- 226,6s 36 GB/s 2421,0s 181,6s TAU F6 2M RK 4w 100 Iter. Westmere 2.93 GHz 12 Cores Infiniband QDR Mellanox* Westmere 2.66 GHz 12 Cores Infiniband QDR Qlogic 41 GB/s 2322,9s 164,4s 41 GB/s 2387,2s 166,8s T-Systems SfR - HPCN Workshop

13 Ergebnisse der Skalierungsuntersuchungen F6 15M T-Systems SfR - HPCN Workshop

14 Ergebnisse der Skalierungsuntersuchungen F6 15M T-Systems SfR - HPCN Workshop

15 Ergebnisse der Skalierungsuntersuchungen F6 2M T-Systems SfR - HPCN Workshop

16 Was kann man nun tun um diese Bottlenecks zu beseitigen MPI Rank Reordering zur Kommunikationsoptimierung Idee Knoten interne Kommunikation ist meistens schneller als Knoten externe Aufgrund der Präsenz der Multi-Core Architekturen (>=12 Cores/Node) interessant Vorteil: Keinerlei Änderung im CFD-Solver Beispiel: MPI Kommunikationsmatrizen *Rank Reordering for MPI Communication Optimization B. Brandfass, T. Alrutz,, T. Gerhold ParCFD 2011 T-Systems SfR - HPCN Workshop

17 Ergebnisse der Skalierung MPI-Rank Optimierung F6 15M T-Systems SfR - HPCN Workshop

18 Ergebnisse der Skalierung MPI-Rank Optimierung F6 15M T-Systems SfR - HPCN Workshop

19 Ergebnisse der Skalierung MPI-Rank Optimierung F6 2M T-Systems SfR - HPCN Workshop

20 Was kann man nun noch tun I Graph Partitionierer statt RCB verwenden Graph Partitionierer reduzieren ide Anzahl der Kommunikationsnachbarn erheblich Beispiel: Skalierung RCB gegen Zoltan (Sandia) TAU 2011 mit 7 *10 6 Punkte* * Rank Reordering for MPI Communication Optimization B. Brandfass DLR-AS C²A²S²E ParCFD 2011 T-Systems SfR - HPCN Workshop

21 Was kann man nun noch tun II Hybride Parallelisierung MPI + OpenMP / Pthreads Hybride Parallelisierung reduziert die Anzahl der MPI-Domains und damit des Overheads Beispiel: TAU-HiCFD Prototyp (RCB) Fall DLR F6 2*10 6 Punkte* * HiCFD Prototyp von J Jägersküpper DLR-C²A²S²E T-Systems SfR - HPCN Workshop

22 Was kann man nun noch tun III Hybride Parallelisierung MPI + OpenMP / Pthreads + SIMD SIMD Parallelisierung nutzt die SSE Einheiten auf den CPUs effizient Beispiel: TAU-HiCFD Prototyp (RCB) SIMD Fall DLR F6 2*10 6 Punkte* * SIMD HiCFD Prototyp von J Jägersküpper, T. Alrutz, O. Krzikalla T-Systems SfR - HPCN Workshop

23 Zusammenfassung MPI Latenz und Bandbreite sind nicht unbedingt die wichtigsten Kennzahlen Die Durchsatzrate der MPI-Messages ist viel entscheidender für Strong-Scaling Graph-Partitionierer sind enorm wichtig für die Skalierung Richtige MPI-Task Platzierung ist enorm wichtig Schnelle MPI Bibliothek ist auch extrem wichtig Am Ende geht nichts über die Vermeidung von Kommunikation übers Netzwerk Hybriden Ansätzen gehört die Zukunft PGAS ist hierzu eventuell die richtige Technologie Wer das alles nicht hat, braucht einen schnellen Interconnect mit hoher Message Rate T-Systems SfR - HPCN Workshop

24 Vielen Dank für Ihre Aufmerksamkeit T-Systems SfR - HPCN Workshop