Das Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ

Transkript

1 Das Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ Hinnerk Stüben ZKI-Arbeitskreis Supercomputing Leibniz-Rechenzentrum, Garching 19. Oktober 2015

2 Themen Neues HPC-Cluster und Storage am RRZ Beschaffung Konfiguration Überraschungen geplante ungeplante vermiedene Erfahrungen mit dem Haswell-Prozessor H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

3 Zwei Ausschreibungen Compute / HPC-Cluster 4 Compute-Knotentypen 8 Service-Knoten 2 Globale Festplattensysteme (NFS, paralleles Dateisystem) Netzwerke (Infiniband, Ethernet) Storage Selbstheilung Software-defined RAID NFS über 10 GbE H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

4 HPC-Cluster H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

5 Konfigurationsskizze Service-Knoten Globale Festplattensysteme Compute-Knoten Login- Daten- Dienste- Administrations- Gateways Gateways knoten knoten WAN LAN LAN LAN 10 GbE 10 GbE 1 GbE 1 GbE /home /work Infiniband-Fabric H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

6 Wenige freie Parameter Ausschreibung Anzahl der cores pro CPU Anzahl der Standard-Compute-Knoten QDR- oder FDR-Infiniband Größe und Leistungsfähigkeit des parallelen Dateisystems nach oben offen Hauptbewertungsgröße sind Zusagen für Leistungszahlen Benchmark-Verfahren (Verfügbarkeit von Haswell abgewartet) zugesagte Leistung wird in der Abnahme überprüft Vorgehen bei Nichterreichen ist in der Ausschreibung festgelegt Software keine Lizenzkosten für betriebsnahe Software Wartung 5 Jahre, für Kernkomponenten 2 für je 6 Monate verlängerbar H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

7 Benchmark-Verfahren Benchmarks zur Ermittlung der Gesamtrechenleistung Compute: BQCD (MPI-Parallelisierung, 4 Knoten) GPU: bandwithtest (1 GPU) I/O: iozone (mehrere Datenströme, Mindestleistung: 6 GB/s) Berechnung der Gesamtrechenleistung harmonische Mittelwertbildungen hart aber gerecht Benchmarks für qualitative Bewertung und Konsistenzprüfung STREAM (mit OpenMP, 1 Knoten) Ping-Pong (MPI-Latenzzeit und -Bandbreite, 2 Knoten) iozone (einzelner Datenstrom) Überraschungen minimieren Compile- und Ausführungsparameter sind fest bis auf MPI H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

8 Angebote Angebotene Compute-Konfigurationen a) 2 8 core, QDR-Infiniband, 2 K40 b) 2 8 core, QDR-Infiniband, 1 K80 c) 2 10 core, FDR-Infiniband, 2 K40 Angebotene parallele Dateisysteme a) BeeGFS b) Lustre Gewinner: Megware H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

9 Überraschungen Unterschiede in den Benchmark-Ergebissen bzw. Leistungszusagen Ausreißer bei Ping-Pong über FDR-Infiniband Ausreißer bei stream Ausreißer bei Bandbreitenmessung mit CUDA signifikante Unterschiede bei BQCD pro core Auftauchen der NVIDIA K80 Dual-GPU Dollarkurs H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

10 Konfiguration CPUs: je 2 CPUs Intel Xeon E5-2630v3 (8 cores, 2,4GHz, 20MB L3-cache) Compute-Knoten 316 Standard-Knoten (64 GB, 100 GB SSD) 54 GPU-Knoten (64GB, 100GB SSD, 1 K80 GPU) 24 Große Knoten (256GB, 1TB HDD) Heimatdateisystem: NFS, 7 TB Paralleles Dateisystem: BeeGFS, 384 TB 2,7 GB/s (1 Datenstrom), 15 GB/s (50 Datenströme) Netzwerke: QDR-Infiniband (fat-tree, 2:1 Blockung), 2 Ethernet 2 Spezial-Knoten (4 10 cores, 1TB, 1TB HDD) H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

11 Betriebsnahe Software Monitoring: ClustWare Cluster-Management: xcat Betriebssystem: CentOS Jahre Updates Batch-System: Slurm Backfill Fair-Share-Scheduling Reservierungen H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

12 Bereitstellung von Nutzer-Software Environment Modules Programmierumgebungen (Module sind nicht kombinierbar) Compiler Compiler + MPI Compiler + MPI + CUDA NetBSD Packages Collection (pkgsrc) anstelle von Pakete aus der Distribution H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

13 Sicherheit Zonen Nutzer Dienste Administration Login über ein Gateway Zugang nur mir ssh-schlüsseln H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

14 Kleinste (geplante) Überraschungen für die Nutzer Zugang mit ssh-schlüsseln Login-Gateways, interaktives Arbeiten auf 2 reservierten Compute-Knoten Modules für Programmierumgebungen nicht beliebig kombinierbar NetBSD Packages Collection (pkgsrc) Im Batch-Betrieb ist /home nicht schreibbar (Bis jetzt) kein memory overcommit, kein swap /tmp is klein (25MB) H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

15 Storage H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

16 Anforderungen Selbstheilung Software-defined RAID NFS über 10 GbE Mindestanforderungen Kapazität: 1 PB netto Bandbreite: 600 MB/s (mehrere Datenströme) Maximalanforderung Beschränkung auf 1 Rack Wartung 6 Jahre H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

17 Überraschungen Gewinner Anbieter: PDV-Systemhaus Produkt: Huawei OceanStor 5500 V3 Eigenschaften Kapazität: 1,8 PB netto Bandbreiten (4 Datenströme): schreibend 1395 MB/s, lesend 1635 MB/s Platzbedarf: 26 Höheneinheiten (sogar noch freie Disk-Slots) H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

18 Haswell H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

19 SIMD-Einheiten Schleifenverarbeitung for i := 1 to 100 do c[i] := a[i] + b[i] sequentiell for i := 1 to 100 do SIMD for i := 1 to 100 step 4 do a[i] + a[i] a[i+1] a[i+2] + a[i+3] b[i] = b[i] b[i+1] b[i+2] = b[i+3] c[i] c[i] c[i+1] c[i+2] c[i+3] H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

20 Layout komplexer Felder/Vektoren Standard (Microprozessoren) z(re:im, n) Vektorrechner z(n, re:im) SIMD-Vektoren z(b, re:im, n/b) } {{ } B: Breite einer SIMD-Einheit H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

21 Schleifenprogrammierung complex(8), dimension(n) :: a, b, c do i = 1, n a(i) = b(i) + c(i) enddo real(8), dimension(n, re:im) :: a, b, c do i = 1, n a(i, re) = b(i, re) + c(i, re) a(i, im) = b(i, im) + c(i, im) enddo real(8), dimension(4, re:im, n/4) :: a, b, c do i = 1, n, 4 a(:, re, i) = b(:, re, i) + c(:, re, i) a(:, im, i) = b(:, im, i) + c(:, im, i) enddo standard vector SIMD ready real(8), dimension(4, re:im, n/4) :: a, b, c SIMD intrinsics do i = 1, n, 4 Store(a(re, i)), Add(Load(b(re, i), Load(c(re, i)) Store(a(im, i)), Add(Load(b(im, i), Load(c(im, i)) enddo H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober

22 Ergebnisse für eine für QCD typische Schleife Komplexe Arithmetik (Schleifenlänge 512, Überschreiben des Caches bei Memory ) + = i i i CPU Ivybridge Haswell Haswell E v2, 2,40 GHz E v3, 2,50 GHz E v3, 2,50 GHz Optionen -O3 -xavx -O3 -xavx -O3 -xcore-avx2 Schleife L2-Cache Memory L2-Cache Memory L2-Cache Memory standard vector simd-ready intrinsics fmadd, fmsub MFlop/s pro Kern HLRN-III Stufen 1 und 2, alle Kerne eines Knotens genutzt (2 12 Kerne) Intel compiler H. Stüben Neues HPC-Cluster am RRZ ZKI-AK Supercomputing, LRZ Garching, Oktober