Vektorrechnersystem NEC SX-9

Transkript

1 Ansprechpartner HPC-Support Team Benutzerberatung Dr. Gerd Hessler Dr. Simone Knief Dr. Eva-Maria Zeidler Systembetreuung: Dr. Cebel Kücükkaraca Alfred Wagner Mailingliste: WWW-Seite: 2

2 Überblick Rechnerkonfiguration Dateisysteme Datensicherung Arbeiten auf dem Vektorrechner Anwendersoftware und Bibliotheken interaktives Arbeiten Batchbetrieb Dokumentation 3 Rechnerkonfiguration Rechnersystem besteht aus 2 unterschiedlichen Komponenten Batchrechner: 6 NEC SX-Knoten Vorrechner: 2 NEC Express rf4 4

3 NEC SX-8 1 SX-8 Knoten mit 8 Vektorprozessoren (2.0 GHz) Peak-Performance pro CPU: 16 GFlop/s 64 GB Hauptspeicher 288 GB lokalem Plattenplatz Speicherbandbreite pro CPU: 64 GB/s Peak-Performance pro Knoten: 128 GFlop/s 5 NEC SX-9 5 SX-9 Knoten mit jeweils 16 Vektorprozessoren (3.2 GHz) Peak-Performance pro CPU GFlop/s 512 GB Hauptspeicher lokaler Plattenplatz: 2.5 TB Speicherbandbreite pro CPU : 256 GB/s Knoten über schnellen Crossbar-Switch (IXS) miteinander verbunden nur über das Batchsystem erreichbar Peak-Performance 5 SX-9 Knoten: 8.2 TFlop/s 6

4 Rechnerkonfiguration 2 Vorrechner NEC Express rf4 Login-Knoten: nesh-fe.rz.uni-kiel.de (nesh-fe1.rz.uni-kiel.de) Batchknoten für das Pre- und Postprocessing: nesh-fe0 4 Quad Core Intel Xeon Prozessoren (2.93 GHz) 32 GB Hauptspeicher Anbindung an das globale Filesystem 7 Dateisysteme lokaler Plattenplatz an den einzelnen Knoten über ein globales Filesystem verfügbarer Plattenplatz: z. Zt. 165 TB 4 verschiedene Dateisysteme nutzbar: Home-Verzeichnis: $HOME Arbeitsverzeichnis: $WORK lokales temporäres Verzeichnis: $TMPDIR Magnetband Robotersystem: $TAPE_CACHE 8

5 HOME-Verzeichnis erreichbar über die Umgebungsvariable $HOME 2 Platten mit zusammen 8 TB IFM-Geomar: 5 TB (Verzeichnis /gfs/home) Universitätsangehörige: 3 TB (Verzeichnis /gfs/home-sh) unbegrenzte Lebensdauer tägliche Datensicherung global verfügbar Verzeichnis für wichtige Daten, die gesichert werden sollen derzeit noch keine Quota pro Benutzer 9 Arbeitsverzeichnis erreichbar über die Umgebungsvariable $WORK zur Durchführung von Batch-Berechnungen 8 verschiedene Platten mit jeweils 16 TB global verfügbar keine Datensicherung durch das 10

6 Lokale Dateisysteme erreichbar über die Umgebungsvariable $TMPDIR lokaler temporärer Plattenplatz 1 TB (SX-9) bzw. 144 GB (SX-8) pro Knoten nur innerhalb eines Batch-Jobs verfügbar sollte besonders für I/O intensive Berechnungen verwendet werden 11 TAPE_CACHE Verzeichnis erreichbar über die Umgebungsvariable $TAPE_CACHE Plattenspeicher mit angeschlossenem Magnetband-Robotersystem nur lokal auf den beiden Vorrechnern verfügbar Speicherung von aktuell nicht benötigten Daten kein Archivierungssystem irrtümlich gelöschte Daten können nicht wieder hergestellt werden 12

7 Arbeiten mit den Dateisystemen wichtige Daten, die gesichert werden müssen, auf $HOME Batchberechnungen soweit möglich lokale Platten benutzen sonst $WORK-Verzeichnis verwenden $TAPE_CACHE-Verzeichnis Dateisystem für aktuell nicht benötigte Daten bevorzugt große Datenpakete abspeichern eigenen Datenbestand von Zeit zu Zeit überprüfen bisher noch keine Quotierung von Plattenplatz 13 Datensicherung HOME-Verzeichnis tägliche Sicherung Datensicherungen werden 8 Wochen aufbewahrt für die letzten 2 Wochen ist eine tagesaktuelle Wiederherstellung möglich ältere Datensicherungen stehen in Wochenabständen zur Verfügung Wiederherstellung über das Verzeichnis /nfs/mybackup TAPE_CACHE-Verzeichnis Daten werden bei Auslagerung doppelt auf Band geschrieben kein Backup irrtümlich gelöschte Dateien nicht wieder herstellbar keine Sicherung von $WORK für die Langzeitarchivierung sind die Benutzer selbst verantwortlich 14

8 Arbeiten auf dem Vektorrechnersystem Anwendersoftware und Bibliotheken interaktives Arbeiten Durchführung von Batchberechnungen 15 Anwendersoftware und Bibliotheken Anwendersoftware Quantenchemieprogramme Gaussian 03 und Molpro Visualisierungsprogramm ferret (nesh-fe) Bibliotheken MathKeisan Bibliothek BLAS, CBLAS, Lapack, ScaLapack, SBLAS, FFT, Metis, ParMetis, SOLVER und ARPACK NAG Fortran 77 Bibliothek Version 21 (nur SX-9 und nesh-fe) I/O Bibliothek netcdf 16

9 Programmübersetzung Cross-Compileraufrufe nesh-fe sxf90 sxcc bzw. sxc++ sxmpif90 sxmpicc bzw. sxmpic++ Compileraufrufe SX-Knoten f90 cc bzw c++ mpif90 mpicc bzw. mpic++ Erklärung Fortran-Programm C- bzw. C++-Programme Fortran + MPI C- bzw. C++ + MPI Übersetzung für die NEC SX-8 zusätzliche Compileroption sx8 bei Problemen direkte Übersetzung auf dem NEC SX-8 Knoten 17 Module-Konzept ermöglicht das Wechseln zwischen verschiedenen Compilerversionen Cross-Compilerversionen: 390, 392, 400 Default: Version 392 wichtige Kommandos: module avail zeigt alle verfügbaren Module an module load /sxf90/rev400 Nutzung der Compilerversion 400 module unload /sxf90/rev400 Module wieder entfernen 18

10 Interaktives Arbeiten nur auf dem Vorrechner nesh-fe möglich in Ausnahmefällen auch auf dem NEC SX-8 Knoten beim 1. Login Initialpasswort verwenden 19 Batchbetrieb Batchsystem NEC NQSII Scheduler Job Manipulator 20

11 NQSII-Skript: parallele Berechnung (1 Knoten) #PBS l elapstim_req=2:00:00 #PBS -l cputim_job=16:00:00 #PBS -l memsz_job=10gb #PBS -l cpunum_job=8 #PBS b 1 #PBS -N nqs_job #PBS -o nqs.out #PBS -j o #PBS -q smallque export F_PROGINF=DETAIL export MPI_PROGINF=DETAIL cp $HOME/Dtest/* $TMPDIR cd $TMPDIR mpirun np 8./mpi.exe cp *.out $HOME/Dergebnis qsub skript2.exe # Wallclock Zeit (hier 2 Stunden) # Rechenzeit # Hauptspeicherbedarf pro Knoten # Anzahl benoetigter CPUs pro Knoten # Anzahl der Knoten # Name des Batch-Jobs # Datei fuer die Standardausgabe # Standard- und Fehlerausgabe in eine Datei # Batch-Klasse # Informationen ueber Geschwindigkeiten und Vektorisierung # Fortran: F_PROGINF=DETAIL,YES, NO (default) # MPI Performanceinformationen(YES, DETAIL, NO (default)) # Programmaufruf # Abgabe einer neuen Batchberechnung 21 NQSII-Skript: parallele Berechnung (2 Knoten) #PBS l elapstim_req=2:00:00 #PBS -l cputim_job=64:00:00 #PBS -l memsz_job=10gb #PBS -l cpunum_job=16 #PBS b 2 #PBS T mpisx #PBS -N nqs_job #PBS -o nqs.out #PBS -j o #PBS -q multique export F_PROGINF=DETAIL export MPI_PROGINF=DETAIL cp $HOME/Dtest/* $TMPDIR cd $TMPDIR mpirun host 0 np 16 host 1 np 16./mpi.exe cp *.out $HOME/Dergebnis # Wallclock Zeit (hier 2 Stunden) # Rechenzeit pro Knoten # Hauptspeicherbedarf pro Knoten # Anzahl benoetigter CPUs pro Knoten # Anzahl der Knoten # Jobtyp: mpisx für MPI # Name des Batch-Jobs # Datei fuer die Standardausgabe # Standard- und Fehlerausgabe in eine Datei # Batch-Klasse # Informationen ueber Geschwindigkeiten und Vektorisierung # Fortran: F_PROGINF=DETAIL,YES, NO (default) # MPI Performanceinformationen(YES, DETAIL, NO (default)) 22

12 Batchklassen Klasse CPU-Anzahl max (default) Wallclockzeit [std] max (default) Speicher [GB] max (default) Knoten Exclusive CPUs feque nesh-fe0 nein smallque 16 (1) 10 (30 Min.) 500 (1) nesh3-nesh5 ja multique 48 (1) 6 (30 Min.) 500 (48) nesh3-nesh5 ja express 4 (1) 15 Min. (15 Min.) 32 (1) nesh1 nein htque 16 (1) 14 Tage (30 Min.) 500 (1) nesh1-nesh2 nein sx8htque 8 (1) 14 Tage (30 Min.) 60 (1) nesh0 nein 23 Batchbetrieb Abgabe von Batch-Jobs qsub nqs_skript Löschen und Abbrechen von Batch-Jobs qdel jobid Abfrage des Jobstatus qstat jobid : Informationen über eigene Jobs qstatall: Informationen über alle Jobs Option: -J: zeigt ausführenden Knoten an -f: detaillierte Jobinformationen 24

13 Arbeiten mit dem Batchsystem Rechenzeit und Speicherangabe möglichst genau angeben Jobketten bilden möglichst auf lokalen Platten arbeiten Zwischenergebnisse abspeichern 25 Dokumentaion WWW-Seite: Super UX-Handbücher User's Guide Performance Tunig Guide Programmers Guide (Fortran und C/C++) MPI/SX User's Guide MathKeisan User's Guide NQSII User's Guide 26