HPC Einführungsveranstaltung

Transkript

1 RZ CAU HPC Einführungsveranstaltung HPC-Support 1

2 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume Arbeiten auf lokalen HPC-Systemen Diskussion und Fragen HPC-Support 2

3 Ansprechpartner HPC Support Team Benutzerberatung Dr. Karsten Balzer Dr. Simone Knief Systemadministration Dr. Cebel Kücükkaraca Dr. Holger Naundorf Alfred Wagner Mailingliste/Ticketsystem HPC-Support 3

4 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen HPC-Support 4

5 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen Ressourcen stehen allen CAU- und GEOMAR-Angehörigen zur Verfügung HPC-Support 5

6 RZ CAU Bereitstellung von Rechenressourcen HPC Support Unterstützung bei Nutzung lokaler und dezentraler HPC-Ressourcen Auswahl der geeigneten Rechnerarchitektur Hilfe bei der Portierung von Programmen Unterstützung bei der Programmoptimierung Auswahl geeigneter Compiler und deren Optionen Optimierung von Programmcodes (Algorithmenauswahl) Hilfe bei Parallelisierung und Vektorisierung von Programmen Installation von Benutzerprogrammen auf unseren Systemen Hilfestellung bei Anfertigung von Projektanträgen für HLRN-Rechner HPC-Support 6

7 Hochleistungsrechner HPC-Support 7

8 Was sind Hochleistungsrechner? keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet HPC-Support 8

9 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt Hochleistungsrechner: hochparallele Rechencluster schnelles Verbindungsnetzwerk leistungsfähige I/O-Dateisysteme Rechnersysteme mit spezieller Architektur (z.b. Vektorrechner) HPC-Support 9

10 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix 4700 Systeme mit Multi-Core Prozessoren HPC-Support 10

11 Vektorrechner spezielle Bauweise eines Prozessors verwendet das Pipelining-Prinzip parallele Verarbeitung findet auf dem Prozessor (Core) statt geeignet für Programme, bei denen viele gleichartige Daten auf gleiche Art und Weise bearbeitet werden müssen, z.b. Matrixoperationen HPC-Support 11

12 Vektorrechner HPC-Support 12

13 RZ CAU 5/ /2002: CRAY T3E 18 CPUs mit 256MB Hauptspeicher Peak Performance: 22GFlops 6/ /2006: SGI Altix CPUs mit 512GB Hauptspeicher Peak Performance: 664GFlops seit 2005 kontinuierlicher Ausbau unseres Linux-Clusters (rzcluster) HPC-Support 13

14 RZ CAU 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops 2007 NEC SX8 + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops HPC-Support 14

15 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen Nutzung unterschiedlicher Architekturen ohne Datentransfer HPC-Support 15

16 Performance Vergleiche skalares Programm Strukturmodell a-si-h vektorisierendes Programm Jacobi-Iterationen SX-ACE Vektorsystem 2423 sek. 411sek. NEC Linux-Cluster Intel Skylake CPUs 210 sek sek HPC-Support 16

17 RZ CAU HPC-Support 17

18 Linux-Cluster (rzcluster) HPC-Support 18

19 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm HPC-Support 19

20 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores Unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm Allgemein nutzbare Ressourcen 40 Batchknoten mit insgesamt 388 Cores 23 Knoten mit 8 Cores und 32GB Hauptspeicher 17 Knoten mit 12 Cores und 48GB Hauptspeicher HPC-Support 20

21 Linux-Cluster (caucluster) HPC-Support 21

22 caucluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (8 Cores und 64GB Memory) 7 Batchknoten mit insgesamt 280 Cores Coreausstattung pro Knoten: 40 (4 Haswell CPUs) Hauptspeicherausstattung: 256GB Betriebssystem: CentOS 7.x Batchsystem: Slurm Ressourcenverteilung über Fair-Share Algorithmus HPC-Support 22

23 rzcluster/caucluster: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnis 13TB für alle Nutzer regelmäßige Datensicherung WORK-Verzeichnis 350TB BeeGFS paralleles Dateisystem Zugriff auf Tape-Library Verfügbar nur auf dem Login-Knoten HPC-Support 23

24 Hybrides NEC HPC-System HPC-Support 24

25 NEC HPC-System Hybrides HPC-System skalarer NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem theoretische Peak Performance: 470 TFlops 4 gemeinsame Vorrechner globale Dateisysteme für $HOME und $WORK ein gemeinsames Batchsystem: NQSII kein Datentransfer für die Nutzung unterschiedlicher Hardwarearchitekturen erforderlich HPC-Support 25

26 NEC HPC-Linux Cluster 198 Knoten mit insgesamt 6192 Cores 180 Knoten mit jeweils 2 Intel Xeon Gold 6130 (Skylake-SP): 32 Cores pro Knoten und 192 GB Hauptspeicher bzw. 384GB (8 Knoten) 18 Knoten mit jeweils 2 Haswell Prozessoren: 24 Cores pro Knoten und 128GB Hauptspeicher Peak Performane: 404,4 TFlops Batchknoten mit schnellem EDR-Infiniband vernetzt Betriebssystem: Red Hat Enterprise Linux (Release 7.4) HPC-Support 26

27 NEC SX-ACE Vektorrechnersystem 256 SX-ACE Vektorknoten mit jeweils: 4 Vektor-Cores 64GB Hauptspeicher 256 GB/s Speicherbandbreite Knoten über schnellen Crossbar-Switch (IXS) verbunden Betriebssystem: Super-UX 1024 Vektor-Cores mit einer Peak Performance von 65,5TFlops HPC-Support 27

28 NEC HPC-System 4 gemeinsame Vorrechner Skylake-SP Prozessoren (2,1GHz) 32 Cores pro Knoten und 768GB Hauptspeicher Login-Name: nesh-fe.rz.uni-kiel.de interaktives Arbeiten sowie Pre- und Postprocessing HPC-Support 28

29 NEC HPC-System: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnisse 64TB: NEC GxFS regelmäßige Datensicherung $WORK-Verzeichnisse 5PB ScaTeFS NEC spezifisches paralleles Dateisystem Zugriff auf Tape-Library angemountetes Dateisystem verfügbar an allen Vorrechnern interaktiver Zugriff oder über spezielle Batch-Klasse $TMPDIR: lokaler Plattenplatz nur an Linux-Cluster Knoten HPC-Support 29

30 HLRN Verbund HPC-Support 30

31 HLRN Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen besteht seit 2001 Zusammenschluss der 7 norddeutschen Bundesländer Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein Ziele: Gemeinsame Beschaffung und Nutzung von HPC-Systemen Bearbeitung von Grand Challenges Aufbau und Weiterentwicklung eines HPC-Kompetenznetzwerkes HPC-Support 31

32 HLRN: Organisationsstruktur HPC-Support 32

33 HLRN: Organisationsstruktur Verwaltungsrat je einem Vertreter der Ministerien bzw. Senatorischen Behörden entscheidet über Angelegenheiten von grundsätzlicher Bedeutung Technische Kommission Leiter der beteiligten Rechenzentren berät Verwaltungsrat und die Betreiberzentren in allen techn. Fragen Wissenschaftlicher Ausschuss Wissenschaftler der verschiedenen Fachrichtungen der beteiligten Länder entscheidet über Zulassung von Projekten und die Vergabe von Rechenressourcen Fachberater und lokale Berater beraten in technischen, betrieblichen, organisatorischen und fachlichen Belangen unterstützen bei der Umsetzung fachbezogener wissenschaftlicher Fragestellungen HPC-Support 33

34 HLRN-Systeme: Historie HLRN-I: Laufzeit: Mai 2002 bis Juli 2008 IBM p690-system (IBM Power4-Prozessoren) Peak-Performance: 5.3TFlops HLRN-II: Laufzeit: Juli 2008 bis November 2013 SGI Altice ICE (Intel Harpertown und Nehalem Prozessoren) Peak-Performance: 329 TFlops HLRN-III: Inbetriebnahme: September bzw. Dezember 2013 CRAY XC30/XC40-System Peak-Performance: 2.6 PFlops HLRN-IV geplante Inbetriebnahme Herbst HPC-Support 34

35 Hochleistungsrechner Nord (HLRN) Hannover MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores SMP-System 64 Knoten SandyBridge+NvidiaK Cores 256/512GB Memory Berlin MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores Test/Entwicklungssystem Cray XC40 Many-Core 16 Knoten mit XeonPhi&Xeon KNL HPC-Support 35

36 Hochleistungsrechner Nord (HLRN) HPC-Support 36

37 Lokale HPC-Systeme: Besichtigung HPC-Support 37

38 RZ CAU Arbeiten auf unseren lokalen HPC-Systemen Accountbeantragung Einloggen und Datentransfer Dateisysteme und Datensicherung Compiler und Software Interaktives Arbeiten und Batchbetrieb HPC-Support 38

39 HPC-Systeme: Zugang Rechnerzugang kann jederzeit beantragt werden Formular 3: Antrag auf Nutzung eines Hochleistungsrechners ausgefüllt an die RZ-Benutzerverwaltung schicken mit Accounteintragung: Aufnahme in 2 Mailinglisten hpc_user@uni-kiel.de nesh_user@rz.uni-kiel.de bzw. rzcluster_user@lists.uni-kiel.de HPC-Support 39

40 HLRN: Zugang Nutzung für alle Mitarbeiter der Universitäten und Hochschulen in Schleswig-Holstein möglich 2 Phasen der Rechnernutzung Beantragung einer Schnupperkennung Beantragung eines Großprojektes HPC-Support 40

41 HLRN-Schnupperkennung dient zur Vorbereitung eines Großprojektes Beantragung ist jederzeit möglich (WWW-Formular) gegrenzte Laufzeit von 3 Quartalen begrenztes Kontingent an Rechenzeit: NPLs pro Quartal (erweiterbar auf max NPLs) Definition NPLs: NPL=Norddeutsche Parallelrechner-Leistungseinheit MPP-Knoten für 1 Stunde: 2 bzw. 2.4 NPLs SMP-Knoten für 1 Stunde: 4 bzw. 6 NPLs HPC-Support 41

42 HLRN-Großprojekt dient zur Durchführung von größeren Forschungsvorhaben Antragsfrist endet jeweils ca. 2 Monate vor Quartalsbeginn: 28.1., 28.4., und Anträge werden durch den wissenschaftlichen Ausschuss begutachtet Kontingente werden jeweils für ein Jahr bewilligt und quartalsweise zugeteilt Angaben, die für einen Antrag erforderlich sind: Kurzbeschreibung des Projektes bzw. Statusbericht nachvollziehbare Abschätzung der benötigten Betriebsmittel Rechenzeit, Hauptspeicher, Plattenspeicherbedarf HPC-Support 42

43 Nutzung unserer lokalen HPC-Systeme HPC-Support 43

44 HPC-Systeme: Zugang interaktives Einloggen nur auf Vorrechner (Login-Knoten) möglich direkter Zugriff nur über IP-Adressen aus dem CAU- und GEOMAR- Netz bzw. UKSH-Netz Zugriff aus anderen Netzen nur über eine VPN-Verbindung Aufbau einer ssh-verbindung über ssh-client MAC und Linux: ssh-client in Standarddistributionen enthalten Windows-Clients: putty: kein Arbeiten mit einer grafischen Benutzeroberfläche möglich MobaXterm: X-Win32: HPC-Support 44

45 HPC-Systeme: Zugang Zugriff auf rzcluster Login-Knoten ssh -X -X Option aktiviert X11-Forwarding Nutzung einer grafischen Benutzeroberfläche Zugriff auf caucluster Login-Knoten ssh X username@caucluster.rz.uni-kiel.de Zugriff auf Login-Knoten NEC HPC-System ssh X username@nesh-fe.rz.uni-kiel.de Passwortänderung nach erstem Einloggen: rzcluster/caucluster: passwd-kommando NEC HPC-System: yppasswd-kommando HPC-Support 45

46 HPC-Systeme: Datentransfer Linux und MAC: scp-kommando: scp dateiname Windows: WinSCP (grafischer scp-client) HPC-Support 46

47 Datentransfer: Windows-Rechner Arbeiten mit Dateien, die unter Windows erzeugt/bearbeitet wurden nur als reine ASCII-Dateien abspeichern vermeidet Fehlermeldung /bin/bash^m: bad interpreter: no such file or directory Kommando dos2unix dateiname entfernt Steuerzeichen Verfügbare Editoren auf HPC-Systemen vi Emacs nedit HPC-Support 47

48 Hochleistungsrechner Dateisysteme und Datensicherung HPC-Support 48

49 HPC-Rechner: Dateisysteme rzcluster und caucluster: gemeinsame Dateisysteme NEC HPC-System: separate Dateisysteme Vier verschiedene Dateisysteme nutzbar HOME-Verzeichnis WORK-Verzeichnis lokaler Plattenplatz an den Rechenknoten Zugriff auf Tape-Library (Magnetband-Robotersystem) HPC-Support 49

50 HOME-Verzeichnis Login-Verzeichnis erreichbar über die Umgebungsvariable $HOME verfügbarer Plattenplatz (für alle Nutzer) NEC HPC-System: 60TB rzcluster/caucluster: 13TB global verfügbar an allen Knoten tägliche Datensicherung durch das Verzeichnis für wichtige Daten, die gesichert werden müssen Skripte, Programme und kleinere Ergebnisdateien derzeit noch keine Plattenplatzbegrenzung (Quota) pro Benutzer nicht für die Durchführung von Batchjobs verwenden langsame Zugriffszeiten HPC-Support 50

51 Work-Verzeichnis globales paralleles Dateisystem Dateisystem für die Durchführung von Batchberechnungen ereichbar über $WORK-Umgebungsvariable (NEC HPC-System) /work_beegfs/username (rzcluster/caucluster) keine Datensicherung durch das verfügbarer Plattenplatz (für alle Nutzer insgesamt) NEC HPC-System: 5 PB ScaTeFS rzcluster/caucluster: 350 TB BeeGFS Quoten für nutzbaren Plattenplatz pro Benutzer HPC-Support 51

52 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota HPC-Support 52

53 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente Nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota rzcluster/caucluster Standardkontingent: Speicherplatz: 1TB Inode-Einträge: Kommando Quotenabfrage: beegfs-ctl --getquota uid username HPC-Support 53

54 Lokaler Plattenplatz erreichbar über die Umgebungsvariable $TMPDIR lokaler temporärer Plattenplatz am jeweiligen Batchknoten nur innerhalb eines Batchjobs verfügbar schnelle Zugriffszeiten: wichtig für I/O intensive Berechnungen HPC-Support 54

55 TAPE-Library Plattenspeicher mit angeschlossenem Magnetbandrobotersystem Erreichbar über Umgebungsvariable $TAPE_CACHE (NEC HPC-System) /nfs/tape_cache/username (rzcluster/caucluster) nur lokal auf Vorrechnern verfügbar NEC HPC-System: Zugriff über spezielle Queue (feque) möglich Speicherung von aktuell nicht benötigten Daten erstellen von tar-dateien (max. 1TB; empfohlene Größe: zwischen 3 und 50GB) langsamer Zugriff: kein direktes Arbeiten mit Dateien auf Band kein Archivierungssystem irrtümlich gelöschte Daten können nicht wieder hergestellt werden HPC-Support 55

56 Datensicherung HOME-Verzeichnis tägliche Sicherung Datensicherungen werden 8 Wochen aufbewahrt für die letzten 2 Wochen ist eine tagesaktuelle Wiederherstellung möglich ältere Datensicherungen stehen in Wochenabständen zur Verfügung Wiederherstellung über Verzeichnis NEC HPC-System: /nfs/mybackup-0 bzw. /nfs/mybackp-1 rzcluster: /mybackup-0 $WORK: keine Sicherung durch das TAPE-Library keine Backup, d.h. irrtümlich gelöschte Daten nicht wieder herstellbar Daten nur verfügbar solange ein Account aktiv ist keine Langzeitarchivierung durch das HPC-Support 56

57 Arbeiten mit den Dateisystemen wichtige Daten, die gesichert werden müssen, auf $HOME Batchberechnungen starten und Ausführen auf $WORK Nutzung von $TMPDIR für I/O intensive Berechnungen TAPE_CACHE-Verzeichnis aktuell nicht benötigte Daten auf Magnetband auslagern bevorzugt große Datenpakete abspeichern eigenen Datenbestand von Zeit zu Zeit überprüfen HPC-Support 57

58 Anwendersoftware und Programmübersetzung HPC-Support 58

59 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole, HPC-Support 59

60 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc, Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,. Bereitstellung über ein Module-Konzept HPC-Support 60

61 Module-Konzept ermöglicht Nutzung bereits installierter Software nach dem Laden eines Softwaremodules: Programm ohne weitere Pfadanpassungen nutzbar einfaches Setzen/Umsetzen von Suchpfaden: $PATH, $LD_LIBRARY_PATH, $MANPATH HPC-Support 61

62 Modules: Kommandos module avail liefert Überblick über bereits installierte Softwarepakete module load name lädt Module mit dem Name name; alle Einstellungen für die Programmnutzung werden vorgenommen module list listet alle Module auf, die aktuell geladen sind module unload name entfernt das Module name, d.h. alle Einstellungen werden rückgängig gemacht module purge entfernt alle bisher geladenen Module, d.h. module list Kommando liefert keine Einträge mehr module show name zeigt Pfadänderung an, die das Module durchführt HPC-Support 62

63 Modules: Beispiele Nutzung Programmpaket Matlab module load matlab2017a (CAU-Nutzer) module load matlab2017a_geomar (GEOMAR-Nutzer) Programmaufruf mit Kommando matlab nodisplay starten Programmübersetzung mit Intel-Compiler module load intel Compileraufruf: ifort, icc oder icpc module load intel intelmpi Compileraufruf: mpiifort, mpiicc oder miicpc HPC-Support 63

64 Hochleistungsrechner Interaktives Arbeiten und Batchbetrieb HPC-Support 64

65 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf den Login-Knoten Datentransfer Arbeitsplatz-PC HPC-Systeme/Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs keine längeren Berechnungen über Batchsystem HPC-Support 65

66 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf den Login-Knoten Datentransfer Arbeitsplatz-PC HPC-Systeme/Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs Keine längeren Berechnungen über Batchsystem Batchbetrieb rzcluster und caucluster: Slurm NEC HPC-System: NQSII HPC-Support 66

67 HPC-Systeme: Batchbetrieb Vorteil Rechenressourcen können effektiver genutzt werden höherer Durchsatz gerechte Verteilung auf alle Benutzer jeder Benutzer kann mehrere Berechnungen gleichzeitig ausführen angeforderte Ressourcen sind während der Laufzeit garantiert Nachteil zunächst etwas ungewohntes Arbeiten HPC-Support 67

68 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt HPC-Support 68

69 HPC-Systeme: Batchbetrieb HPC-Support 69

70 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel # Programmstart time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 70

71 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 --> Shell-Definition #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 71

72 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o benötigte Anzahl von Rechenknoten benötigte Anzahl von Rechenkernen pro Knoten #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 72

73 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 angeforderte Rechenzeit (Verweilzeit) #PBS l cputim_job=10:00:00 angeforderte CPU-Zeit (Coreanzahl*Verweilzeit) #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 73

74 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb max. benötigter Hauptspeicher pro Knoten #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 74

75 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium Angabe der Batchklasse #PBS N jobname Name des Batchjobs #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 75

76 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o Dateiname für Standardausgabe Standard- und Fehlerausgabe in eine Datei schreiben #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0:/} HPC-Support 76

77 Slurm-Batchskript (rzcluster,caucluster) #/bin/bash #SBATCH--nodes=1 #SBATCH --tasks-per-node=1 Anzahl MPI-Prozesse pro Knoten #SBATCH --cpus-per-task=1 #SBATCH --time=01:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=jobname #SBATCH output=job.out #SBATCH --error=job.err Anzahl Tasks per Node (z.b. OpenMP-Parallelisierung) export OMP_NUM_THREADS=1 #Laden der Softwareumgebung module load intel time./prog HPC-Support 77

78 Batchskript: parallele MPI-Berechnung #/bin/bash #PBS T intmpi #PBS b 2 #PBS l cpunum_job=32 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=640:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o module load intel intelmpi mpirun $NQSII_MPIOPTS np 64./prog #/bin/bash #SBATCH--nodes=2 #SBATCH --tasks-per-node=12 #SBATCH --cpus-per-task=1 #SBATCH --time=10:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=jobname #SBATCH --output=job.out module load intel intelmpi mpirun np 24./prog HPC-Support 78

79 Batchskript: MPI-Berechnung SX-ACE #/bin/bash #PBS T mpisx #PBS b 10 #PBS l cpunum_job=4 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=40:00:00 #PBS l memsz_job=20gb #PBS q smallque #PBS N jobname #PBS o job.out #PBS j o export F_PROGINF=DETAIL Ausgabe von Performance-Informationen nach Jobende export MPI_PROGINF=DETAIL mpirun nn 2 nnp 4./prog HPC-Support 79

80 Linux-Cluster: MPI-Berechnungen knotenübergreifende MPI-Berechnungen Batchknoten müssen ohne Passwortabfrage miteinander kommunizieren können einmalige Erzeugung eines Schlüsselpaares ssh-keygen Kommando ausführen: ssh-keygen t rsa kopieren des erzeugten öffentlichen Schlüssels mit cp $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys HPC-Support 80

81 NQSII: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend qsub jobskript Abgabe einer Batchberechnung qstatall Auflistung aller Jobs im System qstat Auflistungen der eigenen Jobs qstatcl / qstatace Auflistungen aller Jobs auf NEC Linux-Cluster / SX-ACE Knoten qdel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs qstat f jobid liefert Details über einen bestimmten Job qstat J jobid Name des Batchknotens auf dem Job läuft qcl / qace zeigt Informationen über eingerichtete Batcklassen an HPC-Support 81

82 Slurm: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend sbatch jobskript Abgabe einer Batchberechnung squeue Auflistung aller Jobs im System squeue u username Auflistungen der eigenen Jobs scancel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs scontrol show job jobid liefert Details über einen bestimmten Job sinfo Zeigt Informationen über verfügbare Batchklassen an HPC-Support 82

83 Slurm: Interaktive Batchjobs rzcluster und caucluster: Möglichkeit interaktiv auf Batchknoten zu arbeiten Batchjobabgabe: srun --pty nodes=1 cpus-per_task=1 time=1:00:00 partition=small /bin/bash HPC-Support 83

84 Arbeiten mit dem Batchsystem nicht mehr Knoten und Cores anfordern als benötigt werden benötigte Rechenzeit und Hauptspeicher möglichst genau angeben höherer Durchsatz und kürzere Wartezeiten Zwischenergebnisse abspeichern (insbes. bei sehr langen Laufzeiten) Standardausgabedatei möglichst klein halten Ausgaben evtl. direkt in $WORK-umleiten (NEC HPC-System) HPC-Support 84

85 Dokumentation und Kontakt WWW-pages: NEC SX-ACE: NEC HPC-Linux-Cluster: rzcluster: caucluster: Maillingliste/Ticketsystem HPC-Support 85