HPC Einführungsveranstaltung

Transkript

1 RZ CAU HPC Einführungsveranstaltung

2 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume Arbeiten auf lokalen HPC-Systemen Diskussion und Fragen

3 Ansprechpartner HPC Support Team Benutzerberatung Dr. Karsten Balzer Dr. Simone Knief Systemadministration Dr. Cebel Kücükkaraca Dr. Holger Naundorf Alfred Wagner Mailingliste/Ticketsystem

4 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen

5 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen Ressourcen stehen allen CAU- und GEOMAR-Angehörigen zur Verfügung

6 RZ CAU Bereitstellung von Rechenressourcen HPC Support Unterstützung bei Nutzung lokaler und dezentraler HPC-Ressourcen Auswahl der geeigneten Rechnerarchitektur Hilfe bei der Portierung von Programmen Unterstützung bei der Programmoptimierung Auswahl geeigneter Compiler und deren Optionen Optimierung von Programmcodes (Algorithmenauswahl) Hilfe bei Parallelisierung und Vektorisierung von Programmen Installation von Benutzerprogrammen auf unseren Systemen Hilfestellung bei Anfertigung von Projektanträgen für HLRN-Rechner

7 Hochleistungsrechner

8 Was sind Hochleistungsrechner? keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet

9 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt

10 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt Hochleistungsrechner: hochparallele Rechencluster schnelles Verbindungsnetzwerk leistungsfähige I/O-Dateisysteme (für Lese- und Schreibprozesse) Rechnersysteme mit spezieller Architektur (z.b. Vektorrechner)

11 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher MPP = Massively Parallel Processing z.b. CRAY T3E

12 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher SMP = Symmetric multiprocessing z.b. SGI Altix

13 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix

14 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix

15 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix 4700 Systeme mit Multi-Core Prozessoren

16 Vektorrechner spezielle Bauweise eines Prozessors parallele Verarbeitung findet auf dem Prozessor (Core) statt Vektorregister Instruktionen werden auf eindimensionalem Feld (Vektor) ausgeführt Skalarrechner arbeiten mit einzelnen Daten geeignet für Programme, bei denen viele gleichartige Daten auf gleiche Art und Weise bearbeitet werden müssen, z.b. Matrixoperationen

17 Vektorrechner Beispiel: Z =a*x+y X,Y,Z: Vektoren gleicher Länge; a: skalare Größe Fortran-Code: do i=1,64 Z(i)=a*X(i)+Y(i) enddo C-Code: for (i=0;i<63;i++) Z(i)=a*X[i]+Y[i]

18 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden A*x(1) bilden Y(1) laden A*x(1)+y(1) bilden Z(1) speichern X(64) laden A*x(64) bilden Y(64) laden A*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte

19 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden A*x(1) bilden Y(1) laden A*x(1)+y(1) bilden Z(1) speichern X(64) laden A*x(64) bilden Y(64) laden A*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Vektorprozessor Skalar A laden Vektor X Vektor-Skalar Multiplikation Vektor Y laden Vektoraddition Vektor Z speichern 6 Schritte

20 Vektorrechner

21 RZ CAU 5/ /2002: CRAY T3E 18 CPUs mit 256MB Hauptspeicher Peak Performance: 22GFlops 6/ /2006: SGI Altix CPUs mit 512GB Hauptspeicher Peak Performance: 664GFlops seit 2005 kontinuierlicher Ausbau unseres Linux-Clusters (rzcluster)

22 RZ CAU 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops 2007 NEC SX8 + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops

23 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops Vektorrechnersystem 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops e RZ NEC SX8 CAU + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops Flops= Floating Point Operations per Second Gleitkommaoperation pro Sekunde Maß für Leistungsfähigeit von Prozessoren/Computern 65.5 TFlops = 65 * Gleitkommaberechnungen pro Sekunde

24 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen

25 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen Nutzung unterschiedlicher Architekturen ohne Datentransfer

26 Performance Vergleiche skalares Programm Strukturmodell a-si-h vektorisierendes Programm Jacobi-Iterationen SX-ACE Vektorsystem 2423 sek. 411sek. NEC Linux-Cluster Intel Skylake CPUs 210 sek sek

27 RZ CAU

28 HPC-Systeme

29 Linux-Cluster (rzcluster)

30 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm

31 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores Unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm Allgemein nutzbare Ressourcen 40 Batchknoten mit insgesamt 388 Cores 23 Knoten mit 8 Cores und 32GB Hauptspeicher 17 Knoten mit 12 Cores und 48GB Hauptspeicher

32 Linux-Cluster (caucluster)

33 caucluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (8 Cores und 64GB Memory) 7 Batchknoten mit insgesamt 280 Cores Coreausstattung pro Knoten: 40 (4 Haswell CPUs) Hauptspeicherausstattung: 256GB Betriebssystem: CentOS 7.x Batchsystem: Slurm Ressourcenverteilung über Fair-Share Algorithmus

34 rzcluster/caucluster: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnis 13TB für alle Nutzer regelmäßige Datensicherung WORK-Verzeichnis 350TB BeeGFS paralleles Dateisystem Zugriff auf Tape-Library Verfügbar nur auf dem Login-Knoten

35 Hybrides NEC HPC-System

36 NEC HPC-System Hybrides HPC-System skalarer NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem theoretische Peak Performance: 470 TFlops 4 gemeinsame Vorrechner globale Dateisysteme für $HOME und $WORK ein gemeinsames Batchsystem: NQSII kein Datentransfer für die Nutzung unterschiedlicher Hardwarearchitekturen erforderlich

37 NEC HPC-Linux Cluster 198 Knoten mit insgesamt 6192 Cores 180 Knoten mit jeweils 2 Intel Xeon Gold 6130 (Skylake-SP): 32 Cores pro Knoten und 192 GB Hauptspeicher bzw. 384GB (8 Knoten) 18 Knoten mit jeweils 2 Haswell Prozessoren: 24 Cores pro Knoten und 128GB Hauptspeicher Peak Performane: 404,4 TFlops Batchknoten mit schnellem EDR-InfiniBand vernetzt Übertragungsrate: 100Gbit/s Betriebssytem: Red Hat Enterprise Linux (Release 7.4)

38 NEC SX-ACE Vektorrechnersystem 256 SX-ACE Vektorknoten mit jeweils: 4 Vektor-Cores 64GB Hauptspeicher 256 GB/s Speicherbandbreite Knoten über schnellen Crossbar-Switch (IXS) verbunden spez. Verbindungsnetzwerk: 8GB/s Betriebssystem: Super-UX 1024 Vektor-Cores mit einer Peak Performance von 65,5TFlops

39 NEC HPC-System 4 gemeinsame Vorrechner Skylake-SP Prozessoren (2,1GHz) 32 Cores pro Knoten und 768GB Hauptspeicher Login-Name: nesh-fe.rz.uni-kiel.de interaktives Arbeiten sowie Pre- und Postprocessing

40 NEC HPC-System: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnisse 64TB: NEC GxFS regelmäßige Datensicherung $WORK-Verzeichnisse 5PB ScaTeFS NEC spezifisches paralleles Dateisystem Zugriff auf Tape-Library angemountetes Dateisystem verfügbar an allen Vorrechnern interaktiver Zugriff oder über spezielle Batch-Klasse $TMPDIR: lokaler Plattenplatz nur an Linux-Cluster Knoten

41 HLRN Verbund

42 HLRN Norddeutscher Verbund für Hoch- und Höchleistungsrechnen besteht seit 2001 Zusammenschluss der 7 norddeutschen Bundesländer Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein Ziele: Gemeinsame Beschaffung und Nutzung von HPC-Systemen Bearbeitung von Grand Challenges Aufbau und Weiterentwicklung eines HPC-Kompetenznetzwerkes

43 HLRN: Organisationsstruktur

44 HLRN: Organisationsstruktur Verwaltungsrat je einem Vertreter der Ministerien bzw. Senatorischen Behörden entscheidet über Angelegenheiten von grundsätzlicher Bedeutung Technische Kommission Leiter der beteiligten Rechenzentren berät Verwaltungsrat und die Betreiberzentren in allen techn. Fragen Wissenschaftlicher Ausschuss Wissenschaftler der verschiedenen Fachrichtungen der beteiligten Länder entscheidet über Zulassung von Projekten und die Vergabe von Rechenressourcen Fachberater und lokale Berater beraten in technischen, betrieblichen, organisatorischen und fachlichen Belangen unterstützen bei der Umsetzung fachbezogener wissenschaftlicher Fragestellungen

45 HLRN-Systeme: Historie HLRN-I: Laufzeit: Mai 2002 bis Juli 2008 IBM p690-system (IBM Power4-Prozessoren) Peak-Performance: 5.3TFlops HLRN-II: Laufzeit: Juli 2008 bis November 2013 SGI Altice ICE (Intel Harpertown und Nehalem Prozessoren) Peak-Performance: 329 TFlops HLRN-III: Inbetriebnahme: September bzw. Dezember 2013 CRAY XC30/XC40-System Peak-Performance: 2.6 PFlops HLRN-IV geplante Inbetriebnahme Herbst 2018 Vertragsunterzeichnung: (Firma Atos) Peak-Performance: 16PFlops; ca Prozessorkerne (Intel-CPUs)

46 Hochleistungsrechner Nord (HLRN) Hannover MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores SMP-System 64 Knoten SandyBridge+NvidiaK Cores 256/512GB Memory Berlin MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores Test/Entwicklungssystem Cray XC40 Many-Core 16 Knoten mit XeonPhi&Xeon KNL

47 Hochleistungsrechner Nord (HLRN)

48 Lokale HPC-Systeme: Besichtigung

49 RZ CAU Arbeiten auf unseren lokalen HPC-Systemen Accountbeantragung Einloggen und Datentransfer Dateisysteme und Datensicherung Compiler und Software Interaktives Arbeiten und Batchbetrieb

50 HPC-Systeme: Zugang Rechnerzugang kann jederzeit beantragt werden Formular 3: Antrag auf Nutzung eines Hochleistungsrechners ausgefüllt an die RZ-Benutzerverwaltung schicken mit Accounteintragung: Aufnahme in 2 Mailinglisten nesh_user@lists.uni-kiel.de bzw. rzcluster_user@lists.uni-kiel.de rechnerspezifische Informationen: Betriebsunterberechnungen, Probleme, neue Software, hpc_user@uni-kiel.de allgemeine Informationen Kurse, Infoveranstaltung, Rechnerbeschaffungen,

51 HLRN: Zugang Nutzung für alle Mitarbeiter der Universitäten und Hochschulen in Schleswig-Holstein möglich 2 Phasen der Rechnernutzung Beantragung einer Schnupperkennung Beantragung eines Großprojektes

52 HLRN-Schnupperkennung dient zur Vorbereitung eines Großprojektes Beantragung ist jederzeit möglich (WWW-Formular) begrenzte Laufzeit von 3 Quartalen begrenztes Kontingent an Rechenzeit: NPLs pro Quartal (erweiterbar auf max NPLs) Definition NPLs: NPL=Norddeutsche Parallelrechner-Leistungseinheit MPP-Knoten für 1 Stunde: 2 bzw. 2.4 NPLs SMP-Knoten für 1 Stunde: 4 bzw. 6 NPLs

53 HLRN-Großprojekt dient zur Durchführung von größeren Forschungsvorhaben Antragsfrist endet jeweils ca. 2 Monate vor Quartalsbeginn: 28.1., 28.4., und Anträge werden durch den wissenschaftlichen Ausschuss begutachtet Kontingente werden jeweils für ein Jahr bewilligt und quartalsweise zugeteilt Angaben, die für einen Antrag erforderlich sind: Kurzbeschreibung des Projektes bzw. Statusbericht nachvollziehbare Abschätzung der benötigten Betriebsmittel Rechenzeit, Hauptspeicher, Plattenspeicherbedarf

54 Nutzung unserer lokalen HPC-Systeme

55 HPC-Systeme: Zugang interaktives Einloggen nur auf Vorrechner (Login-Knoten) möglich direkter Zugriff nur über IP-Adressen aus dem CAU- und GEOMAR-Netz bzw. UKSH-Netz Zugriff aus anderen Netzen nur über eine VPN-Verbindung VPN-Verbindung mit su-kennung aufbauen (nicht mit stu-account) Aufbau einer ssh-verbindung über ssh-client vom lokalen PC aus: MAC und Linux: ssh-client in Standarddistributionen enthalten Windows-Clients: putty: kein Arbeiten mit einer grafischen Benutzeroberfläche möglich MobaXterm: X-Win32:

56 HPC-Systeme: Zugang Zugriff auf rzcluster Login-Knoten ssh -X -X Option aktiviert X11-Forwarding Nutzung einer grafischen Benutzeroberfläche Zugriff auf caucluster Login-Knoten ssh X username@caucluster.rz.uni-kiel.de Zugriff auf Login-Knoten NEC HPC-System ssh X username@nesh-fe.rz.uni-kiel.de

57 HPC-Systeme: Datentransfer Linux und MAC: scp-kommando: scp dateiname rsync-kommando: rsync -av dateiname Windows: WinSCP (grafischer scp-client)

58 Datentransfer: Windows-Rechner Arbeiten mit Dateien, die unter Windows erzeugt/bearbeitet wurden nur als reine ASCII-Dateien abspeichern vermeidet Fehlermeldung /bin/bash^m: bad interpreter: no such file or directory Kommando dos2unix dateiname entfernt Steuerzeichen Verfügbare Editoren auf HPC-Systemen vi Emacs nedit

59 Hochleistungsrechner Dateisysteme und Datensicherung

60 HPC-Rechner: Dateisysteme rzcluster und caucluster: gemeinsame Dateisysteme NEC HPC-System: separate Dateisysteme Vier verschiedene Dateisysteme nutzbar HOME-Verzeichnis WORK-Verzeichnis lokaler Plattenplatz an den Rechenknoten Zugriff auf Tape-Library (Magnetband-Robotersystem)

61 HOME-Verzeichnis Login-Verzeichnis erreichbar über die Umgebungsvariable $HOME verfügbarer Plattenplatz (für alle Nutzer) NEC HPC-System: 60TB rzcluster/caucluster: 13TB global verfügbar an allen Knoten tägliche Datensicherung durch das Verzeichnis für wichtige Daten, die gesichert werden müssen Skripte, Programme und kleinere Ergebnisdateien derzeit noch keine Plattenplatzbegrenzung (Quota) pro Benutzer nicht für die Durchführung von Batchjobs verwenden langsame Zugriffszeiten

62 Work-Verzeichnis globales paralleles Dateisystem Dateisystem für die Durchführung von Batchberechnungen ereichbar über $WORK-Umgebungsvariable (NEC HPC-System) /work_beegfs/username (rzcluster/caucluster) manuelles $WORK-setzen: in $HOME/.bash_profile einfügen export $WORK= /work_beegfs/username keine Datensicherung durch das verfügbarer Plattenplatz (für alle Nutzer insgesamt) NEC HPC-System: 5 PB ScaTeFS rzcluster/caucluster: 350 TB BeeGFS Quoten für nutzbaren Plattenplatz pro Benutzer

63 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota

64 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente Nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota rzcluster/caucluster Standardkontingent: Speicherplatz: 1TB Inode-Einträge: Kommando Quotenabfrage: beegfs-ctl --getquota uid username

65 Lokaler Plattenplatz erreichbar über die Umgebungsvariable $TMPDIR lokaler temporärer Plattenplatz am jeweiligen Batchknoten nur innerhalb eines Batchjobs verfügbar schnelle Zugriffszeiten: wichtig für I/O intensive Berechnungen

66 TAPE-Library Plattenspeicher mit angeschlossenem Magnetbandrobotersystem Erreichbar über Umgebungsvariable $TAPE_CACHE (NEC HPC-System) /nfs/tape_cache/username (rzcluster/caucluster) nur lokal auf Vorrechnern verfügbar NEC HPC-System: Zugriff über spezielle Queue (feque) möglich Speicherung von aktuell nicht benötigten Daten erstellen von tar-dateien (max. 1TB; empfohlene Größe: zwischen 3 und 50GB) langsamer Zugriff: kein direktes Arbeiten mit Dateien auf Band kein Archivierungssystem irrtümlich gelöschte Daten können nicht wieder hergestellt werden

67 Datensicherung HOME-Verzeichnis tägliche Sicherung Datensicherungen werden 8 Wochen aufbewahrt für die letzten 2 Wochen ist eine tagesaktuelle Wiederherstellung möglich ältere Datensicherungen stehen in Wochenabständen zur Verfügung Wiederherstellung über Verzeichnis NEC HPC-System: /nfs/mybackup-0 bzw. /nfs/mybackp-1 rzcluster: /mybackup-0 $WORK: keine Sicherung durch das TAPE-Library keine Backup, d.h. irrtümlich gelöschte Daten nicht wieder herstellbar Daten nur verfügbar solange ein Account aktiv ist keine Langzeitarchivierung durch das

68 Arbeiten mit den Dateisystemen wichtige Daten, die gesichert werden müssen auf $HOME Batchberechnungen starten und Ausführen auf $WORK Nutzung von $TMPDIR für I/O intensive Berechnungen TAPE_CACHE-Verzeichnis aktuell nicht benötigte Daten auf Magnetband auslagern bevorzugt große Datenpakete abspeichern eigenen Datenbestand von Zeit zu Zeit überprüfen

69 Anwendersoftware Und Programmübersetzung

70 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,

71 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc, Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,. Bereitstellung über ein Module-Konzept

72 Module-Konzept ermöglicht Nutzung bereits installierter Software nach dem Laden eines Softwaremodules: Programm ohne weitere Pfadanpassungen nutzbar einfaches Setzen/Umsetzen von Suchpfaden: $PATH, $LD_LIBRARY_PATH, $MANPATH

73 Modules: Kommandos module avail liefert Überblick über bereits installierte Softwarepakete module load name lädt Module mit dem Name name; alle Einstellungen für die Programmnutzung werden vorgenommen module list listet alle Module auf, die aktuell geladen sind module unload name entfernt das Module name, d.h. alle Einstellungen werden rückgängig gemacht module purge entfernt alle bisher geladenen Module, d.h. module list Kommando liefert keine Einträge mehr module show name zeigt Pfadänderung an, die das Module durchführt

74 Modules: Beispiele Nutzung Programmpaket Matlab module load matlab2017a (CAU-Nutzer) module load matlab2017a_geomar (GEOMAR-Nutzer) Programmaufruf mit Kommando matlab nodisplay starten Programmübersetzung mit Intel-Compiler module load intel Compileraufruf: ifort, icc oder icpc module load intel intelmpi Compileraufruf: mpiifort, mpiicc oder miicpc

75 Hochleistungsechner Interaktives Arbeiten und Batchbetrieb

76 HPC-System

77 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten (HPC-Login) Datentransfer: PC HPC-Login Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs keine längeren Berechnungen über Batchsystem

78 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten Datenstransfer Arbeitsplatz-PC HPC-Systeme/Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs Keine längeren Berechnungen über Batchsystem Batchbetrieb Berechnungen auf den Compute-Knoten Kein direkter Zugriff auf ausführende Knoten

79 HPC-Systeme: Batchbetrieb Vorteil Rechenressourcen können effektiver genutzt werden höherer Durchsatz gerechte Verteilung auf alle Benutzer jeder Benutzer kann mehrere Berechnungen gleichzeitig ausführen angeforderte Ressourcen sind während der Laufzeit garantiert Nachteil zunächst etwas ungewohntes Arbeiten

80 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt

81 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt Batchsystemsoftware rzcluster und caucluster: slurm NEC HPC-System: NQSII

82 HPC-Systeme: Batchbetrieb

83 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel # Programmstart time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

84 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 --> Shell-Definition #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

85 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o benötigte Anzahl von Rechenknoten benötigte Anzahl von Rechenkernen pro Knoten #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

86 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 angeforderte Rechenzeit (Verweilzeit) #PBS l cputim_job=10:00:00 angeforderte CPU-Zeit (Coreanzahl*Verweilzeit) #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

87 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb max. benötigter Hauptspeicher pro Knoten #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

88 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium Angabe der Batchklasse #PBS N jobname Name des Batchjobs #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

89 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o Dateiname für Standardausgabe Standard- und Fehlerausgabe in eine Datei schreiben #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}

90 Slurm-Batchskript (rzcluster,caucluster) #/bin/bash #SBATCH--nodes=1 #SBATCH --tasks-per-node=1 Anzahl MPI-Prozesse pro Knoten #SBATCH --cpus-per-task=1 #SBATCH --time=01:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=jobname #SBATCH --output=job.out #SBATCH --error=job.err Anzahl Tasks per Node (z.b. OpenMP-Parallelisierung) export OMP_NUM_THREADS=1 #Laden der Softwareumgebung module load intel time./prog

91 Batchskript: parallele MPI-Berechnung #/bin/bash #PBS T intmpi #PBS b 2 #PBS l cpunum_job=32 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=640:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o module load intel intelmpi mpirun $NQSII_MPIOPTS np 64./prog #/bin/bash #SBATCH--nodes=2 #SBATCH --tasks-per-node=12 #SBATCH --cpus-per-task=1 #SBATCH --time=10:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=job #SBATCH --output=job.out module load intel intelmpi mpirun np 24./prog

92 Batchskript: MPI-Berechnung SX-ACE #/bin/bash #PBS T mpisx #PBS b 10 #PBS l cpunum_job=4 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=40:00:00 #PBS l memsz_job=20gb #PBS q smallque #PBS N jobname #PBS o job.out #PBS j o export F_PROGINF=DETAIL Ausgabe von Performance-Informationen nach Jobende export MPI_PROGINF=DETAIL mpirun nn 2 nnp 4./prog

93 Linux-Cluster: MPI-Berechnungen knotenübergreifende MPI-Berechnungen Batchknoten müssen ohne Passwortabfrage miteinander kommunizieren können einmalige Erzeugung eines Schlüsselpaares ssh-keygen Kommando ausführen: ssh-keygen t rsa kopieren des erzeugten öffentlichen Schlüssels mit cp $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys

94 NQSII: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend qsub jobskript Abgabe einer Batchberechnung qstatall Auflistung aller Jobs im System qstat Auflistungen der eigenen Jobs qstatcl / qstatace Auflistungen aller Jobs auf NEC Linux-Cluster / SX-ACE Knoten qdel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs qstat f jobid liefert Details über einen bestimmten Job qstat J jobid Name des Batchknotens auf dem Job läuft qcl / qace zeigt Informationen über eingerichtete Batchklassen an

95 Slurm: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend sbatch jobskript Abgabe einer Batchberechnung squeue Auflistung aller Jobs im System squeue u username Auflistungen der eigenen Jobs scancel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs scontrol show job jobid liefert Details über einen bestimmten Job sinfo Zeigt Informationen über verfügbare Batchklassen an

96 Slurm: Interaktive Batchjobs rzcluster und caucluster: Möglichkeit interaktiv auf Batchknoten zu arbeiten Batchjobabgabe: srun --pty nodes=1 cpus-per_task=1 time=1:00:00 partition=small /bin/bash

97 Arbeiten mit dem Batchsystem nicht mehr Knoten und Cores anfordern als benötigt werden benötigte Rechenzeit und Hauptspeicher möglichst genau angeben höherer Durchsatz und kürzere Wartezeiten Zwischenergebnisse abspeichern (insbes. bei sehr langen Laufzeiten) Standardausgabedatei möglichst klein halten Ausgaben evtl. direkt in $WORK-umleiten (NEC HPC-System)

98 Dokumentation und Kontakt WWW-pages: NEC SX-ACE: NEC HPC-Linux-Cluster: rzcluster: caucluster: Vortragsfolien: Maillingliste/Ticketsystem