HPC Einführungsveranstaltung
|
|
- Heidi Weber
- vor 5 Jahren
- Abrufe
Transkript
1 RZ CAU HPC Einführungsveranstaltung
2 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume Arbeiten auf lokalen HPC-Systemen Diskussion und Fragen Vortragsfolien:
3 Ansprechpartner HPC Support Team Benutzerberatung Dr. Karsten Balzer Dr. Michael Kisiela Dr. Simone Knief Systemadministration Dr. Cebel Kücükkaraca Dr. Holger Naundorf Alfred Wagner Mailingliste/Ticketsystem
4 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem NEC SX-Aurora TSUBASA Vector Engine (ab Aug. 2018) zwei Linux-Clustersysteme (rzcluster und caucluster) Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen
5 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem zwei Linux-Clustersysteme (rzcluster und caucluster) Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen Ressourcen stehen allen CAU- und GEOMAR-Angehörigen zur Verfügung
6 RZ CAU Bereitstellung von Rechenressourcen HPC Support Unterstützung bei Nutzung lokaler und dezentraler HPC-Ressourcen Auswahl der geeigneten Rechnerarchitektur Hilfe bei der Portierung von Programmen Unterstützung bei der Programmoptimierung Auswahl geeigneter Compiler und deren Optionen Optimierung von Programmcodes (Algorithmenauswahl) Hilfe bei Parallelisierung und Vektorisierung von Programmen Installation von Benutzerprogrammen auf unseren Systemen Hilfestellung bei Anfertigung von Projektanträgen für HLRN-Rechner
7 Hochleistungsrechner
8 Was sind Hochleistungsrechner? keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet
9 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt
10 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt Hochleistungsrechner: hochparallele Rechencluster schnelles Verbindungsnetzwerk leistungsfähige I/O-Dateisysteme (für Lese- und Schreibprozesse) Rechnersysteme mit spezieller Architektur (z.b. Vektorrechner)
11 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher MPP = Massively Parallel Processing z.b. CRAY T3E (Inbetriebnahme 1995)
12 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E (Inbetriebnahme 1995) SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher SMP = Symmetric multiprocessing z.b. SGI Altix 4700 (Inbetriebnahme 2005)
13 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix
14 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix
15 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix 4700 Systeme mit Multi-Core Prozessoren (aktuelle HPC-Systeme)
16 Vektorrechner spezielle Bauweise eines Prozessors parallele Verarbeitung findet auf dem Prozessor (Core) statt Vektorregister Instruktionen werden auf eindimensionalem Feld (Vektor) ausgeführt Skalarrechner arbeiten mit einzelnen Daten geeignet für Programme, bei denen viele gleichartige Daten auf gleiche Art und Weise bearbeitet werden müssen, z.b. Matrixoperationen
17 Vektorrechner Beispiel: Z =a*x+y X,Y,Z: Vektoren gleicher Länge; a: skalare Größe Fortran-Code: do i=1,64 Z(i)=a*X(i)+Y(i) enddo C-Code: for (i=0;i<63;i++) Z(i)=a*X[i]+Y[i]
18 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden a*x(1) bilden Y(1) laden a*x(1)+y(1) bilden Z(1) speichern X(64) laden a*x(64) bilden Y(64) laden a*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte
19 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden A*x(1) bilden Y(1) laden A*x(1)+y(1) bilden Z(1) speichern X(64) laden A*x(64) bilden Y(64) laden A*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Vektorprozessor Skalar A laden Vektor X Vektor-Skalar Multiplikation Vektor Y laden Vektoraddition Vektor Z speichern 6 Schritte
20 Vektorrechner
21 RZ CAU 5/ /2002: CRAY T3E 18 CPUs mit 256MB Hauptspeicher Peak Performance: 22GFlops 6/ /2006: SGI Altix CPUs mit 512GB Hauptspeicher Peak Performance: 664GFlops seit 2005 kontinuierlicher Ausbau unseres Linux-Clusters (rzcluster) Flops= Floating Point Operations per Second Gleitkommaoperation pro Sekunde Maß für Leistungsfähigeit von Prozessoren/Computern
22 RZ CAU 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops 2007 NEC SX8 + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops Flops= Floating Point Operations per Second Gleitkommaoperation pro Sekunde Maß für Leistungsfähigeit von Prozessoren/Computern 65.5 TFlops = 65 * Gleitkommaberechnungen pro Sekunde
23 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen
24 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen Nutzung unterschiedlicher Architekturen ohne Datentransfer
25 Performance Vergleiche skalares Programm Strukturmodell a-si-h vektorisierendes Programm Jacobi-Iterationen SX-ACE Vektorsystem 2423 sek. 411sek. NEC Linux-Cluster Intel Skylake CPUs 210 sek sek
26 RZ CAU
27 NEC SX-Aurora TSUBASA
28 HPC-Systeme
29 Hybrides NEC HPC-System
30 NEC HPC-System Hybrides HPC-System skalarer NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem theoretische Peak Performance: 470 TFlops 4 gemeinsame Vorrechner (HPC-Login) globale (gemeinsame) Dateisysteme ein gemeinsames Batchsystem: NQSII kein Datentransfer für die Nutzung unterschiedlicher Hardwarearchitekturen erforderlich
31 NEC HPC-System 4 gemeinsame Vorrechner (HPC-Login) Skylake-SP Prozessoren (2,1GHz) 32 Cores pro Knoten und 768GB Hauptspeicher Login-Name: nesh-fe.rz.uni-kiel.de interaktives Arbeiten sowie Pre- und Postprocessing
32 NEC HPC-Linux Cluster 198 Knoten mit insgesamt 6192 Cores (Compute) 180 Knoten mit jeweils 2 Intel Xeon Gold 6130 (Skylake-SP): 32 Cores pro Knoten und 192 GB Hauptspeicher bzw. 384GB (8 Knoten) 18 Knoten mit jeweils 2 Haswell Prozessoren: 24 Cores pro Knoten und 128GB Hauptspeicher Peak Performane: 404,4 TFlops Batchknoten mit schnellem EDR-InfiniBand vernetzt Übertragungsrate: 100Gbit/s Betriebssystem: Red Hat Enterprise Linux (Release 7.4) Batch-Knoten (Compute) nur über Batchsystem erreichbar, kein interaktives Einloggen
33 NEC SX-ACE Vektorrechnersystem 256 SX-ACE Vektorknoten mit jeweils: 4 Vektor-Cores 64GB Hauptspeicher 256 GB/s Speicherbandbreite Knoten über schnellen Crossbar-Switch (IXS) verbunden spez. Verbindungsnetzwerk: 8GB/s Betriebssystem: Super-UX (Unix-Variante) Compute-Knoten (nur über Batchsystem erreichbar) 1024 Vektor-Cores mit einer Peak Performance von 65,5TFlops
34 NEC HPC-System: Dateisysteme 3 verschiedene Dateisysteme verfügbar HOME-Verzeichnisse 64TB: NEC GxFS regelmäßige Datensicherung Login-Verzeichnis WORK-Verzeichnisse 5PB ScaTeFS NEC spezifisches paralleles Dateisystem Zugriff auf Tape-Library angemountetes Dateisystem verfügbar an allen Vorrechnern interaktiver Zugriff oder über spezielle Batch-Klasse lokaler Plattenplatz nur an Linux-Cluster Knoten
35 Linux-Cluster (caucluster)
36 caucluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (8 Cores und 64GB Memory) 7 Batchknoten mit insgesamt 280 Cores Coreausstattung pro Knoten: 40 (4 Haswell CPUs) Hauptspeicherausstattung: 256GB Betriebssystem: CentOS 7.x Batchsystem: Slurm Ressourcenverteilung über Fair-Share Algorithmus
37 Linux-Cluster (rzcluster)
38 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm
39 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores Unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm Allgemein nutzbare Ressourcen 40 Batchknoten mit insgesamt 388 Cores 23 Knoten mit 8 Cores und 32GB Hauptspeicher 17 Knoten mit 12 Cores und 48GB Hauptspeicher
40 rzcluster/caucluster: Dateisysteme 3 verschiedene Dateisysteme verfügbar HOME-Verzeichnisse 13TB für alle Nutzer regelmäßige Datensicherung WORK-Verzeichnisse 350TB BeeGFS paralleles Dateisystem Zugriff auf Tape-Library verfügbar nur auf dem Login-Knoten caucluster und rzcluster: gemeinsame Dateisysteme
41 HLRN Verbund
42 HLRN Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen besteht seit 2001 Zusammenschluss der 7 norddeutschen Bundesländer Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein Ziele: Gemeinsame Beschaffung und Nutzung von HPC-Systemen Bearbeitung von Grand Challenges Aufbau und Weiterentwicklung eines HPC-Kompetenznetzwerkes
43 HLRN: Organisationsstruktur
44 HLRN: Organisationsstruktur Verwaltungsrat je einem Vertreter der Ministerien bzw. Senatorischen Behörden entscheidet über Angelegenheiten von grundsätzlicher Bedeutung Technische Kommission Leiter der beteiligten Rechenzentren berät Verwaltungsrat und die Betreiberzentren in allen techn. Fragen Wissenschaftlicher Ausschuss Wissenschaftler der verschiedenen Fachrichtungen der beteiligten Länder entscheidet über Zulassung von Projekten und die Vergabe von Rechenressourcen Fachberater und lokale Berater beraten in technischen, betrieblichen, organisatorischen und fachlichen Belangen unterstützen bei der Umsetzung fachbezogener wissenschaftlicher Fragestellungen
45 HLRN-Systeme: Historie HLRN-I: Laufzeit: Mai 2002 bis Juli 2008 IBM p690-system (IBM Power4-Prozessoren) Peak-Performance: 5.3TFlops HLRN-II: Laufzeit: Juli 2008 bis November 2013 SGI Altice ICE (Intel Harpertown und Nehalem Prozessoren) Peak-Performance: 329 TFlops HLRN-III: Inbetriebnahme: September bzw. Dezember 2013 CRAY XC30/XC40-System Peak-Performance: 2.6 PFlops HLRN-IV geplante Inbetriebnahme Herbst 2018 Vertragsunterzeichnung: (Firma Atos) Peak-Performance: 16PFlops; ca Prozessorkerne (Intel-CPUs)
46 Hochleistungsrechner Nord (HLRN) Hannover MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores SMP-System 64 Knoten SandyBridge+NvidiaK Cores 256/512GB Memory Berlin MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores Test/Entwicklungssystem Cray XC40 Many-Core 16 Knoten mit XeonPhi&Xeon KNL
47 Hochleistungsrechner Nord (HLRN)
48 Lokale HPC-Systeme: Besichtigung
49 RZ CAU Arbeiten auf unseren lokalen HPC-Systemen Accountbeantragung Einloggen und Datentransfer Dateisysteme und Datensicherung Compiler und Software Interaktives Arbeiten und Batchbetrieb
50 HPC-Systeme: Zugang Rechnerzugang kann jederzeit beantragt werden Formular 3: Antrag auf Nutzung eines Hochleistungsrechners ausgefüllt an die RZ-Benutzerverwaltung schicken mit Accounteintragung: Aufnahme in 2 Mailinglisten nesh_user@lists.uni-kiel.de bzw. rzcluster_user@lists.uni-kiel.de rechnerspezifische Informationen: Betriebsunterberechnungen, Probleme, neue Software, hpc_user@uni-kiel.de allgemeine Informationen Kurse, Infoveranstaltung, Rechnerbeschaffungen,
51 HLRN: Zugang Nutzung für alle Mitarbeiter der Universitäten und Hochschulen in Schleswig-Holstein möglich 2 Phasen der Rechnernutzung Beantragung einer Schnupperkennung Beantragung eines Großprojektes
52 HLRN-Schnupperkennung dient zur Vorbereitung eines Großprojektes Beantragung ist jederzeit möglich (WWW-Formular) begrenzte Laufzeit von 3 Quartalen begrenztes Kontingent an Rechenzeit: NPLs pro Quartal (erweiterbar auf max NPLs) Definition NPLs: NPL=Norddeutsche Parallelrechner-Leistungseinheit MPP-Knoten für 1 Stunde: 2 bzw. 2.4 NPLs SMP-Knoten für 1 Stunde: 4 bzw. 6 NPLs
53 HLRN-Großprojekt dient zur Durchführung von größeren Forschungsvorhaben Antragsfrist endet jeweils ca. 2 Monate vor Quartalsbeginn: 28.1., 28.4., und Anträge werden durch den wissenschaftlichen Ausschuss begutachtet Kontingente werden jeweils für ein Jahr bewilligt und quartalsweise zugeteilt Angaben, die für einen Antrag erforderlich sind: Kurzbeschreibung des Projektes bzw. Statusbericht nachvollziehbare Abschätzung der benötigten Betriebsmittel Rechenzeit, Hauptspeicher, Plattenspeicherbedarf
54 Nutzung unserer lokalen HPC-Systeme
55 HPC-Systeme: Zugang interaktives Einloggen nur auf Vorrechner (Login-Knoten) möglich direkter Zugriff nur über IP-Adressen aus dem CAU- und GEOMAR-Netz bzw. UKSH-Netz Zugriff aus anderen Netzen nur über eine VPN-Verbindung VPN-Verbindung mit su- bzw. smomw-kennung aufbauen (nicht mit stu-account) Aufbau einer ssh-verbindung über ssh-client vom lokalen PC aus: MAC und Linux: ssh-client in Standarddistributionen enthalten Windows-Clients: putty: kein Arbeiten mit einer grafischen Benutzeroberfläche möglich MobaXterm: X-Win32:
56 HPC-Systeme: Zugang Zugriff auf Login-Knoten NEC HPC-System ssh X username@nesh-fe.rz.uni-kiel.de -X Option aktiviert X11-Forwarding Nutzung einer grafischen Benutzeroberfläche Zugriff auf rzcluster Login-Knoten ssh -X username@rzcluster.rz.uni-kiel.de Zugriff auf caucluster Login-Knoten ssh X username@caucluster.rz.uni-kiel.de ssh-kommando auf lokalem PC ausführen
57 HPC-Systeme: Datentransfer Linux und MAC: scp-kommando: scp dateiname rsync-kommando: rsync -av dateiname Windows: WinSCP (grafischer scp-client) scp-, rsync-kommando bzw. WinSCP-Aufruf auf lokalem PC ausführen
58 HPC-Systeme: Editoren Verfügbare Editoren auf HPC-Systemen (Vorrechner, HPC-Login) vi Emacs nedit nano Arbeiten mit Dateien, die unter Windows erzeugt/bearbeitet wurden nur als reine ASCII-Dateien abspeichern auf lokalem PC vermeidet Fehlermeldung /bin/bash^m: bad interpreter: no such file or directory Kommando dos2unix dateiname entfernt Steuerzeichen dos2unix-kommondo auf Vorrechner (HPC-Login) ausführen
59 HPC-Systeme: Passwortänderung nach dem ersten Einloggen zugesendetes Initialpasswort ändern Kommando für Passwortänderung (auf Vorrechner ausführen) : NEC HPC-System: yppasswd caucluster und rzcluster: passwd Initialpasswort sicher aufbewahren Zurücksetzung über RZ-Benutzerverwaltung möglich
60 Hochleistungsrechner Dateisysteme und Datensicherung
61 HPC-Rechner: Dateisysteme Vier verschiedene Dateisysteme nutzbar HOME-Verzeichnis WORK-Verzeichnis lokaler Plattenplatz an den Rechenknoten Zugriff auf Tape-Library (Magnetband-Robotersystem)
62 HOME-Verzeichnis Login-Verzeichnis erreichbar über die Umgebungsvariable $HOME verfügbarer Plattenplatz (für alle Nutzer) NEC HPC-System: 60TB rzcluster/caucluster: 13TB global verfügbar an allen Knoten tägliche Datensicherung durch das Verzeichnis für wichtige Daten, die gesichert werden müssen Skripte, Programme und kleinere Ergebnisdateien derzeit noch keine Plattenplatzbegrenzung (Quota) pro Benutzer nicht für die Durchführung von Batchjobs verwenden langsame Zugriffszeiten
63 Work-Verzeichnis globales paralleles Dateisystem Dateisystem für die Durchführung von Batchberechnungen erreichbar über $WORK-Umgebungsvariable (NEC HPC-System) /work_beegfs/username (rzcluster/caucluster) manuelles $WORK-setzen: in $HOME/.bash_profile einfügen export $WORK= /work_beegfs/username ältere Nutzerkennungen auf /work_zfs/username keine Datensicherung durch das verfügbarer Plattenplatz (für alle Nutzer insgesamt) NEC HPC-System: 5 PB ScaTeFS rzcluster/caucluster: 350 TB BeeGFS Quoten für nutzbaren Plattenplatz pro Benutzer
64 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente nutzbarer Speicherplatz softlimit: 1,8TB (CAU) bzw. 4,5TB (GEOMAR) hardlimit: 2,0TB (CAU) bzw. 5,0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota
65 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente Nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota rzcluster/caucluster Standardkontingent: Speicherplatz: 1TB Inode-Einträge: Kommando Quotenabfrage: beegfs-ctl --getquota uid username
66 Lokaler Plattenplatz erreichbar über Umgebungsvariable $TMPDIR (caucluster, rzcluster) $SCRATCH (NEC HPC-System) export $SCRATCH= /scratch `echo $PBS_JOBID cut -f2\d;` lokaler temporärer Plattenplatz am jeweiligen Batchknoten nur innerhalb eines Batchjobs verfügbar schnelle Zugriffszeiten: wichtig für I/O intensive Berechnungen (viele Leseund/oder Schreibprozesse in kurzer Zeit)
67 TAPE-Library Plattenspeicher mit angeschlossenem Magnetbandrobotersystem erreichbar über Umgebungsvariable $TAPE_CACHE (NEC HPC-System) /nfs/tape_cache/username (rzcluster/caucluster) nur lokal auf Vorrechnern verfügbar NEC HPC-System: Zugriff über spezielle Queue (feque) möglich Speicherung von aktuell nicht benötigten Daten erstellen von tar-dateien (max. 1TB; empfohlene Größe: zwischen 3 und 50GB) langsamer Zugriff: kein direktes Arbeiten mit Dateien auf Band kein Archivierungssystem irrtümlich gelöschte Daten können nicht wieder hergestellt werden
68 Datensicherung HOME-Verzeichnis tägliche Sicherung Datensicherungen werden 8 Wochen aufbewahrt für die letzten 2 Wochen ist eine tagesaktuelle Wiederherstellung möglich ältere Datensicherungen stehen in Wochenabständen zur Verfügung Wiederherstellung über Verzeichnis NEC HPC-System: /nfs/mybackup-0 bzw. /nfs/mybackp-1 rzcluster: /mybackup-0 $WORK: keine Sicherung durch das TAPE-Library keine Backup, d.h. irrtümlich gelöschte Daten nicht wieder herstellbar Daten nur verfügbar solange ein Account aktiv ist keine Langzeitarchivierung durch das
69 Arbeiten mit den Dateisystemen wichtige Daten, die gesichert werden müssen auf $HOME Batchberechnungen starten und Ausführen auf $WORK Nutzung von $TMPDIR für I/O intensive Berechnungen TAPE_CACHE-Verzeichnis aktuell nicht benötigte Daten auf Magnetband auslagern bevorzugt große Datenpakete abspeichern eigenen Datenbestand von Zeit zu Zeit überprüfen
70 Anwendersoftware und Programmübersetzung
71 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,
72 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc, Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,. Bereitstellung über ein Module-Konzept
73 Module-Konzept ermöglicht Nutzung bereits installierter Software nach dem Laden eines Softwaremodules: Programm ohne weitere Pfadanpassungen nutzbar einfaches Setzen/Umsetzen von Suchpfaden: $PATH, $LD_LIBRARY_PATH, $MANPATH
74 Modules: Kommandos module avail liefert Überblick über bereits installierte Softwarepakete module load name lädt Module mit dem Name name; alle Einstellungen für die Programmnutzung werden vorgenommen module list listet alle Module auf, die aktuell geladen sind module unload name entfernt das Module name, d.h. alle Einstellungen werden rückgängig gemacht module purge entfernt alle bisher geladenen Module, d.h. module list Kommando liefert keine Einträge mehr module show name zeigt Pfadänderung an, die das Module durchführt
75 Modules: Beispiele Nutzung Programmpaket Matlab module load matlab2017a (CAU-Nutzer) module load matlab2017a_geomar (GEOMAR-Nutzer) Programmaufruf mit Kommando matlab nodisplay starten Programmübersetzung mit Intel-Compiler module load intel Compileraufruf: ifort, icc oder icpc module load intel intelmpi Compileraufruf: mpiifort, mpiicc oder miicpc
76 Hochleistungsechner Interaktives Arbeiten und Batchbetrieb
77 HPC-System
78 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten (HPC-Login) Datentransfer: PC HPC-Login Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs keine längeren Berechnungen über Batchsystem
79 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten Datenstransfer Arbeitsplatz-PC HPC-Systeme/Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs Keine längeren Berechnungen über Batchsystem Batchbetrieb Berechnungen werden auf den Compute-Knoten ausgeführt kein direkter Zugriff auf ausführende Knoten
80 HPC-Systeme: Batchbetrieb Vorteil Rechenressourcen können effektiver genutzt werden höherer Durchsatz gerechte Verteilung auf alle Benutzer jeder Benutzer kann mehrere Berechnungen gleichzeitig ausführen angeforderte Ressourcen sind während der Laufzeit garantiert Nachteil zunächst etwas ungewohntes Arbeiten
81 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt
82 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt Batchsystemsoftware NEC HPC-System: NQSII rzcluster und caucluster: Slurm
83 HPC-Systeme: Batchbetrieb
84 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel # Programmstart time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
85 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 --> Shell-Definition #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
86 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o benötigte Anzahl von Rechenknoten benötigte Anzahl von Rechenkernen pro Knoten #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
87 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 angeforderte Rechenzeit (Verweilzeit) #PBS l cputim_job=10:00:00 angef. CPU-Zeit pro Knoten (cpunum_job*elapstim_req) #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
88 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb max. benötigter Hauptspeicher pro Knoten #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
89 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium Angabe der Batchklasse #PBS N jobname Name des Batchjobs #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
90 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o Dateiname für Standardausgabe Standard- und Fehlerausgabe in eine Datei schreiben #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
91 Slurm-Batchskript (rzcluster,caucluster) #/bin/bash #SBATCH--nodes=1 #SBATCH --tasks-per-node=1 Anzahl MPI-Prozesse pro Knoten #SBATCH --cpus-per-task=1 #SBATCH --time=01:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=jobname #SBATCH --output=job.out #SBATCH --error=job.err Anzahl Tasks per Node (z.b. OpenMP-Parallelisierung) export OMP_NUM_THREADS=1 #Laden der Softwareumgebung module load intel time./prog
92 Batchskript: parallele MPI-Berechnung #/bin/bash #PBS T intmpi #PBS b 2 #PBS l cpunum_job=32 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=640:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o module load intel intelmpi mpirun $NQSII_MPIOPTS np 64./prog #/bin/bash #SBATCH--nodes=2 #SBATCH --tasks-per-node=12 #SBATCH --cpus-per-task=1 #SBATCH --time=10:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=job #SBATCH --output=job.out module load intel intelmpi mpirun np 24./prog
93 Batchskript: MPI-Berechnung SX-ACE #/bin/bash #PBS T mpisx #PBS b 10 #PBS l cpunum_job=4 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=40:00:00 #PBS l memsz_job=20gb #PBS q smallque #PBS N jobname #PBS o job.out #PBS j o export F_PROGINF=DETAIL Ausgabe von Performance-Informationen nach Jobende export MPI_PROGINF=DETAIL mpirun nn 2 nnp 4./prog
94 Linux-Cluster: MPI-Berechnungen knotenübergreifende MPI-Berechnungen Batchknoten müssen ohne Passwortabfrage miteinander kommunizieren können einmalige Erzeugung eines Schlüsselpaares ssh-keygen Kommando ausführen: ssh-keygen t rsa kopieren des erzeugten öffentlichen Schlüssels mit cp $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys
95 NQSII: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend qsub jobskript Abgabe einer Batchberechnung qstatall Auflistung aller Jobs im System qstat Auflistungen der eigenen Jobs qstatcl / qstatace Auflistungen aller Jobs auf NEC Linux-Cluster / SX-ACE Knoten qdel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs qstat f jobid liefert Details über einen bestimmten Job qstat J jobid Name des Batchknotens auf dem Job läuft qcl / qace zeigt Informationen über eingerichtete Batchklassen an
96 Slurm: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend sbatch jobskript Abgabe einer Batchberechnung squeue Auflistung aller Jobs im System squeue u username Auflistungen der eigenen Jobs scancel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs scontrol show job jobid liefert Details über einen bestimmten Job sinfo Zeigt Informationen über verfügbare Batchklassen an
97 Slurm: Interaktive Batchjobs rzcluster und caucluster: Möglichkeit interaktiv auf Batchknoten zu arbeiten Batchjobabgabe: srun --pty nodes=1 cpus-per_task=1 time=1:00:00 partition=small /bin/bash
98 Arbeiten mit dem Batchsystem nicht mehr Knoten und Cores anfordern als benötigt werden benötigte Rechenzeit und Hauptspeicher möglichst genau angeben höherer Durchsatz und kürzere Wartezeiten Zwischenergebnisse abspeichern (insbes. bei sehr langen Laufzeiten) Standardausgabedatei möglichst klein halten Ausgaben evtl. direkt in WORK-Verzeichnis umleiten
99 Dokumentation und Kontakt WWW-pages: NEC SX-ACE: NEC HPC-Linux-Cluster: rzcluster: caucluster: Vortragsfolien: Maillingliste/Ticketsystem
HPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 10.01.2018 10.01.2018 HPC-Support 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung
HPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 14.03.2018 14.03.2018 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
HPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 08.05.2018 08.05.2018 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
HPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 09.01.2019 09.01.2019 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
NEC HPC-System. SX-ACE Vektorrechnersystem u. HPC-Linux Cluster. Rechenzentrum
SX-ACE Vektorrechnersystem u. HPC-Linux Cluster 1 Ansprechpartner HPC-Support Team Benutzerberatung Dr. Karsten Balzer Dr. Simone Knief Systembetreuung: Dr. Cebel Kücükkaraca Alfred Wagner Mailingliste:
Vektorrechnersystem NEC SX-9
Ansprechpartner HPC-Support Team Benutzerberatung Dr. Gerd Hessler (hessler@rz.uni-kiel.de) Dr. Simone Knief (knief@rz.uni-kiel.de) Dr. Eva-Maria Zeidler (zeidler@rz.uni-kiel.de) Systembetreuung: Dr. Cebel
Ausblick auf den HLRN III - die neue HPC Ressource für Norddeutschland
Ausblick auf den HLRN III - die neue HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße 5 30159 Hannover naundorf@rrzn.uni-hannover.de 14. März 2013
Nutzersupport im HLRN: verteilt unterstützen, gemeinsam handeln!
Nutzersupport im HLRN: verteilt unterstützen, gemeinsam handeln! ZKI-AK 20./21.9.2012 in Düsseldorf Frank Schmitz, schmitz@zib.de Konrad-Zuse-Zentrum für Informationstechnik Berlin 1 2 Agenda Warum Benutzerberatung
HLRN III - HPC Ressource für Norddeutschland
HLRN III - HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße 5 30159 Hannover naundorf@rrzn.uni-hannover.de 23. September 2014 Inhalt Der HLRN Verbund
CLAIX Vorstellung und Technik Christian Terboven
CLAIX Vorstellung und Technik Christian Terboven Inhalte CLAIX Phase I Zwei Rack-Reihen + 2 Schränke Testbetrieb mit Projekten seit November 2016 Trier-2 HPC-System Abnahme im Januar 2017 TOP500 im November
UBELIX University of Bern Linux Cluster
University of Bern Linux Cluster Informatikdienste Universität Bern ID BEKO Grid Forum 7. Mai 2007 Inhalt Einführung Ausbau 06/07 Hardware Software Benutzung Dokumentation Gut zu wissen Kontakt Apple/Mac:
NEC SX-ACE HPC-System
Erste Erfahrungen mit dem neuen System Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel 17.03.2015 1 Überblick Rechnerkonfiguration Veränderungen SX-9 zu SX-ACE Benutzergruppen Erste Performanceergebnisse
Das HLRN-System. Peter Endebrock, RRZN Hannover
Das HLRN-System Peter Endebrock, RRZN Hannover vorweg (1) Heute Vorträge im Dreierpack: Peter Endebrock: Das HLRN-System Gerd Brand: MPI Simone Knief: OpenMP Peter Endebrock, RRZN Hannover, Kolloquium,
Einführung in LiDO3. Einführung LiDO3. Ingo Schulz Fakultät für Informatik / ITMC CC:HPC TU Dortmund
Einführung in LiDO3 Bei Fragen / Anregungen bitte E-Mail an: lido-team.itmc@lists.tu-dortmund.de Ingo Schulz Fakultät für Informatik / ITMC CC:HPC TU Dortmund Betrieb des LiDO3 durch ITMC CC:HPC, E-Mail:
Hochleistungsrechnen in Darmstadt: Der Lichtenberg- Hochleistungsrechner. Dr. Andreas Wolf. Gruppenleiter Hochleistungsrechnen Hochschulrechenzentrum
Hochleistungsrechnen in Darmstadt: Der Lichtenberg- Hochleistungsrechner Dr. Andreas Wolf Gruppenleiter Hochleistungsrechnen Hochschulrechenzentrum Überblick Randbedingungen der HPC Beschaffung an der
Linux in allen Lebenslagen. Diskless Cluster und Lustre Erfahrungsbericht zum CHiC. Frank Mietke. Chemnitzer Linux-Tage 2007
Linux in allen Lebenslagen Diskless Cluster und Lustre Erfahrungsbericht zum CHiC Fakultätsrechen- und Informationszentrum (FRIZ) / Professur Rechnerarchitektur Technische Universität Chemnitz Chemnitzer
Erste Erfahrungen mit Installation und Betrieb
Erste Erfahrungen mit Installation und Betrieb von OpenHPC 14.10.2016 Holger Angenent Röntgenstr. 7-13, 48149 Münster 2 > Problemstellung Jeder neue Cluster kam bisher mit neuem Clustermanagement Einarbeitungszeit
Allgemeine Informationen zum Compute-Server
Universität Potsdam ZIM Zentrum für Informationstechnologie und Medienmanagement Torque - das Stapeljob-System TORQUE steht für "Terascale Open-Source Resource and QUEue Manager". Grundsätzlich müssen
Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen
Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem hristian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 Hochleistungsrechnen mit Windows enter omputing and ommunication
Das Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ
Das Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ Hinnerk Stüben ZKI-Arbeitskreis Supercomputing Leibniz-Rechenzentrum, Garching 19. Oktober 2015 Themen Neues HPC-Cluster
NWZSUPERDOME. Einführung für Benutzer. Christian Mück-Lichtenfeld. Organisch-Chemisches Institut. May 16, 2007
Einführung für Benutzer Christian Mück-Lichtenfeld Organisch-Chemisches Institut May 16, 2007 1/44 Überblick Themen Hardwareresourcen Installierte Software Programmierung Zielgruppe: High Performance Computing
Leistungsanalyse von Rechnersystemen
Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel. +49 351-463 - 32424
Übungsblatt 1. (Stapel- bzw. Batchbetrieb)
Übungsblatt 1 Die Übungsblätter enthalten theoretische und praktische Übungen. Für die Bearbeitung der praktischen Übungen benötigen Sie eine UNIX-Shell. Weit verbreite ist die Bash [1]. Das Apple Mac
Der neue Hessische Hochleistungsrechner HHLR
Der neue Hessische Hochleistungsrechner HHLR Erste Erfahrungen Norbert Conrad, conrad@hrz.tu-darmstadt.de ZKIHessen 26.8.2002 1 Darmstädter Hochleistungsrechner 1987: IBM 3090 VF ( 2 x 0,12 GFLOPS Vektor
Vorlesung Unix-Praktikum
Mehr mit Vorlesung und -Zugriff Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 18. Oktober 2017 1 Willkommen zur zweiten Vorlesung Was gab es von mir beim letzten Mal? Login in den Rechnerpools
Vorlesung Linux Praktikum
Vorlesung Linux Praktikum Netboot und SSH Dorian Lehmenkühler Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 17. Oktober 2018 Willkommen zur zweiten Vorlesung Was machen wir heute? Arbeiten
Kapitel 5. Parallelverarbeitung. Formen der Parallelität
Kapitel 5 Parallelverarbeitung é Formen der Parallelität é Klassifikation von parallelen Rechnerarchitekturen é Exkurs über Verbindungsstrukturen Bernd Becker Technische Informatik I Formen der Parallelität
Informationstechnologie am Institut für Meteorologie
Informationstechnologie am Institut für Meteorologie Ingo Kirchner und Thomas Bergmann Institut für Meteorologie Freie Universität Berlin 12/Dez/2016 1 / 20 Ablauf 1 Allgemeiner Überblick 2 3 4 5 6 2 /
Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel
Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel ZKI-Tagung, AK Supercomputing, 16.-17.03.2015 Holger Marten Landeshauptstadt Kiel - Bodo Quante 1. Etwas Historie 16.03.2015 Dr.
Leistungsanalyse von Rechnersystemen
Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel. +49 351-463 - 32424
Anleitung für zwei Fortran-Openmp-Beispiele auf der NWZSuperdome
Anleitung für zwei Fortran-Openmp-Beispiele auf der NWZSuperdome (Timo Heinrich, t_hein03@uni-muenster.de) Inhaltsverzeichnis: 0.Einleitung 1.Teil: Helloworldprogramm 1.1 Quellcode: Helloworld.f90 1.2
Ein kleiner Einblick in die Welt der Supercomputer. Christian Krohn 07.12.2010 1
Ein kleiner Einblick in die Welt der Supercomputer Christian Krohn 07.12.2010 1 Vorschub: FLOPS Entwicklung der Supercomputer Funktionsweisen von Supercomputern Zukunftsvisionen 2 Ein Top10 Supercomputer
A N H A N G. zur Entgeltordnung für die Rechenanlagen. NEC SX-4/32, NEC SX-5/32 M2, CRAY T3E LC512 und HITACHI SR Stand 1. 1.
1 Rechenzentrum der Universität Stuttgart A N H A N G zur Entgeltordnung für die Rechenanlagen NEC SX-4/32, NEC SX-5/32 M2, CRAY T3E LC512 und HITACHI SR 8000 Stand 1. 1. 2002 1. ERMITTLUNG DER RECHENLEISTUNG
magnitude Erste Erfahrungen mit dem neuen HPC-System der UDE
magnitude Erste Erfahrungen mit dem neuen HPC-System der UDE ZKI-AK Supercomputing Holger Gollan Agenda Die Universität Duisburg-Essen (UDE) Das Zentrum für Informations- und Mediendienste (ZIM Das Center
Das Batch-System. Inhaltsverzeichnis. Leibniz Universität IT Services (LUIS) Service: Scientific Computing
Leibniz Universität IT Services (LUIS) Service: Scientific Computing Das Batch-System Das Clustersystem wird von vielen Nutzern gemeinsam verwendet. Anforderungen an die Ressourcen müssen daher reguliert
Seminar: Praktische Quantenchemie
Seminar: Praktische Quantenchemie Bernd Hartke Theoretische Chemie Institut für Physikalische Chemie 5. Stock, Raum 519 Tel.: 0431/880-2753 hartke@phc.uni-kiel.de http://ravel.phc.uni-kiel.de Sprechstunde:
ModProg 15-16, Vorl. 13
ModProg 15-16, Vorl. 13 Richard Grzibovski Jan. 27, 2016 1 / 35 Übersicht Übersicht 1 Supercomputing FLOPS, Peak FLOPS Parallelismus Praktische Aspekte 2 Klausur von 2009 2 / 35 Supercomputing: HPC Modellierung
Vorlesung Unix-Praktikum
Vorlesung 3. Remote-Zugriff Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 03. November 2015 1 / 29 Willkommen zur dritten Vorlesung Was gab es von mir beim letzten Mal? Login im Einrichten
Einführungs-Workshop Februar Übersicht
Einführungs-Workshop ebruar 2013 Übersicht rogramm 27.2.2013 Vormittag Workshop 9:00 Christian Iwainsky SC: Best ractise Tuning 9:30 Dr.-Ing. Dörte C. Sternell NB: ASTEST 10:00 Kurs I: Die ersten Schritte
Kleines Tutorial für die Nutzung des bwuniclusters. Sven Wehner Angela Cho
Kleines Tutorial für die Nutzung des bwuniclusters Sven Wehner Angela Cho Programm Hintergrund bwunicluster & Zugang Dateiensystem Skripte starten, Jobs ausführen, Logging Shell-Skript Hilfreiche Shortcuts
Systeme I: Betriebssysteme Kapitel 4 Prozesse. Wolfram Burgard
Systeme I: Betriebssysteme Kapitel 4 Prozesse Wolfram Burgard Version 18.11.2015 1 Inhalt Vorlesung Aufbau einfacher Rechner Überblick: Aufgabe, Historische Entwicklung, unterschiedliche Arten von Betriebssystemen
Seminarvortrag: Direktivenbasierte Programmierung von Beschleunigern mit OpenMP 4.5 und OpenACC 2.5 im Vergleich
Seminarvortrag: Direktivenbasierte Programmierung von Beschleunigern mit Direktivenbasierte Programmierung von Beschleunigern mit Agenda Einführung / Motivation Überblick zu OpenMP und OpenACC Asynchronität
CHiC Chemnitzer Hochleistungs-Linux Cluster. Stand HPC Cluster CHiC. Frank Mietke, Torsten Mehlan, Torsten Höfler und Wolfgang Rehm
CHiC er Hochleistungs-Linux Cluster Stand HPC Cluster CHiC, Torsten Mehlan, Torsten Höfler und Wolfgang Rehm Fakultätsrechen- und Informationszentrum (FRIZ) / Professur Rechnerarchitektur Technische Universität
Nutzungsanleitung des Clusters thot.informatik.uni-halle.de
Nutzungsanleitung des Clusters thot.informatik.uni-halle.de Martin-Luther-Universität Halle-Wittenberg INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Allgemeines 2 2 Module zum Einrichten der Nutzerumgebung
GNU/Linux Introduction Linux Introduction: Part 1. Simon M. Haller, Sebastian Stabinger iis.uibk.ac.at
GNU/Linux Introduction Linux Introduction: Part 1 Simon M. Haller, Sebastian Stabinger iis.uibk.ac.at Windows / Linux @ Central IT Services Windwos 7 Centos 7.3 Zugriff von Windows auf Linux (WinSCP, PuTTy)
Entwicklungsumgebung für die Laborübung
Entwicklungsumgebung für die Laborübung VL Datenbanksysteme Ingo Feinerer Arbeitsbereich Datenbanken und Artificial Intelligence Institut für Informationssysteme Technische Universität Wien Gliederung
Benutzer und Rechte Teil 1, Paketverwaltung, SSH
Benutzer und Rechte Teil 1, Paketverwaltung, SSH Linux-Kurs der Unix-AG Andreas Teuchert 27. Mai 2014 SSH ssh ( Secure Shell ) startet eine Shell auf einem anderen Rechner über das Netzwerk Verbindung
RWTH - Umgebung. Übersicht. Seite 1. RWTH-Umgebung. Sun Grid Engine. Dateimanagement. Archiv. Backup. Seite 2. RWTH-Umgebung
RWTH Ugebung Seite 1 Übersicht Sun Grid Engine Dateianageent Archiv Backup Seite 2 Sun Grid Engine Warteschlange für Prograe Verteilt Prograe über das ganze Cluster Sorgt für Lastausgleich (verhindert
Userguide für den Linux Cluster des UZWR. the admins
Userguide für den Linux Cluster des UZWR the admins 12. April 2011 Inhaltsverzeichnis 1 Aufbau des Rechenclusters 1 2 Login 2 2.1 Windows........................................ 2 2.1.1 PuTTy......................................
Erfahrungen mit LSF an der RWTH. Eine kurze Geschichte der LoadSharingFacility
Erfahrungen mit LSF an der RWTH Eine kurze Geschichte der LoadSharingFacility Zeitlinie 2011 Wechsel SGE -> LSF, Bull Cluster, GPU-Cluster 2012 JARA-HPC 2014 Projektbewirtschaftung RWTH 2016 NEC Cluster
Inhalt. Prozessoren. Curriculum Manfred Wilfling. 28. November HTBLA Kaindorf. M. Wilfling (HTBLA Kaindorf) CPUs 28. November / 9
Inhalt Curriculum 1.4.2 Manfred Wilfling HTBLA Kaindorf 28. November 2011 M. Wilfling (HTBLA Kaindorf) CPUs 28. November 2011 1 / 9 Begriffe CPU Zentraleinheit (Central Processing Unit) bestehend aus Rechenwerk,
Bernd Bleßmann, Jörg Bleßmann. Linux. Aufbau und Einsatz eines Betriebssystems. 1. Auflage. HLuHB Darmstadt. Bestellnummer Bildungsverlag EINS
Bernd Bleßmann, Jörg Bleßmann Linux Aufbau und Einsatz eines Betriebssystems 1. Auflage Bestellnummer 01146 HLuHB Darmstadt 15917903 Bildungsverlag EINS Vorwort 7 1 Betriebssysteme 9 1.1 Die Aufgaben des
-0 FDDI-Anschluß. m 256MB. m 512 MB Memory. Parallelrechner IBM SP. HRZ Uni Marburg. Frame 2. Frame 3. Frame 1. Ethernet mit allen Knoten
HRZ Uni Marburg Parallelrechner IBM SP Ethernet mit allen Knoten 3 externe SSADisks 12 * 4.5 GB Parallele Filesysteme 8 * 4.5 GB Benutzer- Filesysteme SP Switch SP Switch SP Switch ~ 128MB m 256MB m 512
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme Maren Bennewitz 1 Überblick Betriebssysteme Aufgabe von Betriebssystemen Historische Entwicklung von Betriebssystemen Unterschiedliche Arten
DOAG Konferenz 2007 in Nürnberg
DOAG Konferenz 2007 in Nürnberg Auswahl und Sizing: Die richtige Hardware (+Software) für Oracle Björn Bröhl Projektmanager Handlungsbevollmächtigter Seite 1 Inhalt Die Zielsetzung Vorgehensweise Auswahl
Nutzung der Scientific Computing Cluster. Lars-Peter Meyer
Nutzung der Scientific Computing Cluster Lars-Peter Meyer Cluster Hardware Galaxy (shared nothing) 90 Worker mit jeweils 2 Cores (2x6 Cores, Intel Haswell E5 2620v3 @2,4 GHz) 28 GByte DDR4 ECC RAM RAM
NEVARIS icebim Kurzinstallationsanleitung
NEVARIS icebim Kurzinstallationsanleitung Inhaltsverzeichnis SYSTEMVORAUSSETZUNGEN FÜR NEVARIS ICEBIM VERSION 2017 R1 IM CLIENT SERVER BETRIEB... 2 INSTALLATIONSVARIANTEN... 4 Installation des NEVARIS
Mehrprozessorarchitekturen
Mehrprozessorarchitekturen (SMP, UMA/NUMA, Cluster) Arian Bär 12.07.2004 12.07.2004 Arian Bär 1 Gliederung 1. Einleitung 2. Symmetrische Multiprozessoren (SMP) Allgemeines Architektur 3. Speicherarchitekturen
High Performance Computing
REGIONALES RECHENZENTRUM ERLANGEN [ RRZE ] High Performance Computing Systemausbildung Grundlagen und Aspekte von Betriebssystemen und System-nahen Diensten Michael Meier, RRZE, 01.07.2015 Agenda Was bedeutet
2 Rechnerarchitekturen
2 Rechnerarchitekturen Rechnerarchitekturen Flynns Klassifikation Flynnsche Klassifikation (Flynn sche Taxonomie) 1966 entwickelt, einfaches Modell, bis heute genutzt Beschränkung der Beschreibung auf
IT- und Medientechnik
IT- und Medientechnik Vorlesung 6: 20.11.2017 Wintersemester 2017/2018 h_da, Lehrbeauftragter Teil 1: IT- und Medientechnik Themenübersicht der Vorlesung Hard- und Software Hardware: CPU, Speicher, Bus,
Benutzer und Rechte Teil 2, Paketverwaltung
Benutzer und Rechte Teil 2, Paketverwaltung Linux-Kurs der Unix-AG Benjamin Eberle 7. Dezember 2015 Wozu verschiedene Benutzer? (1) Datenschutz mehrere Benutzer pro Rechner, insbesondere auf Server-Systemen
JKU» Wissenschaftliches Rechnen
JKU Universität Service IT-Services Wissenschaftliches Rechnen Wissenschaftliches Rechnen (Scientific Computing) Kontakt PBS Pro GNU module Compiling software Arbeitsspeicher-Topologie bei Altix UV 1000
WINDOWS 10. Modul 3 Backup unter Windows. Grundlagen eines Backup Konzeptes Hardware vorbereiten Software Hardware...
WINDOWS 10 Modul 3 Backup unter Windows Grundlagen eines Backup Konzeptes... 2 Hardware vorbereiten... 5 Software... 6 Hardware... 8 Cloudspeicher... 9 18.03.2019 Francesco Falone Grundlagen eines Backup
Filetransfer via SecureCoPy
Filetransfer via SecureCoPy Standardprotokoll zum Übertragen von Daten und Dateien mittels verschlüsselten Verbindungen ist das SecureSHell-Protokoll. Man kann über das SSH-Protokoll sich sowohl auf einem
AdvancedReport Installationsanleitung
AdvancedReport Installationsanleitung YOKOGAWA Broichhofstraße 7-11 40880 Ratingen Tel. +49-2102 - 4983-0 1/21 Inhalt: 1. Einleitung...3 2. Revision...3 3. Systemvorrausetzungen...4 4. Installation Vorbereitung...4
> Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013
> Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013 Parallele und Verteilte Systeme, Institut für Informatik Inhaltsverzeichnis 2 1 LINPACK
Systemanforderungen Manufacturing Execution System fabmes
Manufacturing Execution System fabmes Das Manufacturing Execution System fabmes bemüht sich trotz hoher Anforderungen an die Datenverarbeitung möglichst geringe Anforderungen an die Hardware zu stellen.
MOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz
MOGON Markus Tacke HPC ZDV HPC - AHRP Was ist Mogon allgemein? Das neue High Performance Cluster der JGU Ein neues wichtiges Werkzeug für Auswertung von Messdaten und Simulationen Beispiele Kondensierte
Einige Grundlagen zu OpenMP
Einige Grundlagen zu OpenMP Stephanie Friedhoff, Martin Lanser Mathematisches Institut Universität zu Köln 22. Juni 2016 Überblick Was ist OpenMP? Basics Das OpenMP fork-join-modell Kompilieren und Ausführen
Benutzer und Rechte Teil 1, Paketverwaltung
Benutzer und Rechte Teil 1, Paketverwaltung Linux-Kurs der Unix-AG Benjamin Eberle 25. Mai 2016 Wozu verschiedene Benutzer? (1) Datenschutz mehrere Benutzer pro Rechner, insbesondere auf Server-Systemen
HPC an der Uni Mainz
Einwicklung vom ersten Top500 Rechner bis zum AHRP HPC - AHRP - ZKI Markus Tacke, ZDV, Universität Mainz AK Supercomputer Kaiserslautern 19.4.2012 ZDV: CC NUMA 1.1.1995: Convex SPP1000/16 16 PA Risc 7100
SNI S100/10. Hardware: Betriebssystem: Programmiersprachen, Software: EDV-Zentrum. September 1992 bis September Leistung: 625 MFlop/s
Chronik des Zentralen Informatikdienstes der TU Wien Mainframes, Fachbereichsrechner und Applikationsserver SNI S100/10 EDV-Zentrum September 1992 bis September 1996 Hardware: 256 MB Hauptspeicher je 1
Einrichtung und Installation der SpaceClaim Netzwerklizensierung
Merkblatt Thema: IdentNr.: Kurzbeschreibung: Stand 05.01.2016 SpaceClaim Netzwerklizensierung SC-013.0 Einrichtung und Installation der SpaceClaim Netzwerklizensierung Voraussetzungen... 1 Benötigte Software...
Hochschule Für Angewandte Wissenschaften FH München Sommersemester Thomas Kolarz. Folie 1.
Praktikum Btib Betriebssysteme t I Hochschule Für Angewandte Wissenschaften FH München Sommersemester 2010 thomas.kolarz@hm.edu Folie 1 Vorbereitung Booten Sie den Rechner unter Linux und melden Sie sich
High Performance Computing
REGIONALES RECHENZENTRUM ERLANGEN [RRZE] High Performance Computing Systemausbildung Grundlagen und Aspekte von Betriebssystemen und systemnahen Diensten, 21.06.2017 HPC-Gruppe, RRZE Agenda Was bedeutet
Systeme I: Betriebssysteme Kapitel 4 Prozesse. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 4 Prozesse Maren Bennewitz Version 13.11.2013 1 Inhalt Vorlesung Aufbau einfacher Rechner Überblick: Aufgabe, Historische Entwicklung, unterschiedliche Arten von Betriebssystemen
Die Vernetzung von Computern Ab 1985 Vernetzung von Computern
Die Vernetzung von Computern Ab 1985 Vernetzung von Computern Netzwerke 1 Inhalt Vorteile eines lokalen Netzwerks? Hardware-Komponenten zur Vernetzung Hardware-Komponenten zur Vernetzung Vernetzung von
WINDOWS 10. Modul 4 System Know-How
WINDOWS 10 Modul 4 System Know-How Tipps und Tricks... 2 Den PC immer dabei PortableApps... 2 VeraCrypt Daten verschlüsseln... 3 Verwaltung... 5 PC zurücksetzen... 6 Remoteunterstützung... 8 Daten teilen...
Parallel Computing. Einsatzmöglichkeiten und Grenzen. Prof. Dr. Nikolaus Wulff
Parallel Computing Einsatzmöglichkeiten und Grenzen Prof. Dr. Nikolaus Wulff Parallel Architekturen Flynn'sche Klassifizierung: SISD: single Instruction, single Data Klassisches von-neumann sequentielles
Vorlesung Unix-Praktikum
Vorlesung Unix-Praktikum Arbeiten von zu Hause Dorian Lehmenkühler Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 24. Oktober 2018 1 Willkommen zur zweiten Vorlesung Was machen wir heute?
Singularity - Container für die HPC Welt. Egbert Eich Project Manager HPC SUSE Linux
Singularity - Container für die HPC Welt Egbert Eich Project Manager HPC SUSE Linux GmbH/eich@suse.com Über mich UNIX Betriebssysteme seit 1991 (AIX, Digital UNIX, ) Seit 25 Jahren Linux Seit 2000 bei
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme. Wolfram Burgard
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme Wolfram Burgard 1 Überblick Betriebssysteme Aufgabe von Betriebssystemen Historische Entwicklung von Betriebssystemen Unterschiedliche Arten
Datenaustausch mit dem BMGF
Jänner 2017 Allgemeines zum Datenaustausch Download und Installation von WinSCP Erstellen eines Public/Private Key-Paares Einrichten der Verbindung Datentransfer IMPRESSUM Herausgeber, Medieninhaber und
Hochleistungsrechnen auf dem PC
Hochleistungsrechnen auf dem PC Steffen Börm Christian-Albrechts-Universität zu Kiel Ringvorlesung Informatik, 26. Juni 2014 S. Börm (CAU Kiel) Hochleistungsrechnen auf dem PC 26. Juni 2014 1 / 33 Übersicht
Systeme I: Betriebssysteme Kapitel 4 Prozesse. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 4 Prozesse Maren Bennewitz Version 21.11.2012 1 Begrüßung Heute ist Tag der offenen Tür Willkommen allen Schülerinnen und Schülern! 2 Testat nach Weihnachten Mittwoch
Computer & GNU/Linux Einführung Teil 1. Simon Haller iis.uibk.ac.at
Computer & GNU/Linux Einführung Teil 1 Simon Haller iis.uibk.ac.at Windows / Linux @ Central IT Services Windows 7 Centos 7.4 Zugriff von Windows auf Linux (WinSCP, PuTTy) Zugriff von Extern über VPN (https://vpn.uibk.ac.at)
Installation. Schulfilter Plus Installationsanleitung Microsoft Windows Betriebssysteme
Schulfilter Plus Installationsanleitung Microsoft Windows Betriebssysteme 1 Inhaltsverzeichnis 1 Installation... 3 1.1 Vor der Installation... 3 1.1.1 Kompatible Betriebssysteme... 3 1.1.2 Minimale Systemvoraussetzungen...
bw-grid Cluster in Mannheim
bw-grid Cluster in Mannheim Dr. Heinz Kredel mit Helmut Fränznick, Rudi Müller, Steffen Hau, Andreas Baust Inhalt Grid und D-Grid BMBF Projekt bw-grid Cluster Stand: Aufbau und Inbetriebnahme Benutzung
X-oil Datenexport STAND:
Bisher wurden die meisten Ausgaben aus XOIL für Weiterverarbeitung mit WORD oder EXCEL in einer Netzwerkfreigabe Word-Texte bzw. Word oder Ähnlichem gespeichert. Die Freigabe erfolgt über SAMBA bzw. XTRANS.
Programmierung und Leistungsanalyse des bwgrid-clusters. Dr. Heinz Kredel und Dr. Hans-Günther Kruse
Programmierung und Leistungsanalyse des bwgrid-clusters Dr. Heinz Kredel und Dr. Hans-Günther Kruse Inhalt bwgrid Cluster Programmierung Threads, OpenMP, Kommunikation, OpenMPI, Strategien Leistungsanalyse
Computer & GNU/Linux Einführung Teil 2. Simon Haller iis.uibk.ac.at
Computer & GNU/Linux Einführung Teil 2 Simon Haller iis.uibk.ac.at Wichtige Kommandos echo (Anzeigen einer Textzeile) Optionen: -n keine neue Zeile -e aktiviert \ Optionen: \ n neue Zeile \ t horizontaler
Enthaltene Programmänderungen. DMP-Assist Version
- 1 - Enthaltene Programmänderungen DMP-Assist Version 4.3.0.0 Inhaltsverzeichnis 1 Systemvoraussetzungen... 3 2 Datensicherung vor dem Update... 3 3 Die Installation des Updates... 5 3.1. Wichtige Hinweise
Installation von Web Attached Backup V 13
Installation von Web Attached Backup V 13 Seite 1 von 24 Inhalt: BEVOR SIE MIT DER INSTALLATION BEGINNEN:... 3 INSTALLATION DS-CLIENT... 4 INSTALLATION DER DS-RECOVERY TOOLS... 14 BACKUPSÄTZE EINRICHTEN...
untermstrich SYNC Handbuch
Handbuch 11/2017 Inhaltsverzeichnis 1. Einleitung... 2 2. Installation... 3 2.1 Systemanforderungen... 3 2.2 Vorbereitungen in Microsoft Outlook... 3 2.3 Setup... 4 3. SYNC-Einstellungen... 6 3.1 Verbindungsdaten...