HPC Einführungsveranstaltung
|
|
- Brit Salzmann
- vor 5 Jahren
- Abrufe
Transkript
1 RZ CAU HPC Einführungsveranstaltung
2 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume Arbeiten auf lokalen HPC-Systemen Diskussion und Fragen
3 Ansprechpartner HPC Support Team Benutzerberatung Dr. Karsten Balzer Dr. Simone Knief Systemadministration Dr. Cebel Kücükkaraca Dr. Holger Naundorf Alfred Wagner Mailingliste/Ticketsystem
4 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen
5 RZ CAU Bereitstellung von Rechenressourcen unterschiedlicher Leistungsklassen lokale Hochleistungsrechner zwei Linux-Clustersysteme (rzcluster und caucluster) hybrides NEC HPC-System: NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem Hochleistungsrechner Nord (HLRN) Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen Zusammenschluss der 7 norddeutschen Bundesländer Ziel: gemeinsame Beschaffung und Betrieb von HPC-Systemen Ressourcen stehen allen CAU- und GEOMAR-Angehörigen zur Verfügung
6 RZ CAU Bereitstellung von Rechenressourcen HPC Support Unterstützung bei Nutzung lokaler und dezentraler HPC-Ressourcen Auswahl der geeigneten Rechnerarchitektur Hilfe bei der Portierung von Programmen Unterstützung bei der Programmoptimierung Auswahl geeigneter Compiler und deren Optionen Optimierung von Programmcodes (Algorithmenauswahl) Hilfe bei Parallelisierung und Vektorisierung von Programmen Installation von Benutzerprogrammen auf unseren Systemen Hilfestellung bei Anfertigung von Projektanträgen für HLRN-Rechner
7 Hochleistungsrechner
8 Was sind Hochleistungsrechner? keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet
9 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt
10 Hochleistungsrechner: Definition keine eindeutige Formulierung möglich Hochleistungsrechnen ist heute praktisch identisch mit parallelem Rechnen Architektur ist auf parallele Verarbeitung ausgerichtet aktuelle PCs mit Multi-Core Prozessoren (kleine Parallelrechner) Leistungssteigerung ist jedoch begrenzt Hochleistungsrechner: hochparallele Rechencluster schnelles Verbindungsnetzwerk leistungsfähige I/O-Dateisysteme (für Lese- und Schreibprozesse) Rechnersysteme mit spezieller Architektur (z.b. Vektorrechner)
11 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher MPP = Massively Parallel Processing z.b. CRAY T3E
12 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher SMP = Symmetric multiprocessing z.b. SGI Altix
13 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix
14 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix
15 Parallelrechner MPP-Systeme jeder Rechner hat seinen eigenen Hauptspeicher z.b. CRAY T3E SMP-Systeme alle Prozessoren haben einen gemeinsamen Hauptspeicher z.b. SGI Altix 4700 Systeme mit Multi-Core Prozessoren
16 Vektorrechner spezielle Bauweise eines Prozessors parallele Verarbeitung findet auf dem Prozessor (Core) statt Vektorregister Instruktionen werden auf eindimensionalem Feld (Vektor) ausgeführt Skalarrechner arbeiten mit einzelnen Daten geeignet für Programme, bei denen viele gleichartige Daten auf gleiche Art und Weise bearbeitet werden müssen, z.b. Matrixoperationen
17 Vektorrechner Beispiel: Z =a*x+y X,Y,Z: Vektoren gleicher Länge; a: skalare Größe Fortran-Code: do i=1,64 Z(i)=a*X(i)+Y(i) enddo C-Code: for (i=0;i<63;i++) Z(i)=a*X[i]+Y[i]
18 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden A*x(1) bilden Y(1) laden A*x(1)+y(1) bilden Z(1) speichern X(64) laden A*x(64) bilden Y(64) laden A*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte
19 Vektorrechner do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Skalarprozessor Skalar A laden X(1) laden A*x(1) bilden Y(1) laden A*x(1)+y(1) bilden Z(1) speichern X(64) laden A*x(64) bilden Y(64) laden A*x(64)+y(64) bilden Z(64) speichern 64*5+1=321 Schritte do i=1,64 Z(i)=a*X(i)+Y(i) enddo Arbeitschritte: Vektorprozessor Skalar A laden Vektor X Vektor-Skalar Multiplikation Vektor Y laden Vektoraddition Vektor Z speichern 6 Schritte
20 Vektorrechner
21 RZ CAU 5/ /2002: CRAY T3E 18 CPUs mit 256MB Hauptspeicher Peak Performance: 22GFlops 6/ /2006: SGI Altix CPUs mit 512GB Hauptspeicher Peak Performance: 664GFlops seit 2005 kontinuierlicher Ausbau unseres Linux-Clusters (rzcluster)
22 RZ CAU 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops 2007 NEC SX8 + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops
23 1987 CRAY X-MP 1/8 470 MFlops 1994 CRAY Y-MP/M MFlops 1996 CRAY T GFlops Vektorrechnersystem 2002 NEC SX-5 64 GFlops 2005 NEC SX Gflops e RZ NEC SX8 CAU + SX8R 1.2 TFlops 2009 NEC SX-9 8.2TFlops 2014 NEC SX-ACE 65.5 TFlops Flops= Floating Point Operations per Second Gleitkommaoperation pro Sekunde Maß für Leistungsfähigeit von Prozessoren/Computern 65.5 TFlops = 65 * Gleitkommaberechnungen pro Sekunde
24 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen
25 Hybrides NEC HPC-System seit 2012 Betrieb eines hybriden NEC HPC-Systems NEC SX-Vektorrechnersystem skalarer NEC HPC Linux-Cluster einheitliche Systemumgebung Login-Knoten gemeinsame Dateisysteme ein Batchsystem zur Verwaltung der Berechnungen Nutzung unterschiedlicher Architekturen ohne Datentransfer
26 Performance Vergleiche skalares Programm Strukturmodell a-si-h vektorisierendes Programm Jacobi-Iterationen SX-ACE Vektorsystem 2423 sek. 411sek. NEC Linux-Cluster Intel Skylake CPUs 210 sek sek
27 RZ CAU
28 HPC-Systeme
29 Linux-Cluster (rzcluster)
30 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm
31 rzcluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (12 Cores und 48GB Memory) 142 Batchknoten mit insgesamt 1948 Cores Unterschiedliche Prozessorarchitekturen (AMD und Intel) Coreausstattung pro Knoten: 8 bis 32 Hauptspeicherausstattung: 32GB bis 1TB Betriebssystem: Scientific Linux 6.x Batchsystem Slurm Allgemein nutzbare Ressourcen 40 Batchknoten mit insgesamt 388 Cores 23 Knoten mit 8 Cores und 32GB Hauptspeicher 17 Knoten mit 12 Cores und 48GB Hauptspeicher
32 Linux-Cluster (caucluster)
33 caucluster Hardwarekonfiguration Login-Knoten für interaktives Arbeiten (8 Cores und 64GB Memory) 7 Batchknoten mit insgesamt 280 Cores Coreausstattung pro Knoten: 40 (4 Haswell CPUs) Hauptspeicherausstattung: 256GB Betriebssystem: CentOS 7.x Batchsystem: Slurm Ressourcenverteilung über Fair-Share Algorithmus
34 rzcluster/caucluster: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnis 13TB für alle Nutzer regelmäßige Datensicherung WORK-Verzeichnis 350TB BeeGFS paralleles Dateisystem Zugriff auf Tape-Library Verfügbar nur auf dem Login-Knoten
35 Hybrides NEC HPC-System
36 NEC HPC-System Hybrides HPC-System skalarer NEC HPC-Linux Cluster NEC SX-ACE Vektorrechnersystem theoretische Peak Performance: 470 TFlops 4 gemeinsame Vorrechner globale Dateisysteme für $HOME und $WORK ein gemeinsames Batchsystem: NQSII kein Datentransfer für die Nutzung unterschiedlicher Hardwarearchitekturen erforderlich
37 NEC HPC-Linux Cluster 198 Knoten mit insgesamt 6192 Cores 180 Knoten mit jeweils 2 Intel Xeon Gold 6130 (Skylake-SP): 32 Cores pro Knoten und 192 GB Hauptspeicher bzw. 384GB (8 Knoten) 18 Knoten mit jeweils 2 Haswell Prozessoren: 24 Cores pro Knoten und 128GB Hauptspeicher Peak Performane: 404,4 TFlops Batchknoten mit schnellem EDR-InfiniBand vernetzt Übertragungsrate: 100Gbit/s Betriebssytem: Red Hat Enterprise Linux (Release 7.4)
38 NEC SX-ACE Vektorrechnersystem 256 SX-ACE Vektorknoten mit jeweils: 4 Vektor-Cores 64GB Hauptspeicher 256 GB/s Speicherbandbreite Knoten über schnellen Crossbar-Switch (IXS) verbunden spez. Verbindungsnetzwerk: 8GB/s Betriebssystem: Super-UX 1024 Vektor-Cores mit einer Peak Performance von 65,5TFlops
39 NEC HPC-System 4 gemeinsame Vorrechner Skylake-SP Prozessoren (2,1GHz) 32 Cores pro Knoten und 768GB Hauptspeicher Login-Name: nesh-fe.rz.uni-kiel.de interaktives Arbeiten sowie Pre- und Postprocessing
40 NEC HPC-System: Dateisysteme 3 verschiedene Dateisysteme verfügbar $HOME-Verzeichnisse 64TB: NEC GxFS regelmäßige Datensicherung $WORK-Verzeichnisse 5PB ScaTeFS NEC spezifisches paralleles Dateisystem Zugriff auf Tape-Library angemountetes Dateisystem verfügbar an allen Vorrechnern interaktiver Zugriff oder über spezielle Batch-Klasse $TMPDIR: lokaler Plattenplatz nur an Linux-Cluster Knoten
41 HLRN Verbund
42 HLRN Norddeutscher Verbund für Hoch- und Höchleistungsrechnen besteht seit 2001 Zusammenschluss der 7 norddeutschen Bundesländer Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen und Schleswig-Holstein Ziele: Gemeinsame Beschaffung und Nutzung von HPC-Systemen Bearbeitung von Grand Challenges Aufbau und Weiterentwicklung eines HPC-Kompetenznetzwerkes
43 HLRN: Organisationsstruktur
44 HLRN: Organisationsstruktur Verwaltungsrat je einem Vertreter der Ministerien bzw. Senatorischen Behörden entscheidet über Angelegenheiten von grundsätzlicher Bedeutung Technische Kommission Leiter der beteiligten Rechenzentren berät Verwaltungsrat und die Betreiberzentren in allen techn. Fragen Wissenschaftlicher Ausschuss Wissenschaftler der verschiedenen Fachrichtungen der beteiligten Länder entscheidet über Zulassung von Projekten und die Vergabe von Rechenressourcen Fachberater und lokale Berater beraten in technischen, betrieblichen, organisatorischen und fachlichen Belangen unterstützen bei der Umsetzung fachbezogener wissenschaftlicher Fragestellungen
45 HLRN-Systeme: Historie HLRN-I: Laufzeit: Mai 2002 bis Juli 2008 IBM p690-system (IBM Power4-Prozessoren) Peak-Performance: 5.3TFlops HLRN-II: Laufzeit: Juli 2008 bis November 2013 SGI Altice ICE (Intel Harpertown und Nehalem Prozessoren) Peak-Performance: 329 TFlops HLRN-III: Inbetriebnahme: September bzw. Dezember 2013 CRAY XC30/XC40-System Peak-Performance: 2.6 PFlops HLRN-IV geplante Inbetriebnahme Herbst 2018 Vertragsunterzeichnung: (Firma Atos) Peak-Performance: 16PFlops; ca Prozessorkerne (Intel-CPUs)
46 Hochleistungsrechner Nord (HLRN) Hannover MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores SMP-System 64 Knoten SandyBridge+NvidiaK Cores 256/512GB Memory Berlin MPP-System Cray XC30,XC Knoten: IvyBridge und Haswell CPUs) Cores Test/Entwicklungssystem Cray XC40 Many-Core 16 Knoten mit XeonPhi&Xeon KNL
47 Hochleistungsrechner Nord (HLRN)
48 Lokale HPC-Systeme: Besichtigung
49 RZ CAU Arbeiten auf unseren lokalen HPC-Systemen Accountbeantragung Einloggen und Datentransfer Dateisysteme und Datensicherung Compiler und Software Interaktives Arbeiten und Batchbetrieb
50 HPC-Systeme: Zugang Rechnerzugang kann jederzeit beantragt werden Formular 3: Antrag auf Nutzung eines Hochleistungsrechners ausgefüllt an die RZ-Benutzerverwaltung schicken mit Accounteintragung: Aufnahme in 2 Mailinglisten nesh_user@lists.uni-kiel.de bzw. rzcluster_user@lists.uni-kiel.de rechnerspezifische Informationen: Betriebsunterberechnungen, Probleme, neue Software, hpc_user@uni-kiel.de allgemeine Informationen Kurse, Infoveranstaltung, Rechnerbeschaffungen,
51 HLRN: Zugang Nutzung für alle Mitarbeiter der Universitäten und Hochschulen in Schleswig-Holstein möglich 2 Phasen der Rechnernutzung Beantragung einer Schnupperkennung Beantragung eines Großprojektes
52 HLRN-Schnupperkennung dient zur Vorbereitung eines Großprojektes Beantragung ist jederzeit möglich (WWW-Formular) begrenzte Laufzeit von 3 Quartalen begrenztes Kontingent an Rechenzeit: NPLs pro Quartal (erweiterbar auf max NPLs) Definition NPLs: NPL=Norddeutsche Parallelrechner-Leistungseinheit MPP-Knoten für 1 Stunde: 2 bzw. 2.4 NPLs SMP-Knoten für 1 Stunde: 4 bzw. 6 NPLs
53 HLRN-Großprojekt dient zur Durchführung von größeren Forschungsvorhaben Antragsfrist endet jeweils ca. 2 Monate vor Quartalsbeginn: 28.1., 28.4., und Anträge werden durch den wissenschaftlichen Ausschuss begutachtet Kontingente werden jeweils für ein Jahr bewilligt und quartalsweise zugeteilt Angaben, die für einen Antrag erforderlich sind: Kurzbeschreibung des Projektes bzw. Statusbericht nachvollziehbare Abschätzung der benötigten Betriebsmittel Rechenzeit, Hauptspeicher, Plattenspeicherbedarf
54 Nutzung unserer lokalen HPC-Systeme
55 HPC-Systeme: Zugang interaktives Einloggen nur auf Vorrechner (Login-Knoten) möglich direkter Zugriff nur über IP-Adressen aus dem CAU- und GEOMAR-Netz bzw. UKSH-Netz Zugriff aus anderen Netzen nur über eine VPN-Verbindung VPN-Verbindung mit su-kennung aufbauen (nicht mit stu-account) Aufbau einer ssh-verbindung über ssh-client vom lokalen PC aus: MAC und Linux: ssh-client in Standarddistributionen enthalten Windows-Clients: putty: kein Arbeiten mit einer grafischen Benutzeroberfläche möglich MobaXterm: X-Win32:
56 HPC-Systeme: Zugang Zugriff auf rzcluster Login-Knoten ssh -X -X Option aktiviert X11-Forwarding Nutzung einer grafischen Benutzeroberfläche Zugriff auf caucluster Login-Knoten ssh X username@caucluster.rz.uni-kiel.de Zugriff auf Login-Knoten NEC HPC-System ssh X username@nesh-fe.rz.uni-kiel.de
57 HPC-Systeme: Datentransfer Linux und MAC: scp-kommando: scp dateiname rsync-kommando: rsync -av dateiname Windows: WinSCP (grafischer scp-client)
58 Datentransfer: Windows-Rechner Arbeiten mit Dateien, die unter Windows erzeugt/bearbeitet wurden nur als reine ASCII-Dateien abspeichern vermeidet Fehlermeldung /bin/bash^m: bad interpreter: no such file or directory Kommando dos2unix dateiname entfernt Steuerzeichen Verfügbare Editoren auf HPC-Systemen vi Emacs nedit
59 Hochleistungsrechner Dateisysteme und Datensicherung
60 HPC-Rechner: Dateisysteme rzcluster und caucluster: gemeinsame Dateisysteme NEC HPC-System: separate Dateisysteme Vier verschiedene Dateisysteme nutzbar HOME-Verzeichnis WORK-Verzeichnis lokaler Plattenplatz an den Rechenknoten Zugriff auf Tape-Library (Magnetband-Robotersystem)
61 HOME-Verzeichnis Login-Verzeichnis erreichbar über die Umgebungsvariable $HOME verfügbarer Plattenplatz (für alle Nutzer) NEC HPC-System: 60TB rzcluster/caucluster: 13TB global verfügbar an allen Knoten tägliche Datensicherung durch das Verzeichnis für wichtige Daten, die gesichert werden müssen Skripte, Programme und kleinere Ergebnisdateien derzeit noch keine Plattenplatzbegrenzung (Quota) pro Benutzer nicht für die Durchführung von Batchjobs verwenden langsame Zugriffszeiten
62 Work-Verzeichnis globales paralleles Dateisystem Dateisystem für die Durchführung von Batchberechnungen ereichbar über $WORK-Umgebungsvariable (NEC HPC-System) /work_beegfs/username (rzcluster/caucluster) manuelles $WORK-setzen: in $HOME/.bash_profile einfügen export $WORK= /work_beegfs/username keine Datensicherung durch das verfügbarer Plattenplatz (für alle Nutzer insgesamt) NEC HPC-System: 5 PB ScaTeFS rzcluster/caucluster: 350 TB BeeGFS Quoten für nutzbaren Plattenplatz pro Benutzer
63 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota
64 $WORK: Plattenplatzkontingent NEC HPC-System Standardkontingente Nutzbarer Speicherplatz Softlimit: 1.8TB (CAU) bzw. 4.5TB (GEOMAR) Hardlimit: 2.0TB (CAU) bzw. 5.0TB (GEOMAR) Inode-Einträge Softlimit: Hardlimit: Kommando zur Quotenabfrage: workquota rzcluster/caucluster Standardkontingent: Speicherplatz: 1TB Inode-Einträge: Kommando Quotenabfrage: beegfs-ctl --getquota uid username
65 Lokaler Plattenplatz erreichbar über die Umgebungsvariable $TMPDIR lokaler temporärer Plattenplatz am jeweiligen Batchknoten nur innerhalb eines Batchjobs verfügbar schnelle Zugriffszeiten: wichtig für I/O intensive Berechnungen
66 TAPE-Library Plattenspeicher mit angeschlossenem Magnetbandrobotersystem Erreichbar über Umgebungsvariable $TAPE_CACHE (NEC HPC-System) /nfs/tape_cache/username (rzcluster/caucluster) nur lokal auf Vorrechnern verfügbar NEC HPC-System: Zugriff über spezielle Queue (feque) möglich Speicherung von aktuell nicht benötigten Daten erstellen von tar-dateien (max. 1TB; empfohlene Größe: zwischen 3 und 50GB) langsamer Zugriff: kein direktes Arbeiten mit Dateien auf Band kein Archivierungssystem irrtümlich gelöschte Daten können nicht wieder hergestellt werden
67 Datensicherung HOME-Verzeichnis tägliche Sicherung Datensicherungen werden 8 Wochen aufbewahrt für die letzten 2 Wochen ist eine tagesaktuelle Wiederherstellung möglich ältere Datensicherungen stehen in Wochenabständen zur Verfügung Wiederherstellung über Verzeichnis NEC HPC-System: /nfs/mybackup-0 bzw. /nfs/mybackp-1 rzcluster: /mybackup-0 $WORK: keine Sicherung durch das TAPE-Library keine Backup, d.h. irrtümlich gelöschte Daten nicht wieder herstellbar Daten nur verfügbar solange ein Account aktiv ist keine Langzeitarchivierung durch das
68 Arbeiten mit den Dateisystemen wichtige Daten, die gesichert werden müssen auf $HOME Batchberechnungen starten und Ausführen auf $WORK Nutzung von $TMPDIR für I/O intensive Berechnungen TAPE_CACHE-Verzeichnis aktuell nicht benötigte Daten auf Magnetband auslagern bevorzugt große Datenpakete abspeichern eigenen Datenbestand von Zeit zu Zeit überprüfen
69 Anwendersoftware Und Programmübersetzung
70 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,
71 HPC-Rechner: Software Compiler Gnu-Compiler Intel-Compiler Portland-Compiler (nur rzcluster und caucluster) SX-Crosscompiler für Nutzung der NEC SX-ACE Knoten MPI-Implementierung Intel-MPI (Linux-Cluster) SX-MPI (NEC SX-ACE Knoten) Bibliotheken netcdf, HDF5, FFTW, MKL, PETSc, Anwendersoftware: Python, Perl, R, Matlab, Gaussian, Turbomole,. Bereitstellung über ein Module-Konzept
72 Module-Konzept ermöglicht Nutzung bereits installierter Software nach dem Laden eines Softwaremodules: Programm ohne weitere Pfadanpassungen nutzbar einfaches Setzen/Umsetzen von Suchpfaden: $PATH, $LD_LIBRARY_PATH, $MANPATH
73 Modules: Kommandos module avail liefert Überblick über bereits installierte Softwarepakete module load name lädt Module mit dem Name name; alle Einstellungen für die Programmnutzung werden vorgenommen module list listet alle Module auf, die aktuell geladen sind module unload name entfernt das Module name, d.h. alle Einstellungen werden rückgängig gemacht module purge entfernt alle bisher geladenen Module, d.h. module list Kommando liefert keine Einträge mehr module show name zeigt Pfadänderung an, die das Module durchführt
74 Modules: Beispiele Nutzung Programmpaket Matlab module load matlab2017a (CAU-Nutzer) module load matlab2017a_geomar (GEOMAR-Nutzer) Programmaufruf mit Kommando matlab nodisplay starten Programmübersetzung mit Intel-Compiler module load intel Compileraufruf: ifort, icc oder icpc module load intel intelmpi Compileraufruf: mpiifort, mpiicc oder miicpc
75 Hochleistungsechner Interaktives Arbeiten und Batchbetrieb
76 HPC-System
77 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten (HPC-Login) Datentransfer: PC HPC-Login Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs keine längeren Berechnungen über Batchsystem
78 Arbeiten auf den HPC-Systemen Interaktives Arbeiten nur auf auf den Login-Knoten Datenstransfer Arbeitsplatz-PC HPC-Systeme/Tape-Library Programmübersetzung, kurze Testberechnungen Erstellung der Batchskripte Abgabe und Kontrolle von Batchjobs Keine längeren Berechnungen über Batchsystem Batchbetrieb Berechnungen auf den Compute-Knoten Kein direkter Zugriff auf ausführende Knoten
79 HPC-Systeme: Batchbetrieb Vorteil Rechenressourcen können effektiver genutzt werden höherer Durchsatz gerechte Verteilung auf alle Benutzer jeder Benutzer kann mehrere Berechnungen gleichzeitig ausführen angeforderte Ressourcen sind während der Laufzeit garantiert Nachteil zunächst etwas ungewohntes Arbeiten
80 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt
81 HPC-Systeme: Batchbetrieb Benutzer startet sein Programm nicht direkt in der Konsole schreibt eine kleine Batchskript-Datei enthält Informationen über die angeforderten/benötigten Ressourcen Core-Anzahl, Hauptspeicherbedarf, Rechenzeit,. enthält den eigentlichen Programmaufruf Batchskript-Datei wird vom Login-Knoten an den Batchserver übergeben durchsucht alle Knoten nach freien Ressourcen Job startet sofort oder wird in eine Warteschlange gestellt Batchsystemsoftware rzcluster und caucluster: slurm NEC HPC-System: NQSII
82 HPC-Systeme: Batchbetrieb
83 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel # Programmstart time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
84 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 --> Shell-Definition #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
85 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o benötigte Anzahl von Rechenknoten benötigte Anzahl von Rechenkernen pro Knoten #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
86 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 angeforderte Rechenzeit (Verweilzeit) #PBS l cputim_job=10:00:00 angeforderte CPU-Zeit (Coreanzahl*Verweilzeit) #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
87 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb max. benötigter Hauptspeicher pro Knoten #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
88 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium Angabe der Batchklasse #PBS N jobname Name des Batchjobs #PBS o job.out #PBS j o #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
89 NQSII-Batchskript (NEC HPC-Linux Cluster) #/bin/bash #PBS b 1 #PBS l cpunum_job=1 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=10:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o Dateiname für Standardausgabe Standard- und Fehlerausgabe in eine Datei schreiben #Laden der Softwareumgebung module load intel time./prog # Ausgabe der verbrauchten Ressourcen (Rechenzeit, Hauptspeicher des Jobs) /usr/bin/nqsii/qstat f ${PBS_JOBID/0;}
90 Slurm-Batchskript (rzcluster,caucluster) #/bin/bash #SBATCH--nodes=1 #SBATCH --tasks-per-node=1 Anzahl MPI-Prozesse pro Knoten #SBATCH --cpus-per-task=1 #SBATCH --time=01:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=jobname #SBATCH --output=job.out #SBATCH --error=job.err Anzahl Tasks per Node (z.b. OpenMP-Parallelisierung) export OMP_NUM_THREADS=1 #Laden der Softwareumgebung module load intel time./prog
91 Batchskript: parallele MPI-Berechnung #/bin/bash #PBS T intmpi #PBS b 2 #PBS l cpunum_job=32 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=640:00:00 #PBS l memsz_job=20gb #PBS q clmedium #PBS N jobname #PBS o job.out #PBS j o module load intel intelmpi mpirun $NQSII_MPIOPTS np 64./prog #/bin/bash #SBATCH--nodes=2 #SBATCH --tasks-per-node=12 #SBATCH --cpus-per-task=1 #SBATCH --time=10:00:00 #SBATCH --mem=1000mb #SBATCH --partition=small #SBATCH --job-name=job #SBATCH --output=job.out module load intel intelmpi mpirun np 24./prog
92 Batchskript: MPI-Berechnung SX-ACE #/bin/bash #PBS T mpisx #PBS b 10 #PBS l cpunum_job=4 #PBS l elapstim_reg=10:00:00 #PBS l cputim_job=40:00:00 #PBS l memsz_job=20gb #PBS q smallque #PBS N jobname #PBS o job.out #PBS j o export F_PROGINF=DETAIL Ausgabe von Performance-Informationen nach Jobende export MPI_PROGINF=DETAIL mpirun nn 2 nnp 4./prog
93 Linux-Cluster: MPI-Berechnungen knotenübergreifende MPI-Berechnungen Batchknoten müssen ohne Passwortabfrage miteinander kommunizieren können einmalige Erzeugung eines Schlüsselpaares ssh-keygen Kommando ausführen: ssh-keygen t rsa kopieren des erzeugten öffentlichen Schlüssels mit cp $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys
94 NQSII: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend qsub jobskript Abgabe einer Batchberechnung qstatall Auflistung aller Jobs im System qstat Auflistungen der eigenen Jobs qstatcl / qstatace Auflistungen aller Jobs auf NEC Linux-Cluster / SX-ACE Knoten qdel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs qstat f jobid liefert Details über einen bestimmten Job qstat J jobid Name des Batchknotens auf dem Job läuft qcl / qace zeigt Informationen über eingerichtete Batchklassen an
95 Slurm: Kontrolle von Batchjobs Kenntnis weniger Kommandos ausreichend sbatch jobskript Abgabe einer Batchberechnung squeue Auflistung aller Jobs im System squeue u username Auflistungen der eigenen Jobs scancel jobid Beenden eines laufenden bzw. entfernen eines wartenden Jobs scontrol show job jobid liefert Details über einen bestimmten Job sinfo Zeigt Informationen über verfügbare Batchklassen an
96 Slurm: Interaktive Batchjobs rzcluster und caucluster: Möglichkeit interaktiv auf Batchknoten zu arbeiten Batchjobabgabe: srun --pty nodes=1 cpus-per_task=1 time=1:00:00 partition=small /bin/bash
97 Arbeiten mit dem Batchsystem nicht mehr Knoten und Cores anfordern als benötigt werden benötigte Rechenzeit und Hauptspeicher möglichst genau angeben höherer Durchsatz und kürzere Wartezeiten Zwischenergebnisse abspeichern (insbes. bei sehr langen Laufzeiten) Standardausgabedatei möglichst klein halten Ausgaben evtl. direkt in $WORK-umleiten (NEC HPC-System)
98 Dokumentation und Kontakt WWW-pages: NEC SX-ACE: NEC HPC-Linux-Cluster: rzcluster: caucluster: Vortragsfolien: Maillingliste/Ticketsystem
HPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 10.01.2018 10.01.2018 HPC-Support 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung
MehrHPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 08.05.2018 08.05.2018 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
MehrHPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 18.07.2018 18.07.2018 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
MehrHPC Einführungsveranstaltung
Hochleistungsrechnen @ RZ CAU HPC Einführungsveranstaltung 09.01.2019 09.01.2019 1 HPC Einführung: Überblick Hochleistungsrechnen und HPC-Dienste Vorstellung der verfügbaren HPC-Systeme Besichtigung Serverräume
MehrNEC HPC-System. SX-ACE Vektorrechnersystem u. HPC-Linux Cluster. Rechenzentrum
SX-ACE Vektorrechnersystem u. HPC-Linux Cluster 1 Ansprechpartner HPC-Support Team Benutzerberatung Dr. Karsten Balzer Dr. Simone Knief Systembetreuung: Dr. Cebel Kücükkaraca Alfred Wagner Mailingliste:
MehrVektorrechnersystem NEC SX-9
Ansprechpartner HPC-Support Team Benutzerberatung Dr. Gerd Hessler (hessler@rz.uni-kiel.de) Dr. Simone Knief (knief@rz.uni-kiel.de) Dr. Eva-Maria Zeidler (zeidler@rz.uni-kiel.de) Systembetreuung: Dr. Cebel
MehrAusblick auf den HLRN III - die neue HPC Ressource für Norddeutschland
Ausblick auf den HLRN III - die neue HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße 5 30159 Hannover naundorf@rrzn.uni-hannover.de 14. März 2013
MehrNutzersupport im HLRN: verteilt unterstützen, gemeinsam handeln!
Nutzersupport im HLRN: verteilt unterstützen, gemeinsam handeln! ZKI-AK 20./21.9.2012 in Düsseldorf Frank Schmitz, schmitz@zib.de Konrad-Zuse-Zentrum für Informationstechnik Berlin 1 2 Agenda Warum Benutzerberatung
MehrHLRN III - HPC Ressource für Norddeutschland
HLRN III - HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße 5 30159 Hannover naundorf@rrzn.uni-hannover.de 23. September 2014 Inhalt Der HLRN Verbund
MehrCLAIX Vorstellung und Technik Christian Terboven
CLAIX Vorstellung und Technik Christian Terboven Inhalte CLAIX Phase I Zwei Rack-Reihen + 2 Schränke Testbetrieb mit Projekten seit November 2016 Trier-2 HPC-System Abnahme im Januar 2017 TOP500 im November
MehrDas HLRN-System. Peter Endebrock, RRZN Hannover
Das HLRN-System Peter Endebrock, RRZN Hannover vorweg (1) Heute Vorträge im Dreierpack: Peter Endebrock: Das HLRN-System Gerd Brand: MPI Simone Knief: OpenMP Peter Endebrock, RRZN Hannover, Kolloquium,
MehrNEC SX-ACE HPC-System
Erste Erfahrungen mit dem neuen System Dr. Simone Knief; ZKI-Arbeitskreis Supercomputing, Kiel 17.03.2015 1 Überblick Rechnerkonfiguration Veränderungen SX-9 zu SX-ACE Benutzergruppen Erste Performanceergebnisse
MehrUBELIX University of Bern Linux Cluster
University of Bern Linux Cluster Informatikdienste Universität Bern ID BEKO Grid Forum 7. Mai 2007 Inhalt Einführung Ausbau 06/07 Hardware Software Benutzung Dokumentation Gut zu wissen Kontakt Apple/Mac:
MehrEinführung in LiDO3. Einführung LiDO3. Ingo Schulz Fakultät für Informatik / ITMC CC:HPC TU Dortmund
Einführung in LiDO3 Bei Fragen / Anregungen bitte E-Mail an: lido-team.itmc@lists.tu-dortmund.de Ingo Schulz Fakultät für Informatik / ITMC CC:HPC TU Dortmund Betrieb des LiDO3 durch ITMC CC:HPC, E-Mail:
MehrLinux in allen Lebenslagen. Diskless Cluster und Lustre Erfahrungsbericht zum CHiC. Frank Mietke. Chemnitzer Linux-Tage 2007
Linux in allen Lebenslagen Diskless Cluster und Lustre Erfahrungsbericht zum CHiC Fakultätsrechen- und Informationszentrum (FRIZ) / Professur Rechnerarchitektur Technische Universität Chemnitz Chemnitzer
MehrHochleistungsrechnen in Darmstadt: Der Lichtenberg- Hochleistungsrechner. Dr. Andreas Wolf. Gruppenleiter Hochleistungsrechnen Hochschulrechenzentrum
Hochleistungsrechnen in Darmstadt: Der Lichtenberg- Hochleistungsrechner Dr. Andreas Wolf Gruppenleiter Hochleistungsrechnen Hochschulrechenzentrum Überblick Randbedingungen der HPC Beschaffung an der
MehrErste Erfahrungen mit Installation und Betrieb
Erste Erfahrungen mit Installation und Betrieb von OpenHPC 14.10.2016 Holger Angenent Röntgenstr. 7-13, 48149 Münster 2 > Problemstellung Jeder neue Cluster kam bisher mit neuem Clustermanagement Einarbeitungszeit
MehrAllgemeine Informationen zum Compute-Server
Universität Potsdam ZIM Zentrum für Informationstechnologie und Medienmanagement Torque - das Stapeljob-System TORQUE steht für "Terascale Open-Source Resource and QUEue Manager". Grundsätzlich müssen
MehrHochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen
Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem hristian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 Hochleistungsrechnen mit Windows enter omputing and ommunication
MehrDas Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ
Das Prinzip der kleinsten Überraschung Konfiguration des neuen HPC-Clusters am RRZ Hinnerk Stüben ZKI-Arbeitskreis Supercomputing Leibniz-Rechenzentrum, Garching 19. Oktober 2015 Themen Neues HPC-Cluster
MehrNWZSUPERDOME. Einführung für Benutzer. Christian Mück-Lichtenfeld. Organisch-Chemisches Institut. May 16, 2007
Einführung für Benutzer Christian Mück-Lichtenfeld Organisch-Chemisches Institut May 16, 2007 1/44 Überblick Themen Hardwareresourcen Installierte Software Programmierung Zielgruppe: High Performance Computing
MehrLeistungsanalyse von Rechnersystemen
Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel. +49 351-463 - 32424
MehrKapitel 5. Parallelverarbeitung. Formen der Parallelität
Kapitel 5 Parallelverarbeitung é Formen der Parallelität é Klassifikation von parallelen Rechnerarchitekturen é Exkurs über Verbindungsstrukturen Bernd Becker Technische Informatik I Formen der Parallelität
MehrDer neue Hessische Hochleistungsrechner HHLR
Der neue Hessische Hochleistungsrechner HHLR Erste Erfahrungen Norbert Conrad, conrad@hrz.tu-darmstadt.de ZKIHessen 26.8.2002 1 Darmstädter Hochleistungsrechner 1987: IBM 3090 VF ( 2 x 0,12 GFLOPS Vektor
MehrÜbungsblatt 1. (Stapel- bzw. Batchbetrieb)
Übungsblatt 1 Die Übungsblätter enthalten theoretische und praktische Übungen. Für die Bearbeitung der praktischen Übungen benötigen Sie eine UNIX-Shell. Weit verbreite ist die Bash [1]. Das Apple Mac
MehrLeistungsanalyse von Rechnersystemen
Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel. +49 351-463 - 32424
MehrAnleitung für zwei Fortran-Openmp-Beispiele auf der NWZSuperdome
Anleitung für zwei Fortran-Openmp-Beispiele auf der NWZSuperdome (Timo Heinrich, t_hein03@uni-muenster.de) Inhaltsverzeichnis: 0.Einleitung 1.Teil: Helloworldprogramm 1.1 Quellcode: Helloworld.f90 1.2
Mehrmagnitude Erste Erfahrungen mit dem neuen HPC-System der UDE
magnitude Erste Erfahrungen mit dem neuen HPC-System der UDE ZKI-AK Supercomputing Holger Gollan Agenda Die Universität Duisburg-Essen (UDE) Das Zentrum für Informations- und Mediendienste (ZIM Das Center
MehrA N H A N G. zur Entgeltordnung für die Rechenanlagen. NEC SX-4/32, NEC SX-5/32 M2, CRAY T3E LC512 und HITACHI SR Stand 1. 1.
1 Rechenzentrum der Universität Stuttgart A N H A N G zur Entgeltordnung für die Rechenanlagen NEC SX-4/32, NEC SX-5/32 M2, CRAY T3E LC512 und HITACHI SR 8000 Stand 1. 1. 2002 1. ERMITTLUNG DER RECHENLEISTUNG
MehrInformationstechnologie am Institut für Meteorologie
Informationstechnologie am Institut für Meteorologie Ingo Kirchner und Thomas Bergmann Institut für Meteorologie Freie Universität Berlin 12/Dez/2016 1 / 20 Ablauf 1 Allgemeiner Überblick 2 3 4 5 6 2 /
MehrWissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel
Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel ZKI-Tagung, AK Supercomputing, 16.-17.03.2015 Holger Marten Landeshauptstadt Kiel - Bodo Quante 1. Etwas Historie 16.03.2015 Dr.
MehrVorlesung Unix-Praktikum
Mehr mit Vorlesung und -Zugriff Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 18. Oktober 2017 1 Willkommen zur zweiten Vorlesung Was gab es von mir beim letzten Mal? Login in den Rechnerpools
MehrVorlesung Linux Praktikum
Vorlesung Linux Praktikum Netboot und SSH Dorian Lehmenkühler Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 17. Oktober 2018 Willkommen zur zweiten Vorlesung Was machen wir heute? Arbeiten
MehrModProg 15-16, Vorl. 13
ModProg 15-16, Vorl. 13 Richard Grzibovski Jan. 27, 2016 1 / 35 Übersicht Übersicht 1 Supercomputing FLOPS, Peak FLOPS Parallelismus Praktische Aspekte 2 Klausur von 2009 2 / 35 Supercomputing: HPC Modellierung
MehrEin kleiner Einblick in die Welt der Supercomputer. Christian Krohn 07.12.2010 1
Ein kleiner Einblick in die Welt der Supercomputer Christian Krohn 07.12.2010 1 Vorschub: FLOPS Entwicklung der Supercomputer Funktionsweisen von Supercomputern Zukunftsvisionen 2 Ein Top10 Supercomputer
MehrCHiC Chemnitzer Hochleistungs-Linux Cluster. Stand HPC Cluster CHiC. Frank Mietke, Torsten Mehlan, Torsten Höfler und Wolfgang Rehm
CHiC er Hochleistungs-Linux Cluster Stand HPC Cluster CHiC, Torsten Mehlan, Torsten Höfler und Wolfgang Rehm Fakultätsrechen- und Informationszentrum (FRIZ) / Professur Rechnerarchitektur Technische Universität
MehrSeminar: Praktische Quantenchemie
Seminar: Praktische Quantenchemie Bernd Hartke Theoretische Chemie Institut für Physikalische Chemie 5. Stock, Raum 519 Tel.: 0431/880-2753 hartke@phc.uni-kiel.de http://ravel.phc.uni-kiel.de Sprechstunde:
MehrSeminarvortrag: Direktivenbasierte Programmierung von Beschleunigern mit OpenMP 4.5 und OpenACC 2.5 im Vergleich
Seminarvortrag: Direktivenbasierte Programmierung von Beschleunigern mit Direktivenbasierte Programmierung von Beschleunigern mit Agenda Einführung / Motivation Überblick zu OpenMP und OpenACC Asynchronität
MehrKleines Tutorial für die Nutzung des bwuniclusters. Sven Wehner Angela Cho
Kleines Tutorial für die Nutzung des bwuniclusters Sven Wehner Angela Cho Programm Hintergrund bwunicluster & Zugang Dateiensystem Skripte starten, Jobs ausführen, Logging Shell-Skript Hilfreiche Shortcuts
MehrEinführungs-Workshop Februar Übersicht
Einführungs-Workshop ebruar 2013 Übersicht rogramm 27.2.2013 Vormittag Workshop 9:00 Christian Iwainsky SC: Best ractise Tuning 9:30 Dr.-Ing. Dörte C. Sternell NB: ASTEST 10:00 Kurs I: Die ersten Schritte
MehrSysteme I: Betriebssysteme Kapitel 4 Prozesse. Wolfram Burgard
Systeme I: Betriebssysteme Kapitel 4 Prozesse Wolfram Burgard Version 18.11.2015 1 Inhalt Vorlesung Aufbau einfacher Rechner Überblick: Aufgabe, Historische Entwicklung, unterschiedliche Arten von Betriebssystemen
MehrDas Batch-System. Inhaltsverzeichnis. Leibniz Universität IT Services (LUIS) Service: Scientific Computing
Leibniz Universität IT Services (LUIS) Service: Scientific Computing Das Batch-System Das Clustersystem wird von vielen Nutzern gemeinsam verwendet. Anforderungen an die Ressourcen müssen daher reguliert
MehrErfahrungen mit LSF an der RWTH. Eine kurze Geschichte der LoadSharingFacility
Erfahrungen mit LSF an der RWTH Eine kurze Geschichte der LoadSharingFacility Zeitlinie 2011 Wechsel SGE -> LSF, Bull Cluster, GPU-Cluster 2012 JARA-HPC 2014 Projektbewirtschaftung RWTH 2016 NEC Cluster
Mehr-0 FDDI-Anschluß. m 256MB. m 512 MB Memory. Parallelrechner IBM SP. HRZ Uni Marburg. Frame 2. Frame 3. Frame 1. Ethernet mit allen Knoten
HRZ Uni Marburg Parallelrechner IBM SP Ethernet mit allen Knoten 3 externe SSADisks 12 * 4.5 GB Parallele Filesysteme 8 * 4.5 GB Benutzer- Filesysteme SP Switch SP Switch SP Switch ~ 128MB m 256MB m 512
MehrInhalt. Prozessoren. Curriculum Manfred Wilfling. 28. November HTBLA Kaindorf. M. Wilfling (HTBLA Kaindorf) CPUs 28. November / 9
Inhalt Curriculum 1.4.2 Manfred Wilfling HTBLA Kaindorf 28. November 2011 M. Wilfling (HTBLA Kaindorf) CPUs 28. November 2011 1 / 9 Begriffe CPU Zentraleinheit (Central Processing Unit) bestehend aus Rechenwerk,
MehrUserguide für den Linux Cluster des UZWR. the admins
Userguide für den Linux Cluster des UZWR the admins 12. April 2011 Inhaltsverzeichnis 1 Aufbau des Rechenclusters 1 2 Login 2 2.1 Windows........................................ 2 2.1.1 PuTTy......................................
MehrBernd Bleßmann, Jörg Bleßmann. Linux. Aufbau und Einsatz eines Betriebssystems. 1. Auflage. HLuHB Darmstadt. Bestellnummer Bildungsverlag EINS
Bernd Bleßmann, Jörg Bleßmann Linux Aufbau und Einsatz eines Betriebssystems 1. Auflage Bestellnummer 01146 HLuHB Darmstadt 15917903 Bildungsverlag EINS Vorwort 7 1 Betriebssysteme 9 1.1 Die Aufgaben des
MehrRWTH - Umgebung. Übersicht. Seite 1. RWTH-Umgebung. Sun Grid Engine. Dateimanagement. Archiv. Backup. Seite 2. RWTH-Umgebung
RWTH Ugebung Seite 1 Übersicht Sun Grid Engine Dateianageent Archiv Backup Seite 2 Sun Grid Engine Warteschlange für Prograe Verteilt Prograe über das ganze Cluster Sorgt für Lastausgleich (verhindert
MehrBenutzer und Rechte Teil 1, Paketverwaltung, SSH
Benutzer und Rechte Teil 1, Paketverwaltung, SSH Linux-Kurs der Unix-AG Andreas Teuchert 27. Mai 2014 SSH ssh ( Secure Shell ) startet eine Shell auf einem anderen Rechner über das Netzwerk Verbindung
MehrNutzungsanleitung des Clusters thot.informatik.uni-halle.de
Nutzungsanleitung des Clusters thot.informatik.uni-halle.de Martin-Luther-Universität Halle-Wittenberg INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Allgemeines 2 2 Module zum Einrichten der Nutzerumgebung
MehrEntwicklungsumgebung für die Laborübung
Entwicklungsumgebung für die Laborübung VL Datenbanksysteme Ingo Feinerer Arbeitsbereich Datenbanken und Artificial Intelligence Institut für Informationssysteme Technische Universität Wien Gliederung
MehrNEVARIS icebim Kurzinstallationsanleitung
NEVARIS icebim Kurzinstallationsanleitung Inhaltsverzeichnis SYSTEMVORAUSSETZUNGEN FÜR NEVARIS ICEBIM VERSION 2017 R1 IM CLIENT SERVER BETRIEB... 2 INSTALLATIONSVARIANTEN... 4 Installation des NEVARIS
MehrMehrprozessorarchitekturen
Mehrprozessorarchitekturen (SMP, UMA/NUMA, Cluster) Arian Bär 12.07.2004 12.07.2004 Arian Bär 1 Gliederung 1. Einleitung 2. Symmetrische Multiprozessoren (SMP) Allgemeines Architektur 3. Speicherarchitekturen
MehrVorlesung Unix-Praktikum
Vorlesung 3. Remote-Zugriff Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 03. November 2015 1 / 29 Willkommen zur dritten Vorlesung Was gab es von mir beim letzten Mal? Login im Einrichten
MehrHigh Performance Computing
REGIONALES RECHENZENTRUM ERLANGEN [ RRZE ] High Performance Computing Systemausbildung Grundlagen und Aspekte von Betriebssystemen und System-nahen Diensten Michael Meier, RRZE, 01.07.2015 Agenda Was bedeutet
MehrIT- und Medientechnik
IT- und Medientechnik Vorlesung 6: 20.11.2017 Wintersemester 2017/2018 h_da, Lehrbeauftragter Teil 1: IT- und Medientechnik Themenübersicht der Vorlesung Hard- und Software Hardware: CPU, Speicher, Bus,
Mehr2 Rechnerarchitekturen
2 Rechnerarchitekturen Rechnerarchitekturen Flynns Klassifikation Flynnsche Klassifikation (Flynn sche Taxonomie) 1966 entwickelt, einfaches Modell, bis heute genutzt Beschränkung der Beschreibung auf
MehrJKU» Wissenschaftliches Rechnen
JKU Universität Service IT-Services Wissenschaftliches Rechnen Wissenschaftliches Rechnen (Scientific Computing) Kontakt PBS Pro GNU module Compiling software Arbeitsspeicher-Topologie bei Altix UV 1000
Mehr> Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013
> Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013 Parallele und Verteilte Systeme, Institut für Informatik Inhaltsverzeichnis 2 1 LINPACK
MehrAdvancedReport Installationsanleitung
AdvancedReport Installationsanleitung YOKOGAWA Broichhofstraße 7-11 40880 Ratingen Tel. +49-2102 - 4983-0 1/21 Inhalt: 1. Einleitung...3 2. Revision...3 3. Systemvorrausetzungen...4 4. Installation Vorbereitung...4
MehrSysteme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme Maren Bennewitz 1 Überblick Betriebssysteme Aufgabe von Betriebssystemen Historische Entwicklung von Betriebssystemen Unterschiedliche Arten
MehrEinige Grundlagen zu OpenMP
Einige Grundlagen zu OpenMP Stephanie Friedhoff, Martin Lanser Mathematisches Institut Universität zu Köln 22. Juni 2016 Überblick Was ist OpenMP? Basics Das OpenMP fork-join-modell Kompilieren und Ausführen
MehrSNI S100/10. Hardware: Betriebssystem: Programmiersprachen, Software: EDV-Zentrum. September 1992 bis September Leistung: 625 MFlop/s
Chronik des Zentralen Informatikdienstes der TU Wien Mainframes, Fachbereichsrechner und Applikationsserver SNI S100/10 EDV-Zentrum September 1992 bis September 1996 Hardware: 256 MB Hauptspeicher je 1
MehrMOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz
MOGON Markus Tacke HPC ZDV HPC - AHRP Was ist Mogon allgemein? Das neue High Performance Cluster der JGU Ein neues wichtiges Werkzeug für Auswertung von Messdaten und Simulationen Beispiele Kondensierte
MehrDOAG Konferenz 2007 in Nürnberg
DOAG Konferenz 2007 in Nürnberg Auswahl und Sizing: Die richtige Hardware (+Software) für Oracle Björn Bröhl Projektmanager Handlungsbevollmächtigter Seite 1 Inhalt Die Zielsetzung Vorgehensweise Auswahl
MehrHPC an der Uni Mainz
Einwicklung vom ersten Top500 Rechner bis zum AHRP HPC - AHRP - ZKI Markus Tacke, ZDV, Universität Mainz AK Supercomputer Kaiserslautern 19.4.2012 ZDV: CC NUMA 1.1.1995: Convex SPP1000/16 16 PA Risc 7100
MehrNutzung der Scientific Computing Cluster. Lars-Peter Meyer
Nutzung der Scientific Computing Cluster Lars-Peter Meyer Cluster Hardware Galaxy (shared nothing) 90 Worker mit jeweils 2 Cores (2x6 Cores, Intel Haswell E5 2620v3 @2,4 GHz) 28 GByte DDR4 ECC RAM RAM
MehrGNU/Linux Introduction Linux Introduction: Part 1. Simon M. Haller, Sebastian Stabinger iis.uibk.ac.at
GNU/Linux Introduction Linux Introduction: Part 1 Simon M. Haller, Sebastian Stabinger iis.uibk.ac.at Windows / Linux @ Central IT Services Windwos 7 Centos 7.3 Zugriff von Windows auf Linux (WinSCP, PuTTy)
MehrEinrichtung und Installation der SpaceClaim Netzwerklizensierung
Merkblatt Thema: IdentNr.: Kurzbeschreibung: Stand 05.01.2016 SpaceClaim Netzwerklizensierung SC-013.0 Einrichtung und Installation der SpaceClaim Netzwerklizensierung Voraussetzungen... 1 Benötigte Software...
MehrWINDOWS 10. Modul 4 System Know-How
WINDOWS 10 Modul 4 System Know-How Tipps und Tricks... 2 Den PC immer dabei PortableApps... 2 VeraCrypt Daten verschlüsseln... 3 Verwaltung... 5 PC zurücksetzen... 6 Remoteunterstützung... 8 Daten teilen...
MehrWINDOWS 10. Modul 3 Backup unter Windows. Grundlagen eines Backup Konzeptes Hardware vorbereiten Software Hardware...
WINDOWS 10 Modul 3 Backup unter Windows Grundlagen eines Backup Konzeptes... 2 Hardware vorbereiten... 5 Software... 6 Hardware... 8 Cloudspeicher... 9 18.03.2019 Francesco Falone Grundlagen eines Backup
MehrSystemanforderungen Manufacturing Execution System fabmes
Manufacturing Execution System fabmes Das Manufacturing Execution System fabmes bemüht sich trotz hoher Anforderungen an die Datenverarbeitung möglichst geringe Anforderungen an die Hardware zu stellen.
MehrBenutzer und Rechte Teil 2, Paketverwaltung
Benutzer und Rechte Teil 2, Paketverwaltung Linux-Kurs der Unix-AG Benjamin Eberle 7. Dezember 2015 Wozu verschiedene Benutzer? (1) Datenschutz mehrere Benutzer pro Rechner, insbesondere auf Server-Systemen
MehrSysteme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme. Wolfram Burgard
Systeme I: Betriebssysteme Kapitel 2 Überblick Betriebssysteme Wolfram Burgard 1 Überblick Betriebssysteme Aufgabe von Betriebssystemen Historische Entwicklung von Betriebssystemen Unterschiedliche Arten
MehrBenutzer und Rechte Teil 1, Paketverwaltung
Benutzer und Rechte Teil 1, Paketverwaltung Linux-Kurs der Unix-AG Benjamin Eberle 25. Mai 2016 Wozu verschiedene Benutzer? (1) Datenschutz mehrere Benutzer pro Rechner, insbesondere auf Server-Systemen
MehrHigh Performance Computing
REGIONALES RECHENZENTRUM ERLANGEN [RRZE] High Performance Computing Systemausbildung Grundlagen und Aspekte von Betriebssystemen und systemnahen Diensten, 21.06.2017 HPC-Gruppe, RRZE Agenda Was bedeutet
MehrParallel Computing. Einsatzmöglichkeiten und Grenzen. Prof. Dr. Nikolaus Wulff
Parallel Computing Einsatzmöglichkeiten und Grenzen Prof. Dr. Nikolaus Wulff Parallel Architekturen Flynn'sche Klassifizierung: SISD: single Instruction, single Data Klassisches von-neumann sequentielles
MehrFiletransfer via SecureCoPy
Filetransfer via SecureCoPy Standardprotokoll zum Übertragen von Daten und Dateien mittels verschlüsselten Verbindungen ist das SecureSHell-Protokoll. Man kann über das SSH-Protokoll sich sowohl auf einem
Mehrbw-grid Cluster in Mannheim
bw-grid Cluster in Mannheim Dr. Heinz Kredel mit Helmut Fränznick, Rudi Müller, Steffen Hau, Andreas Baust Inhalt Grid und D-Grid BMBF Projekt bw-grid Cluster Stand: Aufbau und Inbetriebnahme Benutzung
MehrProgrammierung und Leistungsanalyse des bwgrid-clusters. Dr. Heinz Kredel und Dr. Hans-Günther Kruse
Programmierung und Leistungsanalyse des bwgrid-clusters Dr. Heinz Kredel und Dr. Hans-Günther Kruse Inhalt bwgrid Cluster Programmierung Threads, OpenMP, Kommunikation, OpenMPI, Strategien Leistungsanalyse
MehrInstallation von Web Attached Backup V 13
Installation von Web Attached Backup V 13 Seite 1 von 24 Inhalt: BEVOR SIE MIT DER INSTALLATION BEGINNEN:... 3 INSTALLATION DS-CLIENT... 4 INSTALLATION DER DS-RECOVERY TOOLS... 14 BACKUPSÄTZE EINRICHTEN...
MehrSysteme I: Betriebssysteme Kapitel 4 Prozesse. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 4 Prozesse Maren Bennewitz Version 13.11.2013 1 Inhalt Vorlesung Aufbau einfacher Rechner Überblick: Aufgabe, Historische Entwicklung, unterschiedliche Arten von Betriebssystemen
MehrDie Vernetzung von Computern Ab 1985 Vernetzung von Computern
Die Vernetzung von Computern Ab 1985 Vernetzung von Computern Netzwerke 1 Inhalt Vorteile eines lokalen Netzwerks? Hardware-Komponenten zur Vernetzung Hardware-Komponenten zur Vernetzung Vernetzung von
Mehruntermstrich SYNC Handbuch
Handbuch 11/2017 Inhaltsverzeichnis 1. Einleitung... 2 2. Installation... 3 2.1 Systemanforderungen... 3 2.2 Vorbereitungen in Microsoft Outlook... 3 2.3 Setup... 4 3. SYNC-Einstellungen... 6 3.1 Verbindungsdaten...
MehrHochleistungsrechnen auf dem PC
Hochleistungsrechnen auf dem PC Steffen Börm Christian-Albrechts-Universität zu Kiel Ringvorlesung Informatik, 26. Juni 2014 S. Börm (CAU Kiel) Hochleistungsrechnen auf dem PC 26. Juni 2014 1 / 33 Übersicht
MehrWINDOWS 10. Modul 4 System Know-How
WINDOWS 10 Modul 4 System Know-How Tipps und Tricks... 2 Den PC immer dabei PortableApps... 2 VeraCrypt Daten verschlüsseln... 3 Verwaltung... 5 PC zurücksetzen... 6 Remoteunterstützung... 9 Daten teilen...
MehrSysteme I: Betriebssysteme Kapitel 4 Prozesse. Maren Bennewitz
Systeme I: Betriebssysteme Kapitel 4 Prozesse Maren Bennewitz Version 21.11.2012 1 Begrüßung Heute ist Tag der offenen Tür Willkommen allen Schülerinnen und Schülern! 2 Testat nach Weihnachten Mittwoch
MehrWie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix
Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix Hinnerk Stüben Konrad-Zuse-Zentrum für Informationstechnik Berlin Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen ZKI-Arbeitskreis
Mehruntermstrich SYNC Handbuch
Handbuch 03/2017 Inhaltsverzeichnis 1. Einleitung... 2 2. Installation... 3 2.1 Systemanforderungen... 3 2.2 Vorbereitungen in Microsoft Outlook... 3 2.3 Setup... 4 3. SYNC-Einstellungen... 6 3.1 Verbindungsdaten...
MehrVorlesung Unix-Praktikum
Vorlesung Unix-Praktikum Arbeiten von zu Hause Dorian Lehmenkühler Rechnerbetriebsgruppe Technische Fakultät Universität Bielefeld 24. Oktober 2018 1 Willkommen zur zweiten Vorlesung Was machen wir heute?
MehrInstallation. Schulfilter Plus Installationsanleitung Microsoft Windows Betriebssysteme
Schulfilter Plus Installationsanleitung Microsoft Windows Betriebssysteme 1 Inhaltsverzeichnis 1 Installation... 3 1.1 Vor der Installation... 3 1.1.1 Kompatible Betriebssysteme... 3 1.1.2 Minimale Systemvoraussetzungen...
MehrSingularity - Container für die HPC Welt. Egbert Eich Project Manager HPC SUSE Linux
Singularity - Container für die HPC Welt Egbert Eich Project Manager HPC SUSE Linux GmbH/eich@suse.com Über mich UNIX Betriebssysteme seit 1991 (AIX, Digital UNIX, ) Seit 25 Jahren Linux Seit 2000 bei
MehrGeneralisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE
Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de
MehrStand: NEVARIS Systemvoraussetzungen
Stand: 15.05.2018 NEVARIS Systemvoraussetzungen Inhalt 1 Hardware... 1 1.1 Client / Einzelplatz... 1 1.2 Server... 1 2 Betriebssysteme... 2 3 Datenbankserver... 3 3.1 Microsoft Express... 3 3.2 MS Versionen
MehrComputer & GNU/Linux Einführung Teil 2. Simon Haller iis.uibk.ac.at
Computer & GNU/Linux Einführung Teil 2 Simon Haller iis.uibk.ac.at Wichtige Kommandos echo (Anzeigen einer Textzeile) Optionen: -n keine neue Zeile -e aktiviert \ Optionen: \ n neue Zeile \ t horizontaler
Mehr