> Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013

Transkript

1 > Parallele Systeme Übung: Exkurs High-Performance-Computing (an der WWU) Philipp Kegel Wintersemester 2012/2013 Parallele und Verteilte Systeme, Institut für Informatik

2 Inhaltsverzeichnis 2 1 LINPACK 2 Die Cluster des ZIV ZIVSMP, ZIVHPC und PALMA Batchsystem und Scheduler Modulkonzept 3 Programme erstellen und ausführen Programme bauen mit Make Beispiel: Send-Recv

3 LINPACK 3 Ursprünglich (1979): Paket von Routinen zum Lösen linearer Gleichungssysteme (LGS) basierend auf Level 1 BLAS (Basic Linear Algebra Subprograms) Benutzerhandbuch dokumentierte Zeitmessungen für das Staffeln von Matrizen auf 23 damals zeitgemäßen Rechnern Innerhalb kurzer Zeit etablierte sich die Liste als Referenz zum Vergleich von Rechnersystemen Top500-Liste Der LINPACK Benchmark wurde daraufhin erweitert und ermittelt seitdem die Laufzeit für drei Benchmarkprogramme: Ax = b, für ein stark besetztes A mit Elementen Ax = b, für ein stark besetztes A mit Elementen Parallele Lösung großer LGS (Level 3 BLAS) Dokumentiert in Jack Dongarra et al. (2002): The LINPACK Benchmark: Past, Present, and Future

4 Lösung von Ax = b durch Gaußsches Eliminationsverfahren LINPACK 1. LR-Zerlegung (Faktorisierung) von A: Zerlegung von der Koeffizientenmatrix A in das Produkt einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix R, wobei die Diagonalelemente von L gleich 1 sind Pseudocode für sequentielle Berechnung: for i = 1 to n { // berechne R for j = i to n { R(i,j) = A(i,j) for k = 1 to i-1 { R(i,j) -= A(i,k) * A(k,j) } } // berechne L for j = i + 1 to n { L(j,i) = A(j,i) for k = 1 to i-1 { L(j,i) -= A(j,k) * A(k,i) } L(j,i) /= A(i,i) } } 4 Die LR-Zerlegung von A ergibt das neue System LRx = b

5 LINPACK-Operationen 5 2. Das System LRx = b lässt sich wie folgt lösen 2.1 Löse Ly = b, Ergebnis: y (Vorwärtseinsetzen) 2.2 Löse Rx = y, Ergebnis: x (Rückwärtseinsetzen) Benötigt 2n 3 /3+2n 2 +O(n) Gleitkommaoperationen Komplexität O(n 3 ) LINPACK-Operationen LINPACK stellt die Routinen DGEFA (Dekomposition in O(n 3 ) Schritten) und DGESL (Lösen des Systems in O(n 2 ) Schritten) bereit DGEFA verwendet die hardwareunterstützten BLAS-Routinen DAXPY, IDAMAX und DSCAL Am häufigsten ( 90% der Zeit) wird DAXPY verwendet: Multipliziert Vektor x mit Skalar α und addiert das Ergebnis zu Vektor y DAXPY wird gelegentlich alleine für das Benchmarking verwendet

6 Peak-Performance 6 Eine Maßzahl für die Leistung eines Rechners sind flop/s (floating point operations per second = Gleitkommaoperationen pro Sekunde) Rechnerhersteller geben Leistung gerne als Peak-Performance an, wobei zugrunde gelegt wird, dass eine Gleitkommaoperationen zumindest einen Taktzyklus eines Prozessors benötigt, es gilt also z.b. für eine CPU mit 2GHz R peak = 1Operation 1Zyklus 2GHz = 2Gflop/s Die theoretische Peak-Performance entspricht somit einer Art Lichtgeschwindigkeit eines Rechners, da sie von keinem Programm überschritten werden kann

7 Peak-Performance 7 Folgende Tabelle stellt die Peak-Performance einiger Rechnerarchitekturen der Zahl der tatsächlich ausgeführten DAXPY-Operationen gegenüber Rechner Taktrate [MHz] Peak [Mflop/s] DAXPY R [Mflop/s] Pentium III Pentium Itanium TOP500-Liste ( Liste der 500 leistungsstärksten Allzweck-Rechnersysteme für High-End-Applikationen Leistung wird mit dem LINPACK-Benchmark (Level 3) gemessen. Wichtig: Es müssen 2n 3 /3+O(n 2 ) doppelt-genaue Gleitkommaoperationen durchgeführt werden Liste u.a. von Jack Dongarra veröffentlicht und zweimal jährlich aktualisiert

8 LINPACK in Fortran, C und Java 8 LINPACK (inkl. Quelltexte) in Fortran ist auf verfügbar (wie auch der aktuellere LAPACK: LINPACK und LAPACK für Architekturen mit verteiltem Speicher (wie z.b. der Cluster des ZIV) basieren auf dem Message-Passing-Programmiermodell Sequentielle Implementierung in C++: Sequentielle Implementierung in Java:

9 Die Graph500-Liste 1 9 Das Benchmarking mit LINPACK ist umstritten: LINPACK ist nicht repräsentativ für daten-intensive Anwendungen Eine Alternative zur TOP500-Liste ist die Graph500-Liste: Liste der 500 besten Supercomputer für daten-intensive Anwendungen ( Graph500 versteht sich als Ergänzung zur TOP500-Liste Bewertet das Kommunikationsnetzwerk eines Rechner statt seiner Rechenleistung anhand von Operationen auf Graphen Zwei Kernel: Grapherzeugung und Breitensuche Fünf Größenklassen der Graphen: 17 GByte (toy) 1,1 PByte (huge) Metrik: TEPS (traversed edges per second) Erstmals im November 2010 veröffentlicht; zzt. 123 Einträge 1 Murphy, R.C., Wheeler, K.B., Barrett, B.W. (2010): Introducing the Graph 500

10 Die Cluster des ZIV 10 ZIVSMP DL785-System von Hewlett-Packard: 8 Quadcore AMD Opteron 2,3GHz ( 32 Kerne), 256GB RAM Front-End und Compute-Node des Parallelrechners ZIVHPC ZIVHPC 20 Knoten: 2 Quadcore AMD Opteron mit 2,1GHz, 32GB RAM ( 160 Kerne) 3 Dateiserver, 3TB SAN (GFPS) Betriebssystem: Scientific Linux 5.6 (ein Red Hat Enterprise Clone) Verbindungsnetzwerk: Infiniband und Gigabit Ethernet (für GPFS, Batchsystem) Gemeinsame LINPACK-Performance: 1,3 TFLOPS

11 Die Cluster des ZIV 11 PALMA (Paralleles Linux-System für Münsteraner Anwender) 36 Knoten: 2 Quadcore Intel Xeon mit 2,67GHz, 24GB RAM 216 Knoten: 2 Hexacore Intel Xeon mit 2,67GHz, 24 48GB RAM 4 Knoten: 4 Octocore Intel Xeon mit 2GHz, 128GB RAM Dateisystem: 3TB /home + 180TB /scratch 3008 Prozessorkerne, 7TB RAM, Leistung >30TFLOPS Weitere Informationen unter: Die folgenden Beispiele beziehen sich auf die Arbeit mit den alten Cluster ZIVHPC + ZIVSMP.

12 Login und Logout 12 Über MeinZIV ( kann man ein Benutzerkonto für den Cluster beantragen Der Login erfolgt über Secure Shell aus dem Netz der WWU (ggf. vorher VPN-Verbindung herstellen) Windows: grafische Terminalemulation (z.b. PuTTY) Linux: ssh [Optionen] <Rechner-URL> Wichtige Option: -l<nutzerkennung> Beispiel: ssh -la dent01 zivsmp.uni-muenster.de Beim ersten Login muss man das Serverzertifikat des Clusters akzeptieren Logout nicht vergessen logout

13 Datenübertragung ins persönliche Nutzerverzeichnis 13 Auf dem Cluster besitzt jeder Benutzer ein persönliches Nutzerverzeichnis, das sogenannte Home. Das Zeichen ~ ist eine Abkürzung für dieses Verzeichnis Programme, Daten, etc. können via Secure Copy zwischen dem lokalen Rechner und dem Cluster kopiert werden Windows: grafischer Client (z.b. PuTTY) Linux: scp [Optionen] <Quelle> <Ziel> Quelle und Ziel haben folgendes Format: [[<Nutzerkennung>@]<Rechner-URL>:]<Pfad> Beispiel: scp myfile.c a dent01@zivsmp:~/myfolder/

14 Batchsystem und Scheduler 14 Batchsystem TORQUE zusammen mit dem Scheduler Maui sorgen für Verteilung von Rechenaufträgen (Jobs) auf dem Cluster Störungsfreie Nutzung des Clusters durch mehrere Nutzer Jobs sollten immer vom Dialogserver (ZIVSMP) aus in eine Job-Warteschlange (Queue) des Batchsystem übergeben werden Prozesse, die nicht über das Batchsystem gestartet wurden, werden ohne Vorwarnung abgebrochen Es existieren drei Job-Queues testq 192 Kerne (ZIVSMP + ZIVHPC) für maximal 2 Stunden smallq 160 Kerne (ZIVHPC) für maximal 48 Stunden, maximal 2 Jobs/Benutzer bigq 96 Kerne für maximal 160 Stunden, maximal 1 Job/Benutzer Ohne explizite Angabe der Queue wird eine der o.g. Queues anhand der angegeben Programmlaufzeit (Walltime) ausgewählt Ist weder Queue noch Walltime angegeben, wird testq gewählt

15 Befehlsübersicht 15 Status des Jobsystems anzeigen qstat Job an das Batchsystem übergeben: qsub <PBS-Skript> Job anhalten: qhold <Job-ID> Job abbrechen/löschen: qdel <Job-ID> Weitere Informationen: man PBS oder man qsub

16 Batch-Skript 16 Jobs werden mit einem PBS-Skript (Portable Batch System) definiert Skript enthält Parameter (s.u.) der Form #PBS <Parameter> <Wert> für das Batchsystem und Kommandos zum Aufruf des auszuführenden Programms -o Datei für Standardausgabe -e Datei für Fehlerausgabe -l Ressourcenangaben, z.b. Walltime, Anzahl Knoten/Prozessoren -A Benutzerkennung -M -Adresse für Benachrichtigungen -m Ereignisse für Benachrichtigung, z.b. ae = Benachrichtigung bei Abbruch (a) und Ende (e) -q Job-Queue (default = automatische Auswahl) -N Job-Name -j Standardausgabe und Fehlerausgabe zusammen, z.b. oe = in Standardausgabe zusammenfassen

17 Batch-Skript 17 Datei myapp.pbs #PBS -o ~/myapp.out #PBS -l walltime=00:05:00,nodes=16 #PBS -A a_dent01 #PBS -M #PBS -m ae #PBS -q default #PBS -N MyApp #PBS -j oe cd ~/my_app mpirun -np 16 myapp Start des Jobs mit qsub myapp.pbs

18 Modulkonzept 18 Umgebungsvariablen (z.b. PATH, LD LIBRARY PATH) für Compiler und Bibliotheken werden über module-befehle definiert Befehl (Kurz- und Langform) module av[ailable] module li[st] module show modulname module add modul1 modul2... module rm modul1 modul2... module purge Bedeutung Listet alle verfügbaren Module auf Zeigt alle in der aktuellen Umgebung geladenen Module Listet die Änderungen auf, die ein Modul an der Umgebung bewirkt Fügt Module der aktuellen Umgebung hinzu Entfernt Module aus der aktuellen Umgebung Löscht alle aktivierten Module aus der Umgebung Damit die Umgebung auch auf den Rechenknoten verfügbar ist, muss das Kommando module add in der Shell-Init-Datei des Benutzers stehen (z.b..bashrc) Weitere Informationen: man module

19 Make 19 Ohne IDE (z.b. Eclipse) müssen alle Quelldateien einzeln übersetzt werden Möglicherweise bestehen Abhängigkeiten zu Bibliotheken (z.b. Pthreads) Compiler und Linker erfordern i.d.r. Optionen beim Aufruf Make ist ein Softwarewerkzeug mit einer Skriptsprache zum Ausführen von Befehlen (ähnlich Ant oder Maven im Java-Umfeld) Befehle werden in Makefiles zusammengefasst. Allgemeine Befehlsform: <Ziel>: <Quelle> <Befehl> Variablen können durch <Name>=<Wert> definiert werden, Zugriff auf Variable durch $(<Name>)

20 Make 20 Das erstellen einer Datei (z.b. eines Programms) wird als Ziel (Target) bezeichnet Quellen sind Objekte die vorhanden sein müssen, damit ein Ziel erstellt werden kann (z.b. Objektdatei). Ziele hängen von Quellen ab. Befehle geben an, wie ein Ziel aus der Quelle erstellt werden kann (z.b. Aufruf eines Compilers/Linkers) Ein Ziel kann andere Ziele als Quelle besitzen Quellen werden ggf. erzeugt, bevor das Ziel erzeugt wird ein Ziel kann eine Kaskade von Befehlen erzeugen Ein Ziel wird i.d.r. nur erstellt, wenn eine seiner Quellen jünger ist z.b. nur geänderte Quelldateien werden kompiliert Platzhalter (%,?) und vordefinierte Variablen ($<, etc.) erlauben Definition generischer Ziele Aufruf: make [<Target>]

21 Beispiel: Makefile 21 # C compiler/ linker CC= mpicc # C compiler options CFLAGS =- Wall # linker options LDLIBS=-lm # object files OBJS=myfile1.o myfile2.o # Implicit rule: # Compile $(CC) $(CPPFLAGS) $(CFLAGS) -c n.o myapp: $(OBJS) $(CC) $(LDFLAGS) $(LDLIBS) $+ -o $@ # clean up folder.phony: clean clean: rm $(OBJS)

22 Beispiel: Send-Recv 22 Einfaches MPI-Programm mit p Prozessen 1 Prozess empfängt Daten von den anderen p 1 Prozessen Die Laufzeit jedes Prozesses wird gemessen Datei sendrecv.c #include <mpi.h> #include <stdio.h> #include <stdlib.h> #define N void busy_wait( double max_duration) {... } int main(int argc, char *argv[]) {... MPI_Init(&argc, &argv); MPI_Comm_rank( MPI_COMM_WORLD, & rank); MPI_Comm_size( MPI_COMM_WORLD, & size); MPI_Barrier( MPI_COMM_WORLD); start = MPI_Wtime();

23 Datei sendrecv.c (Fortsetzung) Beispiel: Send-Recv if (rank == 0) { for (i = 1; i < size; i++) { /* Nachricht empfangen */ MPI_Recv(data, N, MPI_INT, MPI_ANY_SOURCE, 99, MPI_COMM_WORLD, & status); printf("received from process %2i\n", status. MPI_SOURCE); busy_wait (0.5); /* Daten verarbeiten */ } } else { busy_wait (5.0); /* Daten erzeugen */ /* Nachricht senden */ MPI_Send(data, N, MPI_INT, 0, 99, MPI_COMM_WORLD); busy_wait (5.0); /* andere Programmaktivitaet */ } 23 stop = MPI_Wtime(); printf("time on process %i: %f\n", rank, stop - start); MPI_Finalize(); return EXIT_SUCCESS; }

24 Makefile für Send-Recv 24 CC= mpicc CFLAGS =- Wall LDLIBS=-lm OBJS=sendrecv.o # Implit rule: # Link $(CC) $(LDFLAGS) $(LDLIBS) $@.o -o $@ sendrecv: clean: rm $(OBJS)

25 Batch-Skript für Send-Recv 25 #PBS -o zivsmp001:~/sendrecv/stdout #PBS -l walltime=00:05:00,nodes=2:hpc:ppn=8 #PBS -A a_dent01 #PBS -M #PBS -m ae #PBS -q testq #PBS -N sendrecv #PBS -j oe cd ~/sendrecv mpirun -np 16 sendrecv

26 Send-Recv auf ZIVHPC ausführen 26 1 Ggf. Verbindung zum Netzwerk der WWU herstellen, z.b. via VPN 2 Login auf ZIVSMP (Dialogserver für ZIVHPC) ssh -la dent01 zivsmp.uni-muenster.de 3 Programmordner anlegen und in Programmordner wechseln mkdir ~/sendrecv; cd ~/sendrecv 4 Programm sendrecv erstellen 5 Makefile erstellen 6 Programm kompilieren und linken make 7 Batch-Skript sendrecv.pbs erstellen 8 Batch-Job übergeben qsub sendrecv.pbs

27 27 Nächste Übung am 5. Dezember 2012