Exkurs: Paralleles Rechnen

Transkript

1 Münster Exkurs: Paralleles Rechnen December 2, 2013

2 , Münster Exkurs: Paralleles Rechnen 2 /27 Warum parallel Rechnen?

3 Westf alische Wilhelms-Universit at M unster Exkurs: Paralleles Rechnen 2 /27 JUQUEEN, FZ J ulich, Platz 8 weltweit WWU M unster Warum parallel Rechnen?,,

4 Westf alische Wilhelms-Universit at M unster Exkurs: Paralleles Rechnen 2 /27 Warum parallel Rechnen? JUQUEEN, FZ J ulich, Platz 8 weltweit WWU M unster nur etwas f ur spezial Anwendungen!,,

5 Westf alische Wilhelms-Universit at M unster Exkurs: Paralleles Rechnen 2 /27 Warum parallel Rechnen? JUQUEEN, FZ J ulich, Platz 8 weltweit WWU M unster wirklich?!,,

6 Westf alische Wilhelms-Universit at M unster Exkurs: Paralleles Rechnen 2 /27 Warum parallel Rechnen? WWU M unster Parallelrechner gibt es u berall!,,

7 Münster Exkurs: Paralleles Rechnen 3 /27 Wie hilft paralleles Rechnen? Nebenläufigkeit Abarbeitung mehrerer Prozesse auf einem Prozessor Multi-Tasking Betriebssysteme seit den 60er Jahren Bedienung mehrerer Geräte und Benutzer Ziel: Steigerung der Auslastung Hyperthreading : Nutze Wartezeiten des Prozessors Multi-Core / Multi-Processor Mehrere Dinge gleichzeitig: Web-Browser, Desktop Koordinationsproblematik tritt bereits hier auf Verteilte Anwendungen Datenbasis ist inhärent verteilt: betriebswirtschaftliche Software, Warenfluß in großen Unternehmen Hier wichtig: plattformübergreifende Kommunikation, Client-Server Architekturen Auch wichtig: Sicherheit, VPN, etc. (behandeln wir nicht),

8 Münster Exkurs: Paralleles Rechnen 4 /27 Nicht mehr schneller, sondern mehr! Kathy Yelick: Ten Ways to Waste a Parallel Computer Keynote ISCA The 36th International Symposium on Computer Architecture (mit Daten von Kunle Olukotun, Lance Hammond, Herb Sutter, Burton Smith, Chris Batten und Krste Asanoviç),

9 , Münster Exkurs: Paralleles Rechnen 5 /27 Zahl der Cores pro System wächst sehr schnell

10 Westf alische Wilhelms-Universit at M unster Exkurs: Paralleles Rechnen 6 /27 I I I IBM BlueGene Q z.b. JUQUEEN im FZ J ulich (Platz 8 weltweit) einige unter den TOP 500 WWU M unster Es gibt sehr verschiedene Parallelrechner,,

11 , Münster Exkurs: Paralleles Rechnen 6 /27 Es gibt sehr verschiedene Parallelrechner 4 12 Core AMD-Opteron kann sich auch die Mathematik leisten ;-)

12 , Münster Exkurs: Paralleles Rechnen 6 /27 Es gibt sehr verschiedene Parallelrechner Nvidia Geforce GTX Streamprozessoren 22. März 2012

13 , Münster Exkurs: Paralleles Rechnen 6 /27 Es gibt sehr verschiedene Parallelrechner Mobiltelefone Multi-Core Prozessoren z.b. links: Android-Handy mit 1,5 GHz Dual-Core-CPU ( 300e) rechts: Quad-Core Smartphone

14 Münster Exkurs: Paralleles Rechnen 7 /27 Paralleles Rechnen zur Wettersimulation Erste Idee eines Parallelrechners zur Wettervorhersage stammt von Lewis Fry Richardson Buch: Weather Prediction by Arithmetical Finite Differences (1916) An einzelnen Messpunkten werden Wetterdaten in versch. Höhen erhoben Messpunkte über die Erde verteilt Auflösung ca. 100 km Jeder Messpunkt sollte von einem Computer ausgewertet werden Vorhersage für den Folgetag

15 Münster Exkurs: Paralleles Rechnen 7 /27 Paralleles Rechnen zur Wettersimulation Erste Idee eines Parallelrechners zur Wettervorhersage stammt von Lewis Fry Richardson Buch: Weather Prediction by Arithmetical Finite Differences (1916) An einzelnen Messpunkten werden Wetterdaten in versch. Höhen erhoben Messpunkte über die Erde verteilt Auflösung ca. 100 km Jeder Messpunkt sollte von einem Computer ausgewertet werden Vorhersage für den Folgetag Wurde nie umgesetzt, und hätte so auch nicht funktioniert

16 Münster Exkurs: Paralleles Rechnen 7 /27 Paralleles Rechnen zur Wettersimulation Heute: Deutscher Wetterdienst NEC SX-9 Vectorrechner (seit 2009) ca. 11 TFlops Auflösung von 2,8 km

17 Münster Exkurs: Paralleles Rechnen 7 /27 Paralleles Rechnen zur Wettersimulation Heute: Deutscher Wetterdienst NEC SX-9 Vectorrechner (seit 2009) ca. 11 TFlops Auflösung von 2,8 km Earthsimulator Japanischer Supercomputer Klimasimulationen der gesamten Erde Führte von 2002 bis 2004 die TOP 500 an Upgrade 2009

18

19 Münster Exkurs: Paralleles Rechnen 8 /27 Konzepte für Parallelrechner P P P C C C Gemeinsamer Speicher Verteilter Speicher Verbindungsnetzwerk Speicher M,

20 , Münster Exkurs: Paralleles Rechnen 8 /27 Konzepte für Parallelrechner P C M P C M Gemeinsamer Speicher Verteilter Speicher Verbindungsnetzwerk

21

22 , Münster Exkurs: Paralleles Rechnen 9 /27 MPI: Message Passing Interface Portable Bibliothek zum Nachrichtenaustausch Wurde durch ein intern. Gremium entwickelt 1997 wurde der Standard überarbeitet (MPI2) Open-Source Implementieren gibt beispielweise von: MPICH 1 und OpenMPI 2 Eigenschaften von MPI: Direkte Anbindung an C, C++ und Fortran verschiedene Arten von Punkt-zu-Punkt Kommunikation globale Kommunikation Daten Umwandlung in heterogenen Systemen Virtuelle Netze & Topologien möglich

23 , Münster Exkurs: Paralleles Rechnen 10 /27 Hello World 1 # include <mpi.h> # include <iostream > 3 int main ( int argc, char ** argv ) 5 { int *buf, i, rank, nints, len ; 7 char hostname [256]; 9 MPI_Init (& argc,& argv ); MPI_Comm_rank ( MPI_COMM_WORLD, & rank ); 11 gethostname ( hostname,255); std :: cout << " Hello world! I am process number : " << rank 13 << " on host " << hostname << std :: endl ; MPI_Finalize (); 15 return 0; }

24 , Münster Exkurs: Paralleles Rechnen 11 /27 Kompilieren eines Programms Das Beispiel ist im SPMD-Stil geschrieben; der MPI Standard legt dies nicht fest und man kann auch andere Paradigmen verwenden. Kompilieren eines MPI C-Programmes und starten mit 8 Prozessen: mpicc -o hello hello.c mpirun -machinefile machines -np 8 hello Die Liste der Computer steht in der Datei machines. Für C++ Programme heisst der Compiler mpicxx -o hello hello.cc

25 , Münster Exkurs: Paralleles Rechnen 12 /27 Initialisierung und Beenden Bevor irgend ein MPI Befehl aufgerufen werden darf, muss MPI mit MPI_Init initialisiert werden, damit MPI das parallele Programm starten kann. int MPI_Init ( int *argc, char *** argv ) Nach dem letzten MPI Aufruf wird MPI_Finalize ausgeführt, um alles Prozesse ordentlich zu beenden. int MPI_ Finalize ( void )

26 , Münster Exkurs: Paralleles Rechnen 13 /27 Kommunikator MPI erlaubt es Kommunikation auf einem Subset der gestarten Prozesse durchzuführen, indem virtuelle Netzwerke, sogenannte Kommunikatoren, angelegt werden. MPI Comm beschreibt einen Kommunikator, eine Menge von Prozessen {0,..., P 1}. Des vordefinierte Netzwerk MPI COMM WORLD enthält alle gestarten Prozesse. Virtuelle Topologien: Ein Kommunikator kann zusätzlich eine spezielle Struktur erhalten, z.b. ein mehrdimensionales Feld, oder ein allgemeiner Graph. Kontext: Jeder Kommunikator definiert seinen eigenen Kommunikationskontext.

27 , Münster Exkurs: Paralleles Rechnen 14 /27 Rank und Size Die Anzahl der Prozesse in einem Kommunikator wird mit MPI_Comm_size bestimmt: int MPI_Comm_size ( MPI_Comm comm, int * size ) Innerhalb eines Kommunikators hat jeder Prozess eine eindeutige Nummer, diese wird mit MPI_Comm_rank bestimmt: int MPI_Comm_rank ( MPI_Comm comm, int * rank )

28 , Münster Exkurs: Paralleles Rechnen 15 /27 Beispiel (I) 1 # include <stdio.h> # include < string.h> 3 # include <mpi.h> // provides MPI macros and functions 5 int main ( int argc, char * argv []) { 7 int my_rank ; int P; 9 int dest ; int source ; 11 int tag =50; char hostname [256]; 13 MPI_Status status ; 15 MPI_Init (& argc,& argv ); // begin of every MPI program MPI_Comm_size ( MPI_COMM_WORLD,& P); // number of processes 17 MPI_Comm_rank ( MPI_COMM_WORLD,& my_rank ); // my process number gethostname ( hostname,255);

29 Münster Exkurs: Paralleles Rechnen 16 /27 Beispiel (II) 20 // number of current process always between 0 and P -1 if ( my_rank!=0) { 22 dest = 0; MPI_Send ( hostname, strlen ( hostname )+1, MPI_CHAR, // Send data 24 dest,tag, MPI_COMM_WORLD ); // ( blocking ) } 26 else { for ( source =1; source <P; source ++) 28 { MPI_Recv ( hostname,256, MPI_CHAR, source, tag, // Receive data 30 MPI_COMM_WORLD,& status ); // ( blocking ) std :: cout << " Reveived a message from process " << source 32 << " on machine " << hostname << std :: endl ; } 34 } 36 MPI_Finalize (); // end of every MPI program return 0; 38 },

30 , Münster Exkurs: Paralleles Rechnen 17 /27 Ausgabe des Beispielprogramms (mit P=8) > mpirun -machinefile machines -np 8./mpi-name Reveived a message from process 1 on machine SCHAF03 Reveived a message from process 2 on machine SCHAF05 Reveived a message from process 3 on machine SCHAF07 Reveived a message from process 4 on machine SCHAF11 Reveived a message from process 5 on machine SCHAF13 Reveived a message from process 6 on machine SCHAF14 Reveived a message from process 7 on machine SCHAF15

31 Münster Exkurs: Paralleles Rechnen 18 /27 Blockierende Kommunikation Die Entsprechung zu send und recv bieten int MPI_ Send ( void * message, int count, MPI_ Datatype dt, 2 int dest, int tag, MPI_ Comm comm ); int MPI_ Recv ( void * message, int count, MPI_ Datatype dt, 4 int src, int tag, MPI_ Comm comm, MPI_ Status * status ); Die ersten drei Parameter message, count und dt beschreiben die eigentlichen Daten. message ist ein Zeiger auf ein Feld mit count Elementen des Typs dt. Die Angabe des Datentyps erlaubt die automatische Umwandlung durch MPI. Die Parameter dest, tag und comm beschreiben das Ziel bzw. die Quelle der Nachricht.

32 Münster Exkurs: Paralleles Rechnen 18 /27 Blockierende Kommunikation Die Entsprechung zu send und recv bieten 1 int MPI_ Send ( void * message, int count, MPI_ Datatype dt, int dest, int tag, MPI_ Comm comm ); 3 int MPI_ Recv ( void * message, int count, MPI_ Datatype dt, int src, int tag, MPI_ Comm comm, 5 MPI_ Status * status ); Die ersten drei Parameter message, count und dt beschreiben die eigentlichen Daten. message ist ein Zeiger auf ein Feld mit count Elementen des Typs dt. Die Angabe des Datentyps erlaubt die automatische Umwandlung durch MPI. Die Parameter dest, tag und comm beschreiben das Ziel bzw. die Quelle der Nachricht. MPI bietet verschiedene Varianten von MPI Send (MPI BSend, MPI SSend, MPI RSend), die wir aber jetzt nicht weiter diskutieren wollen.

33 Münster Exkurs: Paralleles Rechnen 18 /27 Blockierende Kommunikation Die Entsprechung zu send und recv bieten 1 int MPI_ Send ( void * message, int count, MPI_ Datatype dt, int dest, int tag, MPI_ Comm comm ); 3 int MPI_ Recv ( void * message, int count, MPI_ Datatype dt, int src, int tag, MPI_ Comm comm, 5 MPI_ Status * status ); Die ersten drei Parameter message, count und dt beschreiben die eigentlichen Daten. message ist ein Zeiger auf ein Feld mit count Elementen des Typs dt. Die Angabe des Datentyps erlaubt die automatische Umwandlung durch MPI. Die Parameter dest, tag und comm beschreiben das Ziel bzw. die Quelle der Nachricht. MPI bietet verschiedene Varianten von MPI Send (MPI BSend, MPI SSend, MPI RSend), die wir aber jetzt nicht weiter diskutieren wollen. MPI ANY SOURCE und MPI ANY TAG können verwendet werden, um belibige Nachrichten zu empfangen. Damit enthält MPI Recv die Funktionalität von recv any.,

34 , Münster Exkurs: Paralleles Rechnen 19 /27 Datenumwandlung MPI erlaubt die Verwendung in heterogenen Netzen. Hierbei ist es nötig manche Daten an die Darstellung auf der fremden Architektur anzupassen. MPI definiert die architektur-unabhängigen Datentypen: MPI CHAR, MPI UNSIGNED CHAR, MPI BYTE MPI SHORT, MPI INT, MPI LONG, MPI LONG LONG INT, MPI UNSIGNED, MPI UNSIGNED SHORT, MPI UNSIGNED LONG, MPI FLOAT, MPI DOUBLE and MPI LONG DOUBLE. Der MPI Datentyp MPI BYTE wird nie konvertiert.

35 , Status Münster Exkurs: Paralleles Rechnen 20 /27 1 typedef struct { int count ; 3 int MPI_ SOURCE ; int MPI_TAG ; 5 int MPI_ ERROR ; } MPI_ Status ; MPI_Status ist ein zusammengesetzter Datentyp, der Informationen über die Anzahl der empfangenen Objekte, den Quellprozess, das Tag und den Fehlerstatus enhält.

36 , Münster Exkurs: Paralleles Rechnen 21 /27 Guard Funktion Die Guard Funktion rprobe liefert int MPI_ Iprobe ( int source, int tag, MPI_ Comm comm, 2 int * flag, MPI_ Status * status ); Es ist eine nicht-blockierende Funktion, die überprüft, ob eine Nachricht vorliegt. flag erhält den Wert true ( 0) wenn eine Nachricht mit passendem source und tag empfangen werden kann. Auch hier können MPI ANY SOURCE und MPI ANY TAG verwendet werden.

37 , Münster Exkurs: Paralleles Rechnen 22 /27 Non-blocking Communication Die Funktionen asend und arecv bietet MPI als int MPI_ ISend ( void * buf, int count, MPI_ Datatype dt, 2 int dest, int tag, MPI_ Comm comm, MPI_ Request * req ); 4 int MPI_ IRecv ( void * buf, int count, MPI_ Datatype dt, int src, int tag, MPI_ Comm comm, 6 MPI_ Request * req ); MPI Request speichert den Status einer Kommunikation, wie unsere msgid.

38 , Münster Exkurs: Paralleles Rechnen 23 /27 MPI Request-Objekte Der Status einer Nachricht kann mit Hilfe der MPI Request-Objekte und folgender Funktion geprüft werden: int MPI_Test ( MPI_Request *req, int *flag, 2 MPI_ Status * status ); flag wird auf true ( 0) gesetzt, wenn die Kommunikation, die req beschreibt abgeschlossen ist. In diesem Fall enthält status weitere Informationen.

39 , Münster Exkurs: Paralleles Rechnen 24 /27 Globale Kommunikation MPI bietet ebenfalls Funktionen zur globalen Kommunikation, welche alle Prozesse eines Kommunikators einschließen. int MPI_ Barrier ( MPI_ Comm comm ); implementiert eine Barriere; alle Prozesse werden blockiert, bis der letzte Prozess die Funktion ausgeführt hat. 1 int MPI_ Bcast ( void * buf, int count, MPI_ Datatype dt, int root, MPI_ Comm comm ); verteilt eine Nachricht an alle Prozesse eine Kommunikators (Einer-an-Alle Kommunikation).

40 , Münster Exkurs: Paralleles Rechnen 25 /27 Einsammeln von Daten MPI hat eine Reihe verschiedener Funktionen um Daten von verschiedenen Prozessen einzusammeln. Z.B: int MPI_ Reduce ( void * sbuf, void * rbuf, int count, 2 MPI_ Datatype dt, MPI_Op op, int root, MPI_ Comm comm ); kombiniert die Daten im Sende-Puffer sbuf aller Prozesse durch die assoziative Operation op (z.b. MPI SUM, MPI MAX oder MPI MIN). Das Ergebnis erhält der Prozesse root in seinen Empfang-Puffer rbuf.

41 , Münster Exkurs: Paralleles Rechnen 26 /27 Zeitmessung MPI bietet direkt Funktionen zur Zeitmessung: 1 double MPI_ Wtime (); Der Rückgabewert sind Sekunden seit einem,,beliebigen Zeitpunkt in der Vergangenheit. Die Zeit für eine spezielle Operation läßt sich also mit 1 double start = MPI_ Wtime (); expensive_ funktion (); 3 std :: cout << " elapsed time = " << MPI_ Wtime () - start << std :: endl ; bestimmen.

42 , Münster Exkurs: Paralleles Rechnen 27 /27 Weitere Informationen MPI: Dokumentation der verschiedenen Message-Passing Interface Standards MPICH-A Portable Implementation of MPI Open MPI: Open Source High Performance Computing Liste von MPI Tutorials