MPI-Programmierung unter Windows mit MPICH2. Installieren von MPICH2, Übersetzen, Ausführen und Debuggen von MPI-Programmen. Christian Terboven

Transkript

1 MPI-Programmierung unter Windows mit MPIH2 Installieren von MPIH2, Übersetzen, Ausführen und Debuggen von MPI-Programmen hristian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 02/2007 luster-installationsworkshop enter omputing and ommunication

2 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster von Workstations installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Übersicht: MPI-Programme mit VS2005 debuggen 2 02/2007 luster-installationsworkshop enter omputing and ommunication

3 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster von Workstations installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Übersicht: MPI-Programme mit VS2005 debuggen 3 02/2007 luster-installationsworkshop enter omputing and ommunication

4 MPI-Implementierungen unter Windows ompute luster Server Produkt von Microsoft erschien in 2006 Wird beim Windows-HP Angebot am RZ eingesetzt Kernel von Windows 2003 Server Microsoft MPI (MSMPI) Basiert auf MPIH2 Enthält vor allem Sicherheitsmodifikationen Batchsystem, Lizenzierung, weniger Dienste aktiv, usw. MPIH und MPIH2 sind quelloffene MPI Implementierungen MPIH implementiert MPI-1 Standard MPIH2 implementiert MPI-2 Standard Entwickelt und gepflegt am Argonne National Laboratory, USA Versionen für 32bit und 64bit Windows erhältlich GUI zur Administration und Ausführung von MPI-Programmen 4 02/2007 luster-installationsworkshop enter omputing and ommunication

5 MPI-Implementierungen unter Windows Wir werden hier MPIH2 verwenden Warum nicht MSMPI? Entwicklungsumgebung ist zwar kostenlos verfügbar, aber ohne Mehraufwand nur auf einem Knoten verfügbar Erhältlich im luster Pack Produkt nur für 64bit Windows Warum MPIH2? Frei verfügbar für 32bit und 64bit Windows MPIHx ist die am meisten eingesetzte MPI-Implementierung Es gibt noch anderen MPI-Distributionen auch für Windows z.b.: DeinoMPI mit Sicherheitsfeatures z.b.: verschlüsselte Kommunikation 5 02/2007 luster-installationsworkshop enter omputing and ommunication

6 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster (von Workstations) installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Visual Studio 2005 Übersicht: MPI-Programme mit VS2005 debuggen 6 02/2007 luster-installationsworkshop enter omputing and ommunication

7 MPIH2 auf einem luster installieren Installation: mpich p2-win32-ia32.msi (Visual Studio D) 7 02/2007 luster-installationsworkshop enter omputing and ommunication

8 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster von Workstations installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Übersicht: MPI-Programme mit VS2005 debuggen 8 02/2007 luster-installationsworkshop enter omputing and ommunication

9 MPI-Programme mit VS2005 übersetzen 01 #include "mpi.h" 02 #include <iostream> int main(int argc, char *argv[]) { 05 int rank, size, len; 06 char hostname[mpi_max_proessor_name]; MPI_Init(&argc, &argv); 09 MPI_omm_size(MPI_OMM_WORLD, &size); 10 MPI_omm_rank(MPI_OMM_WORLD, &rank); 11 MPI_Get_processor_name(hostname, &len); std::cout << "Hello World - from process " << rank \ 14 << " of " << size << " on " \ 15 << hostname << std::endl; MPI_Finalize(); 18 return 0; 19 } 9 02/2007 luster-installationsworkshop enter omputing and ommunication

10 MPI-Programme mit VS2005 übersetzen 01 #include "mpi.h" Macht die Deklarationen und Funktionsdefinitionen der MPI- Implementierung bekannt Sollte möglichst vor System- und Laufzeitbibliotheksheadern eingebunden werden 05 int rank, size, len; 06 char hostname[mpi_max_proessor_name]; size soll die Gesamtzahl der Prozesse auf allen Knoten erhalten, rank soll die Nummer des aktuellen Prozesses erhalten, hostname soll den Namen der Maschine erhalten, auf der der aktuelle Prozess läuft 08 MPI_Init(&argc, &argv); Initialisierung der MPI-Umgebung 10 02/2007 luster-installationsworkshop enter omputing and ommunication

11 MPI-Programme mit VS2005 übersetzen 09 MPI_omm_size(MPI_OMM_WORLD, &size); MPI_omm_size ermittelt die Anzahl der an einem Kommunikator teilnehmenden Prozesse Ein Kommunikator ist ein Hilfsmittel, um eine Teilmenge von Prozessen kommunizieren zu lassen MPI_OMM_WORLD ist der Kommunikator, der alle Prozesse des Programms umfasst 10 MPI_omm_rank(MPI_OMM_WORLD, &rank); MPI_omm_rank ermittelt die Nummer des aktuellen Prozesses in einem Kommunikator Jeder Prozess hat in jedem Kommunikator eine eindeutige Nummer Über diese eindeutige Nummer kann der Programmfluss gesteuert werden, wie z.b. die Arbeit verteilt werden 11 02/2007 luster-installationsworkshop enter omputing and ommunication

12 MPI-Programme mit VS2005 übersetzen 11 MPI_Get_processor_name(hostname, &len); MPI_Get_processor_name ermittelt den Namen des Prozessors, auf dem der aktuelle Prozess läuft, also z.b. des Namen eines Knotens 17 MPI_Finalize(); Beenden der MPI-Umgebung Wird das Programm mit insgesamt zwei Prozessen auf zwei Knoten gestartet, erscheint zum Beispiel folgende Ausgabe: Hello World from process 0 of 2 on winoc45.hpc.win.rz.rwth-aachen.de Hello World from process 1 of 2 on winoc46.hpc.win.rz.rwth-aachen.de 12 02/2007 luster-installationsworkshop enter omputing and ommunication

13 MPI-Programme mit VS2005 übersetzen Um ein MPI-Programm zu übersetzen, muss der Includepfad erweitert werden um mpi.h zu finden, muss eine MPI-Bibliothek hinzugebunden werden und der Bibliothekspfad entsprechend erweitert werden In Visual Studio 2005 geschieht dies in den Projekteigenschaften: /++ General Additional Include Directories Linker General Additional Library Directories Linker Input Additional Dependencies Die MPIH2 Installation befindet sich meist in :\Program Files\MPIH2 bzw. :\Program Files (x86)\mpih2, die Headerfiles sind im Unterverzeichnis include, die Bibltiohek im Unterverzeichnis lib, die anzubindende Bibliothek ist mpich2.lib 13 02/2007 luster-installationsworkshop enter omputing and ommunication

14 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster von Workstations installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Übersicht: MPI-Programme mit VS2005 debuggen 14 02/2007 luster-installationsworkshop enter omputing and ommunication

15 MPI-Programme ausführen Bevor ein Programm mit MPIH2 ausgeführt werden kann, müssen die Benutzerinmationen hinterlegt werden, damit ein Zugriff auf die anderen Knoten möglich ist AD wurde verwendet, um Benutzer auf allen Knoten einzurichten Dazu unter Start All Programs MPIH2 wmpiregister.exe aufrufen Benutzername: wincluster.de\userxx Passwort: Kurs! /2007 luster-installationsworkshop enter omputing and ommunication

16 MPI-Programme ausführen Von der Kommandozeile können MPI-Programme mit mpiexec ausgeführt werden, dazu ist der Suchpfad zu ergänzen: set PATH= c:\program files\mpich2\bin ;%PATH% Die wichtigsten Parameter für mpiexec sind: -n X: das Programm wird mit X Prozessen gestartet, alle Prozesse laufen auf demselben Knoten -hosts n host1 m1 host2 m2... hostn mn: das Programm wird auf den angegebenen Knoten (Hosts) gestartet, mit jeweils mn Prozessen wird die Angabe von m komplett ausgelassen, wird jeweils ein Prozess verwendet Wichtig: falls nicht mit besonderen Parametern spezifiziert, muss das auszuführende Programm auf allen Knoten in demselben Verzeichnis liegen Ein gemeinsamen Dateisystem erleichtert die Arbeit sehr In diesem Kurs sollte das Laufwerk H: verwendet werden 16 02/2007 luster-installationsworkshop enter omputing and ommunication

17 MPI-Programme ausführen DEMO: mpi_simple übersetzen und ausführen 17 02/2007 luster-installationsworkshop enter omputing and ommunication

18 MPI-Programme ausführen MPIH2 bringt ein GUI zum Ausführen mit: Start All Programs MPIH2 wmpiexec.exe 18 02/2007 luster-installationsworkshop enter omputing and ommunication

19 Agenda MPI-Implementierungen unter Windows MPIH2 auf einem luster von Workstations installieren MPI-Programme mit Visual Studio 2005 übersetzen MPI-Programme ausführen Kommandozeile MPIH2: wmpiexec Übersicht: MPI-Programme mit VS2005 debuggen 19 02/2007 luster-installationsworkshop enter omputing and ommunication

20 MPI-Programme mit VS2005 debuggen Bei serieller Ausführung besteht kein Unterschied bei MPI. Visual Studio 2005 unterstützt das Debuggen von parallel ausgeführten MPI-Programmen Sowohl MSMPI als auch MPIH2 werden unterstützt Unter Debugging ist bei Debugger to launch der Eintrag MPI luster Debugger auszuwählen Bei MPIRun command ist der vollständige Pfad zum mpiexec anzugeben, bei MPIRun arguments ist z.b. -n 2 anzugeben Bei MPIShim location ist der Pfad zu mpishim.exe anzugeben, der aber keine Leerzeichen enthalten darf daher muss es in ein entsprechendes Verzeichnis kopiert werden Weitere Inmationen unter Folien und Vides der Windows-HP Veranstaltung 2006 Nächste Windows-HP Veranstaltung geplant: 24./ /2007 luster-installationsworkshop enter omputing and ommunication

21 MPI-Programmierung unter Windows Gibt es Fragen zu diesem Teil? 21 02/2007 luster-installationsworkshop enter omputing and ommunication