Linux (min. Kernel 2.4) min. Java 1.5 MPJ (

Transkript

1 MPJ Installation und Konfiguration Voraussetzungen Linux (min. Kernel 2.4) min. Java 1.5 MPJ ( Installation Auf kompatible Java-Version prüfen $ java -version java version "1.6.0_11" Java(TM) SE Runtime Environment (build 1.6.0_11-b03) Java HotSpot(TM) Client VM (build 11.0-b16, mixed mode, sharing) Hinweis: einige (selbst aktuelle) Linux-Derivate installieren standardmässig gcj in Version 1.4. Diese Version ist mit MPJ nicht kompatible! Es muss eine neuere Version installiert werden, vorzugsweise die JVM von Sun (java.sun.com). MPJ-Archiv entpacken $ unzip mpj-v0_27.zip... inflating: mpj/test/jgf_mpj_benchmarks/section3/jgfmontecarlobenchsizeb.java creating: mpj/test/jgf_mpj_benchmarks/jgfutil/ inflating: mpj/test/jgf_mpj_benchmarks/jgfutil/jgfinstrumentor.java inflating: mpj/test/jgf_mpj_benchmarks/jgfutil/jgftimer.java inflating: mpj/test/jgf_mpj_benchmarks/jgfutil/jgfsection1.java inflating: mpj/test/jgf_mpj_benchmarks/jgfutil/jgfsection2.java inflating: mpj/test/jgf_mpj_benchmarks/jgfutil/jgfsection3.java inflating: mpj/thirdpartylicenses.txt inflating: mpj/license.txt inflating: mpj/build.xml inflating: mpj/readme.html M.Sc. Kai Nehring 1 WS 2008/2009

2 Das mpj-verzeichnis kann an beliebiger Stelle im Dateisystem liegen, solange das Betriebssystem exklusiven Zugriff darauf hat. Beim Start der MPJ-Laufzeitumgebung wird die Datei MPJ- Daemonlocalhost.localdomain.pid im Verzeichnis mpj/bin angelegt. Diese enthält die aktuelle Prozess-ID und kann nur einmal angelegt werden, d.h. mehrere Cluster-Nodes können sich dieses Verzeichnis (z.b. über ein NFS-Share) nicht teilen. Umgebungsvariablen setzen Im folgenden Beispiel wird angenommen, dass das MPJ-Archiv in das Verzeichnis /home/cluster extrahiert wurde. Dadurch wurde das Verzeichnis /home/cluster/mpj erstellt. Das folgende Beispiel setzt die Umgebungsvariablen für die bash die C-Shell Syntax unterscheidet sich jedoch nur unwesentlich. export MPJ_HOME=/home/cluster/mpj export PATH=$PATH:$MPJ_HOME/bin Die export-anweisungen sollten in die lokale Shell-Konfiguration eingetragen werden, so dass beim starten eines neuen Shell-Prozesses diese automatisch gesetzt werden. Entsprechende Einträge sind beispielsweise in der Datei ~/.bashrc (für die bash) anzuhängen. (passwortlosen) SSH-Zugriff auf alle Nodes einrichten MPJ verwendet ssh um die benötigten Dienste auf allen Nodes zu starten. Der Master-Node benötigt hierfür einen passwortlosen ssh-zugriff auf alle beteiligten Nodes, auch zu sich selbst. Im folgenden Beispiel wird dieser für localhost erstellt: Public- und Private-Key generieren $ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/cluster/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/cluster/.ssh/id_rsa. Your public key has been saved in /home/cluster/.ssh/id_rsa.pub. The key fingerprint is: 0d:36:67:be:a0:47:3e:ee:05:50:90:0f:72:29:23:c0 cluster@localhost.localdomain Es sollte kein passphrase verwendet werden damit die Verbindung echt passwortlos ist. Public-Key in die Liste der Zugangsberechtigungen aufnehmen $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys Hinweis: Wenn fremde, d.h. nicht lokale, Nodes verwendet werden sollen, muss die Datei id_rsa.pub zunächst auf diese Nodes kopiert werden, z.b. via scp. Anschließend wird der Public-Key ebenfalls an die Datei authorized_keys angehängt. M.Sc. Kai Nehring 2 WS 2008/2009

3 'machines' Konfiguration erstellen Die MPJ-Laufzeitumgebung benötigt eine Liste der Nodes, die zur Laufzeit verwendet werden sollen. Dazu werden die Adressen der Hosts im Klartext in eine Datei geschrieben. Es können sowohl IP- Adressen als auch symbolische Namen verwendet werden. Das folgende Beispiel zeigt eine Datei, die lediglich den lokalen Computer enthält: $ ls -l -rw-r--r-- 1 cluster users Dez 13:26 lokal $cat lokal localhost MPJ-Laufzeitumgebung starten Im Verzeichnis mpj/bin befinden sich alle für die Arbeit notwendigen Scripte um beispielsweise MPJ zu starten, anzuhalten oder Programme zu starten, die MPJ verwenden. Mittels mpjboot wird die Laufzeitumgebung gestartet. Diese benötigt eine Liste mit Nodes, der sog. Machines-Datei. Das mpjboot-script liest diese, kontaktiert jeden Host via ssh und starten dort den für die Kommunikation notwendigen Prozess. $ mpjboot lokal Starting mpjd... wrapper Spawning intermediate process... MPJ testen Die MPJ-Suite enthält ein Programm um die MPJ-Installation zu testen. $ mpjrun.sh -np 2 -jar $MPJ_HOME/lib/test.jar... Testing MPI.MINLOC with MPI.DOUBLE2... Allreduce Max-Min-Loc TEST COMPLETE. ERROR in MPI_Dims_create, dims = 3,2, should be 2, 3 ERROR in MPI_Dims_create, dims = 3,2, should be 2, 3 DimsCreate TEST COMPLETE ********************************************** Stopping process <1> on <localhost.localdomain> ***** TestSuite finished in 19 secs***** ********************************************** Stopping process <0> on <localhost.localdomain> EXIT13:30: EVENT Stopping Acceptor ServerSocket[addr= / ,port=0,localport=15000] 13:30: EVENT Stopped SocketListener on : :30: EVENT Stopped HttpContext[/] 13:30: EVENT Stopped org.mortbay.http.httpserver@133f1d7 13:30: EVENT Stopped HttpContext[/] 13:30: EVENT Stopped org.mortbay.http.httpserver@133f1d7 13:30: EVENT Stopping Acceptor M.Sc. Kai Nehring 3 WS 2008/2009

4 ServerSocket[addr= / ,port=0,localport=15001] 13:30: EVENT Stopped SocketListener on : :30: EVENT Stopped HttpContext[/] 13:30: EVENT Stopped 13:30: EVENT Stopped MPJ-Laufzeitumgebung stoppen Es ist nicht zwar nicht notwendig MPJ zu stoppen sobald es nicht mehr benötigt wird, dennoch ist es empfehlenswert um die belegten Ressourcen wieder freizugeben. $ mpjhalt lokal Stopping mpjd... Stopped mpjd. Eigene Programme übersetzen und starten Das folgende Programm gibt nach dem Start eine Menge an Meldungen der Form Hi from process PROCESS_ID aus: import mpi.*; public class HelloWorld { public static void main(string args[]) throws Exception { MPI.Init(args); int me = MPI.COMM_WORLD.Rank(); int size = MPI.COMM_WORLD.Size(); System.out.println("Hi from process " + me); } } MPI.Finalize(); Hinweis: Die Interfaces wurden aus der C/C++ Version übernommen und entsprechen nicht den Java-Konventionen. Bei der Übersetzung muss dem Compiler der Pfad zu den mpj-libraries übergeben werden. $javac -cp.:$mpj_home/lib/mpi.jar HelloWorld.java Das Programm kann mit 2 Prozessen (-np 2) gestartet werden, sofern es fehlerfrei übersetzt worden ist. $ mpjrun.sh -np 2 HelloWorld 13:58: EVENT Starting Jetty/ :58: EVENT Started HttpContext[/] 13:58: EVENT Started SocketListener on : :58: EVENT Started org.mortbay.http.httpserver@14a :58: EVENT Starting Jetty/ :58: EVENT Started HttpContext[/] 13:58: EVENT Started SocketListener on :15001 M.Sc. Kai Nehring 4 WS 2008/2009

5 13:58: EVENT Started 13:58: EVENT Started HttpContext[/] Starting process <0> on <localhost.localdomain> Starting process <1> on <localhost.localdomain> Hi from process 1 Hi from process 0 Stopping process <0> on <localhost.localdomain> Stopping process <1> on <localhost.localdomain> EXIT13:58: EVENT Stopping Acceptor ServerSocket[addr= / ,port=0,localport=15000] 13:58: EVENT Stopped SocketListener on : :58: EVENT Stopped HttpContext[/] 13:58: EVENT Stopped HttpContext[/] 13:58: EVENT Stopped org.mortbay.http.httpserver@14a :58: EVENT Stopping Acceptor ServerSocket[addr= / ,port=0,localport=15001] 13:58: EVENT Stopped org.mortbay.http.httpserver@14a :58: EVENT Stopped SocketListener on : :58: EVENT Stopped HttpContext[/] 13:58: EVENT Stopped org.mortbay.http.httpserver@f3d6a5 M.Sc. Kai Nehring 5 WS 2008/2009