BraLUG-Cluster Idee, Konzept und Umsetzung. Uwe Berger; 2005

Transkript

1 Idee, Konzept und Umsetzung ; 2005 <bergeruw@gmx.net>

2 Inhalt Die Idee Das Konzept Die Umsetzung PVM Hard-/Software Bootkonzept Clientanmeldung... und jetzt? 01/2005 2

3 Die Idee eine aussergewöhnliche und einmalige Veranstaltung in der Stadt Brandenburg Paralleles Rechnen - ein vielschichtiges und interessantes Thema Paralleles Rechnen - ein anspruchvolles Thema Freie Software, wie auch das Thema Cluster, verbindet 01/2005 3

4 Das Konzept (1) eine kleine anspruchsvolle Vortragsreihe Aufbau einer vordefinierten, aber beliebig erweiterbaren, heterogenen Clusterumgebung: Intel-kompatible Rechnerplattform (CPU-Takt >= 500 MHz) Clusterart: PVM (Parallel Virtual Machine) Bootkonzept: LTSP (Linux Terminal Server Project) Ethernet (als Netzwerkinfrastruktur) 01/2005 4

5 Das Konzept (2) Berechnung einer Videosequenz mittels pvmpov Rechnerzeit an weitere Teilnehmer/Besucher anbieten/vergeben Benchmarking dauerhafte Dokumentation und Präsentation der Ergebnisse 01/2005 5

6 Die Umsetzung (Topologie) LTSP-Server PVM-Master Beamer-PC 100Mbit-Switch 1Gbit-Switch Konsole Clients 01/2005 6

7 Die Umsetzung (Hard-/Softw.) 2 Server Clients Netzwerk Hardware: Hardware: vollständiger PC Software: lauffähiges Linux DHCP DNS NFS TFTP LTSP-Paket PVM (auf PVM-Master) Motherboard RAM NIC Bootmedium 01/ Software: Etherboot-Image oder Preboot Execution Environment

8 Die Umsetzung (PVM) PVM: Parallel Virtual Machine heterogenes Rechnernetz (Hardware & Betriebssystem) Funktionsbibliothek (C, Fortran) Message-Passing-Programmiermodell zahlreiche Erweiterungen für Perl, Java, Tcl, Python,... zahlreiche Programme, Tools usw. 01/2005 8

9 BraLUG-Cluster Die Umsetzung (PVM) pvmd läuft auf Master und Clients Start auf Master: pvm Start auf Clients: add ws-123 Stop (Abmelden) eines Clients: delete ws-123 interaktiv oder via Konfig-Datei Start/Stop Clients auch während einer Berechnung im Cluster möglich 01/2005 9

10 Die Umsetzung (Booten) Client Etherboot-Image; DHCP-Broadcast IP-Konfiguration; Ort des Kernels Laden Kernel (TFTP) LTSP-Server Booten Client; / via NFS mounten Initialisierung des Clients Clusteranmeldung... 01/

11 Die Umsetzung (Clusteranm.)... Client Client-Bootvorgang /cluster via NFS mounten ssh echo add ws-123 pvm Watchdog?... Clusterteilaufgabe... Ergebnis der Teilaufgabe... PVM-Master 01/

12 Die Umsetzung (Besonderh.) LTSP -> DHCP ->automatische Generierung der Rechnernamen aus vergebener IP-Adresse Bidirektionale Kommunikation zwischen PVM- Master und Clients via ssh PVM-Programme, Anwendungen, Bibliotheken usw. in /cluster (aus Sicht der Clients) pvmpov modifiziert -> Logfile über empfangene Ergebnispakete 01/

13 Die Umsetzung (... und jetzt?) Was macht man jetzt mit der unendlich großen Rechenleistung? 01/

14 Die Umsetzung (... und jetzt?) x= 2,0... 0,375; y=1, y +1,25 x= 0, ,25; y=1, ,25 2,0 0 +1,25 x x= 2,0... 0,375; y=0... 1,25 x= 0, ,25; y=0... 1,25 01/

15 Die Umsetzung (... und jetzt?) PVM-Master Gesamtaufgabe Teilaufg. Teil- Teilaufg. Teilaufgaufg. PVM-Clients Teilaufg. Teilaufg. berechnen Teilaufg. berechnen Teilaufg. berechnen berechnen 01/

16 Die Umsetzung (... und jetzt?) Ist der (BraLUG)-Cluster unendlich erweiterbar? technisch gesehen: bestimmt ja! nutzbringend: nein! Flaschenhals Netzwerk unendlich teilbare Aufgabe? Optimum zwischen Atomarität der Aufgabe und dem dazu notwendigen Overhead 01/

17 Die Umsetzung (... und jetzt?) Animation (Fred's Tux-Achterbahn) etwas Benchmarking/Dokumentation Schachprogramm (leider nein :-(...) distcc (Distributed C/C++ Compiler) ein Poster... viel Spaß! 01/

18 Weitere Informationen pvmpov.sourceforge.net home.t-online.de/home/koegler.brb/clusternight/ distcc.samba.org 01/

19 BraLUG-Cluster Fragen? 01/

20 Distcc distcc: Distributed C/C++ Compiler Daemon (distccd) + Compiler-Frontend (distcc) Job-Kontrolle ueber Make: make -j$num_jobs Daemon muss auf allen Maschinen laufen (Port 8950/tcp) Verteilung der Quelldateien incl. Abhaengigkeiten (Header..) durch Daemon nur Kompilierung verteilt, Linken zentral 01/