Cluster Computing & OpenSource

Transkript

1 Center for Information Services and High Performance Computing (ZIH) Cluster Computing & OpenSource Ein Überblick 15. März 2009 Nöthnitzer Straße Dresden INF Robin Geyer, Stefan Höhlig & Jupp Müller Foilensatz Verfügbarkeit der Folien m wwwpub.zih.tu-dresden.de/~rgeyer/clt09/ oder über die CLT09 Website 2/87

2 Fahrplan 1 Einführung 2 Begriffe, Basics und Architekturen 3 Systemsoftware 4 Anwendungssoftware / Optimierung 5 Quellen 3/87 1 Einführung Wer wir sind HPC Motivation HPC 4/87

3 Wer wir sind ZIH: Zentrum für Informationsdienste und Hochleistungsrechnen Landeshochleistungsrechenzentrum Sachsen Institut der TU Dresden Robin: Student, Vektorrechner Stefan: Student, PS3 Cell Cluster Admin Jupp: Student, BenchIT Developer 5/87 HPC Definition HPC = High Performance Computing = Hochleistungsrechnen 6/87

4 Wozu HPC? Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Spart Geld 7/87 Wozu HPC? Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Spart Geld Datenauswertung Komplexe Experimente verstehen Schafft Wissen 7/87

5 Wozu HPC? Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Spart Geld Datenauswertung Komplexe Experimente verstehen Schafft Wissen Entwicklung und Test neuer Technologien Ihr PC war vor 14 Jahren Platz 1 in der Top500 7/87 Simulation Beispiel: Ausbreitung seismischer Wellen in verschiedenen Materialien 8/87

6 Datenauswertung Beispiel: Datenauswertung automatischer Mikroskope am MPI CBG 9/87 neue Technologien Beispiel: 12 Jahre von Top500 zu Desktop Rechner 10/87

7 Cluster in der Top500-Liste 11/87 2 Begriffe, Basics und Architekturen Begriffe Grundsysteme Verbindungsnetze 12/87

8 Begriff: Lastverteilung Idee der Lastverteilung Ressourcenintensive Anwendungen benutzen verteilte Hardware Ressourcen: CPUs, Hauptspeicher, persistenter Speicher... Vorteile: Höhere Kapazitäten als in Einzelsystem Erhöhte Redundanz und Ausfallsicherheit 13/87 Begriff: Capacity und Capability Computing Capacity Computing Stellt die Ressourcen bereit, um große Mengen von kleineren Problemen im Bulk zu Lösen. Die Anwendungen die dabei zum Einsatz kommen stellen meist verhältnismäßig geringe Anforderungen an die einzelnen Hardwareelemente. Capability Computing Bietet Ressourcen, um Probleme zu lösen die durch Capacity Computing nicht lösbar wären. Diese Probleme stellen derart hohe Anforderungen an die Hardware, dass dafür spezielle Systeme zum Einsatz kommen müssen. Die Grenzen sind dabei fließend. 14/87

9 Capacity vs. Capability Computing Erkennen des Problems welches gelöst werden soll Frühzeitige Entscheidung für Capacity oder Capability Computing Capability Computing benötigt Cluster ungeeignet 15/87 Begriff: Cluster Supercomputer (Taschenbuch der Informatik) [TBInfo01] Die Rechnerarchitektur dieser Computer ist meist auf die zu bearbeitende Problematik angepasst und so optimiert, dass höchste Verarbeitungsleistungen erzielt werden können. Cluster Verknüpfung von Standardkomponenten höchster Qualität über ein Hochgeschwindigkeitsnetzwerk auf engstem Raum und deren Nutzung durch parallele Anwendungen. 16/87

10 Begriff: Cluster Homogenität & Heterogenität Sind sowohl Hardware als auch Betriebssystem aller Rechnerknoten identisch, so spricht man von einem homogenen Cluster, andernfalls ist der Cluster heterogen. 17/87 Cluster: Grundbausteine Node Node Node Node RAM RAM RAM RAM CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte Input / Output Input / Output Input / Output Input / Output HDD HDD HDD HDD Interconnect Fabric Storage Storage 18/87

11 Cluster: Grundbausteine 2 Erklärungen Input / Output: Allgemein für das Hochgeschwindigkeitsnetzwerk Interconnect Fabric: Passendes Switch dazu Storage: Große Massenspeicherarchive für Daten des Nutzers. Anbindung auch über seperates Speichernetz möglich. 19/87 Komponenten: CPU x86: Xeon, Opteron, Core, Phenom... Preiswert Schnell (genug) Viel Software 20/87

12 Komponenten: CPU x86: Xeon, Opteron, Core, Phenom... Preiswert Schnell (genug) Viel Software sparc: Also Sun oder Fujitsu Teurer, spezialisiert Für (Web)server-Cluster (SSL, Mail, Online Gaming,...) Einige auf Integer-Leistung angewiesene Applikationen können von sparc profitieren 20/87 Komponenten: CPU x86: Xeon, Opteron, Core, Phenom... Preiswert Schnell (genug) Viel Software sparc: Also Sun oder Fujitsu Teurer, spezialisiert Für (Web)server-Cluster (SSL, Mail, Online Gaming,...) Einige auf Integer-Leistung angewiesene Applikationen können von sparc profitieren powerpc: BlueGene a a bluegene.index.html 20/87

13 Komponenten: CPU x86: Xeon, Opteron, Core, Phenom... Preiswert Schnell (genug) Viel Software sparc: Also Sun oder Fujitsu Teurer, spezialisiert Für (Web)server-Cluster (SSL, Mail, Online Gaming,...) Einige auf Integer-Leistung angewiesene Applikationen können von sparc profitieren powerpc: BlueGene a mips: SiCortex b a bluegene.index.html b 20/87 Komponenten: Speicher Seymour Cray Memory is like an orgasm. It s a lot better if you don t have to fake it. Erfahrungsgemäß werden die Nodes mit mehr Speicher häufiger vom Nutzer angefordert. 21/87

14 Komponenten: Festplatten Zwei Gründe wieso Nodes mit Festplatten gut sind: Swap File System für ressourcenhungrige Jobs Scratch File System zum Abspeichern von Zwischenergebnissen 22/87 Komponenten: Festplatten Zwei Gründe wieso Nodes mit Festplatten gut sind: Swap File System für ressourcenhungrige Jobs Scratch File System zum Abspeichern von Zwischenergebnissen Zwei Gründe dagegen: Verbraucht zusätzlich Strom Verschleißteil 22/87

15 Komponenten: Grafikkarten Prinzipiell überflüssig ABER: nutzbar als Applikationsbeschleuniger Abwägung Kosten vs. Nutzen vs. Programmierbarkeit 23/87 Kaufentscheidung Für professionelle Anwendung: Hersteller des Vertrauens kontaktieren SGI, Cray, NEC, IBM, HP, Megware, Aspen,... 24/87

16 Kaufentscheidung Für professionelle Anwendung: Hersteller des Vertrauens kontaktieren SGI, Cray, NEC, IBM, HP, Megware, Aspen,... Tip für den Bastler: Intel Essential Series D945GCLF2 a 75 e pro Stück Für professionelle HPC-Anwendung ungeeignet Bringt aber den Vorteil alles ausprobieren zu können 5-10 solche Boards = gutes Lehr- und Lernsystem a htm 24/87 Verbindungsnetze: Zusammenhänge 1 Granularität (Parallelität) Latenz Bandbreite SETI@home POVRAY LAMMPS, GAMMES, HPCC 1 für alle NW Technologien siehe [DAAGeorgi08] HPC Netzwerktechnologie erforderlich 25/87

17 Verbindungsnetze: Lo sungen: Gigabit Ethernet Fu r professionelle Anwendung meist zu langsam Allerdings fu r unseren Bastelltip ausreichend Bietet sich als Adminnetz an (ssh, ganglia, Batchsystem,...) 26/87 Verbindungsnetze: Lo sungen: 10GBase Nachfolger des vorherrschenden Ethernet Standarts Bandbreite: bis 925 MiB/s; Latenz: 16.9µs 25.8µs a Mit rund 1200 e pro Portb noch recht teuer a Karte: b bei Chelsio S310E-CX, Switch: HP Pro Curve 6400-cl im CX4 Mode 256 Port Installation 27/87

18 Verbindungsnetze: Lo sungen: Infiniband Weit verbreitet ( 30% der Top500)a Bandbreite: bis 955 MiB/s; Latenz: 3.8µs 4.1µs b Routing bei großen Netzen sehr problematischc a durch HP Cluster Platform 3000 und IBM xseries x3650 mo glicher Weise noch ho her SDR, Hersteller geben weit bessere Werte an [MellnxIBPerf] c siehe [THoeffIBR08] b 4x 28/87 Verbindungsnetze: Lo sungen: Myrinet Zu 10GBase (protokoll)kompatibel, im MX Mode aber latenzarm Bandbreite: 1185 MiB/s; Latenz: 2.5µs 2.6µs a Stromsparendb a Karte: b siehe 10G-PCIE-8AL-C+MX1; Switch: 10G-SW32LC-16M Line Card [CC08] 29/87

19 Verbindungsnetze: Lo sungen: Quadrics QsNetII Bis 32 Ports volle Crossbar Bandbreite: 900 MiB/s; Latenz: 1.4µs a a ohne MPI unter 0.5µs siehe [QsNetIIPerf] 30/87 3 Systemsoftware Systemsoftware Datenspeicherung Tools Kommunikation Batchsysteme und Clustersuiten Monitoring 31/87

20 Systemsoftware Betriebssystem 32/87 Betriebssystem I Die Qual der Wahl Auswahl des Betriebsystems richtet sich nach zu verwendender Hardware/Software, nicht umgekehrt! Auf Treibersupport durch den Hersteller achten 33/87

21 Betriebssystem II Wie soll gestartet werden? Entweder: jeder Node hat eigene Festplatte lokale Installation Oder: Booten über Netzwerk mittels bootp 34/87 Betriebssystem III alte Bauernregel Linux am Morgen, vertreibt Kummer und Sorgen. Alle Linuxe vereinfachen den Clusteraufbau ABER: Enterprise Lösungen bieten besseren Support und Treiberunterstützung (RHEL, SLES,...) Natürlich sind auch andere Betriebssysteme möglich, aber es bleibt die Frage der Softwareunterstützung Wissenschaftliche OpenSource Anwendungen (WPP, POY, GAMESS,...) 2 unter Windows HPC problematisch 2 Windows HPC auf der Cluster Challenge war ein Desaster 35/87

22 Tipps zur Cluster Administration I Tipp 1 Homogenität erspart graue Haare. Je einheitlicher ein Cluster: Desto weniger Aufwand bei Installation, Wartung, Upgrades Desto weniger Ärger mit inkompatiblen Schnittstellen Desto weniger unvorhergesehen Probleme 36/87 Tipps zur Cluster Administration II Tipp 2 Simple is sexy. Je weniger Ballast ein Node mit sich rumschleppt, desto besser: Nicht benötigte Dienste deaktivieren Nicht benötigte Software deinstallieren Nicht benötigte Features im BIOS deaktivieren 37/87

23 Tipps zur Cluster Administration III Tipp 3 Johnny-5 ist auch ein Name. Bezeichnungen aus diversen Mythologien sind hinderlich ;) Besser: Node-Namen bestehened aus einem einheitlichen Präfix und einer Vorlaufenden Nummer (node1, node2,..., node23,...) Viele Tools profitieren davon, oder haben gar Zusatz-features die darauf aufsetzen 38/87 Tipps zur Cluster Administration IV Tipp 4 Know your enemy. sysctl und getconf sind unsere Freunde Viele Probleme lassen sich im Voraus verhindern 39/87

24 Tipps zur Cluster Administration V Tipp 5 Time is money. Benutzt NTP! Synchron laufende Systemuhren sind unabdingbar! Am besten eigenen NTP-Server auf Head-Node zum Zeitabgleich der Compute-Nodes 40/87 Tipps zur Cluster Administration VI Tipp 1001 Make each computer do one thing well. Compute-Nodes sind zum Rechnen da! Head-Node ist Eintrittstor und Datensammelpunkt! 41/87

25 Betriebssysteme: Compiler Ein Wort zu Compilern GCC ist ok Wer Performance braucht, sollte andere Compiler verwenden Meist kommerzielle Produkte Intel Compiler bspw. für private Nutzung kostenlos 42/87 Datenspeicherung 43/87

26 verteilte Dateisysteme I Begriff: verteiltes Dateisystem Ein verteiltes Dateisystem erlaubt den Zugriff auf Dateien eines oder mehrerer entfernter, über ein Rechnernetz verbundener Server. Beachte: Dies sind keine Dateisysteme im eigentlichen Sinne sondern Protokolle/Dienste zur Verteilung von Dateien bestehender Dateisysteme. 44/87 verteilte Dateisysteme II Man kann 2 Arten unterscheiden: Distributed Filesystems (single source): 1 Server auf dem die Daten liegen Distributed Parallel Filesystems (multi source): Mehrere Server halten die Daten Abbildung auf ein gesamtheitliches virtuelles Dateisystem 45/87

27 verteilte Dateisysteme III Gruppen von verteilten Dateisystemen fault in-tolerant fault tolerant sequential AFS, NFS, SMB Lustre, PVFS parallel Coda, DFS Ceph, GFS, GlusterFS 46/87 Tools 47/87

28 Begriff: Distributed Shell Erklährung Prinzip: einen Befehl auf mehreren Nodes ausführen Wrapper für rsh/ssh/remsh-kommandos Verringert die Zeit für Konfiguration, Updates usw. 48/87 Tools: DSH Dancer s Shell / Distributed Shell Autor: Junichi Uekawa Unterstützt alle gängigen shells Klein, leicht und handlich Einfache Konfiguration /etc/dsh/dsh.conf /etc/dsh/machines.list /etc/dsh/group/ /87

29 Tools: PDSH Parallel Distributed Shell Autor: Jim Garlick Mächtiger als DSH - Profiwerkzeug Modularer Aufbau (dynamisch ladbar) Unterstützt genders 50/87 Tools: Environment Modules Environment Modules Ermöglicht dynamisches verändern des Linux-Environment Wie der Name schon sagt: modular Äußerst praktisch, auch für Desktop-Systeme 51/87

30 Environment Modules: Beispiel Beispiel: modules & binaries 52/87 Tools: Genders Genders Statische Datenbank die Cluster Spezifikationen und Konfigurationen enthält Alle Nodes müssen Zugriff erhalten Abstraktion auf einen einzigen Konfigurationspunkt API verfügbar andere Tools können Genders nutzen 53/87

31 Kommunikation 54/87 Kommunikation: MPI Message Passing Interface Standardisierte Programmierschnittstelle für parallele Programmierung Aktuelle Version des Standards: 2.0 Stellt diverse Kommunikationsroutinen zur Verfügung (send, receive, broadcast,...) Mehrere Prozesse die miteinander über Nachrichten kommunizieren Vertreter: OpenMPI, MPICH1, MPICH2, MVAPICH Verfügbar für C/C++,Fortran, Java, Python 55/87

32 Batchsysteme und Clustersuiten 56/87 Batchsystem Begriff: Batchsystem Softwarelösung zur Stapelverarbeitung (oder Batchverarbeitung) Batchverarbeitung ist die sequentielle, nicht-interaktive Abarbeitung von Aufgaben. Beinhaltet meist: Ressourcenmanager Scheduler Tools für Konfiguration, Management und Diagnose Einfaches Monitoring 57/87

33 Batchsystem: PBS Portable Batch System Entwickelt in den 1990ern für die NASA Verfügbar als PBSpro und OpenPBS Ausgereift, gut dokumentiert und supportet Lizenz: Eigene a Nutzung: kommerziell und nicht-kommerziell (openpbs) erlaubt (Registrierung) Weiterverbreitung: nur nicht-kommerziell Modifikation: orginal Quelltext ist mitzuliefern a 58/87 Batchsystem: LSF I Load Sharing Facility Platform LSF kommerzielles Produkt OS: Unix, Linux und Windows Kommt auch am ZIH zum Einsatz Lizenz: Proprietär 59/87

34 Batchsystem: LSF III Befehl: bqueues 60/87 Batchsystem: LSF IV Befehl: bjobs Befehl: bjobs -a 61/87

35 Batchsystem: Torque I Torque PBS-basiertes, quelloffenes Projekt OS: Unix, Linux und Windows Kommt im Experimental-Mini-PS3-Cluster der TU Dresden zum Einsatz Mäßig dokumentiert... etwas unübersichtlich, wiki vorhanden Lizenz: siehe PBS 62/87 Batchsystem: Torque II Befehl: qnodes (oder: pbsnodes) 63/87

36 Batchsystem: MOAB cluster suite MOAB cluster suite Professionelle Middleware zum Cluster Management Enthält webbasierte und grafische Managment-tools OS: Linux, Unix, Mac OSX & bebrenzte Windows-Unterstützung Resource Manager: LSF, TORQUE, PBSPro, SGE, SLURM, LoadLeveler, OpenPBS and custom 64/87 Batchsystem: SLURM Simple Linux Utility for Resource Managment OS: Linux, Unix Einfach, skaliert gut Sehr gut und übersichtlich dokumentiert Lizenz: GPL 65/87

37 Batchsystem: OSCAR Open Source Cluster Application Resources OS: Linux (rpm-basierte) Gedacht für Beowulf-Cluster Beinhaltet viele aufeinander abgestimmte Tools und Bibliotheken Vielleicht das Rundum-Sorglos-Paket Lizenz: GPL 66/87 Monitoring 67/87

38 Monitoring: Ganglia Ganglia Umfassende Statistiken über alle Nodes im System Sammelt Daten mit Hilfe von Deamon auf jedem Node Visualisierung per Webfrontend Download: Lizenz: UC Berkeley Lizenz copy, modify, use and distribution without fee 68/87 Monitoring: Ganglia Screenshot 69/87

39 4 Anwendungssoftware / Optimierung parallele Software Software selbst entwickeln Optimierung 70/87 parallele Anwendungen 71/87

40 Verteilte Software: distcc distcc Verteilung von C/C++ Compilier-jobs grobgranulare Parallelität Client-Server-basiert Setzt auf GCC auf Erlaubt nahezu lineare Beschleunigung mit steigender Knotenanzahl Benötigt einheitliche Compiler/Bibliotheksversionen Besonders für Gentoo-Nutzer interessant ;) 72/87 Verteilte Software: wissenschaftliche Anwendungen wissenschaftliche Anwedungen GAMESS ( GROMACS ( OpenFOAM ( POP ( POV-Ray ( POY ( RAxML ( WPP ( und viele mehr 73/87

41 Software selbst entwickeln 74/87 parallele Programmierung: Token Ring I 1 # include <stdio.h> 2 # include <mpi.h> 3 4 # define NRING # define TAG int main ( int argc, char * argv []){ 8 int rank, size, next, prev, message ; 9 10 /* start up MPI */ 11 MPI_Init (& argc, & argv ); 12 MPI_ Comm_ rank ( MPI_ COMM_ WORLD, & rank ); 13 MPI_ Comm_ size ( MPI_ COMM_ WORLD, & size ); /* errechne rank des naechsten prozesses im ring */ 16 next = ( rank + 1) % size ; 17 prev = ( rank + size - 1) % size ; /* rank 0 ist start */ 20 if (0 == rank ) { 21 message = NRING ; 22 MPI_ Send (& message, 1, MPI_INT, next, TAG, MPI_ COMM_ WORLD ); 23 } 75/87

42 parallele Programmierung: Token Ring II /* sende token immer im ring */ 26 while (1) { 27 MPI_ Recv (& message, 1, MPI_INT, prev, TAG, MPI_ COMM_ WORLD, 28 MPI_STATUS_IGNORE ); if (0 == rank ) -- message ; MPI_ Send (& message, 1, MPI_INT, next, TAG, MPI_ COMM_ WORLD ); if (0 == message ) break ; 35 } /* token als letztes zu rank 0 zurueck */ 38 if (0 == rank ) { 39 MPI_ Recv (& message, 1, MPI_INT, prev, TAG, MPI_ COMM_ WORLD, 40 MPI_STATUS_IGNORE ); 41 } MPI_Finalize (); 44 return 0; 45 } 76/87 MPI Implementierungen Open MPI OpenSource Standartkonform zu MPI Version 2.0 Unterstützt fast alle Interconnects Wird von TU Chemnitz und ZIH mitentwickelt Ist durch großes Konsortium zukunftssicher Kann deshalb ohne Bedenken benutzt werden 77/87

43 Parallele Programmierung MPI Programmieren lernen Kommerzielle Angebote HLRS Kurse a a Debugging Nur kommerziell verfügbar Alinea DDT Totalview Paralleles Debugging ist eine Wissenschaft für sich 78/87 Optimierung 79/87

44 Optimierung: Analyse Profiling Tracing gprof Für jeden MPI Prozess ein Output Zählt Funktionsaufrufe und darin verbliebene Zeit Vampirtrace Standalone oder im Open MPI Führt Aktionen aller Prozesse zu einem Ergebniss zusammen Braucht Anzeigeprogramm um Ergebnisse zu Visualisieren (Vampir) Lizenz: GPL Mittlerweile der Standard für Tracing paralleler Anwendungen Wird am ZIH entwickelt Unterstützt PAPI Counter Scalasca Intel Thread Analyser 80/87 Optimierung: Vampir Screenshot I 81/87

45 Optimierung: Vampir Screenshot II 82/87 Analyse: Benchmarking BenchIT Performance Meassurement for Scientific Applications. Als OpenSource verfügbar unter 83/87

46 Danke! Fragen? 84/87 Literatur I [DAAndyG08] Andy Georgi Diplomarbeit: Untersuchung ausgewählter Netzwerk-Technologien TU Dresden / ZIH 2008 [TaschInf] Uwe Schneider, Dieter Werner Taschenbuch der Informatik Fachbuchverlag Leipzig ISBN [THoeffIBR08] T. Hoefler and T. Schneider and A. Lumsdaine Multistage Switches are not Crossbars: Effects of Static Routing in High-Performance Networks Proceedings of the 2008 IEEE International Conference on Cluster Computing ISBN /87

47 Literatur II [ZIHPubl] Diplomarbeiten, PhD Thesis, Studienarbeiten am ZIH [Myri10GE] [MellnxIBPerf] http: //mellanox.com/content/pages.php?pg=performance_infiniband [CC08] Cluster Challenge 08: Optimizing Cluster Configuration and Applications to Maximize Power Efficiency J. Müller, T. Schneider, J. Domke, R. Geyer, M. Häsing, T. Hoefler, St. Höhlig, G. Juckeland, A. Lumsdaine, M. S. Müller, W. E. Nagel In Linux Cluster Institute Conference, 2009 [HennPattQA4] John L. Hennessy, David A. Patterson Computer Architecture, Fourth Edition: A Quantitative Approach Morgan Kaufmann 2006 ISBN /87 Literatur III [QsNetIIPerf] QsNetII Performance Results [THoeffIC09] T. Hoefler and T. Schneider and A. Lumsdaine A Power-Aware, Application-Based, Performance Study Of Modern Commodity Cluster Interconnection Networks Proceedings of the 23rd IEEE International Parallel & Distributed Processing Symposium (IPDPS), CAC Workshop 87/87