Cluster Computing & OpenSource

Transkript

1 Foliensatz Center for Information Services and High Performance Computing (ZIH) Cluster Computing & OpenSource Ein Überblick 15. März 2009 Verfügbarkeit der Folien Vorlesungswebsite: zih/lehre/ws0910/lctp Nöthnitzer Straße Dresden INF Robin Geyer 2/86 Inhalt 1 Einführung / Motivation 2 Begriffe, Basics und Architekturen m 3 Systemsoftware 1 Einführung / Motivation Clusterchallenge Vorlesung High Performance Computing 4 Anwendungssoftware / Optimierung 5 Quellen 3/86 4/86

2 Clusterchallenge Clusterchallenge / Ergebnis Supercomputing: Konferenz mit angeschlossenen Wettbewerben Clusterchallenge: 3kW Strom, vorgegebene Software, viele Jobs (unterschiedliche Punkte), 44h Zeit. Gewinner ist der der die meisten Punkte geholt hat. 5/86 6/86 Motivation für Vorlesung / Cluster in Top500 Motivation für Vorlesung / Weitere Gründe Erfahrungen aus Clusterchallenge weitergeben Zum ersten Mal Vorlesung/Praktikum zum Clusterbau und Administration Theoretische Betrachtungen mit praktischen Erfahrungen untermauern Nächstes Siegerteam für Clusterchallenge ausbilden?!? 7/86 8/86

3 Wozu High Performance Computing (HPC)? Wozu High Performance Computing (HPC)? Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Geringe Kosten im Vergleich zu Experimenten Später im Praktikum benutzte Software: POVRay und WPP Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Geringe Kosten im Vergleich zu Experimenten Später im Praktikum benutzte Software: POVRay und WPP Datenauswertung Unabdingbar um komplexe Experimente zu verstehen Später im Praktikum benutzte Software: MpCCD und RAxML 9/86 9/86 Wozu High Performance Computing (HPC)? Simulation Komplexe Systeme modellieren ohne aufwändige Experimente Geringe Kosten im Vergleich zu Experimenten Später im Praktikum benutzte Software: POVRay und WPP Datenauswertung Unabdingbar um komplexe Experimente zu verstehen Später im Praktikum benutzte Software: MpCCD und RAxML Entwicklung und Test neuer Technologien Wozu HPC / Simulation Beispiel: Ausbreitung seismischer Wellen in verschiedenen Materialien (WPP) 9/86 10/86

4 Wozu HPC / Datenauswertung Beispiel: Phylogenetische Bäume aus Gensequenzen erzeugen (RAxML) 2 Begriffe, Basics und Architekturen Begriffe Aufbau Komponenten Verbindungsnetze Systeme im Praktikum 11/86 12/86 Begriff / Lastverteilung und Parallelität Begriff / Capacity und Capability Computing Idee der parallelen Verarbeitung Ressourcenintensive Anwendungen benutzen verteilte Hardware Ressourcen: CPUs, Hauptspeicher, persistenter Speicher... Vorteile: Höhere Kapazitäten als in Einzelsystem Erhöhte Redundanz und Ausfallsicherheit Capacity Computing Stellt die Ressourcen bereit, um große Mengen von kleineren Problemen im Bulk zu Lösen. Die Anwendungen die dabei zum Einsatz kommen stellen meist verhältnismäßig geringe Anforderungen an die einzelnen Hardwareelemente. Capability Computing Bietet Ressourcen, um Probleme zu lösen die durch Capacity Computing nicht lösbar wären. Diese Probleme stellen derart hohe Anforderungen an die Hardware, dass dafür spezielle Systeme zum Einsatz kommen müssen. Die Grenzen sind dabei fließend. 13/86 14/86

5 Capacity vs. Capability Computing Begriff / Cluster Erkennen des Problems welches gelöst werden soll Frühzeitige Entscheidung für Capacity oder Capability Computing Capability Computing benötigt Cluster u.u. ungeeignet Cluster Verknüpfung von Standardkomponenten höchster Qualität über ein Hochgeschwindigkeitsnetzwerk auf engstem Raum und deren paralleler Nutzung durch lastverteilte (parallelisierte) Programme. 15/86 16/86 Aufbau / Grundbausteine für Cluster Aufbau / Homogenität und Heterogenität Node Node Node Node RAM RAM RAM RAM CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte CPU Core Core Core Core Grafik- Karte Input / Output Input / Output Input / Output Input / Output Homogenität & Heterogenität HDD HDD HDD HDD Sind sowohl Hardware als auch Betriebssystem aller Rechnerknoten identisch, so spricht man von einem homogenen Cluster, andernfalls ist der Cluster heterogen. Interconnect Fabric Storage Storage 17/86 18/86

6 Komponenten / CPU Komponenten / Festplatten x86: Xeon, Opteron, Core, Phenom... Preiswert Schnell (genug) Viel Software sparc: Also Sun oder Fujitsu Teurer, spezialisiert Für (Web)server-Cluster (SSL, Mail, Online Gaming, Datenbanken,...) Diese auf Integer-Leistung angewiesene Applikationen können von Sparc profitieren Power: Sehr teuer, hoher Fließkommadurchsatz Hochverfügbarkeitssysteme, Mainframes MIPS: SiCortex Zwei Gründe wieso Nodes mit Festplatten gut sind: Swap File System für Jobs mit hohen Resourcenanforderungen Abbrechen von Jobs in vielen Fällen ohne Swap nicht möglich Scratch File System zum Abspeichern von Zwischenergebnissen 19/86 20/86 Komponenten / Festplatten Komponenten / Grafikkarten Zwei Gründe wieso Nodes mit Festplatten gut sind: Swap File System für Jobs mit hohen Resourcenanforderungen Abbrechen von Jobs in vielen Fällen ohne Swap nicht möglich Scratch File System zum Abspeichern von Zwischenergebnissen Zwei Gründe dagegen: Verbraucht zusätzlich Strom Verschleißteil Prinzipiell überflüssig ABER: nutzbar als Applikationsbeschleuniger Abwägung Kosten vs. Nutzen vs. Programmierbarkeit 20/86 21/86

7 Verbindungsnetze / Zusammenha nge1 Verbindungsnetze / Lo sungen / Gigabit Ethernet Fu r professionelle Anwendung meist zu langsam Granularität (Parallelität) Allerdings fu r unseren Lehrbedarf ausreichend Bietet sich als Adminnetz an (ssh, ganglia, Batchsystem,...) Latenz Bandbreite SETI@home POVRAY LAMMPS, GAMMES, HPCC HPC Netzwerktechnologie erforderlich 1 fu r alle NW Technologien siehe [DAAGeorgi08] 22/86 Verbindungsnetze / Lo sungen / 10GBase Nachfolger des vorherrschenden Ethernet Standards Datenrate: bis 925 MiB/s; Latenz: 16.9µs 25.8µs (Karte: Chelsio S310E-CX, Switch: HP Pro Curve 6400-cl im CX4 Mode) Mit rund 1200 e pro Port (bei 256 Port Installation) noch recht teuer 23/86 Verbindungsnetze / Lo sungen / Infiniband Weit verbreitet ( 30% der Top500) (durch HP Cluster Platform 3000 und IBM xseries x3650 mo glicher Weise noch ho her) Datenrate: bis 955 MiB/s; Latenz: 3.8µs 4.1µs (4x SDR, Hersteller geben weit bessere Werte an [MellnxIBPerf]) Bandbreite bei großen Netzen aufgrund von statischem Routing reduziert[thoeffibr08] 24/86 25/86

8 Verbindungsnetze / Lo sungen / Myrinet Verbindungsnetze / Lo sungen / Quadrics QsNetII Zu 10GBase (protokoll)kompatibel, im MX Mode aber latenzarm Bis 32 Ports volle Crossbar Datenrate: 1185 MiB/s; Latenz: 2.5µs 2.6µs(Karte: 10G-PCIE-8AL-C+MX1; Switch: 10G-SW32LC-16M Line Card) Datenrate: 900 MiB/s; Latenz: 1.4µs (ohne MPI unter 0.5µs siehe [QsNetIIPerf]) Stromsparend[CC08] 26/86 Praktikumssystem I 27/86 Praktikumssystem II Intel Essential Series D945GCLF2 75 e pro Stu ck Fu r professionelle HPC-Anwendung ungeeignet Bringt aber den Vorteil alles ausprobieren zu ko nnen 3 x Sony Playstation 3 mit Cell Broadband Engine Wegen einigen Eigenheiten bei der Administration ebenfalls gutes Lehrsystem Cell Architektur prinzipiell fu r Clusterbau interessant, PS3 aber ungeeignet (Hauptspeicher, Netzwerk) 4 Boards gut als Lehr- und Lernsystem geeignet 28/86 29/86

9 3 Systemsoftware Systemsoftware Regeln / Tipps Datenspeicherung Tools Batchsysteme und Clustersuiten Monitoring Systemsoftware Betriebssystem 30/86 31/86 Betriebssystem I Betriebssystem II Die Qual der Wahl Auswahl des Betriebsystems richtet sich (meist) nach zu verwendender Hardware/Software, nicht umgekehrt! Auf Treibersupport durch den Hersteller achten Wie soll gestartet werden? Entweder: jeder Node hat eigene Festplatte lokale Installation Provisioning bedenken Oder: Booten über Netzwerk mittels bootp 32/86 33/86

10 Betriebssystem III Systemsoftware / Zu Beachten I Linux eignet sich meist hervorragend für Cluster Enterprise Lösungen bieten besseren Support, Treiberunterstützung und Zertifizierung (RHEL, SLES,...) Komplette Softwarekits (z.b. Sun HPC Software) vereinfachen die Installation und Administration Im Praktikum Debian Natürlich sind auch andere Betriebssysteme möglich Teilweise weil nicht anders realisierbar (z.b. Sparc Cluster mit Solaris) Wissenschaftliche OpenSource Anwendungen (WPP, POY, GAMESS,...) HPC problematisch Sowohl Software als auch Hardware homogen gestalten. Je einheitlicher ein Cluster: Desto weniger Aufwand bei Installation, Wartung, Upgrades Desto weniger Probleme mit inkompatiblen Schnittstellen Desto weniger unvorhergesehen Probleme 34/86 35/86 Systemsoftware / Zu Beachten II Systemsoftware / Zu Beachten III Nodes nicht überladen. Je weniger Dienste und Hardware auf dem Node aktiviert sind, desto besser: Nicht benötigte Dienste deaktivieren Nicht benötigte Software deinstallieren Nicht benötigte Features im BIOS deaktivieren Compute-Nodes sind zum Rechnen da! Head-Node ist Eintrittstor und Datensammelpunkt! node-5 ist auch ein Name. Bezeichnungen aus diversen Mythologien sind hinderlich Besser: Node-Namen bestehened aus einem einheitlichen Präfix und einer fortlaufenden Nummer (node1, node2,..., node23,...) Viele Tools profitieren davon, oder haben gar zusätzliche Features die darauf aufsetzen 36/86 37/86

11 Systemsoftware / Zu Beachten IV Systemsoftware / Zu Beachten V Know your enemy. sysctl, getconf und hwinfo sind nützlich Viele Probleme lassen sich im Voraus verhindern Uhrzeit über das ganze System synchron halten. NTP benutzen! Synchron laufende Systemuhren sind unabdingbar! Am besten eigenen NTP-Server auf Head-Node zum Zeitabgleich der Compute-Nodes 38/86 39/86 Systemsoftware / Compiler Ein Wort zu Compilern GCC ist für Linux Systeme unerlässlich Produktivsoftware sollte mit optimalen Compiler für Systemarchitektur kompiliert sein (z.b. ICC für Intel CPUs) Testreihen durchführen (manchmal ist auch gcc besser) Meist kommerzielle Produkte Datenspeicherung 40/86 41/86

12 Datenhaltung über das Cluster I Datenhaltung über das Cluster II Bisher stark vernetzte Rechner mit jeweils eigenem, von einander unabhängigen Dateisystem Binarys, Eingangsdatensätze, etc. müssen auf jedem Node der diese benutzt verfügbar sein Schlechte Lösung: vor jedem Job Dateien per ftp oder scp auf die Nodes kopieren Richtige Lösung: Verzeichnisse die pro Node synchron gehalten sind Verteiltes Dateisystem unabdingbar / /bin /boot /dev /etc /home /lib /mnt /opt /proc /root /sbin /cluster /sys /tmp /usr /var Headnode / NAS System Fileserver- Daemon Node 1 / /bin /boot /dev /etc nfs:///home /lib /mnt /opt /proc /root /sbin nfs:///cluster /sys /tmp /usr /var Node n / /bin /boot /dev /etc nfs:///home /lib /mnt /opt /proc /root /sbin nfs:///cluster /sys /tmp /usr /var 42/86 43/86 Dateisysteme / verteilte Dateisysteme I Dateisysteme / verteilte Dateisysteme II Begriff: verteiltes Dateisystem Ein verteiltes Dateisystem erlaubt den Zugriff auf Dateien eines oder mehrerer entfernter, über ein Rechnernetz verbundener Server. Beachte: Obwohl Clients die verteilten Dateisysteme wie lokale Resourcen benutzen können müssen die Dateien auf dem Server noch auf lokalen Dateisystemen (Ext3, ReiserFS, XFS,... ) vorliegen. Dies ist für die Clients transparent. Man kann 2 Arten unterscheiden: Distributed Filesystems (single source): 1 Server auf dem die Daten liegen Bsp: AFS, NFS, SMB Fehlertolerante: Coda, DFS Distributed Parallel Filesystems (multi source): Mehrere Server halten die Daten Abbildung auf ein gesamtheitliches virtuelles Dateisystem Bsp: Lustre, PVFS Fehlertolerante: Ceph, GFS, GlusterFS 44/86 45/86

13 Tools Tools Verschiedene Arbeiten treten immer wieder auf Nodes müssen bequem von einer Stelle aus administriert werden können Werkzeuge zu kennen verringert Arbeitszeit signifikant (Einarbeitungsaufwand beachten) 46/86 47/86 Tools / Begriff / Distributed Shell Distributed Shell / DSH Erklärung Prinzip: einen Befehl auf mehreren Nodes ausführen Wrapper für rsh/ssh/remsh-kommandos Verringert die Zeit für Konfiguration, Updates usw. Dancer s Shell / Distributed Shell Autor: Junichi Uekawa Unterstützt alle gängigen shells Klein, leicht und handlich Einfache Konfiguration /etc/dsh/dsh.conf /etc/dsh/machines.list /etc/dsh/group/ /86 49/86

14 Distributed Shell / PDSH Tools / Begriff / Environment Modules Parallel Distributed Shell Autor: Jim Garlick Mächtiger als DSH - Profiwerkzeug Modularer Aufbau (dynamisch ladbar) Unterstützt genders Wird im Praktikum benutzt Environment Modules Ermöglicht dynamisches verändern des Linux-Environment Wie der Name schon sagt: modular Äußerst praktisch, auch für Desktop-Systeme Wird im Praktikum benutzt 50/86 51/86 Environment Modules / Beispiel I Environment Modules / Beispiel Beispiel: modules & LD LIBRARY PATH Beispiel: modules & binaries 52/86 53/86

15 Batchsystem / Begriff Batchsysteme und Clustersuiten Batchsystem Softwarelösung zur Stapelverarbeitung (oder Batchverarbeitung) Batchverarbeitung ist die sequentielle, nicht-interaktive Abarbeitung von Aufgaben. Beinhaltet meist: Ressourcenmanager Scheduler Tools für Konfiguration, Management und Diagnose Einfaches Monitoring 54/86 55/86 Batchsystem / PBS Batchsystem / LSF I Portable Batch System Entwickelt in den 1990ern für die NASA Verfügbar als PBSpro und OpenPBS Ausgereift, gut dokumentiert und supportet Lizenz: Eigene Lizenz Nutzung: kommerziell und nicht-kommerziell (openpbs) erlaubt (Registrierung) Weiterverbreitung: nur nicht-kommerziell Modifikation: orginal Quelltext ist mitzuliefern Load Sharing Facility Platform LSF kommerzielles Produkt OS: Unix, Linux und Windows Kommt auch am ZIH zum Einsatz Lizenz: Proprietär 56/86 57/86

16 Batchsystem / LSF II Batchsystem / MOAB cluster suite Befehl: bjobs Befehl: bjobs -a MOAB cluster suite Professionelle Middleware zum Cluster Management Enthält webbasierte und grafische Managment-Tools OS: Linux, Unix, Mac OSX & bebrenzte Windows-Unterstützung Resource Manager: LSF, TORQUE, PBSPro, SGE, SLURM, LoadLeveler, OpenPBS and custom 58/86 59/86 Batchsystem / SLURM Batchsystem / OSCAR Simple Linux Utility for Resource Managment OS: Linux, Unix Einfach, skaliert gut Sehr gut und übersichtlich dokumentiert Wird im Praktikum zum Einsatz kommen Lizenz: GPL Open Source Cluster Application Resources OS: Linux (rpm-basierte) Gedacht für Beowulf-Cluster Beinhaltet viele aufeinander abgestimmte Tools und Bibliotheken Lizenz: GPL 60/86 61/86

17 Monitoring Monitoring Große Menge an Rechnern ohne eigenen Monitor überwachen Übersicht des Systemzustands behalten Idee: grafische Aufarbeitung der Parameter Bei besonderen Zuständen Mails verschicken Nur in Notfällen per Monitor oder seriellen Kabel an die Nodes gehen (BIOS etc.) 62/86 63/86 Monitoring / Ganglia Monitoring / Ganglia Screenshot Ganglia Umfassende Statistiken über alle Nodes im System Sammelt Daten mit Hilfe von Deamon auf jedem Node Visualisierung per Webfrontend Download: Lizenz: UC Berkeley Lizenz copy, modify, use and distribution without fee 64/86 65/86

18 4 Anwendungssoftware / Optimierung Kommunikation parallele Software Optimierung Kommunikation / Internode Nachrichtenaustausch 66/86 67/86 Internode Kommunikation Kommunikation / MPI Bis jetzt: Farm von Rechnern Nur möglich auf jedem Node Programm(e) zu starten Ziel: Mehrere Nodes als ein Rechner zu benutzen Nachrichtenaustausch von Programmteilen auf verschiedenen Nodes über Verbindungsnetz nötig Da kein gemeinsamer Hauptspeicher vorhanden ist müssen Nachrichten explizit versendet/empfangen werden Message Passing Interface Standardisierte Programmierschnittstelle für parallele Programmierung Aktuelle Version des Standards: 2.0 Stellt diverse Kommunikationsroutinen zur Verfügung (send, receive, broadcast,...) Mehrere Prozesse die miteinander über Nachrichten kommunizieren Vertreter: OpenMPI, MPICH1, MPICH2, MVAPICH Verfügbar für C/C++,Fortran, Java, Python 68/86 69/86

19 Begriff / PVM Parallel Virtual Machine Abstraktion verteilter Systeme auf einen virtuellen Parallelrechner aktuelle Version: 3.4 benutzt Daemons die miteinander über Nachrichten kommunizieren verfügbar für C/C++,Fortran, Java, Python, Pearl... parallele Anwendungen 70/86 71/86 parallele Anwendungen parallele Programmierung: Token Ring I Idee der Lastverteilung Resourcenintensive Anwendungen benutzen verteilte Hardware Resourcen: CPUs, Hauptspeicher, persistenter Speicher... Vorteile: Höhere Kapazitäten als in Einzelsystem Gute Skalierbarkeit Erhöhte Redundanz und Ausfallsicherheit 1 # include <stdio.h> 2 # include <mpi.h> 3 4 # define NRING # define TAG int main ( int argc, char * argv []){ 8 int rank, size, next, prev, message ; 9 10 /* start up MPI */ 11 MPI_Init (& argc, & argv ); 12 MPI_Comm_rank ( MPI_COMM_WORLD, & rank ); 13 MPI_Comm_size ( MPI_COMM_WORLD, & size ); /* errechne rank des naechsten prozesses im ring */ 16 next = ( rank + 1) % size ; 17 prev = ( rank + size - 1) % size ; /* rank 0 ist start */ 20 if (0 == rank ) { 21 message = NRING ; 22 MPI_Send (& message, 1, MPI_INT, next, TAG, MPI_COMM_WORLD ); 23 } 72/86 73/86

20 parallele Programmierung: Token Ring II MPI Implementierungen /* sende token immer im ring */ 26 while (1) { 27 MPI_Recv (& message, 1, MPI_INT, prev, TAG, MPI_COMM_WORLD, 28 MPI_STATUS_IGNORE ); if (0 == rank ) -- message ; MPI_Send (& message, 1, MPI_INT, next, TAG, MPI_COMM_WORLD ); if (0 == message ) break ; 35 } /* token als letztes zu rank 0 zurueck */ 38 if (0 == rank ) { 39 MPI_Recv (& message, 1, MPI_INT, prev, TAG, MPI_COMM_WORLD, 40 MPI_STATUS_IGNORE ); 41 } MPI_Finalize (); 44 return 0; 45 } Open MPI OpenSource Standartkonform zu MPI Version 2.0 Unterstützt fast alle Interconnects Wird von TU Chemnitz und ZIH mitentwickelt Ist durch großes Konsortium zukunftssicher Kann deshalb ohne Bedenken benutzt werden 74/86 75/86 Debugging Wissenschaftliche Anwendungen Debugging (Fast) nur kommerziell verfügbar Alinea DDT Totalview Paralleles Debugging ist eine Wissenschaft für sich wissenschaftliche Anwedungen GAMESS ( GROMACS ( OpenFOAM ( POP ( POV-Ray ( POY ( RAxML ( WPP ( und viele mehr 76/86 77/86

21 Optimierung / Analyse Optimierung Profiling Tracing gprof Für jeden MPI Prozess ein Output Zählt Funktionsaufrufe und darin verbliebene Zeit Vampirtrace Standalone oder im Open MPI Führt Aktionen aller Prozesse zu einem Ergebniss zusammen Braucht Anzeigeprogramm um Ergebnisse zu Visualisieren (Vampir) Lizenz: GPL Mittlerweile der Standard für Tracing paralleler Anwendungen Wird am ZIH entwickelt Unterstützt PAPI Counter Scalasca Intel Thread Analyser 78/86 79/86 Optimierung/ Vampir I Optimierung / Vampir II 80/86 81/86

22 Analyse / Benchmarking Literatur I BenchIT Performance Meassurement for Scientific Applications. Als OpenSource verfügbar unter [DAAndyG08] Andy Georgi Diplomarbeit: Untersuchung ausgewählter Netzwerk-Technologien TU Dresden / ZIH 2008 [TaschInf] Uwe Schneider, Dieter Werner Taschenbuch der Informatik Fachbuchverlag Leipzig ISBN [BlueGen] Blue Gene Website pages/bluegene.index.html 82/86 83/86 Literatur II Literatur III [THoeffIBR08] T. Hoefler and T. Schneider and A. Lumsdaine Multistage Switches are not Crossbars: Effects of Static Routing in High-Performance Networks Proceedings of the 2008 IEEE International Conference on Cluster Computing ISBN [ZIHPubl] Diplomarbeiten, PhD Thesis, Studienarbeiten am ZIH [Myri10GE] [MellnxIBPerf] http: //mellanox.com/content/pages.php?pg=performance_infiniband [CC08] Cluster Challenge 08: Optimizing Cluster Configuration and Applications to Maximize Power Efficiency J. Müller, T. Schneider, J. Domke, R. Geyer, M. Häsing, T. Hoefler, St. Höhlig, G. Juckeland, A. Lumsdaine, M. S. Müller, W. E. Nagel In Linux Cluster Institute Conference, 2009 [HennPattQA4] John L. Hennessy, David A. Patterson Computer Architecture, Fourth Edition: A Quantitative Approach Morgan Kaufmann 2006 ISBN [QsNetIIPerf] QsNetII Performance Results 84/86 85/86

23 Literatur IV [THoeffIC09] T. Hoefler and T. Schneider and A. Lumsdaine A Power-Aware, Application-Based, Performance Study Of Modern Commodity Cluster Interconnection Networks Proceedings of the 23rd IEEE International Parallel & Distributed Processing Symposium (IPDPS), CAC Workshop 86/86