High Performance Computing Cluster. Dr. Andreas Koch, Cluster Specialist

Transkript

1 High Performance Computing Cluster Dr. Andreas Koch, Cluster Specialist

2 INHALTSVERZEICHNIS 1 ABSTRACT EINFÜHRUNG STRUKTUR EINES HPC CLUSTERS EINLEITUNG GRUNDLEGENDER AUFBAU BETRIEBSARTEN Batchbetrieb Parallelbetrieb JOBVERWALTUNG UND KNOTENÜBERWACHUNG INSTALLATIONSVARIANTEN NETZWERKVARIANTEN DIMENSIONIERUNG DES FRONT END OPTIMALE KNOTENARCHITEKTUR BAUTECHNISCHE VARIANTEN BESCHAFFUNGSASPEKTE VOLLSTÄNDIGKEIT DER AUSSCHREIBUNG WARTUNGSFALL EXPANSION DES CLUSTERS EINSATZBEISPIELE FOLGERUNGEN UND AUSBLICK...20 Dieses Werk ist geistiges Eigentum der transtec AG. Es darf ohne Zustimmung des Autors und der transtec AG weder kopiert noch auszugsweise abgedruckt oder in einer anderen Form vervielfältigt werden. Alle in dieser Publikation enthaltenen Informationen wurden mit größter Sorgfalt zusammengestellt. Dennoch können fehlerhafte Angaben nicht völlig ausgeschlossen werden. Die transtec AG und der Autor haften nicht für etwaige Fehler und deren Folgen. Die in der Veröffentlichung verwendeten Soft- und Hardwarebezeichnungen sind häufig eingetragene Warenzeichen. Sie werden ohne Gewährleistung der freien Verwendbarkeit genutzt. Das Abdrucken von Waren- und Handelsnamen auf den folgenden Seiten berechtigt nicht zu der Annahme, diese Namen als frei im Sinne der Markenschutzgesetzgebung zu betrachten. transtec AG Seite 2 von 2

3 1 ABSTRACT Dieses Whitepaper gibt einen Überblick über High Performance Computing Clustersysteme (HPCC). Neben dem grundlegenden Aufbau wird auf die Einsatzfelder eingegangen, die Installationsvarianten werden erläutert, der Einfluss der verschiedenen Hardwarekomponenten wird beschrieben und es werden Abschätzungen zum Preis-/Leistungsverhältnis gegeben. Um dem Anwender die Anschaffung zu vereinfachen, werden im Folgenden alle Aspekte, die bei einer Dimensionierung zu beachten sind, ausführlich beschrieben. Mit Hilfe des Whitepapers soll der Grundstein für eine erfolgreiche Einführung von HPC Clustern gelegt werden. transtec AG Seite 3 von 3

4 2 EINFÜHRUNG Der Einsatz eines Großrechners wird üblicherweise aus drei Gründen erwogen: Das Problem ist auf Einzelsystemen aufgrund seiner Komplexität prinzipiell nicht lösbar Der Nutzer möchte das Ergebnis mit einer höheren Genauigkeit berechnet bekommen Der Anwender möchte Zeit sparen und schneller zum Ergebnis kommen Im HPC-Bereich sind klassischerweise Mainframelösungen anzutreffen, entweder als SMP (symmetric multi-processor) oder als MPP (massively parallel processing) Systeme. Diese bestehen aus unkompatibler Kleinserienhardware, die für den Einsatzzweck optimiert wurde und jeweils nur von einem einzigen Anbieter zu erhalten ist. Typisch für Big-Iron sind shared memory Architekturen, bei denen alle Prozessoren auf einen gemeinsamen Hauptspeicher zugreifen. Die Hardware ist flexibel in der Lage, verschiedene Betriebssysteme zu unterstützen. Vorteilhaft ist die transparent im Hintergrund laufende Lastverteilung, die ohne ein Eingreifen des Anwenders alle Ressourcen dynamisch verteilt. Der Anwender nimmt den Mainframe nicht als Ganzes wahr, sondern sieht lediglich den für ihn gestarteten Task. Im Gegensatz dazu besteht eine HPC Clusterlösung aus einer Vielzahl handelsüblicher Computersysteme, die nicht auf einen speziellen Einsatzzweck hin angepasst wurden (es handelt sich um COTS common-off-the-shelf Hardware). Der Ursprung der Idee geht zurück auf Forschungen von Thomas Sterling und Don Becker aus dem Jahr Die beiden Mitarbeiter des Center of Excellence der NASA suchten nach Alternativen, um höchste Rechenleistung zu erzielen, und verfolgten dabei die Strategie divide and conquer. Das Ergebnis ihrer Untersuchungen ist auch unter dem Namen Beowulf- Cluster bekannt geworden. Typisch sind distributed memory Strukturen, bei denen der Hauptspeicher dezentral in den einzelnen Knoten zu finden ist und nur von der lokalen CPU angesprochen wird. Gesteuert wird der Cluster von mindestens einem Verwaltungsrechner, der dem Nutzer die Leistung des Systems mit Hilfe von Zusatzprogrammen zur Verfügung stellt. Die Vorteile einer Clusterlösung im Vergleich zur Mainframetechnik sind deutlich besseres Preis-/Leistungsverhältnis sehr gute Skalierbarkeit einfache Administration niedrige Servicekosten alternative Einsatzmöglichkeiten ausgemusterter Hardware transtec AG Seite 4 von 4

5 Die immer wieder erwähnte hohe Ausfallsicherheit ist beim Mainframe mindestens ebenso gegeben. Durch doppelt ausgelegte Instructions- und Execution-Baugruppen wird darüberhinaus das Ergebnis stets zweimal unabhängig voneinander berechnet. Neben dem sehr guten Preis-/Leistungsverhältnis ist speziell die einfache Erweiterbarkeit bei geringem Anfangsbudget ein typischer Anschaffungsgrund. Der Administrator kann mit einem Teil seines jährlichen Budgets periodisch weitere Ausbaustufen zukaufen, ohne ältere Teile der Investition abschreiben zu müssen. Der Anteil von HPC-Clustern im Bereich der leistungsstärksten Computersysteme nimmt stetig zu. Dies zeigt beispielsweise die Entwicklung der top500-liste mit der Übersicht der schnellsten Rechner der Erde. Lag der Anteil der Cluster im 1. Halbjahr 2000 noch bei 2%, so sind es im 1. Halbjahr 2003 bereits 30%. transtec AG Seite 5 von 5

6 3 STRUKTUR EINES HPC CLUSTERS 3.1 Einleitung Aus der Sicht des Anwenders besteht ein Cluster aus einer Softwareschnittstelle, die seine Applikation auf die Ressourcen verteilt. Diese auch Middleware genannten Programme setzen auf dem Betriebssystem auf. Über ein dediziertes Netzwerk werden die Rechenjobs dann auf die Prozessoren verteilt. In der Folge werden wir auf die einzelnen Aspekte eingehen, die bei der Beschaffung zu berücksichtigen sind. Abb. 1: Prinzipieller Aufbau eines HPC Clustersystems 3.2 Grundlegender Aufbau Ein HPC Cluster besteht im Prinzip aus einer Vielzahl meist baugleicher Rechenknoten und einem oder mehreren Zugangsrechnern. In der Regel kommt preiswerte Computerhardware aus dem IA32 Bereich zum Einsatz, wie sie aus dem Bereich der Personalcomputer bekannt ist. Die Anzahl der Knoten liegt in der Praxis bei 8 bis 256, sie kann durchaus aber auch in die Tausende gehen. Die Zugangsrechner werden als Front End, Server Node oder Head Node bezeichnet, die Rechenknoten sind entsprechend Compute Nodes. transtec AG Seite 6 von 6

7 In Einzelfällen kann auch einer der Knotenrechner die Rolle des Front End mitübernehmen ( Spielertrainer ). Allerdings ist dies nur bei kleinen Anlagen zu empfehlen, und der Cluster sollte nur im Batchbetrieb (vgl. nachfolgender Absatz) genutzt werden. 3.3 Betriebsarten Ein Cluster kann sowohl im Batch- als auch im Parallelbetrieb eingesetzt werden Batchbetrieb Im ersten Fall läuft auf allen Knoten das gleiche Programm. Vom Front End werden unterschiedliche Aufgaben oder Startwerte an die Knoten geliefert. Nach der Bearbeitung gehen die Ergebnisse zurück zum Front End, welches diese nach einer kurzen Plausibilitätsprüfung archiviert und ggf. in die richtige Reihenfolge bringt. Sofort nach dem Ergebniseingang wird die nächste Aufgabe verschickt. Ein Beispiel für diesen Betriebsmodus ist die Berechnung einer Filmsequenz (Rendering Farm). Auf allen Nodes läuft zur Bildberechnung der gleiche Raytracer, aber jeder einzelne Knoten berechnet ein anderes, vollständiges Teilbild. Die Dauer der Berechnung für ein Einzelbild ist durchaus von dessen Informationsfülle abhängig, so dass die Ergebnisse nicht unbedingt in der benötigten Reihenfolge eingehen. Die Sortierung und Speicherung in der korrekten Abfolge übernimmt das Front End Parallelbetrieb Im Parallelbetrieb rechnen die Compute Nodes gleichzeitig an einem gemeinsamen Endergebnis. Um das Beispiel des Raytracings wieder aufzunehmen wäre es beispielsweise denkbar, dass in einem Cluster mit 4 Knoten der erste den Bildinhalt des linken oberen Quadranten berechnet, der zweite den des rechten oberen, etc. In diesem Fall gibt es einige Flächenbereiche, die von mehreren Knoten kalkuliert werden. Hier muss eine Abstimmung vorgenommen werden, die Daten müssen synchronisiert werden. Andernfalls sind in dem genannten Beispiel im Übergangsbereich von einem Teilbild zum nächsten Artefakte zu sehen, die einer Narbenbildung ähneln. Der Einsatz eines Clusters im Parallelbetrieb erfordert besondere technische Voraussetzungen, auf die noch ausführlicher eingegangen wird. Weiteren Beispielen zu den Einsatzbereichen widmet sich das Kapitel 4. Eine deutliche Leistungssteigerung in beiden Betriebsarten kann häufig durch den Einsatz von angepassten Compilern erzielt werden. Daher sollten verschiedene Compileralternativen in ihrer Leistungsfähigkeit verglichen werden. Nach Möglichkeit ist der Einsatz der vom Prozessorhersteller auf die Architektur optimierten Compiler vorzusehen. transtec AG Seite 7 von 7

8 3.4 Jobverwaltung und Knotenüberwachung Der Zugangsrechner steuert den Betrieb der Knoten. Nur dieser hat direkten Kontakt zum restlichen Netzwerk. Ein Nutzer loggt sich, meist remote, lediglich auf dem Front End ein. Den Rechenknoten werden üblicherweise IP Adressen aus dem privaten Bereich zugewiesen. Ein kontrollierender Eingriff ist nur dem Administrator über das Front End möglich. Die Versorgung der Compute Nodes mit Jobs erfolgt über ein Queuingsystem. Die Aufträge werden von den Usern in die Warteschlange eingestellt und nach und nach automatisch von dem System abgearbeitet. Hierbei können vom Administrator Präferenzen vergeben werden. Beispielsweise kann den Nutzern die Maximalzahl der Knoten limitiert werden. Oder er kann Zeitfenster vergeben, in denen einige Knoten für interaktive Jobs reserviert sind. Typische Queuingsysteme sind OpenPBS oder Sun GridEngine. 1 Fällt ein Knoten aus, wird die letzte, nicht mehr berechnete Aufgabe an einen anderen Knoten geschickt und der Administrator erhält per eine Rückmeldung über den Ausfall. Die Betriebsparameter der Knoten wie Temperaturwerte, Lüfterdrehzahlen oder Betriebsspannungen werden mit Hilfe von Modulen wie LMSensors erfasst und weiterverarbeitet. Gegebenenfalls können so Maßnahmen zur vorbeugenden Wartung eingeleitet werden. 3.5 Installationsvarianten Auch bei der Einrichtung und Konfiguration des Betriebssystems auf dem Cluster können verschiedene Wege gewählt werden. Diese werden durch den notwendigen Wissensstand des Administrators oder die Flexibilität in der Nutzbarkeit beeinflusst. In allen Fällen werden auf dem Front End zur Ressourcenfestlegung die MAC Adressen der verfügbaren Knoten in einer Look Up Table hinterlegt. Die klassische Version ist die lokale Installation des Betriebssystems sowohl auf dem Front End als auch auf den Knoten. Das Verfahren ist relativ einfach und daher auch ohne größeres Fachwissen durchzuführen. Nachteilig ist bei dieser Lösung der enorme Verwaltungsaufwand. Soll beispielsweise das Betriebssystem gepflegt werden, ist der Kernelupdate einzeln auf allen Knoten durchzuführen. 1 Der Begriff Gridcomputing im Vergleich dazu bezieht sich auf das dezentrale, verteilte Rechnen auf Einzelplatzsystemen oder sogar ganzen Rechenzentren, die von ihren Usern in Leerlaufzeiten zur Verfügung gestellt werden. In der Gesamtleistung können auch diese Cluster große Werte erreichen. Ein typisches Beispiel hierfür ist das Projekt Seti@home. Mit dem Boinc Programm (Berkely Open Infrastructure for Networking Computing) werden diese Ressourcen noch vollständiger genutzt werden. transtec AG Seite 8 von 8

9 Eine Lösung hierfür ist das Boot-from-LAN Konzept. Hierbei werden die jeweiligen Images auf dem Front End abgelegt, welche beim Booten über die Netzwerkkarte geladen werden. Der Compute Node muss dazu lediglich PXE-fähig sein (PXE = Pre- Execution Environment). Die örtliche Festplatte dient in der Folge nur noch zum Auslagern von Zwischenergebnissen. Hierfür kann bereits eine IDE Festplatte von 40 GB genügen. Werden erhöhte Performanceansprüche beim örtlichen Datenauslagern (Scratchen) erwartet, sind zwei Festplatten im RAID 0 eine preiswerte Lösung, oder es ist eine schnelldrehende SCSI Festplatte einzuplanen. Eine weitere Optimierung der Installation erzielt man durch die permanente Ablage des Betriebssystems nach dem Booten im RAM. Hiermit wird unnötiger Netzwerktraffic vermieden, der zu einem Datenengpass im LAN führen könnte. In der Praxis kann leicht auf ein örtliches CDROM oder FDD verzichtet werden, auch falls einer lokalen Installation auf den Knoten der Vorzug gegeben wurde. Jede Softwareergänzung ist leicht über die entsprechenden Laufwerke des Front End möglich. Sogar die Kontrolle des Knotenstatus auf einem Monitor, der üblicherweise über einen KVM (Keyboard-Video-Mouse) Switch angeschlossen wird, und somit auch die Graphikkarte, können entfallen. Hier gibt es alternativ preiswertere Lösungen über die RS 232 Schnittstelle, entweder über einen Terminalserver, oder einfach mit Hilfe eines Null-Modem Kabels. Typischerweise werden Cluster mit Linux betrieben. Der Einsatz von Windows 2000 Server ist unüblich und erfordert eine spezielle MPI Erweiterung (vgl. Microsoft hat aus dem Erfolg der HPC Cluster gelernt und in Windows 2003 Server den HPC-Betrieb besser unterstützt. Die Wahl der Linuxdistribution hängt von den Präferenzen des Administrators ab. RedHat hat den größten Marktanteil aufzuweisen, SuSE ist im europäischen Raum der Marktführer und weit verbreitet, Debian wird sicher mit dem stabilsten Kernel ausgeliefert. Die Einsparungen, die durch den Einsatz eines Clusters an Stelle eines Mainframe realisiert werden können, sind auch auf das sehr viel günstigere Betriebssystem zurückzuführen. Die Kosten einer RedHat Linux-Version für eine IBM S/390 liegen beispielsweise bei rund $ pro CPU (zzgl. der Kosten für die Installation). Im Vergleich dazu kostet ein Standard RedHat unter 200 $. Für den grundlegenden Betrieb eines Clusters sind darüber hinaus frei verfügbare Open Source Pakete ausreichend. Selbstverständlich ist aber auch eine große Zahl kommerzieller Programme am Markt verfügbar. Auf die einzelnen Softwarepakete, die bei einer Clusterinstallation zu berücksichtigen sind, wird in einer getrennten Publikation eingegangen. transtec AG Seite 9 von 9

10 3.6 Netzwerkvarianten Das Netzwerk, das die einzelnen Compute Nodes verbindet, wird bestimmt von der Applikation, die auf dem Cluster laufen soll. Findet nur wenig Datenaustausch statt, so ist eine Fast Ethernet Vernetzung (max. Bandbreite 100 Mbit/s) durchaus noch ausreichend. Dies trifft beispielsweise auf ein Programm zu, das im Batchbetrieb den Knoten ein Set an Startparametern liefert, und nach einigen Minuten oder Stunden ein Ergebnis im Umfang von mehreren DIN A4 Seiten zurückschickt. Die Gefahr, dass aufgrund einer Überlastung des Netzwerks über längere Zeit ein Compute Node keine neuen Startwerte erhält und damit ungenutzt bleibt, ist hier auch bei einer großen Knotenanzahl nicht gegeben. Eine Applikation, die diese Struktur aufweist, nennt man auch grobkörnig. Ist diese Voraussetzung nicht sicherzustellen, oder soll der Cluster mehr als ansatzweise im Parallelbetrieb genutzt werden, ist mindestens eine Gigabit Ethernet (1 Gbit/s) Vernetzung vorzusehen. Aufgrund der niedrigen Kosten für diese Technologie sollte eine Clusteranschaffung in der Regel hiermit durchkalkuliert werden. Neben der reinen Hardware spielt beim Datenaustausch speziell auch das auf sie aufsetzende Protokoll eine große Rolle. Das bei Ethernet klassisch verwendete TCP/IP ist zwar weit verbreitet und perfekt standardisiert. Die Latenz liegt jedoch unmodifiziert bei 80 µs. Durch Eingriffe in den TCP/IP Stack kann aber bereits mit Gigabit Ethernet eine Latenz von weniger als 30 µs erreicht werden. Der Einsatz anderer Protokolle erfordert allerdings die Neucompilierung der Programme unter Berücksichtigung der korrellierenden Bibliotheken. Eine Myrinet Vernetzung ist im Punkt der Bandbreite mit 2 GBit/s nicht wesentlich schneller. Aufgrund der um ein Mehrfaches niedrigeren Latenzzeit unter Verwendung des rein proprietären GM Protokolls (Grand Message), das ideal auf die darunterliegende Hardware angepasst ist, wird allerdings der effektive Datendurchsatz gerade bei der Übertragung kleinerer Blöcke sehr viel höher. Als Anhaltspunkt liegen die Mehrkosten für eine Myrinet Vernetzung immer in der Größenordnung des Knotenpreises. Vergleichbare Netzwerkleistungen sind alternativ auch mit einem Scalable Coherent Interface (SCI) wie dem Dolphin SCI Adapter möglich. Eine weitere schnelle Netzwerktechnik, die speziell im Höchstleistungsbereich aufgrund der geringsten Latenz bei kleinen Paketgrößen eingesetzt wird, sind Quadrics QsNet Netzwerkadapter. Von den weltweit zehn schnellsten Systemen verwenden sechs dieses Inferface. transtec AG Seite 10 von 10

11 Interconnect Latenz [µs] Bandbreite [MByte/s] Kosten pro Port Fast Ethernet 100Base-T Gigabit Ethernet 1000Base-T Myrinet Dolphin SCI Quadrics QsNet InfiniBand 4x Tab. 1: Latenz und Bandbreite im Überblick bei vergleichbarer Paketgröße (64 Byte bei der Latenz, 64 kb bei der Bandbreite). Die Kosten pro Port (in ) enthalten die anteiligen Investitionen für den Switch sowie die Verkabelung. Sie sollen nur einen relativen Anhaltspunkt geben und wurden daher gerundet. Langfristig ist aber schon die nächste Steigerung der Memorytransferraten absehbar. Um in einem Dual Opteron oder Itanium Cluster unter vergleichbaren Umständen keinen Flaschenhals im Netzwerkbereich aufzubauen, kann der Einsatz von InfiniBand notwendig werden. Die maximalen Datentransferraten liegen derzeit bei 10 GBit/s bei 4x Infiniband, erwartet werden bis zu 30 GBit/s mit 12x InfiniBand bis Ende Die Latenz konnte zwar bei kleinen Paketen nicht weiter verringert werden, bei Großen liegt sie aber maximal bei der Hälfte des besten bisher erreichten Wertes. 2 Welche Netzwerktechnik eingesetzt werden sollte, hängt wie beschrieben von der vorgesehenen Applikation ab. Daher sollte vor der Beschaffung der Einsatzbereich vom Administrator mit den Usern abgestimmt werden. Soll eine Applikation im Parallelbetrieb laufen, ist zu klären, ob diese in der vorliegenden Version bereits lauffähig ist, eine parallelisierte Version möglicherweise beim Softwarehersteller nachgekauft werden kann, oder unter welchen Umständen eine selbstentwickelte Applikation parallelisiert werden kann. Gerne sind die Spezialisten des transtec Competence Centers bereit, bei der Klärung dieser Fragen behilflich zu sein. Ein extremer Knotenausbau zur Leistungssteigerung im Parallelbetrieb ist aber in aller Regel sinnlos. In Abhängigkeit vom Grad der Parallelisierung ist der Speedup, also der Zugewinn an Leistung, sehr gering. Erreicht der Cluster beispielsweise bei 10 Knoten die neunfache Geschwindigkeit eines einzelnen Knotens, hat der Speedup den Faktor 9. Die gleiche Applikation würde beim Einsatz von 100 Knoten nur die 48-fache Einzelknotengeschwindigkeit erreichen. Der Leistungszuwachs kommt stets in eine Sättigung, wie sie in Abb. 2 für das genannte Beispiel wiedergegeben ist (α, der Anteil des sequentiellen Teils der Beispielapplikation, wurde mit 1% angenommen). Der für alle Knoten identische Verwaltungsanteil entscheidet also über die Maximalgeschwindigkeit. 2 In einigen Hochleistungsbereichen hat sich die Technik bereits etabliert. Der Marktführer Mellanox konnte bereits in Q3/ 03 die Auslieferung des ten Ports melden. transtec AG Seite 11 von 11

12 Abb. 2: Abhängigkeit des Leistungszuwachses von der Knotenanzahl P bei α=0, Dimensionierung des Front End Die Aufgabe des Front End ist neben der optimalen Nutzung der Knotenrechner auch die Archivierung der Ergebnisse. Daher sollte das Storagesubsystem zumindest als IDE RAID im Level 5 ausgeführt sein. 3 Das Front End ist verschiedentlich gegen einen vollständigen Ausfall abzusichern. Sicherlich sollte eine Bootfestplatte im RAID 1 vorgesehen werden. Eine Backuplösung ist zu ergänzen, wenn dieser Dienst nicht über eine zentrale Einrichtung des Rechenzentrums angeboten wird. Neben einem redundanten Netzteil sollte eine vorgeschaltete USV einen Datenverlust vermeiden. Wenn das Front End ausfällt werden keine neuen Aufträge vergeben und die Resultate werden den Knoten nicht mehr abgenommen. Damit steht in kurzer Zeit der gesamte Cluster. Daher ist es bei größeren Anlagen sinnvoll, den Zugangsrechner als HA Cluster auszuführen (High Avalibiltiy Clustern ist ein anderers White Paper der transtec AG gewidmet). Sind beide Systeme aktiv, können die Aufgaben im Zuge eines Load Balancing sinnvoll verteilt werden. Beispielsweise kann der eine als Storage und User Head eingesetzt werden, der als NFS Server dient, eine Firewall beinhaltet und darüber hinaus den Cluster ins Web abbildet. Der zweite wäre entsprechend für die Netzwerkservices des Clusters zuständig (DHCP, DNS, NTP, NIS), er würde die Konfigurationen der einzelnen Knoten speichern und die Betriebszustände der Compute 3 Eine preiswerte Lösung ist hier das transtec 5016 SCSI-to-IDE RAID System. Beim Einsatz von 16 Festplatten à 300 GB sind mehr als 4 TB redundant im RAID 5 abzulegen. transtec AG Seite 12 von 12

13 Nodes überwachen. Eine Installation von Programmen, die auf dem Cluster laufen sollen, würde über ihn vorgenommen. 3.8 Optimale Knotenarchitektur Eine andere Frage ist die der optimalen Prozessorarchitektur für die jeweilige Applikation. Hier kann der User in der Regel Erfahrungen vom Einsatz auf einzelnen Arbeitsplätzen vorweisen. Die Vor- und Nachteile können prinzipiell auf einen Cluster aus baugleichen Knoten übertragen werden. Sofern keine Erfahrungen vorliegen, sollten diese gerade bei einer größeren Anschaffung experimentell beschafft werden. Zu testen sind neben Dual Athlon und Dual Xeon Umgebungen durchaus auch Single P4/RIMM Systeme und selbstverständlich Dual Opteron und Dual Itanium Lösungen. Idealerweise verfügen die Testcluster über alle zur Verfügung stehenden Vernetzungen, die einfach softwaremäßig zu aktivieren sind. Als Mindestcluster sind jeweils zwei gleiche Knoten vorzusehen. Das Ziel der Untersuchung ist die Auffindung des Preis-/Leistungsminimums für die betreffende Applikation. Alternativ sollte das Ergebnis mit Hilfe eines Clusterkonfigurators auf mathematischer Basis überprüft werden. Ein Auslagern von Daten aus dem Hauptspeicher auf die Festplatte (Swappen) ist in jedem Fall zu verhindern. Der Arbeitsspeicher der Knoten muß daher immer ausreichend dimensioniert werden. 3.9 Bautechnische Varianten Die Gehäusebauform kann sowohl der klassische Miditower als auch eine 19 Rackmountversion sein. Der Vorteil des Miditowers ist allein der günstige Preis. Sofern der Platz vorhanden ist und eine leistungsfähige Kühlung gewährleistet ist, kann ein Aufstellung in einfachen Regalen erfolgen. Durch den Einsatz von 19 Gehäuselösungen ist die Packungsdichte von etwa 0,5 CPU/1 HE bei Miditowern auf bis zu 2 CPU/1 HE zu steigern. Darüber hinaus kann beim Einsatz entsprechender Lüftungseinrichtungen die Systemtemperatur auch beim obersten Knoten bis zu 10 C unter der einer offenen Regallösung gehalten werden. Für die Berechung des notwendigen Luftaustauschs ist in guter Näherung die Beziehung Luftstrom = 3 * Knotentemperatur Knotenabwärme Ansauglufttemperatur heranzuziehen. transtec AG Seite 13 von 13

14 Eine weitere Steigerung der Leistungsdichte ist durch die Verwendung von Bladesystemen möglich. Hier sind bis zu 4 CPU/1 HE möglich 4. Zusätzlich verbessert die senkrechte Montage der Blades die Kühlungleistung. Durch die gemeinsame Nutzung zentraler Infrastrukturelemente ist ein Cluster auf Bladebasis bei hohen Zuverlässigkeitsanforderungen und einer großen Knotenanzahl wirtschaftlicher als eine übliche 19 Rackmountlösung. Die Abwärme eines Clusters sollte nicht unterschätzt werden. Leicht können hier mehrere kw Wärmeleistung erreicht werden 5. Diese Wärme, die inzwischen für die Beheizung eines Reihenhauses nach dem Niedrigenergiestandard ausreicht, entsteht auf einer Fläche von unter 1 m². In aller Regel ist daher für den professionellen Einsatz eine entsprechend dimensionierte Klimaanlage vorzusehen. 4 Berechnungsbeispiel ist das transtec RLX BladeRack 5 Speziell bei Dual Xeon Systemen ist der große Unterschied zwischen Idle-Mode und Volllast zu berücksichtigen. transtec AG Seite 14 von 14

15 4 BESCHAFFUNGSASPEKTE 4.1 Vollständigkeit der Ausschreibung Ein Cluster sollte schon in der Anschaffungsphase als Lösung verstanden werden. Die Lieferung einer Anzahl einzelverpackter Knoten zum Selbstaufbau ist nur versierten Nutzern zu empfehlen. Die Ausschreibung sollte daher neben einem ausführlichen Dauertest über bis zu einer Woche im Auslieferzustand auch die Anlieferung frei Haus, die Montage vor Ort mit der Übergabe des Systems und eine Einweisung in die Nutzung enthalten. Sinnvoll ist auch eine Unterstützung bei der Einrichtung der gewünschten Applikation auf dem Cluster, idealerweise bereits vor dem Dauertest. 4.2 Wartungsfall Die Wartung im Schadensfall ist dagegen sehr viel leichter durch den Administrator vorzunehmen. Da alle Knoten in der Regel baugleich sind, können einfache Defekte wie beispielsweise der Ersatz eines defekten Lüfters, eines Speichers, der Festplatte oder des Netzteils mit Hilfe eines Standard Ersatzteilkits vorgenommen werden. Nur bei erhöhten Anforderungen sollte an die Anschaffung eines Ersatzknotens oder gar einen Express Vor-Ort Service nachgedacht werden. Der Ausfall eines Knotens fällt bei einer größeren Knotenanzahl in der Regel nicht ins Gewicht. Eine Ausnahme hiervon bilden einige Applikationen, die ein Vielfaches der Standardknotenanzahl (typischerweise 8) benötigen, um effizient im Parallelbetrieb zu laufen. 4.3 Expansion des Clusters Ein großer Vorteil eines High Performance Computers auf Clusterbasis ist die hervorragende Skalierbarkeit. Relativ problemlos kann zu einem späteren Zeitpunkt ein Ausbau zur Leistungssteigerung vorgenommen werden. Zusätzliche Knoten müssen nicht einmal zwingend die gleiche Performance aufweisen. Bei einem im Batchbetrieb genutzten System wird die native Mehrleistung verlustlos integriert. Im Parallelbetrieb wird ein schnellerer Knoten in der Praxis nicht mit der vollen Leistung, sondern lediglich mit der Effektivgeschwindigkeit arbeiten, die der langsamste Knoten der Anlage aufweist. In der Praxis wird der Administrator in diesem Fall daher eher Subcluster definieren, die in sich einheitlich in der Leistung sind. Es ist sinnvoll, bei einem sicher geplanten Ausbau die Infrastrukur bereits auf die zukünftige Knotenzahl auszulegen. Dies kann zur Reduktion der ersten Anschaffungskosten beispielsweise durch die Beschaffung von modularen Switchen vorgesehen werden, die später nur durch weitere Einschübe erweitert werden, aber keinen Engpass im Backbone aufbauen. transtec AG Seite 15 von 15

16 Die Verbesserung in der Netzwerkperformance kann meist auch nachträglich erreicht werden, sofern die Steckplätze vorhanden sind. Bei der Anschaffung des Clusters sollte lediglich darauf geachtet werden, dass die Mehrleistung, die beispielsweise eine Myrinet Netzwerkkarte vom Netzteil fordert, schon berücksichtigt wird. transtec AG Seite 16 von 16

17 5 EINSATZBEISPIELE HPC Cluster werden inzwischen in einem breiten Rahmen eingesetzt. Der klassische Einsatz als Numbercruncher im Parallelbetrieb spielt dabei in der Praxis eine sehr viel geringere Rolle als erwartet. Tatsächlich läuft die Mehrzahl der Clustersysteme im Batchbetrieb. Dies ist darauf zurückzuführen, dass damit eine Investition in teure Netzwerkadapter unterbleiben kann, und lediglich Gigabit-Ethernetschnittstellen nötig werden. Darüberhinaus kann die beschriebene Anpassung der Applikation auf den Parallelbetrieb unterbleiben. Diese ist bei kommerziellen Programmen teilweise sehr kostspielig, oder bei selbst programmierten Applikationen (Inhouse-Code) oft nur mit hohem Einsatz möglich. Die üblicherweise durch den Einsatz eines Clusters oder Mainframe in der Leistung zu steigernden Applikationen haben eine Sequenz als Ergebnis. In der Mehrzahl der Fälle mit sequenziellen Daten zeigt deren Wiedergabe ein dreidimensionales Ergebnis mit der Zeit als dritten Dimension. Es wird also der Verlauf oder die Änderung eines Zustands dokumentiert und im Ablauf verständlich gemacht. Typische Beispiele hierfür sind: Crashtestsimulation Darstellung der Kaltverformung Strömungsberechnung Darstellung von Verwirbelungen Schwingungsberechnung Analyse von Struktureigenschaften Festigkeitsanalysen Untersuchungen zur Materialermüdung Seismische Auswertungen Darstellung von Verschiebungen Bahnberechnungen Wiedergabe beispielsweise einer Flugbahn Meteorologie Wetterentwicklung im Zeitverlauf 3D-Animation Räumliche Objektdarstellung z.b. eines Moleküls Astronomische Berechnungen Simulation von Entwicklungen im Weltall Neubauplanung Virtuellerer Rundgang durch einen Neubau Rendering farm Erstellung einer Filmsequenz Um eine Applikation für den Einsatz im Batchbetrieb anzupassen, ist lediglich eine Unterteilung des Resultats in Einzelbilder vorzunehmen, die in einer definierten Reihenfolge erzeugt werden. Üblicherweise geschieht dies automatisch bei Software- Applikationen, da die Schleifenbildung ein Kernelement der Programmierung darstellt. Auf diese Art und Weise werden große Probleme in kleine, leichter abzuarbeitende Tasks unterteilt. Dass die Teilergebnisse im Cluster von unterschiedlichen CPUs berechnet werden, ist für die Applikation ohne Bedeutung. transtec AG Seite 17 von 17

18 Weitere Applikationen, bei denen Problemstellungen in einer Schleife bearbeitet werden, haben als Ziel die Variantenbildung (Stochastik). Hierbei möchte der Nutzer eine größere Sicherheit in die Zuverlässigkeit der gewonnenen Aussage bringen. Wird beispielsweise ein Crashtest bei einem Autohersteller softwaregestützt nachgebildet, und kommt diese Berechnung zu einem anderen Ergebnis als dem experimentellen, muss der Grund für die Abweichung gefunden werden. Denkbar wäre z.b. ein Fehler im mathematischen Modell. Dies würde alle bisher erhaltenen Werte in Frage stellen. Alternativ könnte auch eine Abweichung bei der Produktion der Karosserie aus der Vorserie im Vergleich zur späteren Serie in Frage kommen 6. Häufig liegt die Ursache allerdings bei nicht reproduzierbaren experimentellen Parametern für das Experiment. Beispielsweise weicht die Aufprallgeschwindigkeit leicht vom Referenzwert ab, oder der Offset beim Aufprall auf die Crashbarriere stimmt nicht exakt mit der Vorgabe überein. In diesem Fall wird der Administrator einfach eine Anzahl von leicht variierenden Startparametern definieren. Das Problem wird dann mit diesen in einer großen Zahl mehrfach gelöst. Als Resultat erhält man eine Vielzahl sich ähnlich sehender Ergebnisse, von denen dann eines mit dem Experiment übereinstimmt. Weitere Beispiele, bei denen die Problemstellung ganz allgemein in einer Schleifenbildung bearbeitet werden kann und die so für den Batchbetrieb gut geeignet sind: Bauteiloptimierung Materialeinsparung mit CAD/CAM Arzneimittelforschung Strukturanalyse Gentechnik DNA Mapping Wirtschaftswissenschaft und Banken Datamining Versicherungsgewerbe Risikoanalyse Wissenschaftliche Analysen Monte Carlo Simulationen Schach Variantenberechnung Bislang sind in der deutschen Industrie mit Stand vom Mai 2003 rund Clusterprozessoren im Einsatz. In Abb. 2 ist eine allgemeine Übersicht zur Branchenverteilung zu finden. Die große Mehrzahl der Prozessoren wird demnach im KFZ Bereich eingesetzt. 6 Beispielsweise wurden die handgedengelten Bleche etwas zu dünn ausgezogen. transtec AG Seite 18 von 18

19 Einsatz von Clusterprozessoren in der deutschen Industrie Automobilindustrie Biowissenschaft Chipindustrie Luftfahrtindustrie Automobilindustrie Automobilindustrie Zulief. Automobilindustrie Automobilindustrie Automobilindustrie Biowissenschaft Luft- und Raumfahrt Chipindustrie Automobilindustrie Produktion Zulief. Automobilindustrie Biowissenschaft Biowissenschaft Softwareindustrie Softwareindustrie Automobilindustrie Abb. 2: Marktanalyse - Einsatz von HPC Clusterprozessoren in der deutschen Industrie in verschiedenen Firmen, Quelle transtec AG Seite 19 von 19

20 6 FOLGERUNGEN UND AUSBLICK Die Wurzeln der HPC Cluster liegen im wissenschaftlichen Umfeld. Die Einrichtung, Pflege und Weiterentwicklung erforderte einen regelmäßigen Personaleinsatz, der für gewerbliche Anwender unakzeptabel war. Über diesen Punkt ist die Clustertechnologie mittlerweile hinausgekommen. Die Systeme haben ihr Bastelimage abgelegt und sind zuverlässige und preiswerte Alternativen zu klassischen Mainframes geworden. Auch in der Industrie haben diese Lösungen inzwischen breite Akzeptanz erfahren. Und die HPC Clustertechnologie macht es dem Nutzer häufig überhaupt erst möglich, an die Anschaffung eines eigenen Großrechners zu denken, statt wie bislang üblich die Rechenzeit auf einer externen Anlage zuzukaufen. Durch die stetige Weiterentwicklung der IA32 Architektur sind GFlop-Anlagen zu sehr geringen Preisen zu erhalten, und TFlop-Systeme sind in Reichweite. Die Kosten pro GigaFlop/s liegen inzwischen in der Größenordnung von 500. Eine vergleichbare Rechenleistung ist bei Mainframes bis zu 10x teurer. Trotz der inzwischen vergleichsweise einfachen Installation wird für den Aufbau eines Clusters nach wie vor sehr viel Fachwissen benötigt. Neben der Kenntnis der Applikation ist umfangreiches Netzwerkwissen und fundiertes Linux-Knowhow notwendig. Die Optimierung für den Einsatz erfordert darüber hinaus einen breiten Hardwarepool. Das Ziel sollte in der Regel die maximale Prozessorbelastung sein. Die aktuell erschienenen 64 Bit Prozessoren von AMD, die auch 32 Bit Code nativ ausführen können, werden in Clustern sicher weitreichende Verwendung finden. InfiniBand, die neue schnelle Netzwerktechnik mit dem offenen Standard, wird sehr schnell preislich attraktiv werden und einen Flaschenhals beim Interconnect verhindern. Weiterentwicklungen im Linux-Kernel und neue Zusatzpakete auf Open Source Basis werden die Effizienz verbessern und die Nutzbarkeit ausweiten. Für einige verbleibende Differenzierungsmerkmale zu Mainframes wie z.b. deren doppelt ausgelegten Instructions- und Execution-Baugruppen oder Reserveprozessoren im Standby werden vergleichbare Lösungen gefunden werden. Weitergehende Clusterseiten im WWW transtec AG Seite 20 von 20