Anwendungen für den Do-It-Yourself Superrechner. Alexander Spot

Transkript

1 Anwendungen für den Do-It-Yourself Superrechner Alexander Spot

2 Inhaltsverzeichnis 1 Einleitung Ungeeignete Anwendungen Geeignete Anwendungen Geschwindigkeitsgewinn Bestandteile eines Supercomputers Hardware Software Rechenintensive Anwendungen - lose gekoppelte Anwendungen Datenintensive Anwendungen - eng gekoppelte Anwendungen Do-It-Yourself Superrechner Hardware Software Anwendungen Internetclient Einsatz von Seti@Home Parallelisierbare Anwendungen Videobearbeitung Raytracing Videorendering Individuelle Anwendungen Messung des Geschwindigkeitsvorteils / Benchmarking Application Benchmarking System Level Benchmarking

3 1 Einleitung Zunächst ist festzustellen, welche Arten von Anwendungen von einen Supercomputer protieren können, ohne dass man zu viel in Hardware investiert, die dann aufgrund der falschen Auswahl nur zum Teil ausgelastet wären. Im Wesentlichen verantwortlich für eine sinnvolle Nutzbarkeit sind die implementierten Algorithmen und Methoden. Schaut man sich diese genauer an, so stellt man fest, dass es 2 Arten von Programmklassen gibt, die auftreten: 1.1 Ungeeignete Anwendungen Ungeeignete Anwendungen enthalten Algorithmen, die sich schlecht parallelisieren lassen. Deren Ablauf ist streng sequenziell, mit nur geringem Anteil an Parallelisierbarkeit. Im Allgemeinen sind das unter anderem Anwendungen, die häug auf Benutzereingaben warten, um ihre Aufgaben zu erledigen. Als Beispiel seien hier Oceapplikationen genannt. 1.2 Geeignete Anwendungen Geeignete Anwendungen enthalten Algorithmen, die gut parallelisierbar sind. D.h es lassen sich zur Lösung eines Problems deren Berechnungen unabhängig voneinander und nebenläug ausführen. Ein klassische Beispiel in der Mathematik stellt die Matrixmultiplikation dar Geschwindigkeitsgewinn Der Geschwindigkeitsgewinn hängt vom Grad der Parallelisierbarkeit der eingesetzten Algorithmen ab. Die Beschleunigung wächst mit der Anzahl der zur Verfügung stehender Recheneinheiten bzw. Prozessoren. Dabei ist es möglich eine super lineare Beschleunigung zu erlangen, d.h. die Beschleunigung steigt überproportional mit der Anzahl der Prozessoren. 2 Bestandteile eines Supercomputers 2.1 Hardware In aller Regel besteht ein heutiger Supercomputers aus einer Vielzahl leistungsstarker Prozessoren mit extrem viel Hauptspeicher. Verbunden werden diese Rechenknoten durch ein schnelles Netzwerk, das den Kommunikationsbedarf zwischen diesen bewältigen kann. Hier wird bevorzugt InniBand und/oder Myrinet eingesetzt. Ein weiterer wichtiger Punkt ist die angestrebte Ausfallsicherheit der Rechenknoten. Diese wird durch zahlreiche Überwachungsmaÿnahmen realliseren: Fällt eine Komponente aus, so wird der zuständige Administrator beispielsweise per darüber informiert, sodass er diese dann ersetzen kann. Ebenso wird die Wahrscheinlichkeit eines Stromausfalles der Computer durch eine zusätzliche unterbrechungsfreie Stromversorgung minimiert. 3

4 2.2 Software Hier nden sich im wesentliche 2 Arten von Softwaretyp, die im Folgenden erläutert werden Rechenintensive Anwendungen - lose gekoppelte Anwendungen Dieser Typ von Software wird auch lose gekoppelte genannt. Hierbei handelt es sich um Anwendungen, bei denen die Bearbeitungszeit der einzelnen Arbeitsschritte auf einem der Rechenknoten erheblich höher ist als der Transport der zu bearbeitenden Daten zu den jeweiligen Rechenknoten hin Datenintensive Anwendungen - eng gekoppelte Anwendungen Bei diesem Typ von Anwendungen verhält es sich genau umgekehrt. Dort dauert der Transport der zu bearbeitenden Daten zu den jeweiligen Rechenknoten erheblicher länger als die Bearbeitungszeit der Daten. Aus diesem Grund wird dieser Typ von Software auch eng gekoppelt genannt. 3 Do-It-Yourself Superrechner In diesem Abschnitt wird genauer untersucht, woraus der Do-It-Yourself-Computer besteht. Es wird festgestellt, welche Hardware vorhanden ist und welche Software sich konsequenterweise daraus am besten einsetzen lässt. Dabei wird angestrebt, die Idle-Zeiten einzelner Computer zu bündeln und zu nutzen. Zeiten, in denen der Computer nicht ausgelastet ist, wird also dem Do-It-Yourself- Computer zur Verfügung gestellt. 3.1 Hardware Der Do-It-Yourself-Supercomputer wird weitestgehend aus Poolraum.- und gegebenenfalls Arbeitsplatzcomputern bestehen, die mittels Fast-Ehternet verbunden sind. Wie schon erwähnt, werden diese Rechner aber nur dann genutzt, wenn diese nicht ausgelastet sind. Es wird allerdings keine spezielle Sicherung gegen Ausfall oder Ähnliches geben. Dies obliegt in der Verantwortung des jeweiligen Benutzers oder der für diese Rechner zuständigen Administratoren. Die Nutzer und Betreiber des Do-It-Yourself-Computer dürfen somit nur die brachliegende Rechenzeit nutzen. 3.2 Software Ausgehend aus der vorhandenen Hardware sind bei dem Do-It-Yourself-Computer nur rechenintensive Anwendungen sinnvoll, da einerseits das Netzwerk einen Flaschenhals für sehr groÿe Daten darstellt und anderseits Ausfallsicherheit nicht gegeben ist. So ist nicht gewährleistet, das jemand die Computer neu startet oder gar ausschaltet. Es gibt aber eine sehr gewichtige Einschränkung. So können nicht alle rechenintensiven Anwendungen auf dem Do-It-Yourself-Computer laufen: 4

5 Wird festgestellt, dass zwei Computer nicht ausgelastet sind, so könnte auf diese beiden Rechnern ein Programm gestartet werden, welches unbedingt miteinander kommunizieren muss. Das Programm muss also parallel auf diesen zwei Rechnern laufen. Dabei ist die Kommunikation zwischen den beiden Programmen nicht sehr hoch. Das Netzwerk kann den Datentransfer bewältigen. Nun geschieht es, dass einer der beiden der Rechner wird einem der lokalen Benutzern wieder angefordert wird, sprich der Nutzer komme beispielsweise aus seiner Pause wieder und möchte weiterarbeiten, ungestört durch das zuvor gestartete parallele Programm. Also wird das Programm auf diesem Rechner angehalten beziehungsweise unterbrochen, um nicht die Ressourcen für den lokalen Benutzer zu blockieren. Aber dadurch kann das Programm auf dem anderen freien Rechner nicht mehr weiterarbeiten, da es auf die Zwischenergebnisse vom dem unterbrochenen Programm angewiesen ist, um seine Berechnung weiter fortzuführen. Es muss also auch warten, obwohl noch genügt freie Rechenzeit auf seinem Computer zur Verfügung steht. Überträgt man dieses Szenario auf n Computer statt auf nur 2, so darf keiner diese n Rechner ausfallen. Ansonsten steht der komplette Superrechner still, obwohl doch nur ein Computer ausgefallen ist. Also würde der Do-It-Yourself-Supercomputer schon komplett ausfallen, wenn auch nur ein Rechner nicht mehr genutzt werden könnte. Daher ist es unbedingt erforderlich, dass die Berechnung der Daten in unabhängige Teile aufteilbar sind, die dann separat auf den Computer bearbeitet werden können, ohne das Kommunikation zwischen den Computern entsteht. Diese Arbeitspakete sollen somit dann unabhängig von einander an mehrere Computern verteilt und bearbeitet werden können. Dabei ist folgende Vorgehensweise erforderlich: 1. Splitte die Aufgabe in einzelne Teile auf. 2. Lasse die Teilaufgaben unabhängig auf mehreren Computer lösen. 3. Sammle die Teillösungen wieder ein. 4. Setze aus den Teillösungen das Gesamtergebnis zusammen. 4 Anwendungen In diesem Abschnitt werden Anwendungen betrachtet, die die im vorhergehendem Abschnitt beschriebene Struktur aufweisen beziehungsweise die in solcher einer Art und Weise betrieben werden können. 4.1 Internetclient Es gibt mehrere Internetprojekte, die sich desselben Prinzip bedienen, die freien Kapazitäten der Desktop-Computer von Endanwendern zu nutzen. Bekanntestes Beispiel sei hier der Internetclient von Seti@Home genannt. Da es erheblich mehrere Vertreter dieser Software gibt, wird zunächst der Einsatz von Seti@Home geschildert. Diese Vorgehensweise lässt sich dann auch leicht auf andere Projekte übertragen. Eine ausführliche Liste weiterer Projekte ndet man sowohl unter [1] als auch unter [2]. 5

6 4.1.1 Einsatz von Bei dem Einsatz von ist zu berücksichtigen, dass der Internetclient nach seinem Start standardmäÿig eine Verbindungen mit dem zentralen Server in Berkeley aufnimmt, um dort die zu bearbeitende Daten abzuholen. Werden nun mehrere dieser Clients auf Poolrechnern mit geringer Auslastung gestartet, verbinden sich somit alle diese Clients direkt mit dem Server in Berkeley, ohne dass der Do-It-Yourself-Supercomputer etwas mitbekommt. Ein Protokollieren, wie schnell der Supercomputer ist, wäre also nicht möglich. Daher ist es erforderlich, dass die Internetclients sich nicht direkt neue Daten von ihrem zentralen Server holt, sondern einen Umweg über einen Server gehen, der von dem Do-It- Yourself-Computer überwacht werden kann. Es ist ein Proxy-Server notwendig. Auf diese Weise kann festgestellt werden, dass der Internetclient mit der Berechnung seiner alten Daten fertig ist und nun neue anfordert. In diesem Szenario übernimmt der Do-It-Yourself-Supercomputer nur den Arbeitsschritt 2 auf der vorherigen Seite. Der Rest übernimmt der Server des Internetclients. Das Problem hierbei stellt sich dar, dass der Nutzer des Supercomputers nicht mehr das Gesamtergebnis seiner Berechnung sieht. Es sei denn, er stellt eine ähnliche Struktur auf, wie es die bisherigen Internetclients wie Seti@Home tun, wenn er es möchte und die brachliegende Rechenleistung als virtuellen Supercomputer nutzen will. 4.2 Parallelisierbare Anwendungen Im Allgemeinen lassen sich auch Anwendungen verwenden, die in erster Linie nicht für Superrechner gedacht sind, aber die sich durch die eingesetzten Algorithmen doch in einer parallelen Umgebung einsetzen lassen. Ein Beispiel wäre hier das Konvertieren von Videomaterial Videobearbeitung Bei der Videobearbeitung wird eine bestehende Videodatei überarbeitet, sei es dass ein Eekt angewandt wird, wie Aufhellen oder Spiegeln an einer Achse oder dass von einem Videoformat in ein anderes umgewandelt wird. Dazu übergibt der Benutzer dem Do-It-Yourself-Supercomputers die zu bearbeitenden Videodatei und das Programm, welches die Videobearbeitung übernehmen soll. Der Supercomputer teilt die Videodatei auf und verteilt sie mit dem Programm an Computer weiter, die gerade nicht ausgelastet sind. Dort bearbeitet das Programm ihren Teil des Videos. Ist es fertig, wird das Ergebnis wieder zurück an den Supercomputer geschickt, der die einzelnen Teilergebnisse zusammensetzt. Hierbei übernehmen die Programme avisplit, avimerge und transcode[3] die Arbeit des Aufteilens und des Zusammensetzten. Die Graphik 2 auf Seite 9 verdeutlicht diesen Vorgang Raytracing Beim Raytracing werden mittels einer Beschreibungssprache komplexe Bilder berechnet. Das populärste Programm ist hier Povray [4]. Mittels Kommandozeile lassen sich Teilbereiche berechnen, die später dann zu dem Gesamtbild zusammengesetzt werden. Ein Beispiel ist in Abbildung 1 auf der nächsten Seite zusehen 6

7 Abbildung 1: Povray Videorendering Anders als bei der Videobearbeitung liegt hier nicht das Video an sich vor zur Bearbeitung sondern es wird erst erzeugt. Dabei wird Bild für Bild mittels der oben erwähnten Beschreibungssprache berechnet. Es ist ein Leichtes, die einzelnen Bilder des Videos verteilt auf mehrere Computer zu berechnen und die separaten Bilder zu einem Video zusammenzufügen. Bei diesem Vorgang hilft ebenfalls das Programm transcode. 4.3 Individuelle Anwendungen Als weitere Möglichkeit besteht, sich eigene Anwendungen für den Do-It-Yourself- Computer zu schreiben, die die vordenierten speziellen Aufgaben lösen können. Ein Beispiel könnte die Suche nach einer sehr groÿen Primzahl sein. Dabei bekommt jeder Computer, der im Moment nicht ausgelastet wird, eine zufällig groÿe Zahl zum Test. Damit nicht eine Zahl mehrmals getestet wird, protokolliert der Do-It-Yourself-Computer, welche Zahlen schon getestet wurde und welche noch nicht. Die notwendige Software einschlieÿlich mit Quellcode zum Primzahltest ndet sich auf folgender Internet-Seite [5]. 5 Messung des Geschwindigkeitsvorteils / Benchmarking 5.1 Application Benchmarking Mittels dem in beschriebenem Programm ist es möglich festzustellen, wie schnell der Do-It-Yourself-Supercomputer im Vergleich zu anderen Computern und Superrechnern ist. Dazu existiert es ein vordeniertes, komplexes Bild, wel- 7

8 ches so schnell wie möglich berechnet werden soll. Auf diese Weise erhält man eine Renderzeit, die man mit den Zeiten anderen Maschinen, auf denen man denselben Benchmark laufen lieÿ, in Beziehung setzen kann. 5.2 System Level Benchmarking Ein Benchmark auf Systemebene ist der von der Top500-Site eingesetzte Benchmark Linpack. Da dieser aber echte Parallelität voraussetzt, wie es bei dem Do-It-Yourself-Supercomputer nicht gegeben ist, lässt sich dieser dadurch leider nicht einsetzten, so dass man nur eine indirekte Beziehung zu den Computer in der Top500-Liste herstellen lässt, indem man Application Benchmarking durchführt. Literatur [1] [2] [3] [4] [5] 8

9 User 1. Video.mpg 6. Video.avi Do-It-Yourself- Supercomputer 2. Splitte Video.mpg auf in Video_1.mpg bis Video_n.mpg 5. Setze aus Video_1.avi bis Video_n.avi zusammen Video.avi PC 1 PC 2 PC n 3. Video_1.mpg 4. Video_1.avi..._2.mpg..._2.avi 3. Video_n.mpg 4. Video_n.avi Abbildung 2: Videokonvertierung 9