Cluster Computing / Grids

Transkript

1 Johannes Kepler Universität Linz Cluster Computing / Grids SEMINARARBEIT Seminar: Betriebssysteme Eingereicht von: Allerstorfer Martin, Söllradl Gerhard, Angefertigt am: Institut für Informationsverarbeitung und Mikroprozessortechnik Betreuung: Putzinger Andreas Linz, Juni 2005

2 Abstract Dieses Dokument beschreibt, warum Cluster Computing und Grids eingesetzt werden bzw. was man darunter versteht und wie solche Netze aufgebaut sind. Im Speziellen wird auf die Ebene des Betriebssystems und deren Vorraussetzungen und Leistungsmerkmale, welche in diesem Einsatzgebiet entscheidend sind, eingegangen. Weiters wird in einem eigenen Kapitel beschrieben, ob gängige Betriebssysteme, wie Windows, Linux, Mac OS und Solaris, in Cluster oder Grids eingesetzt werden. In diesem Zusammenhang, werden einige ausgewählte Projekte vorgestellt, die im Bereich des Cluster und Grid Computing durchgeführt werden. Am Ende des Dokuments wird noch ein Ausblick gegeben, wie es in Zukunft mit Cluster Computing und Grids weitergehen wird und welche Zukunft diese Techniken haben werden. 1

3 Inhaltsverzeichnis 1. Einleitung Grund für den Einsatz von Clusters und Grids Was versteht man unter Grid Computing Rechen-Grids (verteiltes Supercomputing, computational grids) Daten-Grids (data grids) Kollaboratives Grid Computing Was versteht man unter Cluster Computing Übersicht Aufbau eines Cluster Knoten Cluster Middleware Verbindungsnetzwerk Betriebssystem und Hardware Beispiel Cluster Myrinet Cluster X-Cluster Beispiel Grid Austrian Grid seti@home OS-Ebene Funktionsweise eines Betriebssystem im Rechnernetz [UNB4-2005]: Überwachung Steuerung Ressourcenmanagement und Scheduling Parallelrechnerprogrammierung Verteilte Betriebssysteme Arten von verteilten Betriebssystemen Übersicht über bereits existierende Betriebssysteme Plan Unicore Open Grid Service Architecture (Ogsa) Avaki EII Plus HP Open VMS Rocks Cluster Distribution - Redhat Leistungsmerkmale von verteilten Betriebsystemen Kommunikationsaufwand Redundanz Transparenz Ausfallsicherheit Derzeitige Einsetzbarkeit im herkömmlichen OS Linux und Unix Windows Mac OS Solaris Ausblick Zukunft des Clustered Computing Aktuelle Forschungsprojekte

4 Beispiel: Health Grid Literaturverzeichnis

5 1. Einleitung 1.1 Grund für den Einsatz von Clusters und Grids Obwohl die Rechner immer schneller und kleiner werden, werden gewisse physikalische Grenzen nie überschritten werden können. Schon heute setzen die zwei größten Hersteller von Prozessoren, Intel und AMD, nicht mehr alleine auf eine CPU. Sie versuchen mehrere CPUs auf einem Chip unterzubringen, um wieder signifikante Leistungssteigerungen zu erreichen. Mit dem Pentium D bietet Intel bereits die erste lauffähige Version mit 2 CPUs an. Aus dem gleichen Grund werden auch Cluster und Grids eingesetzt. Die Rechenleistung eines Einzelrechners ist für komplexe Probleme nicht mehr ausreichend. Wobei bei Grids nicht so sehr die Rechenleistung, sondern viel mehr die Verarbeitung großer Datenmengen im Vordergrund steht. Im Europäischen Kernforschungszentrum CERN beispielsweise fallen durch die Experimente der Teilchenphysiker gewaltige Mengen an Daten an, für die die aktuellen Rechen- und Speicherkapazitäten dieser Forschungseinrichtung in absehbarer Zeit nicht mehr ausreichen. Spätestens 2007 sind Experimente des Speicherrings im Large Hadron Collider (LHC) geplant, wodurch innerhalb kürzester Zeit Daten im Petabyte-Bereich (Millionen Gigabyte) erzeugt werden. Diese können unmöglich lokal verarbeitet werden [Ber- 2002]. Dies ist auch mit ein Grund, warum nicht einfach große Superrechner eingesetzt werden, da auch deren Speicherkapazitäten nicht ausreichen. Davon abgesehen ist die Grid- Lösung kostengünstiger, da die benötigte Rechenleistung bereits vorhanden ist. Aber auch Cluster-Computing ist um einiges billiger als Supercomputing. Vergleicht man beispielsweise die Kosten des Supercomputers Earth Simulator von NEC (ca. 350 Millionen US-Dollar und 3.Platz in den TOP500) mit den des Apple-Clusters X-Cluster von Verginia-Tech (ca. 10 Millionen US-Doller und 7.Platz in den TOP500), so ist dies schon sehr beeindruckend. 1.2 Was versteht man unter Grid Computing Ein Grid (= Gitter, Versorgungsnetz (Elektrizität), Gitternetz) ermöglicht den Zugang zu verschiedensten Ressourcen, wie Rechenleistung (CPU), Speicherplatz, Daten, Programme und Sensoren. Das Ziel besteht also darin, Rechenleistung und andere Ressourcen von vielen über Netzwerk(e) verteilte Maschinen zur Lösung komplexer Probleme zusammenzufassen. Rechner die in einem Grid eingebunden sind, können Teilaufgaben übernehmen, Berechnungen durchführen und ihre Ergebnisse dann an den Auftraggeber zurücksenden. Voraussetzung dafür ist aber, dass sich das Problem in Teilprobleme zerlegen lässt. 4

6 Heutige Grids können sogar in Konkurrenz mit aktuellen Supercomputern treten. Dieser Erfolg ist vor allem dem Internet zu verdanken, da es bereits eine Vielzahl von Rechnern gibt, die über das Internet miteinander verbunden sind. Dies macht man sich zu Nutze und verbindet sie logisch bzw. virtuell zu einem Rechner, sodass man das entstandene Gesamtsystem als virtuelle Rechenmaschine verstehen kann. Dabei werden nicht wie im Internet nur Informationen ausgetauscht, sondern wie oben schon erwähnt, auch andere Ressourcen. [HEI-2004], [GRO-2002], [STO-2003] In neueren Grids werden diese Einzelrechenleistungen nicht einfach kombiniert, sondern freie Ressourcen eines einzelnen über das Netz angeboten. Dies ist durchaus sinnvoll, da in den meisten Organisationen und Firmen die Rechner am Arbeitsplatz nur zu 5% ausgelastet sind. Grid Computing stellt also ein Framework zur Verfügung, um diese brachliegenden Ressourcen zu nutzen. Aber nicht nur die Rechenleistung wird oft nicht voll ausgenützt, sondern auch Speicherkapazitäten. Grid Computing, im Speziellen "data grids" (siehe ), können eingesetzt werden, um damit einen großen virtuellen Speicher zu realisieren. [BERS-2002] Rechen-Grids (verteiltes Supercomputing, computational grids) Dabei handelt es sich um den Zusammenschluss von mehreren high-performance Rechnern aber auch normalen Desktop-Maschinen, um rechenintensive Berechnungen durchführen zu können. Wie schon erwähnt arbeiten die meisten Server nur einen Bruchteil ihrer Zeit. Genau diese verfügbare Rechenzeit wird hier genutzt. Solche Grids können durchaus schneller sein, wie heutige Supercomputer, allerdings müssen ähnliche Einschränkungen, wie bei Parallelrechnern berücksichtigt werden.[bers-2002] Es muss beispielsweise gewährleistet sein, dass die Übertragung der zur Berechnung benötigten Daten nicht länger dauert, als hätte man die Berechnung ohne Übertragung durchgeführt. Genauso ist die Kommunikation untereinander zu berücksichtigen. 10 Mal mehr Rechner, bedeutet nicht automatisch eine 10 Mal schnellere Berechnung. Das heißt, der Zugriff auf gemeinsame Daten oder auch andere Abhängigkeiten der einzelnen Jobs untereinander, sowie die Teilbarkeit eines bestimmten Algorithmus auf mehrere Rechner müssen beachtet werden. Die Skalierbarkeit einer Anwendung ist also nicht beliebig groß. [SIE-2004] Beispiel: (siehe Kapitel 2.3.2) Daten-Grids (data grids) Neben der Rechenleistung werden oft Petabyte an Daten benötigt, wie schon in der Einleitung am Beispiel von CERN erwähnt. Um diese enormen Datenmengen handhaben und darauf 5

7 zugreifen zu können sind Daten Grids sehr gut geeignet. Jeder sich im Grid befindliche Benutzer bzw. Rechner kann nicht benötigten Speicherplatz anderen zur Verfügung stellen. Viele Grid Systeme verwenden dazu Netzwerkdateisysteme, wie Andrew File System (AFS), Network File System (NFS), Distributed File System (DFS) oder General Parallel File System (GPFS). Diese variieren in der Performanz, Zuverlässigkeit und Sicherheit. Dabei ist der Sicherheit besonderes Augenmerk zu schenken, da die auf einem fremden Rechner abgelegten Daten, nicht von jedem gelesen werden können sollten. Neben der Sicherheit ist auch die Datensicherung von großer Bedeutung. Es muss sichergestellt werden, dass bei Ausfall oder Entfernen eines Rechners aus dem Grid die Daten nicht verloren gehen. Die logische Folge ist die Daten mehrfach im Grid abzulegen. Dabei ergibt sich bei intelligenter Ablage im Daten Grid und intelligentem Grid Scheduling der positive Nebeneffekt, dass Daten weniger weit durchs Netz transportiert werden müssen. Das heißt, die Daten von der Quelle geholt werden, die am nächsten liegt (idealerweise die Maschine, welche direkt mit den Daten verbunden ist). [SIE-2004] Kollaboratives Grid Computing Durch das Grid besteht die Möglichkeit nicht nur Großrechner zu verbinden, sondern auch normale Desktop-Maschinen, welche zu 95% nicht ausgelastet werden.[sie-2004] Diese Desktop-Maschinen werden zu so genannten "Virtuellen Organisationen" zusammengefasst.[bry-2004] Eine virtuelle Organisation ist dabei ein Zusammenschluss von Personen, Unternehmen und realen Organisationen. Durch diese VOs soll es möglich werden Ressourcen wie Daten, Software, Sensoren, Rechner und Rechnernetzwerke zu teilen und Probleme kooperativ zu lösen. Jede VO, die an einem Grid beteiligt ist kann also Daten, Software und Rechenleistung anbieten und über die Nutzung fremder Resourcen mit anderen virtuellen Organisationen verhandeln. Wann, wo, wofür und unter welchen Bedingungen (z.b. zu welchen Kosten) Ressourcen zur Verfügung gestellt werden, entscheidet die VO selbst. Auf Grund der unterschiedlichen Bedingungen muss ein kollaboratives Grid unterschiedliche, lokale Sicherheitslösungen, Möglichkeit zum Ressourcenaufspüren, Scheduling (siehe späteres Kapitel), Dienstqualität, Abrechnung, etc. bieten. Durch virtuelle Organisationen ist also ein kontrollierter und sicherer Austausch der verschiedensten Ressourcen möglich. [BRY-2004] 1.3 Was versteht man unter Cluster Computing Im Gegensatz zum Grid ist ein Cluster ein parallel oder verteilt arbeitendes System, dass aus einer Sammlung von direkt miteinander verbundenen Einzelrechner besteht, welche wie ein 6

8 einziges System zusammenarbeiten. Diese Definition unterscheidet sich nicht wesentlich von der des Grids, allerdings handelt es sich dabei um Rechner, die innerhalb eines lokalen Hochgeschwindigkeitsnetzwerkes arbeiten. Jeder Rechner kann dabei ein Einzel- oder Mehrprozessorsystem sein. Aus Performanzgründen werden meistens nur identische Rechner mit gleichem Betriebssystem und Speicherressourcen verwendet, trotzdem wäre aber auch ein heterogener Cluster möglich. Dadurch, dass die Rechner und die Architektur des Clusters im Gegensatz zum Grid bekannt sind, können besser Optimierungen vorgenommen werden und die, an den Cluster gestellten Aufgaben, effizienter gelöst werden. Diese Variante des Verteilten Rechnens ist aber auch kostenintensiver, da die Rechner speziell für den Cluster angeschafft werden. Im Grid sind die benötigten Rechner bereits vorhanden, wodurch keine zusätzlichen Kosten anfallen. Ein weiterer Unterschied zum Grid besteht in der zentralen Verwaltung des Clusters im Gegensatz zur dezentralen Administration im Grid. Im Cluster wird eine genaue Aufgabe an alle im Cluster beteiligten Rechner vom Administrator verteilt. Die Aufgabe des Grids ist nicht genau definiert und bei jedem beteiligten Rechner eine andere. [STO-2003] Wie durch die Definition schon erkannt werden kann, wird beim Cluster mehr Wert auf Rechenleistung als auf Speicherkapazität gelegt. Grundsätzlich wird zwischen zwei Typen von Cluster unterschieden: Failover Cluster. Diese Variante besteht meist aus 2 4 identischen Rechnern, die sich gegenseitig ersetzen. Das heißt ein Rechner ist in Betrieb, während die anderen in einem Standby-Modus arbeiten. Fällt das Hauptsystem aus, kann ein anderes System sofort weiterarbeiten, und es wird eine längerer Ausfall verhindert. Bei Webservern zum Beispiel würde der Benutzer nichts von einem solchen Ausfall mitbekommen. Oft wird ein solches System gar nicht als Cluster angesehen. Load-Balancing Cluster. In diesem Fall handelt es sich um mehrerer Rechner, die über ein Netzwerk miteinander verbunden sind. Im Gegensatz zum Failover Cluster wird hier die benötigte Rechenleistung gleichmäßig auf alle verfügbaren Rechner aufgeteilt, d.h. alle Rechner sind in Betrieb. Cluster Kommunikation über LAN lokaler Standort Grid Kommunikation über WAN global verteilt 7

9 Existenz des Clusters wegen Berechnungen Existenz des Grids aus verschiedene Gründen Rechner existieren wegen Cluster Rechner existieren aus anderem Grund Verbund von mehreren Rechnern Verbund von mehreren Ressourcen zentraler Administrator jede Maschine eigener Administrator Cluster ist Hauptarbeit der Rechner Grid ist Nebenarbeit der Ressourcen Tabelle 1: Vergleich Cluster und Grid [HEI-2004] 2. Übersicht 2.1 Aufbau eines Cluster Abbildung 1: Aufbau eines Clusters [BUY-1999] Die wichtigsten Bestandteile eines Clusters sind folgende: Knoten Als Knoten werden die einzelnen Rechner bzw. Workstations mit Kommunikationssoftware und Netzwerkinterface bezeichnet. Die Anzahl der Knoten ist in der Regel beliebig, wobei jeder aus einem vollwertigen Ein- oder Mehrprozessorsystem bestehen kann.[bär-2004] Das heißt, jeder einzelne Rechner könnte auch alleine als Desktop-Maschine eingesetzt werden. Die Knoten können wiederum in 2 Kategorien eingeteilt werden Master-, Haupt- oder Frontknoten Dieser ist für die Kommunikation mit der Außenwelt und den externen Netzwerkverkehr verantwortlich. Zusätzlich werden Benutzerinteraktionen über die Konsole in diesem Knoten abgewickelt. 8

10 Slave-Knoten Alle anderen im Cluster befindlichen Knoten, die vorwiegend zur Bereitstellung von Rechenleistung dienen Cluster Middleware Die Cluster Middleware ist dafür zuständig alle beteiligten Rechner für den Benutzer wie ein einziges System aussehen zu lassen (single system image SSI). Zusätzlich wird die Arbeit auf alle Knoten im Cluster aufgeteilt und zwar so, das alle möglichst gleich viel zu tun haben (Load Balancing). Von der Middleware muss auch überwacht werden, ob noch alle Rechner im Cluster verfügbar sind. Ist dies nicht der Fall, so dürfen an ausgefallene Rechner keine Aufgaben mehr vergeben werden. Die Middleware ist also eine Schlüsselkomponente im Aufbau eines Clusters. [HAR-2002] Ein bekanntes Softwarepaket ist PVM (Parallel Virtual Maschine), welches von Vaidy Sundaram im Sommer 1989 entwickelt wurde und heute noch verwendet und weiterentwickelt wird. Durchaus als Nachfolger, kann MPI (Message Passing Interface), welches 1992 entwickelt wurde, bezeichnet werden. Mittlerweile liegt MPI in der Version 2 vor und es exstieren einige frei verfügbare Versionen für alle gängigen Plattformen[TAK- 2004]. Auch PVM ist bereits seit längerem auch für Windows verfügbar. PVM und MPI haben sich also durchgesetzt und hatten viele Cluster Projekte zur Folge. Bereits 1993 befand sich ein Cluster, gebaut in einem Projekt der UC Berkeley, unter den TOP500 schnellsten Rechnersystemen. Weiter Komponenten einer Middleware können sein (aus dem Projekt SCE (Scalable Cluster Environment) entnommen): SCMS (Scalable Cluster Management System): Das SCMS führt alle administrativen Aufgaben durch. CMA (Control and Monitoring Agent): Läuft auf allen Knoten und sendet Daten zum SMA (System Management Agent). SQMS (Batch Scheduling): Wird zur Verwaltung der Warteschlangen verwendet und vereinfacht somit das Task-Management. Es werden sowohl sequenzielle als auch parallele MPI- und PVM-Aufgaben, sowie Web-Portale unterstützt. Genauso entstand durch das bekannte Globus Projekt ein open-source Globus Toolkit, welches Anwender im Verteilen von Rechenleistung unterstützt, indem Werkzeuge, Bibliotheken zum Überwachen, Verwalten und Auffinden von Ressourcen mit zusätzlichem Sicherheits- und Dateimangement angeboten werden. [EME-2003] 9

11 2.1.3 Verbindungsnetzwerk Ist für den Austausch der Daten zwischen den Knoten verantwortlich. Dabei kann jedes beliebige Netzwerk verwendet werden. Es ist nicht einmal notwendig alle Knoten über dasselbe Netzwerk zu verbinden. Allerdings ist aus Performanzgründen anzuraten ein Highspeed-Netzwerk, wie Gigabit Ethernet oder Myrinet zu verwenden. Myrinet bietet eine 2 Gbps full duplex Verbindung mit sehr geringer Latenz (5µs, in eine Richtung), sehr hohem Durchsatz und einem programmierbaren on-board Prozessor, wodurch das System an Flexibilität gewinnt. Trotz dieser vielen Vorteile gegenüber Ethernet, bleiben doch zwei wesentliche Nachteile. Zum einen sind Myrinet-LAN Komponenten extrem teuer und zum anderen sind Switches mit mehr als 16 Ports nicht verfügbar, was eine Skalierung des Systems auf eine größere Menge von Rechner schwierig macht.[sch-2002] Das High Performance Parallele Interface (HiPPI) wurde entwickelt, um die Kommunikation zwischen Hochgeschwindigkeitsrechnern zu erleichtern. HiPPI stellt eine schnelle Punkt-zu- Punkt Verbindung mit Datenraten von bis zu 800 Mbit/s im Duplex-Betrieb und Simplex- Betrieb her. Im bidirektionalen Betrieb, also durch Herstellen einer zweiten Verbindung in die anderer Richtung, kann eine Geschwindigkeit von bis zu 1600 Mbit/s erreicht werden. Dabei können Entfernungen von bis zu 25m auf einem 50poligem Kabel überbrückt werden. Es werden TCP/IP-Datenpakete von bis zu 64KByte Länge bei einer Latenzzeit von 0,5 bis 2 Mikrosekunden unterstützt. Wie der Name schon erahnen lässt, erfolgt die Übertragung parallel mit 32 Bit in Bursts von 1 bis 256 Wörtern. Es gibt mehrere HiPPI Standards. Der HiPPI-PH (Physical) Standard beschreibt die elektrischen und mechanischen Eigenschaften bzw. das Signaling der physikalischen Schicht von HiPPI; HiPPI-FP (Framing Protocol) beschreibt das Format und den Inhalt (inklusive Header) von jedem Paket und HiPPI-SC (switch control) ermöglicht es mehrer Punkt-zu- Punkt Verbindungen aufzubauen. Obwohl also HiPPI-PH nur einfache Punkt-zu-Punkt Verbindungen unterstützt, um die notwendigen Datenraten erreichen zu können, wird dadurch ermöglicht Daten zwischen mehreren Computern auszutauschen. Dabei wird keine Switching- Hardware oder Technologie spezifiziert, sondern nur funktionale Mechanismen. HiPPI hat nun 2 wesentliche Nachteile. Zum einen die maximale Distanz zwischen 2 Knoten von 25m und zum anderen die beschränkte Anzahl an Verbindungen. Letzteres kann zwar mit HiPPI-SC etwas verbessert werden, trotzdem müssen sich alle verbundenen Computer innerhalb von 25m befinden. Um diesen Nachteil etwas zu mindern wurde Serial HiPPI eingeführt. Dabei wird an jedem Endpunkt ein normales Geräte verwendet, welches HiPPI- PH unterstützt. Vor jeder Übertragung werden die parallelen Signale serialisiert, seriell 10

12 übertragen und am Ende wieder zu HiPPI-PH Signalen umgewandelt. Wenn Hardware zur Umwandlung der Signale direkt an den Endgeräten der Verbindung vorhanden ist, können die 50poligen Kabel komplett wegfallen. [FER-2002], [BUY-1999] Betriebssystem und Hardware Auf jedem Knoten läuft eine Instanz des Betriebssystems. Aus Performancegründen ist es besser auf allen Knoten die gleiche Hardware und das gleiche Betriebsystem zu verwenden. Man spricht dabei von einem homogenen Cluster. Dies ist aber nicht unbedingt notwendig, auch unterschiedliche Hardware bzw. unterschiedliche Betriebssysteme sind möglich, was dann als heterogener Cluster bezeichnet wird. [BAU-2003] 2.2 Beispiel Cluster Myrinet Cluster Dieser Cluster wurde von der Johannes Kepler Universität Linz vom Institut für Graphische und Parallele Datenverarbeitung aufgebaut. Die einzelnen 8 Knoten bestehen aus ganz gewöhnlichen Suse Linux Desktop-Rechnern (AMD MP 1900+) mit 1GB Speicher im Master-Knoten und jeweils 512 MB in den Slave-Knoten. Als Verbindungsnetzwerk wird ein Myrinet Netzwerk (2 GBit) als Stern-Topologie einsetzt. Für die Middleware wird Globus der Version 2.2 mit Unterstützung für MPI verwendet.[vol-2004] Neben anderen Anwendungsgebieten an der TNF, wird dieser Cluster hauptsächlich für Arbeiten am GUP verwendet (z.b. Portierung und Erweiterung der am GUP entwickelten Software zur Fehlersuche, Einsatz für parallele Computergrafikalgorithmen und Virtual Reality Anwendungen). Neben diesen Arbeiten, dient der Cluster auch noch als Grid Knoten des Austrian Grid und des EU-weiten CrossGrid. Laut dem Benchmarksystem Linpack erreicht dieser Cluster eine Leistungen von Gflops [GUP-2005] X-Cluster Dieses System wurde von der Terascale Computing Facility des Verginia Polytechnic Institute in Phoenix, USA, entwickelt. Es handelt sich dabei um einen Zusammenschluss von 1100 gewöhnlichen Apple G5-Desktop-Rechnern die über ein Cisco Gigabit-Ethernet und Mellanox InfiniBand-Komponenten miteinander verbunden sind. Jeder der 1100 Knoten ist mit 2GHz getaktet, kann auf 4 GByte Hauptspeicher und eine 160-GByte-Serial-ATA- 11

13 Festplatte zugreifen. Insgesamt kann der Cluster somit auf 4,4 TByte RAM und 176 TByte externen Speicher zugreifen. Beeindruckend bei diesem Cluster ist, dass dieser bereits bei den ersten Test 10, 28 TFlops schaffte und sich damit an Platz 3 TOP500 schnellsten Rechner setzte. Mittlerweile ist er auf dem noch guten 7.Platz. Wie bereits in der Einleitung erwähnt, ist auch das Preis/Leistungs-Verhältnis bei weitem besser als bei Superrechnern, wie der Earth Simulator (Platz 3) oder ASCI Q (Platz 6). Mit etwas unter 10 Millionen US-Doller konnte dieser Cluster finanziert werden, wobei die Hälfte für Gebäude, Luftkühlsystem und unabhängige Stromversorgung verbraucht wurde. Der um einen Platz bessere ASIC Q kostete also gleich ca. 340 Millionen US-Doller mehr als der "X"-Cluster. Der Cluster soll Forschungsaktivitäten in den Bereichen Informatik und Ingenieurswesen unterstützen. In Zukunft sollen sowohl Produktions- als auch Forschungsjobs darauf laufen. Folgende Forschungsgebiete werden dabei von Virginia Tech gesehen: Nanoscale-Elektronik, Quantenchemie, Molekularstatistik, Akustik, Strömungsrechnungen, Elektromagnetic, Emulation von großen Netzen, etc.[har-2004] 2.3 Beispiel Grid Austrian Grid Das Austrian Grid ist ein Zusammenschluss von Rechnern an zur Zeit 3 Standorten (Linz, Salzburg und Innsbruck). Daran beteiligt sind das Institut für Graphische und Parallele Datenverarbeitung der Universität Linz, das Institut für Informatik der Universität Innsbruck, das Institut für Hochenergiephysik der Akademie der Wissenschaften und das Research Institute for Symbolic Computation (RISC) in Hagenberg. Durch dieses "Austrian Grid Projekt" können österreichische Wissenschafter auf eine Rechenleistung von 550 GFlops und auf eine Speicherkapazität von mehr als einem Terabyte nutzen. Dabei werden 6 SGI Systeme (Altix 350) mit insgesamt 96 Intel Itanium 2 Prozessoren mit 1,4 GHz / 4MB Cache verwendet. Zusätzlich kommen noch mehrere weniger große Server in Österreich hinzu, die zum großen Teil aus den oben bereits erwähnten Beteiligten stammen. Verwendung findet das Austrian Grid derzeit im medizinischen Bereich, in der Hochenergiephysik, in numerischen und astrophysikalischen Simulationen und in der Meteorologie. Beispielsweise können durch Anbindung an das Austrian Grid Optimierungen von Augenoperationen erreicht werden, indem jeder Arzt die aufwendige Berechnung und Visualisierung der Operation im Vorfeld einfach und schnell von seinem PC aus vornehmen 12

14 kann. In der Meteorologie kann durch das Grid eine höhere Vorhersagegenauikeit erreicht werden, da nun komplexere und damit mehr Rechenzeit benötigende Wettermodelle berechnet werden können. [WAN-2005] bedeutet Search for Extraterrestrial Intelligence at Home. Es ist also ein wissenschaftliches Experiment, das mit dem Internet verbunden Computer zur Suche nach Außerirdischer Intelligenz nutzt, indem ein frei erhältliches Programm Daten eines Radioteleskops (steht in Arecibo, Puerto Rico, das weltgrößte und empfindlichste Radioteleskop) herunterladet und analysiert. Im Rahmen des SETI Programms existieren zwar Großrechner, welche aber die empfangenen Signale nur oberflächlich analysieren können, da die vorhandene Rechenleistung nicht ausreichen würde. Abbildung 2: Benutzeroberfläche Die Signaldaten des Radioteleskops werden dabei in so genannte "work units" fixer Größe unterteilt und via Internet an ein Client-Programm gesendet. Dieses Programm berechnet ein Ergebnis (eine Menge von sogn. "candidate signals"), sendet dieses an den Server zurück und holt sich einen neue "work unit". Zwischen den Clients findet also keine Kommunikation statt. 13

15 Um zu verhindern, dass falsche Daten übermittelt werden (entweder durch fehlerhafte Clients, oder durch böswillige Benutzer), wird jede "work unit" mehrfach von verschiedenen Clients bearbeitet. Diese "work units" entstehen durch Unterteilung eines 2.5 MHz Signals in 256 Frequenzbänder mit einer Breite von 10 KHz. Jedes Frequenzband wird wiederum auf 107 sogn. "second segments" unterteilet, welche sich jeweils um 20 Sekunden überlappen. Damit wird sichergestellt, dass sich gesuchte Signale vollständig in einer "work unit" befinden. Die daraus entstehenden "work units" sind 350 KB groß und damit groß genug, um eine normalen PC einen Tag zu beschäftigen aber trotzdem klein genug, um schnell aus dem Internet geladen werden zu können. [SET-2005] 3. OS-Ebene An das Betriebssystem eines verteilten Rechnernetzes werden besondere Anforderungen gestellt. Das Betriebssystem muss parallele Aktivitäten Synchronisieren und Koordinieren, meist gibt es keinen gemeinsamen Speicher, Ausfallswahrscheinlichkeiten müssen minimiert werden und die unterschiedlichen Komponenten im Netz müssen heterogen miteinander verbunden werden. [SCHW-1993] 3.1 Funktionsweise eines Betriebssystem im Rechnernetz [UNB4-2005]: Folgende Hauptaufgaben muss ein Operationssystem bei Clustern und Grids lösen. In der Fachliteratur werden die Aufgaben in drei Hauptgruppen eingeteilt: In die Überwachung und Steuerung des Grids, in das Ressourcenmanagement und Scheduling und in die Parallelprogrammierung. Im Folgenden werden diese drei Hauptgruppen vorgestellt: Überwachung Die Überwachung des Clusters, oder auch Monitoring, trägt zu einem stabilen und leistungsfähigen Betrieb des Systems bei. Es ist eine der wesentlichen Aufgaben im Cluster Management. Generell versteht man unter Monitoring die Auswertung und Darstellung von verschiedensten Systemeigenschaften. Dabei kann es sich um beliebige Eigenschaften der Hard- oder Software handeln, die numerisch darstellbar sind. Häufig besitzen Monitoring- Werkzeuge auch einen Alarm-Mechansimus, der aktiv wird, sobald ein Parameter zuvor festgelegte Grenzen über- oder unterschreitet. 14

16 Sämtliche administrative Tätigkeiten, die an einem Cluster anfallen, darunter sowohl reine Installations- und Konfigurationsarbeit, als auch teilweise Wartungsarbeiten wie das Herunterfahren des Systems oder einzelner Knoten werden in dieser Arbeit unter dem Begriff Steuerung oder auch Administration zusammengefasst Steuerung Unter Steuerung in verteilten Systemen versteht man, wie man Lasten und Datenströme im Netzwerk verteilt. In der Fachliteratur wird das Load Balancing genannt. Daher ist es wichtig Strategien für dieses Problem zu finden. In der Praxis haben sich folgende durchgesetzt: Gewichtung Zufallsprinzip Round-Robin Hashing Antwortzeitmessung Netzwerkverkehr basierter Lastausgleich Ressourcenmanagement und Scheduling Software zum Zweck des Ressourcenmanagement und Job-Scheduling, auch bekannt unter Begriffen wie Job Management System oder Queueing Management System, war schon lange vor dem Aufkommen der ersten Cluster im Einsatz. Sie dient der Verwaltung und Zuteilung der Ressourcen wie sie in Hochleistungsrechenzentren vorhanden sind, unabhängig davon welcher Architektur die eingesetzten Rechner zuzuordnen sind. Es sei in diesem Zusammenhang noch auf einen oft benutzen, verwandten Fachausdruck hingewiesen: Cluster Management Software (CMS) ist ein Begriff, der oft im Kontext von Ressourcenmanagement-Software verwendet wird. Admininstrative Tätigkeiten, die nicht im Zusammenhang mit Ressourcenmanagement stehen, unterstützt CMS nur selten. Aufgrund der Verwandtheit der Begriffe Management und Administration haftet dem Begriff Cluster Management Software allerdings eine gewisse Mehrdeutigkeit an. Aus diesem Grund wird in dieser Arbeit die Bezeichnung Ressourcenmanagement vorgezogen Parallelrechnerprogrammierung Die Entwicklung paralleler Applikationen für Cluster erfordert passende Werkzeuge. Dazu zählen Compiler, Debugger und Anwendungen zur Leistungsanalyse der Programme, aber 15

17 auch integrierte Entwicklungsumgebungen. Ebenfalls in diese Kategorie einzuordnen ist Software wie MPI und PVM zur nachrichtenbasierten Programmierung von parallelen Programmen sowie Bibliotheken mit effizienten mathematischen Algorithmen. Eine sehr weit verbreitete Programmiersprache, nämlich MPI soll hier genauer vorgestellt werden. MPI steht für Message Passing Interface und wird bei parallelen Programmen mit dem gleichen Programm und verschiedenen Daten eingesetzt. MPI leitet dabei die Nachrichten zwischen den Programmen weiter. Um diese Weiterleitung zu ermöglichen müssen einige Mindestbestandteile angegeben werden: Welcher Prozess sendet die Nachricht? (... MPI_Rank) Welche(r) Prozess(e) empfängt/empfangen die Nachricht? (...MPI_Rank) Wo liegen die Daten auf dem sendenden Prozessor? (...Sende-Puffer) Welche Art/Typ von Nachricht wird verschickt? (...MPI-Typ) Wo sollen die Daten auf dem empfangenden Prozessor hin? (...Empfangs-Puffer) Ein möglicher MPI Befehl könnte wie folgt aussehen: MPI_Send(buffer, count, datatype, (rank ^ (1<<ebene)), ebene, comm); Weiters wird bei MPI Programmen meist der Prozessor mit der ID 0 als Host eingesetzt. Er übernimmt sozusagen die Steuerung der anderen Prozesse und sammelt die berechneten Daten. [KRA-2005] 3.2 Verteilte Betriebssysteme Arten von verteilten Betriebssystemen Ein verteiltes Betriebssystem im klassischen Sinn wird in der folgenden Abbildung 2 grafisch dargestellt. Es gibt ein Betriebssystem in einem verteilten System. Beispiele für eine Realisierung dieser Architektur sind Amoeba, Mach, OSF/I und DCE. Abbildung 3: verteiltes Betriebssystem [UNB4-2005] 16

18 Ein etwas anderes Konzept liegt bei einem Netzwerk Betriebssystem vor. Hier gibt es pro Recheneinheit jeweils in lokales Betriebssystem und darüber liegend ein Netzwerk Betriebssystem, das die Aktivitäten koordiniert. Beispiel für ein solches Betriebssystem sind Occam, Concurrrent Pascal, oder Erweiterungen wie Linda und ISIS für die Sprache C. Abbildung 4 : Netzwerk Betriebssystem [UNB4-2005] Übersicht über bereits existierende Betriebssysteme Die folgende Auflistung soll eine Übersicht über die bereits existierenden Betriebssysteme in Cluster und Grids darstellen. Allerdings kann es nur eine Auswahl sein, da es bereits sehr viele Betriebssysteme gibt. Allerdings ist jedes Betriebssystem für einen bestimmten Anwendungszweck optimiert worden und daher werden hier einige aufgelistet, die sehr unterschiedlichen Einsatzgebiete haben. 1. Plan 9 Plan 9 wurde seit 1985 in den AT&T Bell Laboratorien entwickelt hatte es die Stabilität erreicht, um in den Bell Labs Unix zu ersetzen. Mit Plan 9 sollten die Nachteile von Unix ausgemerzt und auf ein neues Maß an Sicherheit, Wirtschaftlichkeit und Effizienz setzen. Als Hardware Grundlage dienen normale Mikrocomputer. Programmiert wurde es in striktem ISO/ANSI C. Plan 9 wurde für die Intel 386 (oder höher), MIPS, Alpha und PowerPC Architektur portiert. Das Konzept sieht vor, ausgliederbare Funktionen auf die Computer im Netzwerk geschickt und effizient zu verteilen. Office-Aufgaben werden so auf einfachen Terminals gelöst, die Ressourcen dafür kommen von einem zentralen Server im Netzwerk. Die Unterteilung kann sogar soweit gehen, dass ein Server für das Datei- Sharing (FileStorage), einer für die Drucker, 17

19 einer für Applikationen und wiederum ein anderer für die Rechenleistung (Computing Power) delegiert wird. [UNB3-2005] 2. Unicore Unicore wird für Grid Systeme eingesetzt und wird derzeit beim größten europäischen Grid, dem Eurogrid eingesetzt. Unicore ist nach dem Schema eines Netzwerkbetriebsystems aufgebaut. Der Unicore Client ist auf einer Java Oberfläche aufgebaut, wobei Client nicht der richtige Ausdruck ist. Denn dieser Client stellt die Funktionalitäten für die Aufgaben des Netzwerk Betriebssystems dar. Dies sind die Aufgaben zu verteilen, zu gestalten und auf Vollständigkeit zu überwachen. Weiters werden Kontrollaufgaben gesteuert, um die laufenden und die zeitlich-gestaffelten Aufgaben zu überwachen. Funktionalität für den Erhalt der Ergebnisse und der Überwachung auf Vollständigkeit der Berechnung sind ebenfalls integriert. [UNB-2004] 3. Open Grid Service Architecture (Ogsa) IBM hat sich gemeinsam mit der Firma Globus Project angestrengt, um Rechner über das Internet zu einem Grid zu verbinden. Die Forscher kombinierten die im Globus-Projekt schon früher entwickelten Grid-Regeln mit den Vorteilen von Web-Services. Sie definieren ein Grid als einen "erweiterbaren Satz von Grid-Services, die sich in unterschiedlicher Weise kombinieren lassen". Das bedeutet, dass in Ogsa alle Ressourcen im Netz - Rechenpower, Speicherkapazität, Netze, Programme und Datenbanken - als Dienste aufgefasst werden. Ogsa beschreibt die Schnittstellen dieser Services und die Protokolle, über welche die Interfaces angesprochen werden. [KLI-2002] 4. Avaki EII Plus Dieses Produkt ist eine Plattformunabhängige Lösung und unterstützt die Grid Architekture. Avaka EII Plus ist wie Unicore gut für alle Aufgaben eines verteilten Betriebssystems eingerichtet und ist hervorragend Skalierbar. Weiters gibt es ein ausgeklügeltes Sicherheitssystem, um auch mit Firewalls und dergleichen gut umgehen zu können. Avaki ist vor allem dafür ausgerichtet um Berechnungen auf verteilten Daten durchzuführen. [UNB2-2005] 18

20 5. HP Open VMS Hewlett-Packard entwickelte für Cluster ein spezielles Betriebssystem: Open VMS. Open VMS ist allerdings nur für bestimmte Rechnertypen konzipiert und eher für kleiner Cluster ausgelegt. Es ist für Itanium basierte Server gedacht, und es ist mittels Developer Kit möglich eigene Applikationen zu schreiben. Es wird speziell Wert auf Ausfallsicherheit und kommt bereits beim Frankfurter Flughafen und bei der Deutschen Bahn zum Einsatz. Das heißt es wird beim Cluster nicht unbedingt die Rechenleistung erhöht, sondern die Ausfallswahrscheinlichkeit durch ein ausgeklügeltes Betriebssystem sehr nahe gegen null gedrückt. [HÖI-2004] 6. Rocks Cluster Distribution - Redhat Bei diesem Linux Produkt handelt es sich um ein sehr ausgereiftes und einfaches Betriebssystem um Cluster effektiv zu nutzen. Rocks ist selbstverständlich eine frei verfügbare Software, die auf allen gängigen Rechnertypen läuft, für die es jeweils verschiedene Distributionen gibt. Rocks übernimmt das Management des Clusters, die Verteilung von Software, die Steuerung von Batch-Aufträgen und viele andere Clusterbezogene Aufgaben. Rocks beinhaltet sogenannte Rolls aus Software-Paketen, die verschiedene Anwendungen abdecken: hpc für High-Performance-Computing, grid für den Globus Toolkit, sge für das Sun Grid Engine Job Queueing System und verschiedene andere. [ROC-2005] 3.4 Leistungsmerkmale von verteilten Betriebsystemen Kommunikationsaufwand Bei mehreren Rechnern ergibt sich immer ein Kommunikationsaufwand um die verschiedenen Einheiten im Netz zu steuern. Das Betriebssystem muss hinsichtlich Kommunikationsaufwand so sparsam wie möglich mit Nachrichten umgehen um auch bei extrem großen Netzelementen den zusätzlichen Traffic in einem erträglichen Bereich halten zu können. Der Kommunikationsaufwand berechnet sich bei N Byte Daten mit tstartup + N * twortübertragung. Je nach eingesetztem Algorithmus ist ein unterschiedlicher Kommnikationsaufwand erforderlich. Bei komplexeren Algorithmen muss allerdings die Kommunikationsstrategie sorgsam gewählt werden um nicht das gesamte Netz zu überlasten. 19