SFI Technology Services AG

Transkript

1 SFI Technology Services AG führender Systemintegrator auf dem Schweizer Markt Einleitung MOSIX: Ein praktischer Erfahrungsbericht. Anastasios Stomas, SFI Technology Services AG Wenn hohe Anforderungen an Rechenleistung gestellt werden, denkt man heutzutage nicht unbedingt nur an einen Super-Computer im klassischen Sinne. Immer öfter sucht man nach Alternativen in Form eines PC-Verbundes. Für eine gewisse Klasse von Problemen liefert eine solche PC-Lösung eine Reihe von Vorteilen: z.b. offenes und freies System, keine Abhängigkeit von proprietärer Hardware, hohe Zuverlässigkeit und Sicherheit, gute Skalierbarkeit. Im folgenden wird die prinzipielle Arbeitsweise eines MOSIX-Systems beschrieben und die sich daraus ergebenden Konsequenzen, sowie die prinzipiellen Vor- und Nachteile. MOSIX steht für Multicomputer Operating System for UnIX und weist auf die Funktionsweise des Systems hin. Anhand der konkreten Aufgabenstellung im Rahmen eines Kundenprojektes wird exemplarisch die konkrete Umsetzung eines solchen Systems vorgestellt. Problemstellung Die Firma VA-Tech Hydro in Zürich ( einer der führenden Hersteller von Turbinen für Wasserkraftwerke, benötigte für Design und Optimierung ihrer Turbinen mehr Rechenkapazitäten. Die bis anhin benutzte Lösung bestand aus verschiedenen Silicon Graphics- Maschinen, deren Leistung inzwischen ausgereizt ist. Neuere Maschinen des selben Typs kamen aber aus Kostengründen nicht in Frage, so dass nach Alternativen gesucht wurde. Für die numerische Strömungssimulation kommen die beiden Software Pakete CFX TASCflow und CFX5 der auf diesem Gebiet führenden Firma AEA Technology (Harwell, UK, zum Einsatz. Diese Software ist für eine Vielzahl von UNIX- und Windows Plattformen, sowie für Linux verfügbar. Darüber hinaus ist sie in der Lage ein Problem in parallele Prozesse aufzuspalten und so die Rechenlast zu verteilen. Das sind ideale Voraussetzungen um solch ein System in einem MOSIX-Cluster einzusetzen. Warum MOSIX? Die Entscheidung MOSIX einzusetzen war im wesentlichen aus zwei Gründen gefällt worden: 1. Die vorhandene Software sollte auf einem Cluster unverändert laufen. 2. Die Handhabung des System sollte möglichst einfach und transparent sein. Beides sind Forderungen die MOSIX erfüllt, so dass dieses Konzept von SFI Technology Services umgesetzt wurde. Andere sog. batch orientierte Cluster- Systeme wie z.b. PBSPro, PVM o.ä. kamen in diesem Fall nicht in Betracht, da sie im allgemeinen darauf abgestimmte Applikations-Software voraussetzen. In solchen Systemen existiert eine Maschine, die als zentraler Server für die Steuerung und Überwachung des Clusters, sowie der Prozessverteilung zuständig ist. Die Steuerung der Prozesse wird vom Anwender definiert, d.h. er kann bestimmen welcher Prozess zu welchem Zeitpunkt auf welcher Maschine gerechnet werden soll. Das macht das System natürlich sehr flexibel, gleichzeitig ist dessen Handhabung aber auch komplexer. Damit das Zusammenspiel in solch einen Cluster auch funktioniert, muss die Applikationssoftware darauf abgestimmt sein. Das ist insbesondere für solche Anwender interessant, die Ihre Applikationssoftware selber entwickeln und die volle Kontrolle über das Cluster haben möchten. Die Cluster-Software ist als eigenständiges Programm-Paket realisiert, das im allgemeinen keine spezifischen Anpassungen an die Hardware erfordert.

2 Was ist MOSIX? Wie schon eingangs erwähnt, steht MOSIX für Multicomputer Operating System for UnIX und zeichnet sich durch folgende Eigenschaften aus: Automatische Prozess-Verteilung im Cluster. Load balancing und Prozess-Migration: Prozess-Last wird automatisch möglichst gleichmässig im Cluster verteilt. Einzelne Prozesse werden i.d.r. automatisch auf die verfügbaren Maschinen migriert. Migrierte Prozesse und ihre Daten, werden lokal auf den jeweiligen Knoten berechnet. Einzelne Knoten-Rechner im Verbund können zur Laufzeit ein- und ausgeschaltet werden. MOSIX ist einfach zu skalieren. Das Cluster organisiert sich zur Laufzeit selber. Das System verhält sich wie eine schnelle Einzel- Maschine. i.d.r. ist keine Änderung der Anwender-Software nötig. System kann wie gewohnt benutzt werden. D.h. ein MOSIX-System verhält sich für einen Anwender so, als hätte er eine einzelne schnelle Maschine auf der er rechnet. Er nutzt die Rechenleistung aller anderen Maschinen im Verbund und kann die Gesamtleistung bei Bedarf durch einfaches Hinzufügen weiterer Maschinen erhöhen. In einem MOSIX-System gibt es im allgemeinen keinen Zentralrechner, der die anderen Maschinen steuert. Im Prinzip kann ein Problem von jeder Maschine aus gestartet werden und wird dann vom System verteilt. Das hört sich schon fast wie das ideale System an, das einen Supercomputer ersetzen kann. Für eine Reihe von Problemen kommt es diesem Ideal tatsächlich sehr nahe, so auch im geschilderten Fall. Prinzipielle Arbeitsweise von MOSIX Die beschriebene Funktionalität erreicht MOSIX dadurch, dass sämtliche Prozesse völlig transparent im sog. Kernel Mode ablaufen, d.h. das System kümmert sich automatisch um eine Prozessmigration und Verteilung. Der Anwender muss sich im Regelfall um die Funktionsweise des Clusters nicht weiter kümmern was auch der größte Vorteil von MOSIX ist. Das beinhaltet aber auch, dass es im Gegensatz zu anderen Cluster-Systemen nicht als eigenständiges Programm oder Modul im System eingebunden wird, sondern als Kernel-Patch daherkommt. Das bedeutet: Um ein MOSIX-System aufzusetzen, muss man einen neuen spezifischen Kernel für die benutzte Hardware kompilieren - dies ist auch der größte Nachteil von MOSIX. Alle Maschinen im Cluster müssen die selbe Kernel- und MOSIX-Version aufweisen. Wird Standard -PC Hardware benutzt, so ist dieses Verfahren relativ einfach, da die gesamte Prozedur weitgehend automatisiert ist. Im Einzelfall, (wie auch im vorliegenden Fall) kann es jedoch durchaus komplex werden. Aufbau eines MOSIX-Clusters Die allgemeine Vorgehensweise zum Aufsetzen eines MOSIX-Systemes ist wie folgt: Installiere eine Standard- Distribution (hier: RedHat 7.3) Hole und entpacke den reinen ( vanilla )-Kernel von (hier: ) Hole die passende MOSIX-Version von (hier: 1.7.0) starte den MOSIX-Patch (menügeführt) und verwende die richtigen Schalter für den benötigten Kernel. Starte den neuen Kernel. Konfiguriere das MOSIX System. Wenn alle Schritte korrekt durchgeführt wurden (besonders die Verwendung der richtigen Schalter beim Kernel-Patch birgt im Einzellfall durchaus einige Stolpersteine ) hat man ein lauffähiges MOSIX-System. Damit das ganze auch von Nutzen ist, sollte man mindestens noch eine zweite Maschine mit dem selben System aufsetzen.

3 Zum Klonen des Systems bieten sich verschiedene Möglichkeiten an. Hier wurde das Sicherungssystem mindi/mondo-rescue benutzt, das ein einfaches Klonen auf CD-Images erlaubt. Praktische Erfahrungen In unserem Fall wurde ein MOSIX-Cluster bestehend aus 2x2 Dualprozessor- Maschinen aufgebaut. Dabei handelte es sich um je zwei Server- und zwei Workstation- Rechner von Dell auf Intel Basis. Die Hardwareausstattung war wie folgt: Server: (DELL PowerEdge 4600) 2 x Intel Xeon CPU's mit je 2,2 GHz 6 GB RAM 1 x 1 GBit 1000 Kupfer Netzwerkkarte. 1 x 1 GBit Glasfaser- Netzwerkkarte. 1 x 100 MBit Netzwerkkarte. Eingebautes SCSI-RAID-5 System. Workstations: (DELL Precision Workstation 530) 2 x Intel Xeon CPU's mit je 2,2 GHz 3 GB RAM 1 x 100 MBit Netzwerkkarte. 2 x 17 GB SCSI-HD's Abb. 1: Das beschriebene MOSIX-Cluster bestehend aus vier Maschinen Erwartungsgemäss gab es durch die etwas exotischere Hardware- Ausstattung der Server- Maschinen etwas mehr Probleme beim Aufsetzen von MOSIX. Diese waren durch die speziellen GBit- Netzwerkkarten sowie den RAID-Controller gegeben. Sie liegen aber auch in der Installations- Prozedur von MOSIX begründet:

4 Weil für MOSIX zwingend ein reiner (auch vanilla )-Kernel Voraussetzung ist, müssen alle benötigten Treiber und Module entsprechend eigens angepasst werden. Gängige Distributionen wie das benutzte RedHat 7.3 sind bereits mit einem gepatchten Kernel ausgestattet. Dieser kommt zwar im allgemeinen mit einer Vielzahl von Treibern daher, die jedoch für MOSIX nicht benutzt werden können. Nachdem alle Probleme beseitigt wurden, lief das System anschließend problemlos. Mit Hilfe des Sicherungssystems mindi/mondo-rescue konnte das frisch aufgebaute MOSIX- System relativ einfach vervielfältigt werden. Der zweite Server konnte dadurch nach ca. 15 Minuten in Betrieb genommen werden. Notwendig sind lediglich spezifische Anpassungen, wie Rechnername, IP Adresse usw. sowie die zentrale (und einzige) MOSIX-Konfigurationsdatei /etc/mosix.map. Dort ist die Cluster-Architektur beschrieben. Je nach Topologie kann das nur ein einziger oder aber auch komplexer Eintrag sein. Für die Workstation- Maschinen musste die Prozedur getrennt wiederholt werden, da die Hardware von den Servern verschieden ist. Das Vorgehen war sonst identisch. Betrieb Einer der Gründe für den Einsatz für MOSIX war die Tatsache, dass die vom Kunden eingesetzte Software darauf lauffähig sein sollte. Wie Eingangs erwähnt, kommt das (kommerzielle) Programm CFX-TASCFlow zum Einsatz, das zur numerischen Simulation von hydrodynamischen Modellen dient. Verschiedene Tests haben gezeigt, dass das System sich wie gewünscht verhält: Sobald eine gewisse Prozessor-Grundlast überschritten wird, migrieren die Prozesse auf die verschiedenen Rechner-Knoten (nodes). MOSIX ist stets um eine gleichmäßige Auslastung aller Maschinen bemüht. Dieses Verhalten kann zur Laufzeit mit den MOSIX-Kommando mon beobachtet werden. Dort zeigt eine einfache Text-Grafik die dynamische System- Auslastung der einzelnen Maschinen zur Laufzeit an. Damit kann sehr schön der Migrations- Prozess beobachtet werden. a) Prozesse werden von node4 aus gestartet.. b)..und migrieren auf die anderen nodes. c) Die Last wird gleichmäßig verteilt. e) node3 und 4 sind schon fertig.. f)..node2 rechnet noch.. g)..bis schlussendlich alle Nodes fertig sind. Abb. 2: Eine zur Laufzeit typische Lastverteilung des MOSIX-Clusters mit dem Kommando mon beobachtet. Die zweite Anwendersoftware die zum Einsatz kommt, ist CFX-5. Sie ist das Nachfolgeprodukt von CFX-TASCFlow und benutzt andere Algorithmen zur Lösung hydrodynamischer Probleme. Es hat sich leider herausgestellt, dass diese Software auf einem MOSIX-System nicht stabil läuft. Ab einer bestimmten Komplexität des zu berechnenden Problems, stürzt derjenige Knoten im Cluster ab, wohin ein Prozess migriert wurde. Die genaue Ursache dieses Problems konnte bis zum jetzigen Zeitpunkt (Oktober 2002) noch nicht lokalisiert werden, jedoch wird im Augenblick sehr intensiv zwischen dem Hersteller von CFX-5 und den MOSIX-Entwicklern an einer Lösung dieses Problems gearbeitet, so dass es einen Grund zur Annahme gibt dieses Problem in absehbarer Zeit in den Griff zu bekommen.

5 Vorzüge und Einschränkungen von MOSIX Aus den vorherigen Ausführungen wurde schon angedeutet, dass MOSIX natürlich seine Stärken und Schwächen hat. Die wichtigsten sind: Vorteile: Das System ist transparent. Es sind in der Regel keine Änderungen der Anwender-Software notwendig. Abstraktion der physikalischen Verteilung auf verschiedene Rechner. Programme (die mehrere Prozesse benutzen) werden ohne Änderungen verteilt. Einfache, klar definierte Schnittstellen. Gegenüber PVM: Die Verteilung ist adaptiv. Einschränkungen: Das System funktioniert nur, falls alle Teilnehmer dieselbe Betriebssystem- und MOSIX- Version benutzen. Prozesse einer Anwendung müssen schon parallelisiert sein. MOSIX parallelisiert von sich aus keine Prozesse. Der Kernel muss speziell gepatch werden. Die Anpassung muss individuell auf die jeweilige Hardware- Plattform zugeschnitten sein. Fazit Für Anwendungen die mehrere parallele Prozesse von sich aus erzeugen können wie z.b. CFX- TASCFlow, ist MOSIX ideal. Man startet solch eine Anwendung und deren Prozesse werden automatisch im Cluster verteilt. Auch ist es für Anwendungen interessant, von denen mehrere Instanzen zur Laufzeit aufgerufen werden. Jeder so erzeugte Prozess, kann vom System migriert werden. Beispiel: Mehrere Sequenzen einer Computer-Animation die mit POV-Ray ( erzeugt wird. Jeder Prozessor im Cluster könnte ein Einzelbild einer Sequenz berechnen. Da MOSIX im Kernel- Mode arbeitet, kann die Anwender- Software i.d.r. ohne irgendwelche Modifikationen benutzt werden. Für Anwendungen die keine parallelen Prozesse erzeugen können ist MOSIX weniger geeignet, da die Rechen-Kapazität des Clusters nicht ausgenutzt werden kann. In solchen Fällen könnte es empfehlenswert sein, eine Problemlösung bei sog. Batch-orientierten Lösungen wie PBSPro, PVM oder PMI zu suchen. Solche Systeme bieten deutlich mehr Feintuning für ein Problem, die jedoch mit einer höheren Komplexität des Systems erkauft wird. Glossar MOSIX = Multicomputer Operating System for UnIX / ( SMP = Shared Memory MultiProzessor Machine / (Linux-SMP: PVM = Parallel Virtual Machine / ( PBS = Portable Batch System / ( MPI = Message Passing Interface / ( Über SFI Technology Services AG SFI Technology Services in Dübendorf ist der führende Systemintegrator und Technologielieferant für den Schweizer Linux-Markt. Seit 1993 löst die Firma komplexeste Administrationsaufgaben in heterogenen Systemumgebungen. Ihre Linux-Projekte für Elektro-Material AG und IVI (Institut für Viruskrankheiten und Immunprophylaxe, eine Forschungsanstalt des Schweizer Bundes) haben internationale Anerkennung gefunden.