Installation und Management von Linux-Clustern. Ralf Staudemeyer. Ralf Staudemeyer. 27. Juni 2001

Transkript

1 Installation und 27. Juni 2001

2 Vortragsüberblick Überblick über Cluster Installations- und Managementprozeß Problemsensibilisierung Cluster-Monitoring Big Brother Cluster-Management GNU Cfengine sonstige Tools Bit Cluster Roboinst Scalable Unix Tools

3 Was ist ein Cluster? Ein Cluster ist eine Ansammlung von vernetzten Computern, die als einheitliche Recheneinheit genutzt werden können. (Gregory Pfister) Cluster bieten: hohe Rechengeschwindigkeit große Kapazität hohe Verfügbarkeit gute Skalierbarkeit

4 Was ist ein Beowulf? Hardware: optimales Preis-Leistungsverhältnis durch COTS Sammlung von PC s, Low-cost LAN System: Ausschließlich Nutzung freier Software überwiegend C oder FORTRAN-basierend MPI-Programmierumgebung für parallele Anwendungen

5 Genereller Aufbau Backend (compute nodes) privates Subnet für das Backend Frontend (service nodes) öffentliche Adresse(n) für das Frontend Frontend agiert als Gateway node002 node003 node004 node , beogate Gatewayfunktionalität Switch Ethernet Switch Subnet Netzwerk Subnet

6 Cluster-Administration

7 IP-Adressverwaltung Adressvergabe auf sinnvolle, nachvollziehbare Strukturierung achten evtl. DHCP oder BOOTP einrichten dynamisch statisch private Subnetze für das Backend nutzen Routing einrichten Kommunikation zwischen Fronend und Backend

8 OS Management OS auf den Knoten aufspielen konfigurieren up-to-date halten tunen, debuggen, patchen etc. Knoten können sich mehr oder weniger unterscheiden!

9 Boot-Vorgang lokale Festplatte OS ist auf eigener Festplatte aufwendiger Installationsprozeß gute Performance hohe (lokale) Flexibilität gute Fehlertoleranz wird schnell inkonsistent Diskless OS ist auf Remote-Server und wird via NFS importiert booten via Boot-Roms und DHCP bzw. BOOTP gut zu administrieren (zentral) geringe Flexibilität schlechte Fehlertoleranz

10 OS Installation 1. Ad-Hoc OS per Hand auf jeden Knoten aufspielen Anpassungen später individuell vornehmen 2. Cloning Standardinstallation auf jedem Knoten clonen keine Anpassungen 3. Zentralisiert alle Veränderungen einer Standardinstallation werden geclont 4. Datenbankbasierend Zentralisiertes datenbankbasierendes Management Datenbank enthält Informationen über jeden Knotentyp 5. Hierachisch hierachische Datenbankstruktur verwaltet Knoten eine Datenbank für jeweils n-knoten

11 Dateisysteme lokale Dateisysteme Ext2 Reiser globale Dateisysteme NFS AFS verteilte/parallele Dateisysteme pvfs GFS Synchronisation? Konsistenz?

12 Applikationen Trennung von Applikationen und OS minimale Software auf dem Backend compute nodes sollen rechnen! Applikationen und Services auf das Frontend evtl. eigener Application-Server command nodes sollen steuern! Versionsverwaltung?

13 Accountverwaltung Accountverteilung user - uid mapping Gruppenverwaltung Heimatverzeichnisse Passwörter zentrale Accountverwaltung NIS, NIS+ scriptbasiertes Kopieren skaliert nicht!

14 Sicherheit Routinghost ist Schwachstelle Firewall ssh VPN Deaktivierung nicht benötigter Services FTP telnet rsh Sicherheitspatches regelmäßig aufspielen

15 Monitoring Status Monitoring Hardware Software Netzwerk Services Performance Monitoring Visualisierung, was wo wie schnell gerechnet wird Admin/User Monitoring Informationszusammenstellung (Logfiles) Logfileauswertung Debugging Was kann / Was muß (wann) getan werden?

16 Skalierbarkeit Das ist das richtige Problem!!! wachsende Knotenanzahl erhöht Komplexität Kommunikation, Routingalgorithmen Administration, Monitoring Verteilung, Prozeßmigration... Tools helfen Problem der Skalierbarkeit zu beherrschen Think Big!!!

17 Cluster-Monitoring Big Brother Statusinformationen einzelner Knoten auf HTML bzw. WAP-Seiten Client-Server Architektur unterstützt Unix/Linux, NT/Win2k, Novell, Mac Testet (durch Scripte beliebig erweiterbar) ftp, http(s), smtp, pop3, dns, telnet, imap, nntp und ssh Festplattenspeicher, CPU-Auslastung, Prozesse, Logfiles Benachrichtigung via , SMS oder Pager vielseitig konfigurierbar History Funktion, Zusammenfassungen, Plug-ins

18 Cluster-Monitoring BBClients Big Brother Architektur BBNetwork BBServer BBServer scannt Netzwerk nach BBClients und sammelt Daten Computer Ethernet Switch Switches etc. BBClients scannt locales System nach systemspezifischen Informationen BBDisplay BBDisplay generiert HTML/WAP Seiten mit Statusinformationen Clusternodes Supercomputer BBPager sended Fehlermeldungen via E Mail, SMS oder Pager BBPager Message Services Mail, SMS Pager

19 Cluster-Administration GNU Cfengine Beschreibungsspr. für Konfigurationsaufgaben in TCP/IP-Netzen Cfengine-Programm beschreibt Konfiguration aller Rechner Cfengine-Interpreter arbeitet Konf. auf betr. Maschine ab Unterschiede werden korrigiert (zero administration client) Trennung zwischen Service und Rechner eine zentrale Beschreibung des Gesamtsystems Expertensystem sehr vielseitig, hohes Sprachniveau! optimiert für größere (heterogene) Installationen Clienten

20 Cluster-Administration GNU Cfengine Features ASCII-Files editieren Files kopieren symbolische Links prüfen und einrichten check&set Zugriffsrechte und Eigentümerangaben von Files Files löschen Shell-Scripte und Kommandos ausführen Signale an Prozesse schicken Netzschnittstellen prüfen und konfigurieren NFS-Filesysteme mounten/unmounten

21 Cluster-Administration GNU Cfengine - eine Beispiel: control: actionsequence = ( links tidy ) links: sun4:: /bin > /usr/bin redhat:: /usr/x11 >! /usr/x11r6 tidy: /tmp pattern=* age=7 recurse=inf Worte, die mit : enden sind sections Worte, die mit :: enden sind Klassen name = (list) sind Wertzuweisungen

22 Tools: Bit Cluster Suite von Tools für Linux-Cluster ctelnet, xfanout, fanout startet xterms auf mehreren Knoten und eine Kommandozeile Eingaben auf der Kommandozeile erscheinen auf allen Knoten xfanout übernimmt X-Management fanout übernimmt Verteilung der Eingaben rexd, on, any remode execution daemon Arbeitsverzeichnis, Umgebungsvariablen etc. bleiben erhalten cstat entspricht dem Befehl vmstat Informationen über Speicher, Prozesse, CPU-Activität

23 Tools: Roboinst Roboinst simultane Installation von Software in heterogenen Netzen Roboinst ist scriptbasierend und Teil der SGI-ACE-Suite unterstützt IRIX, Linux evtl. weitere Derivate Features: HD-Partitionierung Filesystemkonfiguration Neuinstallationen Softwareupgrades und Patches einspielen

24 Tools: SUT Scalable Unix Tools Standartunixkommandos zur parallelen Ausführung skalieren besser als Scripte Implementation MPI-basierend Kommandos pexec, pls, prm, pfind, pps sutload, sutdf z.b. pexec -all < cmd >

25 Literaturquellen Webseiten Cluster Quickstart Bücher How to build a beowulf A guide to the implementation and application of PC clusters Thomas L. Sterling, MIT Press In Search of Clusters Gregory Pfister, Prentice Hall

26 Kontakt : staudemeyer@zib.de