Projektseminar: Management von Linux Clustern (

Transkript

1 Projektseminar: Management von Linux Clustern ( Florian Schintke, Jens Simon April 2001

2 Was haben wir heute vor? Kurze Vorstellung des ZIB, der Lehrveranstalter und Teilnehmer Scheinkriterien Erstellen einer Teilnehmerliste Vorstellung der Themenkomplexe (Betreuer) 1. Cluster Administration, Cluster Monitoring (Jens) 2. Management großer Datenmengen im Cluster (Florian) 3. Job-Scheduling im Cluster (Florian) 4. Fehlertoleranz, Ausfallsicherheit im Cluster (Florian, Jens) 5. Sonstige Cluster Tools/Projekte (Jens) Was macht Wissenschaft aus? Wie funktioniert Wissenschaft ganz grob? Bekanntgabe der nächsten Termine (Vorträge: 27./ ) Verteilung der Themen

3 Konrad-Zuse-Zentrum für Informationstechnik Berlin Takustraße Berlin-Dahlem

4 ZIB Management Peter Deuflhard (1986, President), Numerical Methods Freie Universität Berlin Martin Grötschel (1991, Vice-President), Discrete Methods Technische Universität Berlin Alexander Reinefeld (1998), Computer Science Humboldt-Universität zu Berlin Henry Thieme (1990), Administration

5 The Two Faces of ZIB-CS Computer Services CS Research Supercomputing Services Cray T3E Mass Storage Architecture SAN interconnects cluster systems Middleware User Consulting efficient use of HPC networking distributed HPC computing resource management data management Demonstrator Applications bioinformatics

6 Konrad-Zuse-Zentrum für Informationstechnik Berlin Cray T3E Cray J90 Tape Robot Operating Center

7 Kurze Vorstellung der Lehrveranstalter (1) Florian Schintke Studium: Informatik an der TU-Berlin Nebenjob1: C++ Softwareentwickler bei Lufthansa Systems Berlin Nebenjob2: studentische Hilfskraft am ZIB Diplomarbeit: Simulation von Speicherhierarchien Seit September 2000 wissenschaftlicher Angestellter am ZIB Forschungsprojekte: DataGrid (Cern/Genf) (Speichern und Verwalten großer Datenmengen in Clustern) Entwurf/effiziente Nutzung großer Cluster mit geringem Verwaltungsaufwand (selbstheilend, ~ 3000 Knoten) Datenmanagement

8 Kurze Vorstellung der Lehrveranstalter (2) Jens Simon Studium/Promotion: Informatik an der Universität Paderborn Diplomarbeit: Parallelisierung von Simulated Annealing Promotionsarbeit: Effiziente Nutzung von Parallelrechnern Seit 1999 wissenschaftlicher Angestellter am ZIB - Leitung der Gruppe CSR - Beschaffung neuer Supercomputer Forschungsschwerpunkte: Interconnects Cluster-Computing Mobile Computing Leistungsbewertung

9 Kurze Vorstellung der Teilnehmer Wie heiße ich? Was studiere ich / im wievielten Semester? An welcher UNI studiere ich? Was sind meine bisherigen Studienschwerpunkte? Management von Linux Clustern ist: Welche Erwartungen habe ich an das Projektseminar?

10 Scheinkriterien Projektseminar 4 SWS: Management von Linux Clustern 1. aktive Teilnahme (z.b. bei Diskussionen) 2. praktische Leistung (zur Fundierung des Vortrags) 3. Vortragsvorbereitung + Vortrag (45 60 Minuten) 4. wissenschaftlich erstellte Ausarbeitung (8 12 Seiten)

11 Erstellen einer Teilnehmerliste Name Vorname Studienfach Fach- Mat.Nr. Semester Schintke Florian Informatik - - schintke@zib.de Simon Jens Informatik - - simon@zib.de...

12 1. Themenkomplex (Jens): Cluster Administration, Cluster Monitoring Tools zur Unterstützung bei Installation: Alice (Automatic Linux Installation and Configuration Environment) Roboinst Configuration: GNU Cfengine Monitoring: Big Brother Administration: SUT (Scalable Unix Tools) Mischung aus obigen: BitCluster Enlighten Linux ACE (Advanced Cluster Environment) CMU (Compaq Cluster Managemet Utility)

13 2. Themenkomplex (Florian): große Datenmengen im Cluster Die Fakten: Jeder Rechner im Cluster hat mind. eine lokale Festplatte. Das Problem: Dieser verteilte Speicher soll effizient für den gesamten Cluster genutzt werden. Die Lösungsmöglichkeiten: verteilte Dateisysteme wie GFS, XFS, CXFS, AFS, PVFS, (NFS ), Vergleichsmöglichkeiten: Performanz, Leistungsmerkmale, Datensicherheit, Skalierbarkeit, Administrationsaufwand,

14 3. Themenkomplex (Florian): Job Scheduling im Cluster Die Fakten: Viele Nutzer wollen auf den gleichen Cluster zugreifen Das Problem: Die Nutzer sollen sich nicht gegenseitig behindern. Jeder Job soll exklusiven Zugriff auf die zugeordneten Knoten haben. Batch-Betrieb versus interaktiver Betrieb? Die Lösungsmöglichkeiten: Job Management Systeme: PBS, CCS, Codine, Condor, GNU Queue, Legion, Mosix, Vergleichsmöglichkeiten: Performanz (z.b. Antwortzeit, Durchsatz), Flexibilität, Skalierbarkeit, Ressourcenverbrauch, Leistungsmerkmale,

15 4. Themenkomplex (Florian, Jens): Fehlertoleranz, Ausfallsicherheit im Cluster Die Fakten: In einem Cluster sind viele identisch ausgestattete Rechner Das Problem: Diese Redundanz möchte man zur Steigerung der Zuverlässigkeit eines Dienstes nutzen Die Lösungsmöglichkeiten: High Availability Project, Virtual Server Project,... Die Vergleichsmöglichkeiten: Leistungsmerkmale, Ressourcenverbrauch im Gegensatz zur nicht redundanten Variante, Performanz, welche Fehler werden (nicht) toleriert (Single Point of Failure?)

16 5. Themenkomplex (Jens): Sonstige Cluster Tools/Projekte Die Fakten: Es gibt noch andere interessante Clusterprojekte Das Problem: Nicht alle lassen sich schön kategorisieren Die Lösungsmöglichkeiten: Man kreiert eine Gruppe sonstiges : NUMA for Linux, OSCAR, Score, Java Message Service, Die Vergleichsmöglichkeiten: Müssen in diesem Fall individuell bestimmt werden

17 Wissenschaft ist: Was macht Wissenschaft aus? objektiv kritisch für andere nachvollziehbar Wissenschaft ist nicht: Werbung für ein Produkt voreingenommen, einseitig, spekulativ nur hinter Scheinen herlaufen... Mehr zum Thema Was macht Wissenschaft aus? : Zum Thema Wie schreibe ich wissenschaftlich? : Michael Alley. The Craft of Scientific Writing. 3 rd edition. Springer 1998.

18 Wie funktioniert Wissenschaft ganz grob? Ein Forscher hat eine Problemstellung/Idee/Hypothese Er macht eine Recherche zu diesem Problem/Thema a) Er findet die Lösung in einer Veröffentlichung b) Er findet nichts -> Er denkt nach: i) er kann das Problem nicht lösen -> Pech! ii) er löst das Problem: er schreibt einen wissenschaftlichen Artikel darüber in dem er alle relevanten Quellen (Literatur, Artikel) zitiert. Er stellt seine Forschung anderen Forschern auf einer Konferenz vor, diskutiert darüber und veröffentlicht seinen Artikel zur Konservierung des Wissens. Der veröffentlichte Artikel kann von anderen Forschern gefunden und zitiert werden.

19 Festlegen der nächsten Termine Ablauf des Projektseminars: Die Teilnehmer bekommen Informationsquellen über ihr Thema mitgeteilt. Die Teilnehmer setzen sich mit diesem Material auseinander und ergänzen dieses durch eigene Recherchen. Die Teilnehmer definieren ihren praktischen Teil zu ihrem Thema (Installation, Test, Performanzmessung) und sprechen dies mit dem zuständigen Betreuer ab. Der Vortrag wird vorbereitet (in Absprache mit dem Betreuer) Die Teilnehmer tragen ihren Vortrag vor (27./ am ZIB) ca Minuten + ca. 15 Minuten Diskussion. Die Teilnehmer schreiben ihre Ausarbeitung, sprechen diese mit dem Betreuer ab. Die Ausarbeitungen und Vortragsfolien werden im Web als nützliche Überblicksartikel veröffentlicht.

20 Verteilung der Themen 1. Cluster Administration, Cluster Monitoring (Jens) 2. Management großer Datenmengen im Cluster (Florian) 3. Job-Scheduling im Cluster (Florian) 4. Fehlertoleranz, Ausfallsicherheit im Cluster (Florian, Jens) 5. Sonstige Cluster Tools/Projekte (Jens)