D6.3 Trainingsplan und Material

Transkript

1 D6.3 Trainingsplan und Material Arbeitspaket/Task: AP 6, Task 6.2 Fälligkeit: M18 Abgabetermin: Verantwortlich: Versionsnummer/Status: Autoren: ZIH Koudela, Daniela (DK) Mickler, Holger (HM) Volk, Eugen (EV) 67 / Abgeschlossen ZIH ZIH HLRS Interne Gutachter: Isenmann, Goetz S+C Vertraulichkeitsstatus Öffentlich Projektintern Sonstiges: X Version Datum Änderungen Autor Erste Gedanken DK Neue Version nach Eugens Vorschlag DK Ein paar Änderungen HM Hinzufügen des Kapitels Trainingsplan EV Kleinere Ergänzungen und Korrekturen DK, HM D6.3 Trainingsplan und Material v67 1/

2 Inhaltsverzeichnis 1 Einleitung Inhalt des Handbuches Was ist TIMaCS und was kann es? Wer sollte TIMaCS benutzen? Systemvoraussetzungen, unterstützte Systeme Wie ist TIMaCS aufgebaut? Wie wird TIMaCS installiert? Software installieren Inventar einlesen Wie wird TIMaCS konfiguriert? Erstellung der Policies und Regeln Monitoring Kommunikation Management Regressionstests Compliance-Tests Wie benutzt man TIMaCS? Policy basiertes Management Manuelle Fehlerbehandlung Automatische Fehlerbehandlung Einen Knoten hinzufügen/entfernen Virtualisierung Wie schreibt man Plugins für TIMaCS? Plugin für einen Monitoring-Sensor Plugin für ein weiteres Batch-System Trainingsplan...11 D6.3 Trainingsplan und Material v67 2/

3 1 Einleitung Ein Erfolg für TIMaCS wäre, wenn es nach seiner Fertigstellung in möglichst vielen Rechenzentren benutzt wird. Um diesen Erfolg zu ermöglichen, muss man TIMaCS unter den Administratoren bekannt machen und seine Vorteile gegenüber anderen Systemen wie Nagios oder Ganglia herausstellen. Des Weiteren erleichtern Schulungen und Kurse zu TIMaCS, Hemmungen gegenüber der neuen Software abzubauen. Eine Anleitung und Dokumentation zum Selbststudium und zum Nachschlagen ergänzen die Schulungen bzw. ermöglichen auch Leuten, die nicht an einer Schulung teilgenommen haben, TIMaCS zu verwenden. Ferner ermöglicht TIMaCS durch seine offenen Schnittstellen und Standards Erweiterungen durch Dritte. Damit diese Möglichkeit auch genutzt werden kann, muss die Definition der Schnittstellen kommuniziert werden und es muss eine Anleitung geben, wie ein bestimmtes Modul oder Plugin sei es für ein neues Batch-System oder für einen neuen Monitoring-Sensor auszusehen hat und wie es in das Programm eingebunden werden kann. Um eine möglichst große Anzahl von potentiellen Nutzern in der Verwendung und möglichen Erweiterung von TIMaCS zu schulen, ist die Realisierung eines Trainingsprogramms vorgesehen. Dazu werden Kurse angeboten, die Kenntnisse in der Verwendung von TIMaCS vermitteln, sowie dazu anleiten, Erweiterungen zu schreiben. Zusätzlich wird es ein Handbuch zu TIMaCS geben, das eine Anleitung zum Selbststudium enthält, die auch zum Nachschlagen bei der täglichen Arbeit mit TIMaCS verwendet werden kann. Sobald die Implementierung des ersten TIMaCS-Prototyps so weit fortgeschritten ist, dass Details zur Konfiguration, Benutzung und Weiterentwicklung von TIMaCS feststehen, wird auch das Handbuch erstellt und es werden auf der Grundlage des Handbuches Folien mit Übungsbeispielen erarbeitet, die in den Kursen verwendet werden können. Es ist geplant, das Handbuch und die Folien auf der Homepage des TIMACS-Projektes ( zu veröffentlichen und bei jeder Veröffentlichung eines neuen TIMaCS-Releases zu überarbeiten und auf den aktuellen Stand zu bringen. Im nächsten Kapitel folgt eine Übersicht, welche Fragen das Handbuch bzw. die Folien beantworten werden. Das dritte Kapitel enthält den Trainingsplan, der die Schulung in drei Teile aufteilt: Anfänger, Fortgeschrittene und Entwickler, und eine Übersicht darüber enthält, welche Kenntnisse in welchem Modul vermittelt werden. D6.3 Trainingsplan und Material v67 3/

4 2 Inhalt des Handbuches 2.1 Was ist TIMaCS und was kann es? Wozu verwendet man TIMaCS? Was ist die Funktionalität von TIMaCS? Was kann TIMaCS? 2.2 Wer sollte TIMaCS benutzen? Für welche Zielgruppe wurde TIMaCS entwickelt? 2.3 Systemvoraussetzungen, unterstützte Systeme Welches Betriebssystem braucht man, wenn man TIMaCS nutzen will? Welche Programme müssen zusätzlich zu TIMaCS installiert sein? Welche Python-Version muss mindestens vorhanden sein? Welche Bibliotheken von Python, die nicht zur Standardinstallation gehören, werden gebraucht? Welche weiteren Abhängigkeiten von Python sind zu beachten? 2.4 Wie ist TIMaCS aufgebaut? Erklärung der hierarchischen Struktur von TIMaCS Wie viele Knoten sollten vernünftigerweise zu einer Gruppe zusammengefasst werden? Aus welchen Komponenten besteht TIMaCS? Wie sind die einzelnen Komponenten aufgebaut? Was ist die Aufgabe der einzelnen Komponenten? Auf welcher Hierarchieebene müssen welche Komponenten installiert werden? Wie funktioniert der Nachrichtenfluss innerhalb von TIMaCS? Was ist ein Event? Was ist ein Report? Was sind Policies? Wo sitzt das Verwaltungsinterface? D6.3 Trainingsplan und Material v67 4/

5 Von wo aus kann man die von TIMaCS gesammelten Informationen abrufen? Gibt es die Möglichkeit, manuell einzugreifen? 2.5 Wie wird TIMaCS installiert? Wie plant man die Hierarchie? Welche Computer eignen sich als TIMaCS-Knoten? Welcher Computer sollte der Administratorknoten werden? Software installieren Welche Dateien kommen in welches Verzeichnis? Muss ein tarball entpackt werden oder ein make gemacht werden? Wird es eine automatische Installationsroutine geben? (analog sudo apt-get install TIMaCS) Muss TIMaCS auf allen Knoten installiert werden? Welche Komponenten von TIMaCS müssen auf welchen Knoten installiert werden? Wie installiert man die einzelnen Komponenten? Inventar einlesen Wie erhält TIMaCS die Information wie viele Rechenknoten es gibt und welche Computer das sind? wie viele Ebenen die Hierarchie hat? welche Knoten TIMaCS-Knoten sind? welcher TIMaCS-Knoten sich in welcher Ebene befindet? welcher TIMaCS-Knoten für welche Knoten in der Ebene untendrunter zuständig ist bzw. welcher Knoten sich an welchen Knoten der Ebene obendrüber wenden soll? welche Inventarkomponenten es noch gibt (Switches, InfiniBand,...)? 2.6 Wie wird TIMaCS konfiguriert? In welchem Verzeichnis liegen die Konfigurationsdateien? Wird es ein Webinterface oder eine andere GUI zur Konfiguration geben? Hat man die Möglichkeit, die Konfigurationsdateien manuell zu editieren? Wie sehen die Konfigurationsdateien aus? Wie viele gibt es davon? D6.3 Trainingsplan und Material v67 5/

6 2.6.1 Erstellung der Policies und Regeln Wie erstellt man Policies und Regeln? Woher weiß man, welche Policies und Regeln sinnvoll sind? Tools for Intelligent System Management of Wie viele Policies und Regeln müssen mindestens definiert werden, damit TIMaCS funktionsfähig ist? Gibt es Standard-Policies und -regeln? Wenn ja, was muss man beachten, wenn man diese auf seinem System anwendet? Monitoring Wie sagt man TIMaCS, welche Sensoren auf welchem Rechner abgefragt werden sollen? Wie sagt man TIMaCS, wie häufig die Sensoren abgefragt werden sollen? Welche Konfiguration der Monitoring-Datenbank ist sinnvoll? Wie werden Monitoring-Informationen von Nagios oder Ganglia eingebunden? Was ist eine Metrik? Wie können andere Monitoring-Tools oder weitere Informationsquellen mit Hilfe von Plugins ins TIMaCS-Framework integriert werden? Wie sieht die Struktur/Schnittstelle eines Monitoring-Plugins aus? Kommunikation Wie funktioniert das Publish/Subscribe-Prinzip? Müssen die Broker konfiguriert werden? Woher wissen die einzelnen TIMaCS-Komponenten, welche Nachrichtenkanäle sie abonnieren müssen? Wie fügt man neue Sensoren hinzu? Management Was sind Delegates? Wie können auf externen Entitäten mit Hilfe von Delegates Kommandos ausgeführt werden? Wie sieht die Struktur/Schnittstelle eines Delegate aus? Wie können neue Delegates in TIMaCS eingebunden werden? D6.3 Trainingsplan und Material v67 6/

7 2.6.5 Regressionstests Was ist ein Regressionstest? Was macht ein Regressionstest? Wozu ist ein Regressionstest gut? Welche Metriken eignen sich für Regressionstests? Wie funktioniert ein Regressionstest? Wo holt sich der Regressionstest seine Daten? Tools for Intelligent System Management of Auf welche Weise ermittelt der Regressionstest, ob die Komponente ausfallgefährdet ist? Welche Möglichkeiten gibt es, einen Regressionstest zu starten? Welche Größen sind bei einem Regressionstest konfigurierbar? Wie erstellt/konfiguriert man Regressionstests? Wo und wie kann man konfigurieren für welche Metriken es Regressionstests geben soll? wie oft die Durchführung eines Regressionstests erfolgt? welche Startmöglichkeit genutzt werden soll? welches Zeitintervall untersucht wird? wie viele Daten sich der Regressionstest aus der Datenbank holt? wenn man den Toleranzbereich für die Steigung (Sensitivität des Regressionstests) ändern will? Compliance-Tests Was ist ein Compliance-Test? Was macht ein Compliance-Test? Wozu ist ein Compliance-Test gut? Was unterscheidet einen Compliance-Test vom Monitoring? Wann ist es sinnvoll, Compliance-Tests als Preprocessing durchzuführen? Beispiele für Compliance-Tests Wie funktioniert ein Compliance-Test? Welche Möglichkeiten gibt es, einen Compliance-Test zu starten? D6.3 Trainingsplan und Material v67 7/

8 Wie funktioniert ein Compliance-Test? Wie erstellt/konfiguriert man Compliance-Tests? Wie konfiguriert man einen Compliance-Test? Welche Metriken eignen sich für Compliance-Tests? Wo konfiguriert man, welche Compliance-Tests es geben soll? Gibt es die Möglichkeit, das Durchführen von Compliance-Tests zu automatisieren? (Z. B. Durchführen von Compliance-Tests nach jedem Reboot) Wo konfiguriert man die Durchführung von bestimmten Compliance-Tests als Preprocessing? Wo und in welcher Form wird die Information abgespeichert, was die Sollwerte der in Compliance-Tests überprüften Metriken sind? 2.7 Wie benutzt man TIMaCS? Policy basiertes Management Wie ändert man Policies und Regeln, wenn man im laufenden Betrieb bemerkt, dass die aktuellen Policies und Regeln zur Fehlerbehebung auf dem System nicht geeignet sind? Manuelle Fehlerbehandlung Wo wird festgelegt, ob Fehler automatisch oder manuell behandelt werden? Können Fehler wie gewohnt mit Shell-Kommandos behoben werden oder gibt es innerhalb von TIMaCS eine spezielle Eingabemaske/Benutzeroberfläche, von der aus manuelle Eingriffe zu tätigen sind? Wo ist zu sehen, welche Fehlerbehandlung TIMaCS vorschlägt? Wie nimmt man diesen Vorschlag an? Wie lehnt man ihn ab? Automatische Fehlerbehandlung Wie kann die automatische Fehlerbehandlung für einzelne Fehlerfälle freigeschaltet werden? Was passiert, wenn ein Fehler auftritt, für den es keine Policies und Regeln gibt? Kann man die automatische Fehlerbehandlung für alle Fehlerfälle auf einmal freischalten? Einen Knoten hinzufügen/entfernen Wo wird ein neuer Knoten eingetragen? Was muss getan werden, damit dieser vollständig in TIMaCS und in das Cluster integriert ist? D6.3 Trainingsplan und Material v67 8/

9 Wie entfernt man schnell und unkompliziert einen Knoten? Virtualisierung Wozu ist Virtualisierung gut? Was sind die Vorteile von Virtualisierung? Hat Virtualisierung auch Nachteile? Kann man TIMaCS auch ohne Virtualisierung nutzen? Wie funktioniert Virtualisierung? Wie konfiguriert man virtuelle Maschinen? Wie werden virtuelle Arbeitsumgebungen erzeugt, installiert, verteilt, verwaltet und auch wieder entfernt? 2.8 Wie schreibt man Plugins für TIMaCS? Plugin für einen Monitoring-Sensor Wie ist die Datei, die das Plugin enthält, aufgebaut? Welche Funktionen müssen programmiert werden? Wie sieht die Schnittstelle aus? Gibt es Konventionen beim Dateinamen, denen man folgen muss/sollte? Wo (auf welchem Rechner, unter welchem Pfad) wird welche Datei abgelegt? Welche Rechte braucht die Datei? Wohin kann man sich wenden, wenn man ein selbst geschriebenes Plugin der Allgemeinheit zur Verfügung stellen möchte? Plugin für ein weiteres Batch-System Wozu braucht TIMaCS ein Plugin für ein Batch-System? Welche Batch-Systeme werden bereits von TIMaCS unterstützt? D. h. für welche Batch- Systeme existieren bereits Plugins? Welche Funktionalitäten werden über die Schnittstelle zum Batch-System geregelt? Welche Grundfunktionalitäten muss jedes Batch-System liefern, um mit TIMaCS zusammen zu arbeiten? D. h. welche Funktionen müssen programmiert/implementiert werden? Wie sieht die Schnittstelle aus? D6.3 Trainingsplan und Material v67 9/

10 Was versteht man unter dem optionalen Teil? Wie kann der optionale Teil gestaltet werden? Gibt es Konventionen beim Dateinamen, denen man folgen muss/sollte? Wo (auf welchem Rechner, unter welchem Pfad) wird welche Datei abgelegt? Wo muss man etwas an der Konfiguration ändern, wenn man ein anderes Batch-System verwenden will? Welche Rechte braucht die Datei? Wohin kann man sich wenden, wenn man ein selbst geschriebenes Plugin der Allgemeinheit zur Verfügung stellen möchte? D6.3 Trainingsplan und Material v67 10/

11 3 Trainingsplan Wie bereits erwähnt, um eine möglichst große Anzahl von Nutzern in der Verwendung und Erweiterung von TIMaCS zu schulen, ist die Realisierung eines Trainingsplans erforderlich. Die Ziele eines solchen Trainingsprogramms sind die Aneignung folgender Fähigkeiten: 1. Installation des TIMaCS-Frameworks 2. Konfiguration und Anpassung des TIMaCS-Frameworks an die Bedürfnisse des Administrators und an den Cluster 3. Wie man mit Hilfe des TIMaCS-Frameworks einen Cluster überwacht und verwaltet 4. Wie existierende und neue Tools (Monitoring- und Management-Tools), Informationsquellen und Delegates ins TIMaCS-Framework integriert werden können 5. Erstellung von Policies und Regeln zur Erkennung und Behebung von Fehlern 6. Erstellung von Tests (Compliance- und Regressionstests) zur präventiven Fehlererkennung 7. Erweiterung des TIMaCS-Frameworks und Entwicklung neuer Komponenten Der Kurs kann dabei in drei Teile aufgeteilt werden: Grundlegende Fähigkeiten: Installation und Konfiguration des TIMaCS-Frameworks Überwachung und Verwaltung des Clusters mit TIMaCS mit vorgegebenen Regeln und Policies Fortgeschrittene Fähigkeiten: Integration existierender und neuer Monitoring- und Management-Tools in TIMaCS Fortgeschrittene Konfiguration: Anpassung des TIMaCS-Frameworks an die Bedürfnisse des Administrators und an den Cluster Erstellung und Änderung von Regeln und Policies Erstellung von Tests (Compliance- und Regressionstests) zur präventiven Fehlererkennung Erweiterte Fähigkeiten (richtet sich an die Entwickler): Erweiterung existierender Monitoring- und Management-Komponenten Entwicklung neuer Komponenten für TIMaCS Jeder der drei Kursteile wird von Übungen und Aufgaben begleitet, und bietet den Nutzern einen unmittelbaren Bezug zur Praxis im Umgang mit dem TIMaCS-Framework. D6.3 Trainingsplan und Material v67 11/