Quick Cluster Overview

Transkript

1 Physikalische Fakultät der Universtät Heidelberg Projektpraktikum Informatik, SS 06

2 Aufgabenstellung Problem: von Clusterdaten Vermeidung der schwächen von Ganglia und Lemon Nutzung von Ganglia bzw. Lemon zur Datenerfassung Fokus: Übersicht Nur aktuelle Daten Alle Knoten in einem Graphen Möglichst wenige Metriken pro Graph Geschwindigkeit Ausführungsgeschwindigkeit Begrenzte Systemlast

3 Übersicht Allgmeines Plugin-System Gemeinsamer Speicher Abbildung: übersicht Apache Thread (standalone, ganglia, lemon) Config Handling Layer / Engine Template Engine ( smarty, json ) Config Cluster Cluster Interface (Ganglia, Lemon) Shared Interface Plot Interface (Gnuplot) Templates Images Images Ganglia Lemon System V Shared Memory Filesystem

4 Übersicht Allgmeines Plugin-System Gemeinsamer Speicher Allgemeines PHP 4 und aufwärts Apache Webserver Unix/Linux Betriebssystem Throtteling durch konfigurierbares Aktualisierungsintervall Modular Standarfunktionalität wo möglich

5 Übersicht Allgmeines Plugin-System Gemeinsamer Speicher Plugin-System Einbindung verschiedener Montoringsysteme Ausgabe mithilfe verschiedener Plotprogramme Anpassung an API-Änderungen ohne Änderungen anderen Teilen des Programms Realisierung über PHP-Dateien mit konventionsbasierten Funktionsnahmen Verzicht auf Objekte wegen Änderungen zwischen PHP4/5

6 Übersicht Allgmeines Plugin-System Gemeinsamer Speicher Gemeinsamer Speicher Gewährleistet gemeinsamen Datenkontext Realisiert über System-V-Shared-Memory Datenkontext wird serialisiert gespeichert Semaphore zur Konsistenzgewährleistung Abstrahiert angebunden

7 Allgemeines Ganglia Lemon Prüfung des Shared Memory auf aktuelle Daten Laden von Configuration falls notwendig Präperation einer Liste benötigter Metriken Laden des Plugins Abfrage des Plugins

8 Allgemeines Ganglia Lemon Ganglia Abfrage via TCP Ganglia stellt XML aller Werte aller Knoten Verarbeitung des XML mit Expat-basiertem Parser Benötigte Werte eines Knoten werden an Metrik gehängt Nicht benötigte Werte werden verworfen Pull Node Node Node Server Pull Pull Retrieval Plugin Pull

9 Allgemeines Ganglia Lemon Lemon Lemon APIs nicht stabil Nutzung interner Funktionalität des Lemon-UI Direktes parsen der Flatfilebzw. Oracle-Datenbank Abfrage der Werte aller Knoten für jede benötigte Metrik Server DB Pull Node Node Node Retrieval Plugin

10 Gnuplot - Gnuplot Basiert auf PHP-GNUPlot Started Gnuplot in neuem Prozess Öffnet Pipe zu Gnuplots STDIN Übergibt Daten über Pipe Schreibt auschließlich die vom Browser genutzten Dateien Faktor 2-4 durch Modifikationen an PHP-GNUPlot

11 Zusammenfassung Zusammenfassung Realisiert: Schnell erfassbare Übersicht Sekündliche Aktualisierung möglich Skaliert auch für mehrere Nutzer Was man noch machen könnte: Anpassung an neue Lemon APIs Plotten mehrerer Zeitinervalle Genauere Performancemessungen