Monitoring der GEO600-Jobs Beispiel für Applikations- Monitoring

Transkript

1 Monitoring der GEO600-Jobs Beispiel für Applikations- Monitoring Alexander Beck-Ratzka Monitoring-WS, Alexander Beck-Ratzka Monitoring GEO600 Monitoring Workshop

2 Agenda Was ist GEO600 und aufs Grid. Automatisierung der job submission und Fehlerbehandlung. Online Demo GEO600-Portal

3 GEO600 Interferometer zur Messung von Gravitationswellen. Standort: südlich von Hannover Problem: Rauschen noch über der Nachweisgrenze. Analyse der Daten mit unterschiedlichsten Parametern erforderlich ->

4 Applikation zur Analyse der Messdaten der Inferometer. Basiert auf BOINC Framework. Entwickelt am Max-Planck- Institut für Gravitationsphysik.

5 Applikation zur Analyse der Berkley Open Infrastructure for Distributed Computing Messdaten der Inferometer. Basiert auf BOINC Framework. Entwickelt am Max-Planck- Institut für Gravitationsphysik.

6 Executables für nahezu alle Architekturen verfügbar. Roh-Daten werden vom runtergeladen; analysierte Daten zurückgespielt. Ein läuft nur, wenn Prozessor idelt (BOINC). Jeder kann sich beteiligen; für abgeschlossene Läufe werden Credits vergeben

7 aufs Grid 1 Ideal für das Grid: Für viele Plattformen verfügbar Gut getestete Software Einfache Requirements auf den Ressourcen Eingebaute checkpoint- und Recovery-Methoden Laufzeit kann auf die Minute genau angegeben werden Lineare Skalierung mit Anzahl der Knoten (Task Farming)

8 aufs Grid 2 Automatisches Deployment Deployed wird auf Globus-Ressourcen mit einem wsgram-job Erforderliche Software (GEO600 und third party products) wird aus svn Repositories ausgecheckt, und ggf. compiliert

9 aufs Grid 3 Ablauf eines Grid-Jobs client wird mit vorgegebenen Walltime Limit auf Workernode gestartet client holt sich zu Beginn (falls erforderlich) Datenpaket von Server Meldet seinen Start bei zentraler mysql- Datenbank auf buran.aei.mpg.de an Nach Ablauf der Walltime werden checkpoints für Neustart geschrieben meldet sich bei Datenbank als fertig ab Jeder job wird mit einer eindeutigen Task-Nummer versehen

10 Ablauf Execution Host Checkpoint data on localhost Client Server inspect.pl mysql-server buran.aei.mpg.de

11 Ablauf Execution Host Checkpoint data on localhost Server inspect.pl mysql-server buran.aei.mpg.de

12 Automatisierung Automatisierte Job-Submission mittels cron-jobs Ablaufsteuerung über config-file run gt4-fzk.gridka.de { GEO600_HOME = GEO FT = PBS FT_FORK = YES TIMEOUT = 1.00:00:00 JOBS_RUNNING_MAX = 2600 JOBS_QUEUE_MAX = 80 JOBS_QUEUE_MIN = 50 FLOPS = 1709 CHECK_ARCHIVE = NO USE_TMP = /tmp PREFIX = build/boinc_5.4.11_i686-pc-linux-gnu GSISSH = dgrid-fzk.gridka.de POSTSTAGE = no LOCATION = file://~/geo /tasks ACCESS = gt4-fzk.gridka.de GT4 = gt4-fzk.gridka.de }

13 Automatisierung Überprüfung der Status der Tasks in mysql-datenbank Auslösen von fehlerbehenden Aktionen, wenn diese behebbar sind. Jeder Inspektionslauf schickt eine an den Jobadmin (cron-feature), so dass dieser bei nicht behebbaren Fehlern sofort informiert wird, und aktiv werden kann.

14 Automatisierung Automatische Reaktion auf Fehler in config-file einstellbar ERROR P-Done-rc127 { APPLICATION_STATE = P GLOBUS_STATE = Done GLOBUS_RC = MESSAGE = "application returned error code 127" ACTION = RESET } ERROR E-Failed-rc1 { APPLICATION_STATE = E GLOBUS_STATE = Failed GLOBUS_RC = 256 MESSAGE = "application returned errorcode 1" ACTION = RMDIR,STAGEOUT,DEANNOUNCE }

15 Grid-Bilanz Obwohl erst seit März diesen Jahres richtig produktiv, sind wir schon auf Platz 1 aller Beitragenden escience-gruppe des AEI hat die meisten Credits gesammelt Täglich um oder etwas über CPU-Stunden auf D-Grid Ressourcen

16 Online Demo GEO600 Portal... Alexander Beck-Ratzka Monitoring GEO600 Monitoring Workshop

17 GEO600-Portal

18 GEO600-Portal

19 GEO600-Portal