Jobmanagement-Systeme im Vergleich

Transkript

1 Clusterressourcen optimal nutzen: Jobmanagement-Systeme im Vergleich Autor: Bernward Platz Platform LSF PBS Pro Torque Sun GridEngine clucon cluster concepts Bernward Platz Seite 1

2 Biographie 1994: Abschluss Studium Informatik an der TU Braunschweig : science+computing AG in München, Schwerpunkt HPC- Cluster-Betrieb und CAE-Workflow : Entwicklungsleiter bei der Teraport GmbH (Jenoptik Gruppe) in München, Schwerpunkt High Performance Computing Seit 2004: Freiberuflicher Software-Entwickler und IT-Berater. Automobil-, Luft- und Raumfahrtindustrie, Medizin (EDAG, EADS, Uni München,..) CAE-Linux-Cluster: Beratung, Konzeption, Installation und Betrieb PBS Pro Reseller Webgestützte Workflowoptimierung im CAE-Bereich Software-Entwicklung (u.a. Parallelisierung eines FE-Solvers aus der Strömungsmechanik für die EADS Deutschland GmbH) IT Servicemanagement (ITIL) Seite 2

3 Inhalt Einleitung: grundlegende Konzepte Übersicht der Systeme LSF, Torque, PBS Pro und SGE Checkliste Anforderungen Resource-Management Job-Management Queueing Scheduling Realisierung ausgewählter Konzepte: Preemption, Consumable Resources, Queue-Limits, User-defined Resources Leistungsvergleich Fazit / Entscheidungskriterien Seite 3

4 Jobmanagement: Ziele 1. Optimale Auslastung von Compute-Ressourcen (CPU,Memory, Lizenzen,..) 2. Gerechte Verteilung von Ressourcen an mehrere, konkurrierende Benutzer 3. Accounting der vergebenen Ressourcen Einsatzgebiete: CAE (Crash, Strömungsmechanik, Strukturanalyse), Medizin, Bioinformatik, Finance, Teilchenphysik,... Zentrale Konzepte/Komponenten: Resource-Management Queueing Scheduling Seite 4

5 Jobmanagement: Komponenten Queues Ressourcen User Scheduler Jobmanagement-System Seite 5

6 Vergleich: Überblick Basisdaten Produkt LS F Torque PBS Pro S GE Hersteller P latform computing Clusterresources, Inc. Altair E ngineering S un Microsystems Getestete Version Web-S eite gridengine.sunsource.net Preise/ Lizenzmodell ca. $1200 pro CPU für Base und Batch, ca. $240 pro CPU für LS F -Client frei für private und kommerzielle Nutzung, Wiederverkauf für Kommerzielle Nutzung nicht erlaubt Ab 60 E uro pro CPU und J ahr Open S ource, S un Industry S tandards S ource License (S ISS ) Seite 6

7 Jobmanagement-Systeme: Stammbaum Utopia (Universität Toronto) LSF (Platform computing) DQS Condor CODINE GridEngine (SUN Microsystems) 2000 NQS (NASA) 1980 PBS NQE OpenPBS 1998 Torque (Clusterresources, Inc.) 2003 PBS Pro (Altair Engineering) 2003 Seite 7

8 Checkliste Queueing Queue-Prioritäten Interaktive und Batch Jobs Queue-Limits Seite 8

9 Checkliste Scheduling Scheduling-Strategien: FIFO: First in First out: Wer zuerst kommt, mahlt zuerst Backfill: Optimale Ausnutzung des Clusters durch Auffüllen von Lücken Fairshare: Gerechtigkeit zwischen den Usern durch Berücksichtigung der Clusternutzung der User in der Vergangenheit Preemption: Anhalten von niedriger priorisierten Jobs durch höher priorisierte Austauschbarkeit des Schedulers maui-integration Festlegung von Prioritäten (User-, Queue-Ebene) Festlegung von Limits Seite 9

10 Scheduler Maui Meta-Scheduler von Clusterresources, Inc. (supercluster.org) Integration in PBS Pro, Torque, LSF, SGE 5.3, Load Leveler Ausgefeiltes Fairshare und Backfill-Scheduling Simulationsmodus Eigene Tools für Jobkontrolle Resource-Reservierung Wird in Zukunft durch Produkt Moab abgelöst Seite 10

11 Checkliste Resource Management Consumable Resources Selbstdefinierte Ressourcen mittels Shell-Skripten (elim, Load-Sensor) MPI-Support Ressource-Reservierung Angabe von beliebigen Ressource-Anforderungen beim Submittieren Pre- und Epilogue-Skripte Dynamische CPU-Anforderungen Accounting Seite 11

12 Checkliste Sonstiges Job-Arrays Administration über GUI Reporting Failover Web-Frontend Seite 12

13 Queue Prioritäten qsub q Prio_B >> Job 51 submitted qsub q Prio_A >> Job 52 submitted job-id prior name user state submit/start at queue STDIN platz r 10/24/ :42:05 Prio_A STDIN platz q 10/24/ :40:59 Prio_B Seite 13

14 Queue-Prioritäten (LSF) lsb.queues: Begin Queue QUEUE_NAME = Prio_A PRIORITY = End Queue bsub q Prio_B bsub q Prio_A Begin Queue QUEUE_NAME = Prio_B PRIORITY = 8... End Queue Seite 14

15 Queue-Prioritäten (PBS) maui.cfg: CLASSCFG[Prio_A] QDEF=hi CLASSCFG[Prio_B] QDEF=low QOSCFG[hi] PRIORITY=1000 QOSCFG[low] PRIORITY=100 qsub q Prio_B qsub q Prio_A Seite 15

16 Queue-Prioritäten (SGE) I Schritt 1: Projekte priohigh und priolow anlegen Seite 16

17 Queue-Prioritäten (SGE) II Schritt 2: Total Share Tickets vergeben Seite 17

18 Queue-Prioritäten (SGE) III Schritt 3: Share Tree Policies vergeben Seite 18

19 Queue-Prioritäten (SGE) IV Schritt 4: Projekte Queues zuordnen Seite 19

20 Queue-Prioritäten (SGE) V Schritt 5: Job abschicken qsub q normal P priolow >> Job 51 submitted qsub q normal P priohigh >> Job 52 submitted job-id prior name user state submit/start at queue STDIN platz r 10/24/ :42:05 normal STDIN platz qw 10/24/ :40:59 Seite 20

21 Preemption Preemption: Anhalten von niedriger priorisierten Jobs durch höher priorisierte: Job id Name User Time Use S Queue node01 STDIN platz 0 R Prio_B Job id Name User Time Use S Queue node01 STDIN platz 0 R Prio_B 1000.node01 STDIN platz 0 Q Prio_A Job id Name User Time Use S Queue node01 STDIN platz 0 S Prio_B 999.node01 STDIN platz 0 R Prio_A Seite 21

22 Preemption (LSF) lsb.queues: Begin Queue QUEUE_NAME = Prio_A PRIORITY = 16 PREEMPTION = PREEMPTIVE[Prio_B]... End Queue Begin Queue QUEUE_NAME = Prio_B PRIORITY = 8 PREEMPTION = PREEMPTABLE[Prio_A]... End Queue Seite 22

23 Preemption (SGE) Definition zweier Queues (Prio_A, Prio_B) Queue Prio_B als Subordinate-Queue von Prio_A definieren Seite 23

24 Preemption (Torque/PBS Pro) Preemption mit Standard-Torque derzeit nicht möglich, da Knoten beim Suspend nicht freigegeben werden Folgender Patch von clucon ermöglicht Preemption: diff -urn -X exclude torque org/src/server/req_signal.c torque-1.1.0/ src/server/req_signal.c --- torque org/src/server/req_signal.c :01: torque-1.1.0/src/server/req_signal.c :01: ,8 +206,10 pjob->ji_qs.ji_svrflags = JOB_SVFLG_Suspend; set_statechar(pjob); job_save(pjob, SAVEJOB_QUICK); + free_nodes(pjob); } else if (strcmp(preq->rq_ind.rq_signal.rq_signame, SIG_RESUME) == 0) { + set_old_nodes(pjob); pjob->ji_qs.ji_svrflags &= ~JOB_SVFLG_Suspend; set_statechar(pjob); job_save(pjob, SAVEJOB_QUICK); Seite 24

25 Preemption (Torque/PBS Pro) mit Scheduler maui maui.cfg: PREEMPTPOLICY SUSPEND CLASSCFG[Prio_A] QDEF=hi CLASSCFG[Prio_B] QDEF=low QOSCFG[hi] PRIORITY=1000 QOSCFG[hi] QFLAGS=PREEMPTOR QOSCFG[low] PRIORITY=100 Queue Prio_A (Preemptor) Queue Prio_B (Preemptee) Queue Prio_A kann Queue Prio_B suspenden QOSCFG[low] QFLAGS=PREEMPTEE Seite 25

26 Limits: Jobs / Host (LSF) lsb.hosts: Begin Host HOST_NAME MXJ r1m pg ls tmp wayne 2 1.0/88.5 / 12/15 0 End Host Seite 26

27 Limits: Jobs / Host (PBS) $PBS_CONFDIR/ server_priv/ nodes: node01 np=2 linux lam lsdyna Seite 27

28 Limits: Jobs / Host (SGE) Möglichkeit 1 (qmon) Möglichkeit 2 (qconf) qconf me node01.clucon.de hostname node01.clucon.de load_scaling NONE complex_values slots=1 user_lists NONE xuser_lists NONE projects NONE xprojects NONE usage_scaling NONE report_variables NONE Seite 28

29 Resource Management Ressourcen: Attribute (Zahl, String, Boolecher Wert), die einem Host oder einer Queue zugewiesen werden und von Jobs angefordert werden können, so dass der Scheduler bei der Verteilung nur jene Systeme in Betracht zieht, die die geforderten Ressourcen zur Verfügung stellen Unterscheidung zwischen statischen Ressourcen (Hauptspeicher, Takfrequenz) und dynamischen (Plattenplatz, verfügbare Lizenzen,...) Unterschiedliche Nomenklatur: LSF: SGE: PBS:: Ressourcen Complexe Ressourcen, Properties (Boolesche, Statische Ressourcen) Consumable Resources: Ressourcen, die durch Anforderung verbraucht werden können ( Zähler ). Beispiel: Software-Lizenzen Seite 29

30 Consumable Resources (SGE) 30 Floating Lizenzen qsub - l lsdyna= 1 Seite 30

31 Consumable Resources (PBS Pro) $PBS_HOME/server_priv/resourcedef: lsdyna type=long flag=nq qsub - l lsdyna= 1 $PBS_HOME/sched_priv/sched_config: resources: "ncpus, mem, arch, lsdyna" > qmgr set server resources_available.lsdyna = 30 Seite 31

32 Consumable Resources (LSF) $LSF_CONFDIR/lsf.shared Begin Resource RESOURCENAME TYPE INTERVAL INCREASING DESCRIPTION lsdyna Numeric () N (lsdyna Floating Licenses) End Resource $LSF_CONFDIR/lsf.cluster.<cluster> Begin ResourceMap RESOURCENAME LOCATION lsdyna 30@[all] End ResourceMap > bsub R select[defined(lsdyna) rusage[lsdyna= 1] Seite 32

33 Consumable Resources (Torque) Keine Consumable Resources bei Torque Workaround über Queues: Neue Queue: lsdyna maui.cfg: CLASSCFG[lsdyna] MAXPROC=30 qsub -q lsdyna Seite 33

34 Dynamic Resouces (LSF): elim $LSF_SERVERDIR/elim.pamcrash #!/bin/sh while true; do # FLEXlm abfragen oder einfach nur: # echo anz_indices resname resvalue echo 1 pamcrash 20 sleep 10 done lsf.cluster.<cluster> Begin ResourceMap RESOURCENAME LOCATION pamcrash [node01] End ResourceMap $LSF_CONFDIR/lsf.shared Begin Resource RESOURCENAME TYPE INTERVAL INCREASING DESCRIPTION pamcrash Numeric 10 N (pamcrash Floating Licenses) End Resource Seite 34

35 Dynamic Resources (SGE): Load Sensor / home/ platz/ bin/ pamcrash.sh: #!/bin/sh host=`uname -n` while true; do read input echo begin echo $host:pamcrash:20 echo end done Seite 35

36 Dynamic Resources (PBS Pro) Pro Knoten: Definition in $PBS_CONFDIR/mom_priv/config für jeden Host: pamcrash! /home/platz/bin/pamcrash.sh Systemweit: Definition in $PBS_MOM/sched_priv/sched_config: resources: mem, ncpu, arch, pamcrash server_dyn_res: pamcrash! /home/platz/bin/pamcrash.sh Seite 36

37 Dynamic Resources (Torque) Derzeit beliebige dynamische Resourcen nicht möglich Definition in $PBS_CONFDIR/mom_priv/config für jeden Host: pamcrash! /home/platz/bin/pamcrash.sh Patch in Entwicklung Seite 37

38 Vergleich: Resource Management Ressource Management LSF Torque PBS Pro SGE beliebige Ressourcen definierbar mit Patch möglich dynamische Ressourcen mit Patch möglich Consumable Resources nein Dynamischer CPU-Request nein Ressourcen Reservierung mit Maui- Scheduler möglich Seite 38

39 Vergleich: Queueing Queueing System LSF Torque PBS Pro SGE Netzwerkqueues, ab Version 6.0 Queue- Prioritäten Load- und Suspend- Threshholds nein Queue Limits interaktive Jobs Seite 39

40 Vergleich: Job-Management Job Management LSF Torque PBS Pro SGE Suspend/Resume mit Patch von möglich Pro-/Epilogue-Skripte, queue- und Hostspezifisch,,jede Userid nur hostspezifisch,jede Userid hostspezifisch; Skripte laufen unter root, queue- und Hostspezifisch definiert, jede Userid Skriptausführung bei Start/Resume/Stop/Kill eines Jobs Resume,Start, Stop, Terminate nein Supsend, Resume, Terminate Resume/Start/ Stop/Terminate Job-Abhängigkeiten Job-Arrays nein nein Job Calendar Parallele Jobs Jobaccounting Seite 40

41 Vergleich: Scheduling Scheduling LSF Torque/Maui PBS Pro/Maui SGE Schedule- Strategien Fairshare, FCFS, Preemption, exclusive Fairshare, FCFS, exclusive, Preemption mit Patch von clucon möglich Fairshare, FCFS, exclusive, Preemption Fairshare, FCFS, exclusive Backfill nein Load Balancing Maui- Integration schlecht/nein Seite 41

42 Vergleich: Konfiguration Konfiguration LSF Torque PBS Pro SGE Konfigurations- Methode Konfigurations- Dateien, Teile auch über GUI konfigurierbar Konfigurations- Dateien, Kommandozeilen, Teile über GUI konfigurierbar Konfigurations- Dateien, Kommandozeile, Teile über GUI konfigurierbar alles komplett über GUI oder Kommandozeilen- Client konfigurierbar Server-Neustart nach Änderung nötig teilweise nein nein nein Seite 42

43 Seite 43 Vergleich: Sonstiges SGE PBS Pro Torque LSF Ja Nein Ja Failover DRMAA API GUI nein nein nein SNMP nein POSIX d konform nein nein Paralleles Make Unterstützung für heterogene Cluster Sonstiges

44 Vor- und Nachteile Torque PBS Pro LSF SGE Plus Open Source einfache Installation und Handhabung Leistungsfähiges Scheduling mit Maui Source-Code verfügbar Maui-Integration für Linux günstiger Preis Hoher Funktionsumfang Ausgefeilte Konzepte Viele Add-Ons Umfangreiche Dokumentation Komfortable Administration Open Source Minus kein Failover keine selbstdefinierten Ressourcen keine Comsumable Resources Useability Usability Preis kein Source-Code Standard- Konzepte schwer umsetzbar Scheduler, keine Maui- Integration Seite 44

45 Einheitliches Web-Frontend für alle Systeme Web-Frontend für LSF, PBS, SGE Applikations-Module durch Plugin-Konzept Optimierter und automatischer Datenflow Definition belieber Job-Flows Ergebniskontrolle während der Berechung Job-Submittierung auch über Kommandozeile Mehr auf Seite 45

46 ezcluster Seite 46

47 ezcluster: Kommandozielen-Interface command= submit f1= airbag_deploy.k cluster= pbs app= lsdyna960 jobname= airbag jobdescription= Das ist ein CLI Job precision= normal memory1value= 20 memory1unit= MW memory2value= 20 memory2unit= MW diskvalue= 100 diskunit= Mb mode= parallel lsdyna.cf shared= 1 distributed= 16 serviceindex= 1 portalclient - cf lsdyna.cf Seite 47

48 ezcluster Seite 48

49 Leistungsvergleich Scheduling LSF SGE PBS Pro Torque Usability LSF SGE PBS Pro Torque Queueing LSF SGE PBS Pro Torque Resource Management Sonstige Funktionalitäten LSF SGE PBS Pro Torque LSF SGE PBS Pro Torque Seite 49

50 Fazit Alle Systeme erfüllen die wichtigsten Anforderungen Nach Funktionalität LSF klarer Sieger Klare Schwächen von Torque beim Resource Management und Failover Wenn die Kosten eine große Rolle spielen: SGE oder Torque Ungewöhnliche Konzepte von SGE. Schwierigkeiten bei Migrationen auf SGE. Tipp an Sun: Migrationsguide schreiben Einführung von Cluster-Queues in SGE 6.0 Schritt in richtige Richtung. Vieles, wofür LSF fertige Konzepte mitbringt, ist bei den anderen Handarbeit über Skripte nötig PBS Pro in allen Disziplinen bis auf Usability gut. Keine großen Schwächen. Für kommerzielles System gutes Preis/Leistungsverhältnis Analyse der Anforderungen empfehlenswert, um Kosten zu sparen und das geeignet System zu finden. Seite 50

51 Entscheidungskriterien Größe des Clusters (Skalierbarkeit, Kosten) Betrieb kommerzieller oder nicht-kommerzieller Applikationen (Lizenzen -> Dynamic Resources, Consumable Resources) Anzahl User (unterschiedliche Prioritäten -> Scheduling- Strategien (Fairshare, Preemption)) Job-Profil (vorwiegend kurze Jobs, vorwiegend lange Jobs, Mischbetrieb) -> Scheduling-Strategien (Backfill, Preemption) Usability Failover Seite 51

52 Weitere Informationen: clucon cluster concepts Bernward Platz Tel.: 089/ Fax: 089/ Mail: Seite 52