Linux Cluster in Theorie und Praxis

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen TU Dresden Linux Cluster in Theorie und Praxis Batchsysteme, Job Scheduling und Cluster Suites Thomas William 08. Dezember 2014 WIL A35 Zellescher Weg Dresden Telefon:

2 Inhalt 1 Einführung Motivation 2 Batchsysteme Einführung Aufbau und Funktionsweise Vergleich ausgewählter Batchsysteme Job Submission 3 Scheduling Einführung Klassifikation von Schedulern Scheduling in Batchsystemen Maui Cluster Scheduler 4 Cluster Suites Motivation Vertreter 5 Quellen 2/44

3 1 Einführung Motivation 3/44

4 Ausgangssituation Cluster stellt (verschiedene) Ressourcen bereit Konkurrierender Zugriff durch Nutzer Nutzungszeiträume und -verhalten unterschiedlich Nutzungsdauer und -kosten kaum ermittelbar Mangelnde Fairness durch direkten Zugriff auf alle Knoten Keine (sinnvollen) Verwaltungs- und Nutzungsmöglichkeiten heterogener Cluster 4/44

5 Gewünschte Situation (Teil-)Automatisierte Verwaltung und Überwachung aller Ressourcen des Clusters Feingranulare Steuerung aller Ressourcen des Clusters Ausbau von Hard- und Software Management im Fehlerfall Spezielle Betriebsmodi wie Wartung oder Leistungsmessungen Effiziente Job- und Ressourcenverteilung Einfacher, möglichst zentralisierter Zugriff durch Nutzer Abrechenbarkeit der Kosten von Nutzerjobs 5/44

6 2 Batchsysteme Einführung Aufbau und Funktionsweise Vergleich ausgewählter Batchsysteme Job Submission 6/44

7 Definitionen Batchsystem Das Hintereinanderausführen von Programmen, sogenannter Jobs wird Stapelverarbeitung oder Batchbetrieb (batch processing) genannt. Dienste die dies realisieren heißen Batchsysteme. Job Ein im Batchsystem hinterlegter Auftrag eines Nutzers, der i.d.r aus einem (parallelen) Programm und einer Beschreibung benötigter Ressourcen besteht, heißt Job. Die Beschreibung der Ressourcen kann dabei manuell durch den Nutzer und/oder automatisiert durch das System geschehen und hat weder Anspruch auf Vollständigkeit noch Korrektheit. Queue Die Jobs eines Batchsystems, die auf ihre Ausführung warten, werden in Warteschlangen, sogenannten Queues verwaltet. Deren Organisation obliegt dem Scheduler des Batchsystems. 7/44

8 Batchsystem - Allgemein Dienst zur Verwaltung von Jobs in Computersystemen 1 Schnittstelle für Nutzer zum Zugriff auf Ressourcen des Computersystems 1 Server-Client-Architektur Grundbestandteile: Job Server/Resource Manager (Server) Job Scheduler (Optional) Job Executor (Client) 1 Gemeint sind hier sowohl Cluster als auch Shared Memory Systeme 8/44

9 Job Server / Resource Manager Zentrale Komponente des Batchsystems In der Regel als Dienst auf dem Head-Node implementiert Verwaltet Jobs und Ressourcen Kommuniziert mit Clients zur Sammlung und Bereitstellung von Informationen über Ressourcen und Jobs Bietet Schnittstellen für Monitoring und Aufbau von Statistiken 9/44

10 Job Scheduler Implementiert Scheduling-Logik In der Regel ein Dienst auf dem Head-Node Aktivierung durch Anfrage des Job Servers Fällt Entscheidungen aufgrund von Informationen des Job Servers Fügt Jobs an entsprechende Position in gewählte Queue des Job-Servers ein 10/44

11 Job Executor Sorgt für Ausführung der Jobs Als Dienst auf allen dem Batchsystem zur Verfügung stehenden Clients installiert Überwacht den Systemstatus des ihm zugeordneten Clients Liefert diese Statusinformationen auf Anfrage aus 11/44

12 Beispiel: Portable Batch System - PBS POSIX Standard d konformes Stapelverarbeitungssystem 1993 bis 1997 am NASA Ames Research Center entwickelt Aktuell von Altair Grid Technologies, LLC weiterentwickelt und vertrieben Verfügbare Versionen: OpenPBS (Open Source) PBS Pro (kommerziell) Einschränkungen bei Verwendung von OpenPBS: Geringe Fehlertoleranz Eingeschränktes Job Scheduling Fehlender Support 12/44

13 Beispiel: Torque Tera-scale Open Source Resource and Queue Manager Weiterentwickeltes PBS von Adaptive Computing Enterprises Inc. (vormals Cluster Resources Inc.) Entwicklungsschwerpunkte Erhöhung der Fehlertoleranz Erweiterung des Scheduling Interface Verbesserung der Skalierbarkeit Verbesserung der Diagnosemöglichkeiten 13/44

14 Torque - Architektur Austauschbare Komponenten aufgrund modulare Implementierung und standardisierte Kommunikation Abbildung: Architekturskizze des Portable Batch Systems 14/44

15 Beispiel: SLURM Simple Linux Utility for Resource Management Seit 2002 am Lawrence Livermore National Laboratory in Zusammenarbeit mit Linux NetworX entwickelt Entwicklungsgrund - laut LLNC - die Limitierungen alternativer Batchsysteme: Quadrics RMS - Verwendung nur in Verbindung mit einem Quadrics Netzwerken möglich IBM LoadLeveler - Weder portier- noch skalierbar Portable Batch System - Portier- aber nicht skalierbar Load Sharing Facility - Portier- und skalierbar, aber hohe Kosten für große Cluster 15/44

16 SLURM - Merkmale Hohe Fehlertoleranz Portierbar Skaliert bis zu Knoten und mehr als CPUs Quelltext unter GPL Besitzt Schnittstelle für Plugins 16/44

17 SLURM - Architektur Abbildung: Architekturskizze von SLURM 17/44

18 Job-Übermittlung - Job Submission Wege der Job-Übermittlung Kommandozeilenbefehl (qsub, srun,...) Grafisches Frontend (xpbs) Weboberfläche (PBSWeb - nur Erzeugung von Jobscripten) Form der Job-Übermittlung Direkt: Übergabe von Nutzerprogramm und Job-Parametern an Submit-Kommando Indirekt: Kapselung von Job-Parametern und Nutzerprogrammaufruf in Job-Script zur Übergabe an Submit-Kommando 18/44

19 Direkte Job-Übermittlung Vorteile: Ermöglicht einfaches, schnelles und flexibles Ändern der Job-Parameter Bevorzugt bei vielen gleichartigen Jobs die sich nur in sehr wenig Parametern unterscheiden (bspw. Benchmarks: gleicher Prozess; unterschiedliche CPU-Anzahl) Nachteile: Anfällig für Fehlbedienung Zusätzliche Funktionalität nur über Kapselung in selbsterzeugten Scripten erreichbar (z.b. Laden benötigter Bibliotheken) 1 ageorgi@quad01 : $ s r u n n t a s k s=4 p a r t i t i o n=compute l a b e l hostname : quad : quad : quad : quad03 Listing 1: Job-Übermittlung an SLURM 19/44

20 Indirekte Job-Übermittlung Vorteile: Anlegen vorgefertigter Job-Scripte mit wichtigen Parametern vermeidet Bedienfehler Einfaches hinzufügen zusätzlicher Funktionalität Erlaubt zusätzlich Übergabe weiterer Paramter an Submit-Befehl Nachteil: Unter Umständen aufwändigere Bedienung bei vielen Jobs mit sich verändernden Parametern 1 h o e h l i h e i m d a l l : $ qsub j o b s c r i p t h e i m d a l l. ps3. l o c a l Listing 2: Job-Übermittlung an Torque 20/44

21 Beispiel: Script zur Job-Übermittlung 1 #! / b i n / sh 2 #PBS l nodes =24: ppn =2: m y r i n e t 3 #PBS l w a l l t i m e =24:00:00 4 #PBS l a r c h=x #PBS q d e f a u l t 6 7 module l o a d openmpi 8 cd /home/ j o h n / c l u s t e r / h p l 9 mpirun mca b t l gm, s e l f np 48. / x h p l Listing 3: Beispiel: Script zur Job-Übermittlung an Torque 21/44

22 Filterung der Job-Übermittlung - Submission Filter Besonderheit PBS-basierter Resource Manager Restriktive Methode zur Job-Übermittlung Jedes Job-Script durchläuft vor Übermittlung einen Filter Anpassungen, Verfikationen, Bewertungen des Jobs möglich 1 #! / b i n / sh 2 3 # add d e f a u l t w a l l t i m e to a l l r e q u e s t s 4 # t h a t d i d not s p e c i f y i t i n u s e r s s c r i p t o r on command l i n e 5 6 echo #PBS l w a l l t i m e =12:00: w h i l e r e a d i 9 do 10 echo $ i 11 done Listing 4: Beispiel: Submission Filter für Torque 22/44

23 3 Scheduling Einführung Klassifikation von Schedulern Scheduling in Batchsystemen Maui Cluster Scheduler 23/44

24 Motivation - Scheduling Regelung der Abarbeitungsreihenfolge von Nutzeraufgaben Ziele: Erhöhung des Job-Durchsatzes Verringerung der Verweilzeiten Effizientere Nutzung der Ressourcen des Clusters Einhalten von Deadlines Bereitstellung von Quality of Service Regelung der Fairness 24/44

25 Definitionen Scheduling Das Erstellen eines Ablaufplans für die Abarbeitung von Aufgaben, heißt Scheduling. In Verbindung mit Batchsystemen bedeutet dies, dass Einordnen wartender Jobs in die Warteschlangen des Resource Managers. 25/44

26 Klassifikation von Schedulingverfahren Nach Zeitpunkt Zur Laufzeit (on-line scheduling) Vor Laufzeit (off-line scheduling) Nach Unterbrechbarkeit Kooperativ Präemptiv Nach Art der Steuerung Zeitgesteuert Ereignisgesteuert 26/44

27 Arten des Schedulings Prozess-Scheduling Anordnung einer Menge von Prozessen auf einer Zeitscheibe Präemptiver oder kooperativer Prozesswechsel Beispiel: Umschalten von Prozessen durch den Betriebssystem-Scheduler Job-Scheduling Lineare Verteilung einer Menge von Jobs auf den zur Verfügung stehenden Ressourcen In der Regel kein Prozesswechsel Beispiel: Verteilen von Jobs auf die Nodes eines Clusters 27/44

28 Prozess-Scheduling aktiver Prozess Zeit Abbildung: Prozess-Scheduling (Skizze) 28/44

29 Job-Scheduling Nodes Zeit Abbildung: Job-Scheduling (Skizze) 29/44

30 Entscheidungskriterien des Job-Schedulings Laufzeit des Jobs Benötigte CPUs Job- oder Queuepriorität Aktuelle Verweilzeit Deadline Nutzerverhalten 30/44

31 Fähigkeiten von Job-Schedulern Behandlung von Prioritäten Reservierung von Ressourcen Auffüllen freier Ressourcen mit passenden niederprioriserten Jobs zur Erhöhung der Auslastung (Backfill) Nutzer- bzw. Gruppenbasiertes QoS Auswertung von Nutzerstatistiken zum Zweck der Fairness (Fairshare) 31/44

32 Maui Cluster Scheduler Open Source Job-Scheduler Vorrangig zur Ergänzung vorhandener Stapelverarbeitungssysteme eingesetzt U.a in folgende Job Management Systeme integrierbar: OpenPBS, PBSPro, TORQUE SLURM LSF IBM LoadLeveler SUN Grid Engine 32/44

33 Maui Scheduling-Zyklus I 1 Abfrage aktueller Node-Informationen 2 Generierung von Statstiken und Berichten laufender und abgeschlossener Jobs 3 Starten von Jobs die alle ihre benötigten Ressourcen erhalten können 4 Auswahl der Jobs welche die Scheduling-Kriterien erfüllen 33/44

34 Maui Scheduling-Zyklus II 5 Priorisierung der Jobs in Abhängigkeit ihrer Ressourcenanforderungen und deren Verfügbarkeit 6 Starten der Jobs in der Reihenfolge ihrer Prioritäten 7 Ermittlung des Backfill Windows und dessen Füllung mit vorhanden Jobs anhand der Prioritäten 8 Wiederholung der vorangegangen Phase ohne Beachtung der Job-Prioritäten 34/44

35 Maui Job-Priorisierung Komponenten der Job-Priortäten in Maui Requested Resources - Priorisierung in Abhängigkeit von Ressourcenanforderung FairShare - Priorisierung anhand der Ressourcenbenutzung in der Vergangenheit Target - Bevorzugung bereits lang wartender Jobs Bypass - Bevorzugung bereits häufig verdrängter Jobs Service - Gestattet Anhebung der Prioritäten bestimmter Jobs DirectSpec - Direktwertangabe durch Nutzer oder Administrator 35/44

36 4 Cluster Suites Motivation Vertreter 36/44

37 Motivation - Cluster Suites Vereinfachung der Installation und Erweiterung von Clustern Bereitstellung kompletter Toolchains zum Cluster-Management Suite enthält ausschließlich Software(-versionen) die fehlerfrei zusammenarbeiten Zentralisierung 37/44

38 Vertreter - Rocks Linux Distribution Für HPC-Cluster. Seit 2000 entwickelt durch San Diego Supercomputer Center and Advanced Computational Infrastructure Ursprünglich auf Red Hat basierend (aktuell CentOS) x86 32-bit und 64-bit Node-Installation via PXE Zusätzliche Software zur Installationszeit mittels sog. Rolls Aktuelle Version 6.1 Emerald Boa (Veröffentlichung: 29. Nov. 2012) 38/44

39 Vertreter - OSCAR Open Source Cluster Application Resources Softwarebundle zur Installation und zum Betrieb von Beowulf-Clustern Benötigt unterstützte Linux Distribution Fedora Core 7/8 RHEL 4/5 Yellow Dog 5 (PPC64) OpenSUSE 10.2 (x86 64) Erstellung eigener Softwarepakete möglich Aktuelle Version OSCAR (Veröffentlicht: 8. Feb 2011) 39/44

40 5 Quellen 40/44

41 Quellen I [TRQ] Adaptive Computing Enterprise Inc. TORQUE Open-Source Resource Manager, [TRQdoc] Adaptive Computing Enterprise Inc. TORQUE Admin Manual Version (HTML PDF), [IEEE] IEEE Standards Association IEEE Std d-1994, [NARC] NASA Ames Research Center Website, /44

42 Quellen II [ALTAIR] Altair Grid Technology, LLC Webseite, [XPBS] DOE Science Grid xpbs - Graphical Interface to PBS, [XPBSMon] Matthias K. Gobbert Running Jobs using torque and Maui on kali, Sep [PBSWeb] University of Alberta Introduction to PBSWeb, Jul /44

43 Quellen III [OPBS] A. Bayucan, R. L. Henderson, L. T. Jasinskyj, C. Lesiak, B. Mann, T. Proett, D. Tweten Portable Batch System - Administrator Guide, Aug guide.ps [SLRM] Lawrence Livermore National Laboratory SLURM: A Highly Scalable Resource Manager, [EZS] Robert Baumgartl Vorlesung - Echtzeit-Systeme, [MAUI] Cluster Resources Maui Cluster Scheduler, /44

44 Quellen IV [MSCHED] David Jackson, Quinn Snell, Mark Clement Core Algorithms of the Maui Scheduler [ROCKS] ROCKS Open-SOurce Toolkit for Real and Virtual Clusters ROCKS Cluster Toolkit website [OSCAR] Open Source Cluster Application Resources OSCAR Cluster Toolkit website 44/44