Windows-HPC für Nutzer

Größe: px

Ab Seite anzeigen:

Download "Windows-HPC für 1000+ Nutzer"

Hilko Klein
vor 8 Jahren
Abrufe

Windows-HPC für 1000+ Nutzer Überwachung, Optimierung, und ein paar Stunts Michael Wirtz, Christian Terboven 4.

1 Windows-HPC für Nutzer Überwachung, Optimierung, und ein paar Stunts Michael Wirtz, Christian Terboven 4. Treffen der Windows-HPC Benutzergruppe / Karlsruhe, Deutschland Version 2.3 Rechen- und Kommunikationszentrum (RZ)

2 Agenda Anforderungen des Dienstes Windows-HPC (CT) Benutzerstatistik SW-Umgebung GPU-Computing Integratives Hosting MATLAB Rechenbedarf Implementierung des Dienstes Windows-HPC (MW) Folie 2

3 Benutzerstatistik 2010 (interaktiv) Anzahl Anmeldungen echter Nutzer in 2010: Folie 3

4 Benutzerstatistik 2010 (batch) Verhältnis Interaktiv- zu Batch-Nutzung anders als unter Linux! In Summe: ,6 CPU-h Folie 4

5 SW-Umgebung Softwareentwicklung Visual Studio + Intel Software Development Angebote Performanceanalyse erfordert häufig erweiterte Rechte ISV-Software: Fast alles, was unter Windows verfügbar ist, wird nachgefragt Zentrale Installation auf Netzlaufwerk oft mit Workarounds verbunden, teilweise gar nicht möglich Integration bis in den Desktop des Nutzers aus IT-Sicht schwierig Sicherheitsstandards? Was kann man Nutzers zusichern? Baustelle Folie 5

6 GFLOPS GPGPU-Computing Working NVIDIA SDK, including a SDK Browser dgemm (CUBLAS 3.1) MATLAB + GPUs Batch compute jobs (using HPC Job Manager) Linux Windows Remote debugging (i.e. 2 machines, Matrix Dimension each 1 GPU) with NVIDIA s CUDA debugger Parallel Nsight (integrated in Visual Studio) Work in progress / future work / problems Local debugging (i.e. 1 machine w/ 2 GPUs) with Parallel NSight GPU machine accessed by RDP + no NVIDIA GPU present in WDDM mode Single GPUs on host w/ multiple devices is not requestable by batch jobs Folie 6

7 Integratives Hosting Ziel: Attraktives Angebot schaffen um kleine Cluster aus den Instituten herauszuholen und zentral zu betreiben Keine Verpflichtung! Weder jetzt, noch später! Kunden kaufen Rechenzeitäquivalent: x Maschinen à y Cores für 3 Jahre Herausforderung: Spezifische Wünsche der Kunden bzgl. Software und Betrieb so weit wie möglich abzubilden, aber dennoch in den gemeinsamen Cluster einzubinden Wartezeit bis Job auf n Knoten startet Performancebeeinflussung durch andere Jobs ist zu vermeiden Wichtig: Darstellung, was auf den gekauften Ressourcen gelaufen ist Folie 7

8 MATLAB Rechenbedarf Solche Anfragen kommen immer häufiger: Telefon klingelt. Ein Nutzer am Apparat. Er muss eine Parametervariation rechnen, ca. 384 Jobs, die jeweils 2 Tage rechnen. 2 Jahre zu warten geht nicht, besser wäre die Ergebnisse nächste Woche zu haben. Wir haben doch so schnelle Rechner, ob wir da was tun können Ja, können wir! Kein Dual-Boot. Wir fahren Deployment-on-Demand. Folie 8

9 Struktur des RZ Windows Clusters RZ-Cluster Filespace \\cifs\cluster\work Smb-work x 2 RDP Frontends Cluster-win.rz.rwth-aachen.de cifs \\cifs\cluster\home NA3070 x 6 HPC Backends Cluster-win1 cluster-win6 Headnode Folie 9

10 Frontends Mittlerweile täglich ca. 30 Sessions pro Server Intention Einstellen von Jobs in den HPC Jobmanager Entwicklung und Test von eigenen Codes Vorbereitung von Rechnungen in ISV Software Probleme 2000 # different Account logons in 2010 Nutzerstamm ändert sich ständig Interaktive Rechnungen durch: Fehlerhafte Konfiguration eines Testjobs today week month year Unwissen Folie 10

11 Frontends - Lösungsansätze Ziel: Lahmlegen eines Frontendservers durch einzelne Nutzer vermeiden Betroffen sind insbesondere CPU und RAM möglichst automatisiert!! Folie 11

12 Frontends - Lösungsansätze Check_RAMLoad.ps1 NAME C:\Users\michel\Documents\Arbeit\Monitoring\Check_RAMload.ps1 ÜBERSICHT Saves the Terminal Servers from crashing due to excessive swapping SYNTAX \\cifs\cluster\software\rztools\monitoring\check_ramload.ps1 [ [-FreeMemoryThreshold] <Int32>] [[-logfile] <String>] [[-sleep] <Int32>] [-debug][-testmessage] [<CommonParameters>] BESCHREIBUNG This script preserves a Terminal Server from becoming unresponsive due to excessive swapping if a user allocates more memory than the machine can provide. 09/17/ :00:29 [WINHTC02] Script started. Press Ctrl+C to stop... 09/17/ :00:29 [WINHTC02] Waking up... [ ] 09/17/ :25:24 [WINHTC02] Memory Usage OK. Still free memory: 1140 MB. Going to sleep... [ ] 09/17/ :56:29 [WINHTC02] Waking up... 09/17/ :56:31 [WINHTC02] High memory Usage detected (41 MB free). Searching for Memory-intensive Processes... 09/17/ :56:32 [WINHTC02] Process found - PID: Name:MATLAB.exe - Owner: ad006wi - Memory: KB (28334 MB) - Killing process... 09/17/ :56:33 [WINHTC02] SUCCESS: The process with PID has been terminated. 09/17/ :56:33 [WINHTC02] Sending message to session RDP-Tcp#11, display time 0 Async message sent to session RDP-Tcp#11 09/17/ :56:34 [WINHTC02] Going to Sleep... 09/17/ :56:39 [WINHTC02] Waking up [ ] Folie 12

13 Frontends - Lösungsansätze Check_CPULoad.ps1 NAME \\cifs\cluster\software\rztools\monitoring\check-cpuload.ps1 ÜBERSICHT Checks for CPU Usage on a computer, and if a threshold is reached, binds most active Processes to specified number of cores SYNTAX \\cifs\cluster\software\rztools\monitoring\check-cpuload.ps1 [[-logfile] <String>] [[-maxtesttime] <String>] [[-Divisor] <Int32>] [[-thresholdpercent] <Int32>] [[-detectionrate] <Int32>] [-debug] [-testmessage] [<CommonParameters>] BESCHREIBUNG This script checks regulary for percentage of \Win32_Processor\_Total. If the given threshold is reached, it parses the tasklist and binds the most active processes to a specified part of the overall number of (logical) cores Threshold exceeded: 98 Starting to analyze Processlist at 11/25/ :54:01 Found 10 relevant processes... Stopped analyzing Processlist at 11/25/ :56:59 Suspect processes detected: Handles NPM(K) PM(K) WS(K) VM(M) CPU(s) Id ProcessName MATLAB , MATLAB MATLAB MATLAB , iexplore Process Affinity from \\cifs\cluster\software\matlab\r2009b\bin\win64\matlab.exe is already Process Affinity from \\cifs\cluster\software\matlab\r2009b\bin\win64\matlab.exe is set to Folie 13

14 Scheduling integratives Hosting Gehostete Server bekommen separate Nodegroup Diese Nodegroup wird ebenfalls (ggf. neben anderen Einstellungen) in einem eigenen Jobtemplate definiert Kunde kann über member Tool selbstständig anderen Kollegen Zugriff auf die Resourcen geben. Bisher haben Kunden exklusiv Zugriff Auch geplant: Realisierung eines gemischten Modells, das z.b. kurze Testjobs auf freie Hostmaschinen umlenkt -> Submissionfilter Folie 14

15 Gruppenselbstverwaltung mit member Im Active Directory haben self-service Gruppen einen eigenen Zweig Jede Gruppe hat einen Ansprechpartner, dessen Account Schreibzugriff auf die Gruppe hat Anwendungsgebiete: Zugriff auf Hosting-Jobtemplates, spezielle Maschinen, Softwarepakete Member.ps1 H:\>member -h Usage: member -L List groups that can be changed member -l [-g <group>] List members of a group member -a [-g <group>] <user>... Add one or more users to a group member -d [-g <group>] <user>... Delete one or more users from a group NOTE: This command affects only groups on the Windows Cluster site. Folie 15

16 Gruppenselbstverwaltung Active Directory Sicht Folie 16

17 Scheduling Interaktiv/Batch im Wechsel Switch-GPUMachine.ps1 NAME \\cifs\cluster\software\rztools\admin\monitoring\switch-gpumachine.ps1 SYNOPSIS Script to Switch a server between Terminal Server and Compute Node functionality SYNTAX \\cifs\cluster\software\rztools\admin\monitoring\switch-gpumachine.ps1 [-ToBatch] [-ToInteractive] DESCRIPTION This script takes the node On- or Offline on the scheduler and changes the membership of the local "Remote Desktop Users" group. Prior to a switch into Batchmode all logged on users will get a popup and a 5 minute timewindow to save their work. Additionally between every switch a reboot is made to make sure the gpu resources are being released. Jobs werden über ein JobTemplate und eine NodeGroup definiert und eingestellt. JobTemplate enthält eine max. Runtime Zum Zeitpunkt der Umstellung laufende Jobs werden requeued zukünftig: advanced scheduling durch einen Activationfilter, der anhand des Runtime Attributs im Voraus prüft, ob ein Job überhaupt fertig werden kann. Folie 17

18 Ende Vielen Dank für Ihre Aufmerksamkeit. Folie 18

Ähnliche Dokumente

Windows HPC Server 2008 aus der Betreiberperspektive

Windows HPC Server 2008 aus der Betreiberperspektive Michael Wirtz wirtz@rz.rwth aachen.de Rechen und Kommunikationszentrum RWTH Aachen WinHPC User Group Meeting 2009 30./31. März 09, Dresden Agenda o