Numerische Simulationen mit den Bordmitteln von Globus Toolkit

Transkript

1 Numerische Simulationen mit den Bordmitteln von lobus oolkit Olaf Schneider Workshop: Numerische Simulationen im rid SEINBUCH CENRE FOR COMPUIN - SCC KI Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-emeinschaft

2 Agenda rundlagen und Hilfsmittel Build-Jobs Produktions-Jobs Job mit Monitoring der Anwendung 2 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

3 rundlagen und Hilfsmittel lobus oolkit 3 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

4 Security Data Execution Information s Common Runtime 4 3 Delegation Community (CAS) WS Authentication & Data Replication (DRS) [ech Preview] OSA-DAI Reliable File ransfer (RF) ridway CSF CP [ech Preview] Dyn. Accounts [ech Preview] rid Resource Allocation Mgmt (WS RAM) WebMDS rigger Index Python WS Core C WS Core Java WS Core Web s Components Pre-WS Authentication & Credential SI-OpenSSH ridfp Replica Location (RLS) Pre-WS RAM Monitoring & Discovery System (MDS2) C Common Libraries extensable IO (XIO) Non-WS Components 4 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

8 WS-RAM: internal structure [Quelle: I. Foster, A lobus Primer] Client Delegate 4 Java Container Delegation RAM services RF File ransfer ransfer request Job events FP control sudo SE Local job control RAM adapter ridfp ridfp FP data Compute element Local scheduler User job Remote storage element(s) 8 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

9 rundlagen und Hilfsmittel WS-RAM Factory-Instance Paradigma JobDescription (RSL) CLI: globusrun-ws 9 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

10 Security Delegation Community (CAS) WS Authentication & Data OSA-DAI Reliable File ransfer (RF) Pre-WS Authentication ridfp & globus-job-run-ws globus-job-submit-ws Credential SI-OpenSSH Data Replication (DRS) [ech Preview] globusrun-ws Execution ridway CSF rid Resource Allocation Mgmt (WS RAM) Pre-WS RAM Information s WebMDS rigger Index Common Runtime Python WS Core C WS Core Official job submission client for WS RAM CP [ech Preview] Dyn. Accounts [ech Preview] Java WS Core Web s Components Monitoring & Discovery C Common Interactive System job submission Libraries script (MDS2) Batch job submission script Non-WS Job output fetch script Components extensable Destroy and clean up IOa batch job (XIO) globus-job-get-output-ws Replica globus-job-clean-ws Location (RLS) hese tools require globus_wsrf_gram_client_tools package! 10 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

11 WS-RAM: XML Namespaces SOAP Envelope RAM Job RAM Job ypes RAM Job description (RSL) WS Addressing XML Schema Instance XML Schema 11 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

12 WS-RAM: Factory SOAP Request <Envelope> <Header></Header> <Body> <createmanagedjob> <Initialerminationime> :37:19Z</Initialerminationime> <JobID>uuid:d958e094-06ce-11dc-a538-00e08160f7fd</JobID> <job> <factoryendpoint> <Address> </Address> <ReferenceProperties> <ResourceID type="string">fork</resourceid> </ReferenceProperties> </factoryendpoint> <executable>/usr/bin/id</executable> </job> </createmanagedjob> </Body> </Envelope> 12 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

13 rundlagen und Hilfsmittel WS-RAM Factory-Instance Paradigma JobDescription (RSL) CLI: globusrun-ws RF und ridfp FileStaging und CleanUp in WS-RAM Jobs CLI: globus-url-copy MDS4 für Informationen CLI: wsrf-queury Xpath 13 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

14 XPath und wsrf-query Wie heißt der Factory ype des LRMS auf einem bestimmten rid $host PBS, SE, LSF? wsrf-query -s "//*[ local-name()='address'][ contains(text(),'managedjobfactory')][ contains(text(),'${host}') ]/../*/*[ local-name()='resourceid'][text()!='multi' and text()!='fork']/text()" oder gleich fertige End Point Reference (EPR) erzeugen: <rsl:factoryendpoint xmlns:rsl=" `wsrf-query -s "//*[ local-name()='address'][ contains(text(),'managedjobfactory')][ contains(text(),'${host}') ]/../*/*[ local-name()='resourceid'][text()!='multi' and text()!='fork']/../../*"` </rsl:factoryendpoint> 14 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

15 rundlagen und Hilfsmittel WS-RAM Factory-Instance Paradigma JobDescription (RSL) CLI: globusrun-ws RF und ridfp FileStaging und CleanUp in WS-RAM Jobs CLI: globus-url-copy MDS4 für Informationen CLI: wsrf-queury Xpath lobus oolkit Komplexe Aufgaben durch Kombination der Einzelteile lösen! 15 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

16 Build-Jobs Voraussetzungen/Annahmen: Portabler Quellcode mit configure/make oder ähnlichem rid-benutzer ist gleichzeitig Autor/Entwickler des Codes Ablauf: Client: Server: Knoten: Quellen verpacken (wenn nötig) und WS-RAM-Job starten Quellen per FileStageIn holen Build-Verzeichnis anlegen, hash=`echo md5sum cut -f1 -d" " ` Quellen darin auspacken, Umgebung einrichten (falls nötig) und configure/make ausführen Ausgaben werden per Streaming an den Client übertragen 16 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

17 Zwei Möglichkeiten, ein Verzeichnis anzulegen FileStageIn eines leeren Verzeichnisses Shell-Befehl im Wrapper-Script ein Wrapper-Script zu übergeben FileStageIn Shell-Befehle im <argument/> <executable>/bin/bash</executable> <argument>-c</argument> <argument>date ; id ; hostname ; sleep 10 ; date</argument> 17 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

18 Build-Jobs: CleanUp Aufgaben: Ergebnisse (Binaries) fertig installieren (etwa nach ~/bin) oder zurück zum Client übertragen <filestageout /> Build-Verzeichnis löschen <filecleanup /> Problem: Job mit leerem Ausführungsteil: <executable>/bin/true</executable> <maxwallime> 1 </maxwallime> Express-Queue oder Fork, um unnötige Wartezeiten zu vermeiden 18 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

19 Produktions-Jobs Voraussetzungen/Annahmen: Anwendung bereits auf rid-ressource installiert (via Build-Job oder durch Site-Admin) Lange Laufzeit, daher Start im -batch Modus Überschaubare Zahl von Input-Dateien (oder Archive mit Wrapper) Ablauf: Client: Server: Knoten: Status: factoryepr und RSL erzeugen WS-RAM-Job starten, EPR speichern Daten und Programm(-Wrapper) per FileStageIn holen Wrapper zum Eirichten der Umgebung und gegebenenfalls Start der parallelen asks globusrun-ws -status -j $job_epr if [ $? -gt 0 ]; then globusrun-ws -kill -j $job_epr 19 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

20 Job Execution Patterns jobtype count # single / Serieller Job multiple 1 1 ask, 1 Knoten Multiple Job mit # asks multipe 2 <executable/> wird # mal gestartet (embarressingly parallel) MPI Job mit # asks mpi 2 <executable/> wird mit mpirun oder mpiexec gestartet Paralleler Job mit # Knoten single 2 lobus startet einen ask, den Rest muss <executable/> machen Wenn <hostcount> angegeben ist, wird im LRMS die angegebene Anzahl von Hosts reserviert. Die genaue Semantik hängt vom LRMS bzw. Scheduler Adapter ab. 20 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

21 Mögliche Verbesserungen der Infrastruktur Einheitliche Semantik von <count> und <hostcount> Unterstützung der <extionson> für Node Selection Wrapper vermeiden durch Preamble und/oder Modules: <extensions> <module>netcdf</module> <module>fftw/3.0.1</module> <preamble>module load dgrid</preamble> <preamble>mkdir mydata</preamble> </extensions> 21 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

22 Job mit Monitoring der Anwendung Beispiel COSMOS: MD-Simulation mit hochgenauer Ladungs-Berechnung (BP) MPI-parallel Alle 100 Zeitschritte ein Koordinaten-Schnappschuss Ablauf: Client: Server: Knoten: Counter-Instanz und WS-RAM-Job starten Eingabe (COSMOS, Counter-EPR) per FileStageIn holen Überwachungs-Prozess starten, MPI-Anwendung starten Überwachungs-Prozess prüft periodisch, ob ein neuer Schnappschuss vorhanden ist und erhöht ggf. Counter Monitor-Client empfängt WS-Notifications von Counter und holt neue Schnappschüsse via ridfp 22 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

23 COSMOS 23 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

24 Ausblick: Application Monitoring 24 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

25 Zusammenfassung lobus oolkit CLI zusammen mit Shell-Script-Code als Leim ermöglicht die Abbildung komplexer Abläufe und ist benutzerfreundlicher als die direkte Verwendung des CLI. here is more than one way to do it! 25 Numerische Simulationen mit den Bormitteln von lobus oolkit (Olaf Schneider)

26 Danke! SEINBUCH CENRE FOR COMPUIN - SCC KI Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-emeinschaft