RWTH - Umgebung. Übersicht. Seite 1. RWTH-Umgebung. Sun Grid Engine. Dateimanagement. Archiv. Backup. Seite 2. RWTH-Umgebung

Transkript

1 RWTH Ugebung Seite 1 Übersicht Sun Grid Engine Dateianageent Archiv Backup Seite 2

2 Sun Grid Engine Warteschlange für Prograe Verteilt Prograe über das ganze Cluster Sorgt für Lastausgleich (verhindert Überlastung in Spitzenzeiten) Seite 3 Interaktiv / BatchJob Interaktives Starten über Koandozeile (auf dafür reservierte Rechner) nur wenn: Starten als BatchFile it Sun Grid Engine das Progra kurz ist (< 10 in) es nur wenige Prozesse benötigt (ca. 4, hängt von Progralänge ab) es nicht zwingende Gründe gibt, es interaktiv laufen zu lassen (Debugging, interaktive Prograe) Seite 4

3 Starten als Batch Beispiel Progra Pri.c gibt die Anzahl der Prizahlen in Intervallen von jeweils 1 Million aus. Beispiel: Erstellen eines ShellSkripts. Der Nae sei Pri.bat. Seite 5 BatchJob #!/usr/bin/ksh #$ o $HOME/Pri.out #$ N Prizahl #$ l h_rt=00:30:00 #$ l h_ve=10m #$ l group=sunfire $HOME/Pri.exe Läuft (nur) unter KornShell Datei für StandardAusgaben Nae der BatchDatei Angeforderte Zeit Angeforderter Speicher RechnerGruppe Abzuarbeitende Koandos Seite 6

4 Koandos Abschicken: Status überpüfen: qsub Pri.bat qstat u UserNae jobid prior nae user state subit/start at queue Prizahl yc30611 hqw 02/22/ :04:11 qw / hqw: In Warteschlange r: In Ausführung Löschen: qdel jobid Seite 7 Ausgabe $ ore Pri.out Prizahlen zwischen 0 und : Prizahlen zwischen und : Prizahlen zwischen und : Prizahlen zwischen und : Prizahlen zwischen und : Prizahlen zwischen und : Prizahlen zwischen und : Seite 8

5 Speicheranforderung Größe der Speicheranforderung: Die absolute Untergrenze (auch für HelloWorld Prograe) sind 2 MB. Den echten Speicherverbrauch kann an eritteln, inde an das Progra zunächst interaktiv startet und dann it de Befehl top oder it pap xl <ProcessID> den Speicherverbrauch erittelt. Seite 9 MPI Ein MPIProgra sollte in eine Batchjob Script (anders als in der Benutzeranleitung angegeben) nur noch it prun Progra np nprocs gestartet werden. Die Rechnernaen werden sinnvoll gesetzt Interaktiver Job Interaktiver Rechner BatchJob Verteilung durch GridEngine Seite 10

6 Trick: Alle MPIProzesse auf 1 Maschine Angefordert Gebraucht Job OpenMP MPIProz. ShdMe Thread n MPIProz. ShdMe Thread n MPI Hybrid n MPI (Schein Hybrid) 1 Seite 11 Dateianageent Jeder Benutzer hat 3 Bereiche: HOMEBereich: cd $HOME Größe beschränkt (einige 10 MB) Dateien bleiben erhalten und werden regeläßig gesichert. WORKBereich: cd $WORK Größer (einige 10 GB) Dateien werden nach ca. 1 Woche autoatisch gelöscht. TEMPBereich: cd $TEMP Größe nur durch Plattenkapazität beschränkt Wird nach Ende der Session autoatisch gelöscht. Seite 12

7 Backup Das HOMEVerzeichnis wird autoatisch jede Nacht auf Band gesichert. Falls eine Sicherungskopie benötigt wird: Mail an: Mehr Inforationen: bzw. Weitere Dienste Backup, Archivierung Seite 13 Archivierung Es ist öglich, Daten zu archivieren. Eine Archivierung hat 2 Vorteile: Schutz: Die Daten sind weggepackt und können nicht verändert werden. Dauerhaftigkeit: Die Daten sind auf Band dauerhafter gesichert als auf Platte. Eine Archivierung uss vo Benutzer explizit in Gang gesetzt werden. Die Archivierung von Daten, die auf de Cluster des Rechenzentrus liegen, ist einfach. Zur Vorgehensweise siehe den Link auf der vorigen Folie (Backup). Seite 14