UBELIX University of Bern Linux Cluster

Transkript

1 University of Bern Linux Cluster Informatikdienste Universität Bern ID BEKO Grid Forum 7. Mai 2007

2 Inhalt Einführung Ausbau 06/07 Hardware Software Benutzung Dokumentation Gut zu wissen Kontakt Apple/Mac: Xgrid (E. Braunschweig)

3 Einführung (Übersicht) High Performance Computing Cluster (HPC) Ausführung von zeit- und/oder rechenintensiven Berechnungen Primär wissenschaftliche Nutzung Dienstleistung steht allen Angehörigen der Universität Bern kostenlos zur Verfügung 189 Rechenknoten (Nodes), 10 Server 531 CPUs, 506 gleichzeitig gerechnete Jobs

4 Einführung (Nodes)

5 Ausbau 06/07 (1) Sun Fire X2200 M2 2 x AMD Opteron 2218 Dualcore 2.6 Ghz, 8 GB RAM, 250 GB Disk Dell Poweredge x Intel Xeon 5160 Dualcore 3.0 Ghz, 8 GB RAM, 75 GB Disk

6 Ausbau 06/07 (2) 64 x 2-way 2-core Nodes 256 CPU Cores, 0.5 TB RAM, 10.4 TB Disk Verdoppelung der Anzahl Job Slots auf über 500

7 Hardware Sun Fire V20z Sun Fire X2200 M2 Dell Poweredge 1950

8 Hardware (Austattung) 4 Nodegruppen: Name fnodes gnodes anodes bnodes CPU Opteron 2.4 GHz Opteron 2.6 GHz Opteron 2.6 GHz Xeon 3.0 GHz Cores RAM 4 GB 4 GB 8 GB 8 GB Disk 75 GB 75 GB 250 GB 75 GB Anzahl Multiprozessor und Multicore AMD64 Architektur und kompatibel Standard pro Job: 1 CPU Core, 2 GB RAM, lokaler Plattenplatz je nach Ressourcenangabe Mehr Ressourcen möglich

9 Hardware (Massenspeicher) Global zugängliche Daten über Network Filesystem (NFS) Dateisysteme: Pfad /home/ubelix /scratch/global /scratch/local Anbindung Netzwerk Netzwerk Harddisk Grösse 2 TB 4 TB GB Backup Ja Nein Nein Verbrauch für jeden Benutzer durch Quota limitiert, Standardquota: 10 GB Home, 100 GB Scratch Erhöhung der Quota auf Anfrage Nur wichtige Daten im Home, temporäre Daten im Scratch Intensives Rechnen mit Daten nur auf lokalem Scratch, nicht über NFS

10 Software Volle 64-Bit Umgebung, identisch auf allen Nodes Native Unterstützung für 32-Bit, jedoch keine vollständige 32Bit Umgebung (selber kompilieren) Gentoo Linux Vorhandene Software im System: GNU GCC Matlab R MOLDEN tetex CVS Python PGI Compiler IDL Gnuplot Vim GNUstep Ghostscript Ruby Sun Java Octave NW Chem Emacs Subversion Atlas/Lapack...

11 Software (Benutzerwünsche) Einfache Installation von Gentoo Paketen Globale Installation durch Admins in /opt/ubelix Selber lokal kompilieren/installieren

12 Benutzung (Zugang) Campus Account an der Universität erforderlich Aktivierung des Accounts auf auf Anfrage User Guide durchlesen Auf Info Mailingliste registrieren Zugang von aussen via SSH über submit.unibe.ch

13 Benutzung (Netzwerk) unibe.ch /16 ubelix.unibe.ch /16 Nodes submit... myhost

14 Benutzung (Job Scheduling) Batchsystem, interaktive Jobs möglich Zentrale Kontrolle der Nodes durch Scheduling System Job Dispatching Job Queue Ressourcenverwaltung Priorisierung, Aufteilung auf Benutzer Sun Grid Engine (SGE)

15 Benutzung (Ressourcen) Queues: all.q Normale Jobs short.q Deadline Jobs, CPU-Zeit < 1h, Nur bei Notwendigkeit Standardressourcen: Ressource h_cpu h_vmem Beschreibung CPU-Zeit RAM Standardwert 24h 250 MB scratch_size lokale Disk 0 scratch_files lokale Files 0 Limite 28d 2 GB (bis 8 GB möglich) GB (pro Node) M (pro Node) Ressourcen sind immer limitiert, Job Kill bei Überschreitung

16 Benutzung (Job Beispiel) Datei example.sh: #!/bin/sh #$ -M #$ -l h_cpu=72:00:00,h_vmem=1g #$ -l scratch=1,scratch_size=10g,scratch_files=1k cd $TMP tar -xzf ~/data.tgz <cmd result.out cp result.out ~ Job submitten: user@submit~$ qsub example.sh

17 Benutzung (Job Beispiel) Job beendet Standard Output (STDOUT) Standard Error Output (STDERR) example.sh.o<jobid example.sh.e<jobid

18 Benutzung (SGE) Kommandi: qsub qalter qdel qstat Job aufgeben Job ändern Job löschen Jobs monitoren qmon grafisches Frontend (X-Forwarding über SSH) Manual pages: sge_intro(5)

19 Dokumentation Alles auf Links: Web Monitoring Mailingliste... Ressourcen: User Guide Job Beispiel SSH Host Keys...

20 Gut zu wissen Bitte Mailadresse angeben: qsub -M <mail Daten regelmässig aufräumen Kein intensives Rechnen auf dem NFS, lokalen Scratch benutzen Auf Mailingliste registrieren und Informationen lesen

21 Kontakt Informatikdienste Universität Bern Zentrale Systeme Mitarbeiter Andres Aeschlimann Reto Gantenbein Anselm Strauss Kontakt: