Administration der CS Ressourcen am Rechenzentrum der TU Ilmenau

Transkript

1 Administration der CS Ressourcen am Rechenzentrum der TU Ilmenau 1. Einleitung 2. Basisdienste des UniRZ aus Forschungssicht 3. Massiv Paralleler Compute Cluster - Historie - Infrastruktur, Hardware & Clusteraufbau - Aktivierung / Inbetriebnahme eines Rechenknoten - Administration aller CS Knoten mit cfengine 4. Hauptnutzergruppen, Anwendungsgebiete & Software 5. Jobverwaltung mit LSF 6. Filesysteme Storage Area Network - Backup 7. Zusammenfassung Seite 1

2 Ilmenau? "Ilmenau hat mir viel Zeit, Mühe und Geld gekostet, dafür habe ich aber auch etwas gelernt und mir eine Anschauung der Natur erworben, die ich um keinen Preis umtauschen möchte. J. W. von Goethe Ilmenau...denken Sie daran, dass wir uns hier nicht am Ende der Welt befinden, sondern im Herzen Deutschlands... Prof. Stamm Gründungsrektor... zu seinem Assistenten Seite 2

3 Organisatorisch-technische Infrastruktur im HPC Bereich Sicht auf Forschung Management, Administration und Koordinierung Magnetofluiddynamik Berechnung freier Oberflächen gekoppelte Felder transiente Feldprobleme Molekulardynamik Vielteilchenphysik MonteCarlo, Transport- & Relaxationsprozesse HPC Services Hardware, Software PKI thoska+ Authentisierung Optimierung von Mobilfunksystemen Mehrnutzer MIMO Systeme Visualisierung grosser Datenmengen Stereoprojektion, Powerwall Zentrale Multimediale Basisdienste Developmentservice/ Applicationserver Autorisierung Angewandte Forschung Backup Identity Management Photonische Kristalle Bandstruktur simulationen WWW- Web Content Management System Upload-/Download Server Netze und Kommunikationsdienste HIS-LSF E-Group Digitale Bibliothek ilmedia Elektronisches Publizieren Verwaltung selbstverwaltete listen Streaming Datenschutz und Datensicherheit Multicasting/ Routing Roaming mit anderen Unis Mobilität, VPN WLAN, Dial-In Dienstneutrale Verkabelung Quality of Service Accounting Statistik Seite 3

4 Historie Universitätsrechenzentrum der Technischen Universität Ilmenau vorher SGI Origin 2000, SUN E 5500, V 880, hpcline, Bladeserver Start des HBFG Antrages in November 2004 initiiert durch das Institut für Physik im Rahmen von Berufungsverhandlungen Ausschreibung & Beschaffung in Nov./Dez Teststellung eines Knotens am 21. Dezember 2005 Lieferung ab 19. Januar 2006 (ohne IB Equiqment) Aufbau durch SUN Reseller Fa. Contac Datentechnik Ilmenau Lieferung & Installation IB Equiqment ab 30. Januar ab Mitte Februar OS Installation, Einbindung in das LSF Batchsystem und schrittweise Übergabe an die Nutzer in 2006: geplante Erweiterung des MaPaCC Clusters Ende 2007 Erweiterung durch 15 Knoten und SAN Speicherbereiche (netto 9,5 Terabyte) im Rahmen des Aufbaus einer Fraunhofer-Projektgruppe für Drahtlose Verteilsysteme Seite 4

5 Seite 5

6 Hardware 1/2 2 Racks 32 Nodes Rechenknoten gestapelt Redundanz zwei Netzteile zwei Festplatten Energie ca. 14 kw 1 Masterknoten Netzwerk 100% Gigabit 50 % Infiniband 100 % AdminGE Rack 1 Rack 2 IB HCA Seite 6

7 Hardware 2/2 - X4100 2x AMD Opteron Modell 275 (Dual Core, 2,2 GHz, 1 MB L2 Cache) 4x 1 GB PC3200 DDR-400 RAM 2x 73 GB Festplatte 10k UpM DVD ROM 2x Stromversorgung 1x Remote Service Prozessor (RSC) mit GE Interface 4x Gigabit, 2x USB 1.1 VGA, 1x seriell 1x PCI-X 133 MHz 1x PCI-X 100 MHz Seite 7

8 Rack 1 Universitätsrechenzentrum der Technischen Universität Ilmenau Aktueller Rack- und Clusteraufbau Node 1 Node 2 MasterNode $HOME 1,6 TByte $HOME 3 TByte 8 4 GB 8 16 GB Node Node Node ComputeNodes Node 16 Node 17 Node 1 Node Node 8 GB Node Node ComputeNodes low latency (~ 5 microsec) infiniband network Node 2 15 Node 32 GB Node Node ComputeNodes Node 32 Node 15 Rack 2 48 Port GB Switch 100 MBit Switch für RSC 24 Port Infiniband Switch 48 Port GB Switch Seite 8

9 Aktivierung / Inbetriebnahme OS Installation & Update CentOS bit Admintool cfengine Installation & Aktivierung RAID 1 dhcp (MAC IP) tftp, nfs kickstart shorewall cfserv.conf cfagent.conf cfrun.hosts OS Tools Anwendungssoftware via nfs: LSF, Fluent, Ansys, Matlab, mpich, Vasp, Gaussian, uva. Soft ware Infiniband Installation & Konfiguration ibadm, ib-verbs, mst, ib-osm, ib-ipoib, open-mpi cfengine (IP Adr.) Add Ons Aktivierungsdauer min jerechenknoten Seite 9

10 Administration mit Cfengine node 1 node 2 node 3 node node node 14 node 15 node 16 I m the cfengine master node - I setup all other hosts by a central policy contacting the master node for the first time we exchange the public hostkeys Master Node policy host node 17 node 18 node 19 node node node 30 node 31 node 32 Konfiguration von OS (eth0, Filesystem, Nutzerauth., Updates, Software Installation) Firewall Infiniband (ib0, Limits) LSF Batchsystem Softwareverteilung The cfservd daemon runs on every node Weitere Tools ganglia big brother nagios rddtools Cacti N1 System Manager Seite 10

11 Anwendungsgebiete Universitätsrechenzentrum der Technischen Universität Ilmenau Vielteilchentheorie und Halbleiter-Nanostrukturen Modellierung von Transport- und Relaxationsprozessen in kond. Materie Entwurf neuer Alghorithmen & Konzepte zur Simulation von Mobilfunksystemen Numerische Modelle zur Berechnung freier Oberflächen von elektrisch leitfähigen Flüssigkeiten Magnetohydrodynamics, CFD, FEM, gekoppelte Felder Photonische Kristalle Bandstrukturberechnungen Software... eine Auswahl Gaussian, Turbomol, MolPro, Lammps, Vasp Fluent, CFX, Ansys, MIT Photonics Band (MPB), Matlab,.. MLDesigner, Silvaco Prometheus Eigenkreationen unter Verwendung von C, Fortran, MPI Seite 11

12 Hauptnutzergruppen Fakultät für Mathematik & Naturwissenschaften FG Theoretische Physik; FG Computational Physics, FG Chemie Fakultät Elektrotechnik/Informationstechnik FG Elektronische Messtechnik; FG Festkörperelektronik; FG Elektro-thermische Energiewandlung, Fakultät Maschinenbau FG Thermo- & Fluiddynamik; FG Theoretische Fluiddynamik; FG Fertigungstechnik; FG Kraftfahrzeugtechnik DFG Projekte Forschergruppe Magnetofluiddynamics Emmy-Noether-Nachwuchsgruppe Strömungsbeeinflussung und - simulation SFB Nanopositionier- und Nanomesstechnik Seite 12

13 Jobverwaltung mit LSF (Load Sharing Facility) Unterschiedliche sehr dynamische Jobanforderungen Kurze & lange Joblaufzeiten; wenige bis viele Jobs pro Nutzer Speicherbedarf von 50 MB bis 25 GByte RAM Ein bis viele Cores (seriell & parallel) Kommerzielle & offene Software Parallele MPI Jobs (Mpich, OpenMPI (Infiniband), HP MPI) Parallele shmembasierende Gaussianjobs Multipurposecluster Abbildung der Jobanforderung in den Batchqueues Inter8 Inter 24 Inter XL Batch72 Batch72 BatchXL Serielle & parallele Hosts serielle Jobs werden auf ausgewählten Knoten gestartet Nutzer & Nutzergruppen Zuordnung von Hosts zu Nutzern, Nutzergruppen, & Queues Limits Host- und Queueübliche Limits (Memory,Slots/Host, ) Jobs pro Nutzer pro Hostgroups # der interaktiven Jobs u.v.a.m. Seite 13

14 Filesysteme Storage Area Network - Backup Masternodefunktionaltitäten Fileserver, LSF Master, AdminMaster, Applikation Reference,Lizenzserver, $HOME 4 TByte $HOME 9,2 TByte $DATA 9,2 TByte $HOME 3 TByte FC Switch Backup auf virtuelle Tapes Backup auf Tapes (GBit) $HOME 1,6 TByte MasterNode SAN Headnode 1 SAN Headnode 2 Homeverzeichnisse per NFS an alle Rechenknoten exportiert Homeverzeichnisse per NFS an alle Rechenknoten exportiert node 1 node 3 node n node 1 node 3 node n node 2 node n-1 Konzentrierte IO Funktionalität (NFS, Backup) auf Masternode! Master node node 2 node n-1 Dediziertes FC Netz im SAN Bereich Seite 14

15 SAN Bild 1/4: Hardware im NSP 0 CS SAN Headnode 1 CS SAN Headnode 2 Seite 15

16 SAN Bild 2/4: Silkworm FC Switch Seite 16

17 SAN Bild 3/4: Plattenarray Rückansicht Seite 17

18 SAN Bild 4/4: Plattenarray Vorderansicht Seite 18

19 Backup: virtuelle Tapes Universitätsrechenzentrum der Technischen Universität Ilmenau Seite 19

20 Zusammenfassung 1. Problemlose Lieferung, Aufbau & Installation Anfang 2006 durch SUN Reseller Contac Datentechnik 2. Seit Inbetriebnahme sind keine Hardwareprobleme aufgetreten 3. Das Konzept eines einheitlichen Filesystems vom Compute Node bis hin zum Grafikarbeitsplatz hat sich in der Praxis bewährt 4. Bewährtes Multipurposeclusterkonzept weitere CS Beschaffungen werden auf massiv parallele (MPI) Anwendungen einiger weniger Nutzer ausgelegt 5. Die bisher verwendeten durch den Masternode verwalteten Userfilesysteme sind an Kapazitäts-, Backup- & Netzgrenzen gelangt 6. SAN basierende Filesysteme konnten nahtlos in die CS Welt integriert werden Kapazitätsprobleme zeitlich nach hinten verschoben 7. NFS als Flaschenhals Lösung: geclusterte Filesysteme erhöhter Adminaufwand durch höhere Komplexität? 8. Zukünftig Backup nur noch von $HOME, Jobdaten liegen in temporären Scratch Verzeichnissen Danke für Ihre Aufmerksamkeit Fragen, Hinweise, Zweifel,? Seite 20