Linux HPC Hybrid Cluster GAUSS

Transkript

1 Linux HPC Hybrid Cluster GAUSS Universität Duisburg-Essen Peter Schreiber ZIM / Universität Düsseldorf schreiber@uni-duesseldorf.de

2 Themen Einleitung Hardware-Ausstattung und System-Konzept Software-Ausstattung und homogenes Management Anwender-Information und Erfahrungsaustausch Ausblick 2

3 Einleitung Zentrales Linux-Cluster der HHU im ZIM : GAUSS Multiple-Purpose-Rechnersystem für ein breites Spektrum von seriellen und parallelisierte Anwendungen Erstes Hybrid-Cluster an deutschen Hochschulen mit Itanium-Montecito- und Xeon-Woodcrest-Servern Gewinner der EU-weiten Ausschreibung: Bull (Frankreich, Hauptniederlassung Köln) Lieferung in 3 Stufen (November 2006 bis Juli 2007) [ Erweiterung: Dezember 2007 ] Implementierung von Hardware, Betriebssystem und betriebssystemnaher Software in Kooperation mit Bull Deutschland und Frankreich 3

4 4

5 5

6 6

7 Kenndaten des Clusters Spitzenleistung: Gflops [ + 537,6 Gflops ] Anzahl Cores: 312 [ + 96 Cores ] Summe Memory: 792 GB [ GB ] Summe Disk-Storage: 15 TB [ GB ] Cluster-Storage-System: 15 TB 7

8 Derzeitige Systemnutzung Bereits jetzt hohe Systemauslastung (Monitoring auf Basis von Ganglia) Beispiele für aktuelle Einsatzfelder mit hohen Ressourcen-Anforderungen: - Anglistik: Sprachdatenverarbeitung - Bioinformatik / Biologie: Gensequenzanalyse - Chemie / Pharmazie: Molekülmodellierung - Informatik: Hochleistungsvisualisierung - Laser- und Plasmaphysik: Magnetfeldberechnung - Theoretische Physik: Strömungsdynamik Hohe Systemleistung im praktischen Betrieb (Beispiel: Performance bei Chemie-Applikationen im Vergleich mit IBM-SMP-Cluster JUMP in Jülich) 8

9 Kooperation mit der Firma Bull Kooperationsprojekt der HHU mit Bull (Drittmittelprojekt) Beginn Oktober 2007 / Laufzeit zunächst 2 Jahre Zahlreiche clusterbezogene Entwicklungsziele Teilprojekte - Concepts and Tools for the Homogeneous Management of Bull Clusters and Bull Hybrid Cluster - Bull Competence and Demo Centre - High Performance Visualization Solutions for Scientific Computing 9

10 Hardware-Ausstattung und System-Konzept 10

11 11

12 Front Ends / Management Nodes Cluster aus Front-End und Ausfall-Front-End 2 x Bull NovaScale 3045 mit jeweils - 2 / 4 x Itanium2 Montecito 9040 Dual-Core 1,6 GHz [2 x 9 MB L3-Cache] (4 bzw. 8 Cores) - 32 GB Memory GB Disk - 10 GigE-Myricom- und InfiniBand-Interface Zugang derzeit: Ausfall-Konzept: Login von WindowsXP-Rechnern: X-Emulator X-WIN32 ssh account@{gauss-1 gauss-2} ssh account@gauss 12

13 Kompilations- und Testhosts Jeweils 1 Server für Itanium2 und Xeon: - Itanium2: Nutzung des Ausfall-Front-Ends - Xeon: Ausstattung wie Thin Execute Node Zusätzliche Server als Ausfall-Reserve 13

14 Execute Nodes Wide Nodes: 8 x Bull NovaScale 3045 mit jeweils - 4 x Itanium2 Montecito 9040 Dual-Core 1,6 GHz [2 x 9 MB L3-Cache] (8 Cores) - 32 GB Memory GB Disk - InfiniBand-Interface Thin Nodes: 58 x Bull NovaScale R440 mit jeweils - 2 x Xeon Woodcrest 5160 Dual-Core 3 GHz [4 MB L2-Cache] (4 Cores) - 8 GB Memory GB Disk - InfiniBand-Interface - 2 Nodes zusätzlich mit 10 GigE-Myricom-Interface 14

15 Verbindungsnetzwerk (Interkonnekt) Voltaire-InfiniBand-Breitbandnetzwerk (IB) - SDR-Technologie (10 Gbps) - IB-Switch für 96 IB-Adapter - IB-Host-Channel-Adapter für alle Nodes - Hohe Bandbreite und niedrige Latenz: Ca. 800 bis 900 MB/s und ca. 5 bis 6 µs (Messwerte) GigE-Netzwerk - HP-Switch ProCurve I/O und Cluster-Management - Anbindung des Panasas-Cluster-Storage (12 x GigE) 15

16 Externe Netzwerkverbindungen 10 GigE-Verbindungen - Myricom-Interfaces (Testphase) - Anbindung an Campusnetzwerk - Breitband-Verbindung zum Institut für IT-Management - Backup/Restore derzeit über einen Thin Node als EMC Legato Networker Client mit Netzwerkverbindung zum Storage-Server GigE-Verbindungen - Zentrale (externe) Lizenz-Server - Desktop-PC im Cluster-VLAN 16

17 Storage-System Alternativen: Lustre (Support durch Bull) oder Panasas (neu bei Bull) Panasas ActiveStor Parallel Storage Cluster + ActiveScale Operating Environment Parallel-NAS / Object Storage Architecture (OSD-Standard) File-basiertes Storage Vorteile von block- und file-basierten Storage: fast + sharable Skalierbarkeit mit der Anzahl der Shelfs Single Name Space + Virtual Volumes Performanz und Sicherheit: Dynamic Load Balancing / Advanced RAID Features / Improved Reliability 17

18 Storage-System (2) Storage-Cluster aus 3 Storage-Shelfs: - Shelf : 1 DirectoryBlade + 10 Storage Blades - Storage Blade: Rechner mit 2 x 250 GB SATA Disk - 3 x 5 = 15 TB Storage - 3 x 4 = 12 GigE-Links Durchsatz: - Aggregiert: 1050 MB/s - Gemessen bei gleichzeitigem Zugriff mehrerer Hosts: Ca. 80 MB/s pro Knoten (schneller als lokal) Paralleles Cluster-Filesystem PanFS Multi-Protokoll-Support: DirectFLOW + NFS + CIFS Handling und Installation: Wesentlich einfacher als z.b. bei Lustre 18

19 Hardware für Cluster-Management Management-Knoten gauss0 und gauss1 Cluster-Konsole + PC als Reserve-Cluster-Konsole 5 KVM-Switches (Power Control / LOM) Ausbaubarkeit Verteilung auf 4 Racks + 1 Rack in Reserve Hinreichende Dimensionierung der vorhandenen GigE- und IB-Switches Stromversorgung Max. Leistungsaufnahme: Ca. 50 kw USV : Wide Nodes + IB- und GigE-Switches + Panasas Klimatisierung Wärmeabgabe: Ca BTU/Std Kühlluftzuführung und Warmluftabzugsvorrichtung 19

20 Software-Ausstattung und homogenes Management 20

21 Betriebssystem und betriebsystemnahe Software Bull Advanced Server HPC Edition: - Aktuell: HPC BAS4 - Binärkompatibel mit kommerzieller Distribution RHEL AS (64 Bit) - Im Januar verfügbar: Neue BAS-Version mit vollem Umfang und Release-Ständen von RHEL5 Bull HPC Software Stack: - Software-Umgebung für HPC 21

22 Homogenes Cluster-Management Konfiguration und Steuerung über Management Nodes Cluster-Datenbank ClusterDB (PostgreSQL) Software-Deployment (ksis) BAS-Kommandos (z.b. nsctrl) und eigene Kommandos System Accounting: - OpenLDAP - Tools für Accounting-Statistiken (Kooperation) System Monitoring: - NSMaster / Nagios / Ganglia (Web-GUI, Bull) - Frei zugängliche Ganglia-Monitoring-Web-Page - Plugins für PBSpro (Kooperation) 22

23 23

24 24

25 25

26 Homogenes Cluster-Management (2) Workload-Management / Batch-System: - Bull-Standard: Torque - Von Bull unterstützte kommerzielle Produkte: PBSpro (Altair) und LSF (Platform Computing) - Installiert: PBSpro (Erweiterung von OpenPBS / Torque) - Job-Submit : Front-End (qsub / GUI: xpbs) - Kein direktes Login auf Kompilations- oder Execute- Hosts: Zugang über interaktive Queues 26

27 27

28 Homogenes Cluster-Management (3) Panasas-Storage: - Web-GUI für Konfiguration und Monitoring - Clusterweite PanFS-Filesysteme (keine Linux-Quotas) - /home und /scratch : PanFS-Filesysteme mit User-Volume-Quotas 50 GB bzw. 100 GB 28

29 29

30 30

31 31

32 Homogenes Cluster-Management (4) Backup/Restore: Derzeit: - Nutzung eines alten SAN-Storage-Systems - PanFS- und EMC Legato Networker Client auf einem Thin Node Geplant: - Nutzung des neuen zentralen IBM-Storage-Systems (im Aufbau) - PanFS- und TSM-Client auf einem IBM Storage Server im Cluster-Netzwerk Lizenz-Server: Front-End + zentrale (externe) Lizenz-Server 32

33 Entwicklungsumgebung Environment für Compiler/Libraries und MPI auf allen Hosts: Python-Skript: [/usr/local/bin/]setgauss setgauss [ option ] ( --bash, --intel10, ) Berücksichtigung der Rechner-Architektur (ARCH: ia64 bzw. em64t bzw. ia32) und der (vor)eingestellten Shell Abweichende Voreinstellungen: export Variable=wert bzw. setenv Variable wert setgauss Beispiele: export COMP=compiler-suite / export MPI=mpi-derivat export BITS={32 64} / export CMKL=cmkl-library-typ 33

34 Entwicklungsumgebung (2) Entwicklungsumgebung von Intel: Compiler: C/C++ und Fortran (10.0.x) Performance Libraries VTune Analyzer Threading Tools Cluster Toolkit: - Cluster Math Kernel Library (9.1.x) - Intel-MPI - Trace Analyzer and Collector (früher Vampir) - Cluster OpenMP Paralleler Debugger: TotalView für IA64 und EM64T 34

35 35

36 36

37 Entwicklungsumgebung (3) Kommunikationsbibliotheken (nur 64 Bit): MPI: - Default: MPIBULL2 (Basis: MPICH2) - Im Test: Slurm/MVAPICH, Voltaire Linux Gridstack, Intel-MPI, HP-MPI (derzeit nur Turbomole) - Default: Kommunikation über InfiniBand-Netzwerk Shared Memory: - OpenMP - Cluster OpenMP Mathematische Bibliotheken: BLACS, BLAS, CMKL, Blocksolve95, CLAPACK, CMKL, FFTW, LAPACK, PBLAS, PETSc, ScaLAPACK, SuperLU 37

38 Anwendersoftware Anpassung bzw. Migration eines breiten Spektrums von Anwendersoftware auf Basis der Anwenderanforderungen Itanium2 Montecito Plattform Xeon Woodcrest Freie Software: E-Ressourcen Programm IA64 Datum/ Release/ Stand EM64T IA32 Seq SMP MPI Seq SMP MPI Seq Datum/ Release/ Stand Bearb eiter Kommerzielle Software: Firma/Lizenzen/ Kosten/Lizenzund Execute- Server 38

39 Anwendersoftware (2) Software-Directories: /usr/local/progname Architekturabhängige Binaries und Bibliotheken: Itanium2 / IA64 oder Xeon / EM64T = x86_64 bzw. IA32 Lokale Vorhaltung jeweils identischer Anwendersoftware auf allen Execute-Servern mit derselben Architektur (Ausnahme: Software mit Node-Locked-Licenses) Software-Environment: - Identische env-skripten auf allen Hosts in /usr/local/bin - Berücksichtigung der Rechner-Architektur (ARCH) - source [/usr/local/bin/]progname.{sh csh}.env (bash/csh) Dokumentation: - Zentrale Vorhaltung von Manual-Pages, User-Guides und Tutorials auf Panasas-Storage (PanFS) - Erweiterung der Manual-Suchpfade durch env-skripten 39

40 40

41 Anwender-Information und -Erfahrungsaustausch Web-Seiten zum HPC: Mailing-Listen: - Info- s: scientific-computing@uni-duesseldorf.de - s an das HPC-Team: hpc@uni-duesseldorf.de Arbeitskreis Wissenschaftliches Rechnen an der HHU (AWR) - Monatliche Treffen - HPC-Forum: Cooperative Workspace auf BSCW-Server 41

42 Ausblick Ausbau und Upgrade des Clusters Dezember 2007 (+ 96 Cores) : 6 x Bull NovaScale R422 mit jeweils - 4 x Xeon Harpertown 5462 Quad Core 2,8 GHz [2 x 6 MB L2-Cache, FSB 1600 MB] - 16 GB Memory - 2 x160 GB Disk - 2 x InfiniBand-Interface (integriert) 42

43 Ausbau und Upgrade des Clusters (2) nvidia Tesla S870 GPU Computing Server - Compute-Beschleuniger für Multi-Core-Rechner - Massively Multi-Threaded Architecture Standard-Einschub (1U, PCI-X / x8 oder x16) - 4 GPUs mit jeweils Ca. 500 GFLOPS Peak Perf. 128 CPUs 1.5 GB GDDR3 - Single-Precision Floating Point - CUDA-Entwicklungsumgebung 43

44 Ausbau und Upgrade des Clusters (3) Mittelfristig: 10GigE-Adapter im InfiniBand-Switch (z.b. für performante Visualiserung) Erweiterung des Hybrid-Systems um ein Windows-Teilcluster (Basis-Software: Compute Cluster Server, CCS) Server-Housing/-Hosting für Forschergruppen Weitere Kooperationen: Ressourcenvereinbarungen mit Forschergruppen Hybrid-Cluster als Compute-Plattform im Ressourcenverbund NRW (RV-NRW) 44

45 Bull NovaScale Server Intensive Line 3005 Servers &cat=novascale Universal Line Rack-Optimized HPC-Optimized 45