BremHLR Das Kompetenzzentrum für Höchstleistungsrechnen in Bremen

Transkript

1 Tagesordnung Das Kompetenzzentrum für Höchstleistungsrechnen Bremen (BremHLR) Das neue HLRN2 Höchstleistungsrechnersystem Fragen und Antworten zur Bremer Nutzung des HLRN2 1

2 2 BremHLR Das Kompetenzzentrum für Höchstleistungsrechnen in Bremen Wolfgang Hiller Bremen, 17. Oktober 2008

3 3 BremHLR Die Einrichtung Gegründet am 1. Juli 2003 Basiert auf Kooperationsverträgen Kooperationspartner: Alfred-Wegener-Institut Bremerhaven (RZ, Arbeitsgruppe wissenschaftliches Rechnen) Universität Bremen (ZARM, ZeTeM) Jacob University Bremen (CLAMV) Hochschule Bremerhaven Gefördert durch den Senator für Bildung und Wissenschaft Geschäftstelle und Leitender Fachberater Sitz der Geschäftsstelle: Universität Bremen, ZeTeM Übergeordnetes Ziel: Unterstützung der HLRN HPC-Projekte des Landes Bremen als Bestandteil des HLRN-Kompetenznetzwerks

4 Lenkungsausschuss BremHLR Struktur und Organisation Geschäftsstelle Prof. Dr. W. Hiller (AWI) - Landesbeauftrager für Höchstleisungsrechnen, - Mitglied der Technischen Kommission des HLRN Prof. Dr. U. Kleinekathöfer (JUB) Prof. Dr. A. Schmidt (ZETEM) - Mitglied im wiss. Ausschuss des HLRN H. Wolf (SfBW) - Vertreter Bremens im HLRN-Verwaltungsrat Prof. S. Frickenhaus (Hochschule Bremen) Leitung und Koordination: Dr. Lars Nerger Sekretariat: J. v. Deetzen Fachberater für wissenschaftliches Rechnen Dr. Lars Nerger (AWI/UB) (Klima- und Geowissenschaften) Dr. Kerstin Fieg (AWI) (Klima- und Geowissenschaften, Grid) Thorsten Coordes (UB, ZARM) (Ingenieurwissenschaften) Dr. Achim Geleßus (JUB, CLAMV) (wissenschaftliches Rechnen) Fachberater bis 50% abgeordnet aus beteiligten Zentren 4

5 5 BremHLR Aufgaben Unterstützung von Wissenschaftlern im wissenschaftlichen Rechnen Projektakquise (Bedarf aufdecken) Projektplanung (Bedarf abschätzen) Projektkoordination Projektdurchführung Projektsupport Softwareentwicklung Programmoptimierung -> Support Eigenentwicklungen FoSSI Family of Simplified Solver Interfaces ScOPES Scalable Open Parallel Environment for solving large linear Equations Systems AMATOS Adaptive Mesh generator for ATmospheric and Oceanic Simulation Betreuung von Softwarepaketen am HLRN (HYPRE, PETSC, PILUT, AZTEC, MUMPS) Lizenzierung von Software Paketen für Bremer HLRN Nutzer Ausbilung und Schulung (auch überregional) Orgnisation und Ausrichtung von Nutzerworkshops Organisation und Ausrichtung von Nutzerschulungen

6 6 BremHLR - Aktivitäten Betrieb, Koordination und Beschaffung von Vorrechnern und Zugangssystemen Beschaffung auf Fachbereichsebene Vor- und Zugangsrechner 2003: FB1, Universität Bremen 2008: FB1,FB3 Universität Bremen Betrieb: Zugangssystem am AWI Unterstützung bei Beschaffungsverfahren nationale Zentren: HLRN-I/-II, DKRZ Bereitstellung/Betreuung von Benchmarkapplikationen 2002: HLRN-I HIRHAM 2007: HLRN-II COM/FEOM 2007: DKRZ COM/pFEOM HLRN-II: Entwicklung des Auswerteverfahren Rankingverfahren

7 BremHLR Aktuelle Entwicklungen (1) BremHLR Zentrum für Computational Sciences Basis für Spitzenforschung z. B. MARUM Exzellenzcluster Aufgaben HPC-Support: Spitze Versorgungspyramide Hardware-Support: Mittlere Ebene Versorgungspyramide Infrastruktur Konzept: CampusGrid/BremGrid Zugangs- und Vorrechner Vorlesungen, Schulung, Ausbildung, Workshops, Unterstützung SCImade Bremen internationale Graduate School (in Planung), Helmholtz Research School on Earth System Science ( Förderzeitraum) 7

8 8 BremHLR Grid-Infrastruktur Re-Organisation der HPC-Versorgung mittlere Stufe der Versorgungspyramide Kooperatives Nutzungsmodell Aufbau einer Grid-Infrastruktur Schritt 1: CampusGrid Grid an der Universität Bremen Schritt 2: BremGrid Grid für ganz Bremen (über Bremer Landesnetz) Ziele: Effiziente Nutzung der Ressourcen Abfangen von Versorgungsengpässen 2009: >1000 Core Grid-System

9 9 BremHLR Aktuelle Entwicklungen (1) Problem: HLRN I-System sehr stark ausgelastet Bremer Kontingent ausgeschöpft bzw. starke Übersubskription HLRN I System in Endphase zu leistungsschwach Lösung: Ausweitung der Projektbetreuung auf alle nationalen HPC Zentren zwischenzeitlich (Projekte am NIC FZJ JUMP System) HLRN II System ab 2008 neu ( > 300Tflop/s Peak)

10 BremHLR Aktuelle Entwicklungen (2) Ausweitung der Kooperation Hochschule Bremerhaven als neuer Kooperationspartner Neue Fachrichtungen: Bioinformatik, Life Science Erweiterung des Schulungs- und Ausbildungsangebots Übungen für Vorlesungen zum wiss. Rechnen Parallele Algorithmen und Rechnerarchitekturen Parallelisierung numerischer Verfahren Vorlesung Wissenschaftliches Rechnen WS 2008/9 User-Workshops/-Schulungen z. B. MPI und OpenMP als separate Kurse 10

11 BremHLR Projekte Statistiken und Hintergrundinformationen Wolfgang Hiller Bremen, 17. Oktober 2008

12 Inhaltsübersicht Allgemeine Informationen zu Projekten Laufzeiten/Eigenschaften der Projekte Verbrauchsstatistiken Projekte und der HLRN Ausblick 12

13 13 BremHLR Projekte: Übersicht eingetragene Projekte: 15 HLRN: 13 NIC: 2 betreute/aktive Projekte: 6 (7) 5 HLRN-Projekte 2 NIC-Projekte eingetragene Nutzer: 46 HLRN: 42 NIC: 4 Vertretene Fachgebiete: Erdsystemforschung: Umweltphysik (1/2) Paläoklimatologie (1) Ozeanographie/BioGeoChemie-Stoffkreisläufe (3) Klimatologie/Meteorologie (1) Hinzu kommt ein weiteres vom WA bewilligtes HLRN-Projekt (JUB) Wurde nicht aktiv wegen HLRN-Zugangsregelung

14 14 BremHLR-Projekte im Detail Kennung Titel Leiter Fachrichtung hbk00005 hbk00010 Auswertung von geophysikalischen Parametern mit dem Satelliteninstrument SCIAMACHY Entwicklung des finite Elemente Ozeanmodells FEOM (ging Q3/2004 in hbk00015 über ) Prof. Dr. J-P Burrows Prof. Dr. D. Olbers Umweltphysik Ozeanographie hbk00012 Modellierung känozoischer Klimazustände Prof. Dr. M. Schulz Paläoklimatologie hbk00014 hbk00015 hbk00016 Sensitivitätsstudien mit einem gekoppelten regionalen Klimamodell der Arktis zur Identifizierung der grundlegenden Prozesse für eine realistische Simulation des arktischen Meereises Towards a Global Ocean Modelling and Data Assimilation System based on the Finite Element Ocean Model FEOM- Decadal Variability in the Southern Ocean High Resolution Modelling of Particle Fluxes in the Northwest African Upwelling Region Prof. Dr. D. Olbers Prof. Dr. D. Olbers Prof. Dr. R. Schlitzer/ Dr. G.Karakas Klimatologie/ Meteorologie Ozeanographie Ozeanographie nic0001 wie hbk00005 Prof. Dr. J-P Burrows Umweltphysik nic0002 Modellierung biogeochemischer Kreisläufe im Ozean Prof. Dr. D. Wolf-Gladrow BioGeoChemie/ Ozeanographie

15 16 BremHLR-Projekte: Laufzeiten/Eigenschaften hohe Rechenleistung hohe I/O-Kapazität Langläufer Intervalljobs/ Experimente Durchsatz

16 17 BremHLR-Projekte: Verbrauch (1) 1 NPL = 1 CPU-h auf 32 CPUs Gesamtverbrauch: ca NPL -Äquivalent: ca. 5 Mio

17 Verbrauch in % 18 Start BremHLR BremHLR-Projekte: Verbrauch (2) Kosten-Nutzen: Effektiver Landesanteil: ~ 2,1 % entspr. ca. 470 k Verbrauch durch Projekte: > 5 Mio deutlicher Nutzenvorteil Hinzu kommt noch ein Äquivalent von etwa 2-3 % durch die Projekte am NIC ~6 %, mittlerer Verbrauch ~4 %, Bremer Landesanteil tats. Verbrauch 150 % des Landesanteils

18 19 BremHLR Projekte: Ausblick neue Projekte durch Kooperation mit Hochschule Bremerhaven Fachgebiet Bioinformatik/Life Sciences Bedarf/Projekt bereits vorhanden (Vortrag Hr. Kleinekathöfer) Möglichkeit für Jacobs University durch Kooperation Ausweitung bestehender Projekte Hbk00005: Neue Satellitenmissionen hbk00015: Ausweitung auf Datenassimilation Bedarf/Projekt bereits vorhanden hbk00012: Paläoklimatologie durch MARUM-Exzellenzcluster wird neuer Bedarf erwartet Außerdem zusätzliche Akquise notwendig AG f. Theoretische Physik Uni Bremen aktives HPC-Projekt Umsiedelung zum HLRN BCCMS, Material Sciences, Uni Bremen SCImade, ESSReS,...

19 HLRN-II Thorsten Coordes Bremen, 17. Oktober 2008

20 Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen 21

21 Overall System Layout HLRN-II 22

22 HLRN-II System Layout per Complex 23

23 24 Hannover HLRN-II Overview Berlin One ''Grid'' - One Workload - One Filesystem MPP1 MPP2 MPP1 MPP2 InfiniBand SMP1 SMP2 HLRN-Link InfiniBand SMP1 SMP2

24 25 HLRN-II Configuration Overview Total System Complex (Hannover and Berlin) Phase 1 Phase 2 Total (mid 2008) (2009) Overall number of cores Overall system peak 70 TFlop/s 242 TFlop/s 312 TFlop/s Overall size of memory 16 TByte 76 TByte 92 TByte Storage Capacity 1.15 PByte 1.15 PByte 2.3 PByte IO Bandwidth 14 GByte/s 14 GByte/s 28 GByte/s

25 Das HLRN-II-System im Detail MPP Stufe 1 / Carlsbad+ SMP Stufe 1 / XE 250 Knoten 640 Knoten 88 CPU Speicher Intel Harpertown, 3 GHz, Quad-Core 8 Cores pro Knoten = Cores 2 GByte/Core = GByte CPU Speicher Intel Harpertown, 1,6 GHz, Dual- Core 8 Cores pro Knoten = 704 Cores 8 GByte/Core = GByte Peak 12 GFlop/s/Core = GFlop/s Peak 12 GFlop/s/Core = GFlop/s MPP Stufe 2 (zusätzlich) / Carlsbad2 SMP Stufe 2 (zusätzlich) / Ultra Violet Knoten Knoten 136 CPU Intel Nehalem, 3,4 GHz, Quad-Core 8 Cores pro Knoten = Cores CPU Intel Beckton, 2,2 GHz, Octo-Core 32 Cores pro Knoten = Cores Speicher 4 GByte/Core = GByte Speicher 4 GByte/Core = GByte Peak 13,6 GFlop/s/Core = GFlop/s Peak 8,8 GFlop/s/Core = GFlop/s 26

26 27

27 28 Systemeigenschaften Netzwerk Festplattensysteme Stufe 1 Stufe 1 Protokoll Infiniband, DDR Kapazität > 800 TByte Bandbreite 4 GByte/s Bandbreite > 9 GByte/s Latenz < 1 µs Stufe 2 Endausbau Kapazität > TByte Protokoll Infiniband, QDR Bandbreite > 19 GByte/s Bandbreite 8 GByte/s Latenz < 1 µs Zusätzlich stehen Archivsysteme zur Verfügung

28 GFlop/s HLRN-II Leistung SMP Stufe 2 MPP Stufe 2 SMP Stufe 1 MPP Stufe bereits in Stufe 1 mehr als 10-fache Leistung mehr als 60-fache Leistung im Endausbau HLRN-I Zeit 29

29 HLRN Scientific Projects Admission through HLRN's Scientific Board Quarterly review of project proposals. Criteria of review comparable to those for DFG (German Research Society) Over 250 users in more than 70 projects (2008)

30 Fragen und Antworten Schnupperaccount beantragen Fachberater im Land Bremen Auslastung HLRN II Software 31

31 Schnupperaccount beantragen Ausdrucken Über Fachberater an Herrn Hiller leiten Warten auf Antwort aus Berlin 32

32 Fachberater im Land Bremen Lars Nerger (Geowissenschaften) Kerstin Fieg (AWI) Stephan Frickenhaus (Hochschule Bremerhaven) Achim Gelessus (Jacobs Universität) Thorsten Coordes (Ingenieurwissenschaften) 33

33 Auslastung HLRN II Shutdown Berlin Shutdown Hannover showq v zeigt Jobstatus an ( :00) 28 active jobs 2528 of 2936 processors in use by local jobs (86.10%) 316 of 367 nodes active (86.10%) 29 eligible jobs 20 blocked jobs Total jobs: 77 34

34 Software Betriebssystem - System Software SUSE. Linux Enterprise Server 10 Service Pack 1 SGI ProPack 5 For Linux Service Pack 3 AMD64/EM64T SGI ProPack 5 For Linux Service Pack 3 for Intel Titanium SGI Altix XE Plattform Update Intel Server Board S5000PAL Deployment Toolkit 2.0 Infinite Storage System Manager WE Version 2.70 for Linux Compiler und Bibliotheken Intel C++ Compiler Professional Edition for Linux Vers.: 10.1 Intel Fortran Compiler Professional Edition for Linux Vers.: 10.1 Intel Math Kernel Library for Linux Vers.: 10.0 Intel Cluster Toolkit for Linux Vers.: 3.1 Intel Threadind Building Blocks for Linux Vers.: