Virtueller Supercomputer Berlin - Hannover Mit Jumbo-Frames über die DFN-Verbindung. Hubert Busch, Zuse-Institut Berlin (ZIB)

Transkript

1 Virtueller Supercomputer Berlin - Hannover Mit Jumbo-Frames über die DFN-Verbindung Hubert Busch, Zuse-Institut Berlin (ZIB)

2 Inhalt Zuse-Institut Berlin, Konrad Zuse Der HLRN-Verbund Das HLRN-System Anforderungen an ein eng gekoppeltes System Der HLRN-Link

3 Zuse-Institut Berlin (ZIB) Forschungseinrichtung des Landes Berlin Mathematik und Informatik Enge Kooperation mit den Berliner Universitäten

4 Konrad Zuse 1938: Zuse Z1: erster frei programmierbarer mechanischer Computer 1941: Zuse Z3: erster frei programmierbarer elektromagnetischer Computer, 2000 Relais, 1/3 Flop/s Konrad Zuse Z1 hatte bereits viele Eigenschaften eines modernen Computers: frei programmierbar separater Speicher spezielle Steuereinheit Gleitkommaarithmetik

5 Der HLRN-Verbund HöchstLeistungsRechner Nord Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen

6 Das HLRN-System 32 IBM pseries 690 (Regatta H) - Knoten, je 32 Power4 Prozessoren (1,3 GHz) 2,5 TeraByte Hauptspeicher Magnetplattenspeicher mit 52 TeraByte 5 TeraFlop/s peak performance Zusätzliche I/O-Server

7 Das HLRN-System

8 Das HLRN-System

9 Anforderungen an ein eng gekoppeltes System Organisatorisches Netzinfrastruktur (Der HLRN-Link) Dateitransfer (Jumbo Frames) Scheduling-System (Gemeinsamer Batch) MPI-Kommunikation über den Link

10 Organisatorisches Gemeinsame Benutzerdatenbank Gemeinsame Namen und UIDs Eine Zulassungskommission Eine Benutzungs- und Entgeltordnung (Weitgehend) identische Konfiguration (Hardware und Software)

11 Der HLRN-Link Dediziert genutzter WDM-Kanal des GWiN mit 2,4 Gb/s ZIB und RRZN sind direkt verbundene GWiN- Level 1-Knotenstandorte (300 km) Derzeit genutzt mit Gigabit-Ethernet (1 Gb/s) Max. (theoretische) Bandbreite: 124,1 MB/s (992,8 Mb/s) Latenz: ca. 4 ms (Round-Trip)

12 Die Latenz-Zeit Aufgabe: Wie lange benötigt das erste Byte von Berlin nach Hannover und zurück? Entfernung: ca. 320 km Geschwindigkeit des Lichts in der Faser: ca. 200 km/ms Ergebnis: (auf Grund der Entfernung): 3,2 ms Gemessen: ca. 4 ms Bemerkung: In dieser Zeit können bereits 10 Millionen Gleitkommaoperationen pro Prozessor ausgeführt werden!

13 Ethernet-Rahmengröße Die maximale Rahmengröße beträgt Byte (Ethernet-Standard) Maximaler Durchsatz: > Rahmen pro Sekunde (Leistungsgrenze der Prozessoren bzw. des Platten-I/O) Abweichung vom Standard: Jumbo- Frames: Byte

14 Die Fluss-Steuerung Das TCP-Fenster: Anzahl der Bytes, die ein Sender abschicken darf, bevor eine Bestätigung vom Empfänger erwartet wird Größe: standardmäßig 64 kb Gemessen (64 kb): 14,7 MB/s (mem-mem) Regel: Fenstergröße = max. Bandbreite * Latenzzeit Beim HLRN-Link: Fenstergröße > 500 kb Gemessen (1024 kb): 121,5 MB/s

15 Netzwerkmessungen

16 Scheduling System Job wird gezielt auf einem vom Anwender gewählten Teilkomplex ausgeführt Job wird auf dem zur Ausführungszeit besten Teilkomplex ausgeführt Job wird auf beiden Komplexen gleichzeitig mit vorgegebener teilkomplexabhängiger Knotenzahl ausgeführt (in Vorbereitung)

17 MPI-Kommunikation über den Link Es geht! Verifikation durch einen Linpack-Test auf 16 Knoten (128 Prozessoren) Vergleich: 8 Knoten Berlin und 8 Knoten Hannover gegenüber 16 Knoten auf einer Seite Leistung verringert sich um 18 %

18 Projekte Computational Chemistry & Biology Particle Physics Cosmology Material Sciences Computational Fluid Dynamics Environmental Sciences & Ocean Modelling

19 Computational Chemistry & Biology Elementary processes in Zeolites Quantum dynamics of H-transfer processes Quantumchemical calculation of VxOy clusters Inorganic clusters in interstellar dust formation Ab-initio simulation of oxide deposition on Si Periodic DFT calculations of TM oxides MD simulation of protein degradation in proteasom Conformational analysis of biomolecules

20 Particle Physics Cosmology Material Sciences Relativistic effects in supra conductors Laser induced building of nanomaterials Q-MC for surfaces of layered crystals 3D hydrodynamics simulation of outer sun

21 Simulation of axialsymmetric diffusors Laser-induced surf. activation in Ni-alloys Detached Eddy simulation FE analysis of wharfs Wing modelling for aircraft design Modelling of solid dispersion dynamics Computational Fluid Dynamics

22 Dynamics of haloclines of the Baltic Sea Modelling of the Baltic Sea eco-system Regional evaporation over land surfaces High-res simulation of turbulent flows 3D simulation of Ekman layers Environmental Sciences & Ocean Modelling

23 Vorteile eines gekoppelten verteilten Systems (in unserem Fall: zwei/sechs Länder) Bessere vorhandene Infrastruktur (zwei Rechnerräume) Personal aus zwei Rechenzentren Backup bei Ausfall eines Zentrums Kleinere Anwendungen: Teilkomplex Große Anwendungen: Gesamtkomplex

24 Weiterführende Hinweise Abschlussbericht des DFN-Projekts Virtueller Supercomputer Berlin Hannover ftp://ftp.zib.de/pub/zib-publications/reports/zr pdf