Das HLRN-System. Peter Endebrock, RRZN Hannover

Größe: px

Ab Seite anzeigen:

Download "Das HLRN-System. Peter Endebrock, RRZN Hannover"

Dörte Lieselotte Ackermann
vor 7 Jahren
Abrufe

1 Das HLRN-System Peter Endebrock, RRZN Hannover

2 vorweg (1) Heute Vorträge im Dreierpack: Peter Endebrock: Das HLRN-System Gerd Brand: MPI Simone Knief: OpenMP Peter Endebrock, RRZN Hannover, Kolloquium,

3 vorweg (2) Hamming 1962 The Purpose of Computing is Insight, not Numbers Peter Endebrock, RRZN Hannover, Kolloquium,

4 vorweg (2) Hamming 1962 The Purpose of Computing is Insight, not Numbers Hamming 1972 The Purpose of Computing is not yet in Sight Peter Endebrock, RRZN Hannover, Kolloquium,

5 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

6 Rechnersysteme am RRZN Peter Endebrock, RRZN Hannover, Kolloquium,

7 Die anderen Hochleistungsrechner SGI Onyx 3800 Hochleistungs-Graphikrechner 18 CPUs, 4 Graphikpipes eingebunden in das HLRN-Konzept Sun Enterprise SMP-Hochleistungsrechner 56 CPUs in vier Partitionen für kleinere Anwendungen Peter Endebrock, RRZN Hannover, Kolloquium,

8 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

9 Übersicht über das HLRN-Konzept Peter Endebrock, RRZN Hannover, Kolloquium,

10 HLRN-Geschichte (1) Erste Planungen ab 1995/96 Erster Antrag 1998 Ausschreibung in 2000/2001 Okt. 2001: Entscheidung für IBM-Angebot Nachprüfungsantrag bei Vergabekammern Jan. 2002: Entscheidung zugunsten HLRN März 2002: Vertragsunterzeichnung Peter Endebrock, RRZN Hannover, Kolloquium,

11 Vertragsunterzeichnung Peter Endebrock, RRZN Hannover, Kolloquium,

12 Aufbau in Hannover Peter Endebrock, RRZN Hannover, Kolloquium,

13 HLRN-Geschichte (2) Apr. 2002: Lieferung und Aufbau Mai 2002: Systeminstallation Juni 2002: Erste Benutzertests Juli 2002: Aufnahme des (Probe-)Betriebs : Produktionsbetrieb Peter Endebrock, RRZN Hannover, Kolloquium,

14 HLRN-Organisation Verwaltungsrat Technische Kommission Wissenschaftlicher Ausschuss Zwei Betreiberzentren: RRZN Kompetenznetzwerk der Fachberater Peter Endebrock, RRZN Hannover, Kolloquium,

15 Nutzungsberechtigte Primär Einrichtungen der Hochschulen der beteiligten Bundesländer Schnupper-User zur Vorbereitung Großprojekte nach Genehmigung durch den Wissenschaftlichen Ausschuss Peter Endebrock, RRZN Hannover, Kolloquium,

16 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

17 HLRN-Gesamtsystem Peter Endebrock, RRZN Hannover, Kolloquium,

18 HLRN-Komplex Hannover Peter Endebrock, RRZN Hannover, Kolloquium,

19 Das Massenspeichersystem Peter Endebrock, RRZN Hannover, Kolloquium,

20 Einige Daten 24 Rechner IBM pseries 690, je 32 Prozessoren davon -2 Rechner mit 256 GByte Hauptspeicher -2 Rechner mit 128 GByte Hauptspeicher - 20 Rechner mit 64 GByte Hauptspeicher insgesamt 768 Prozessoren, 2 TByte Hauptspeicher Plattenkapazität ca. 52 TeraByte (Nutzkapazität) Rechenleistung (peak): ca. 4 Teraflops Gigabit-Link zwischen den Komplexen Peter Endebrock, RRZN Hannover, Kolloquium,

21 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

22 Der MCM Multi Chip Module Peter Endebrock, RRZN Hannover, Kolloquium,

23 Der MCM schematisch Peter Endebrock, RRZN Hannover, Kolloquium,

24 und ein Power4-Chip Peter Endebrock, RRZN Hannover, Kolloquium,

25 und noch einmal der Chip Peter Endebrock, RRZN Hannover, Kolloquium,

26 und dazu einige Daten 2 CPUs pro Power4-Chip, 1,3 GHz Taktrate, entspricht 5,2 Gflops (peak) pro CPU L1 Daten-Cache 32 KByte pro CPU L1 Instruktions-Cache 64 KByte pro CPU L2 Cache 3 x 512 KByte gemeinsam für 2 CPUs, mit 3 Controllern, achtfach assoziativ Bandbreite L2-L1 über 100 GByte/s Integrierter Controller für L3 Cache (dieser außerhalb des Chips, 32 MByte) Peter Endebrock, RRZN Hannover, Kolloquium,

27 und noch einige Daten 0,18 µm Kupfer- und SOI-Technologie Größe 13 x 13 x 0,6 cm 3 35 Teil-Chips mit 2,5 Milliarden Transistoren Verbunden mit 4226 I/O-Pins, 1 km Draht 101 Glaskeramikschichten IBM-Ziele für den Power4-Prozessor: -hohe Instruktionen/Zyklus-Rate -hohe Taktrate Peter Endebrock, RRZN Hannover, Kolloquium,

28 zum logischen Konzept Parallelrechner als Cluster von SMP-Knoten Ziel: single system image für den Benutzer Zur Zeit Aufteilung der Frames in LPARs (4 Knoten pro Frame), also pro Komplex 48 Knoten mit je 8 Prozessoren Innerhalb des Knotens OpenMP oder MPI, zwischen den Knoten MPI Peter Endebrock, RRZN Hannover, Kolloquium,

29 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

zur Leistung: TOP500 (Nov. 2002) Rank 44 IBM pseries 690 Turbo 1.3GHz/ 384 1038.00 1996.

30 zur Leistung: TOP500 (Nov. 2002) Rank 44 IBM pseries 690 Turbo 1.3GHz/ HLRN at Universitaet Hannover / RRZN Germany/2002 Rank 45 IBM pseries 690 Turbo 1.3GHz/ HLRN at ZIB/Konrad Zuse-Zentrum fuer Informationstechnik Germany/2002 Peter Endebrock, RRZN Hannover, Kolloquium,

31 zur Leistung: beide Komplexe (1) Messungen mit LINPACK (Stefan Andersson, IBM) Matrixgröße n=28000 (ca. 6 GByte) 8 Tasks pro Knoten Messungen in einem Komplex und auf beiden Komplexen Eine Messung mit n= Peter Endebrock, RRZN Hannover, Kolloquium,

32 zur Leistung: beide Komplexe (2) 300 Gflops Komplex (US) 1 Komplex (IP) 2 Komplexe (IP) (gross) Knoten Peter Endebrock, RRZN Hannover, Kolloquium,

33 single system image Single system (aktueller Stand): -singleusername auf dem HLRN-System -single/home auf dem HLRN-System -i. w. gleiche Umgebung auf beiden Seiten - gemeinsames LoadLeveller Scheduling Zwillingssystem: -keine einzelnen Jobs auf beiden Seiten (aber schon Tests) Peter Endebrock, RRZN Hannover, Kolloquium,

34 aus Zwei mach Eins! Gemeinsam sind wir stark : jeder Standort einzeln hätte wahrscheinlich Personalprobleme gehabt Regelmäßige Video-Konferenzen unterstützen Informationsaustausch und Entscheidungen Konsolidierungsphase zur Zusammenführung der unterschiedlichen Kulturen war nötig Peter Endebrock, RRZN Hannover, Kolloquium,

35 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

36 Die ursprüngliche Zielkonfiguration Peter Endebrock, RRZN Hannover, Kolloquium,

37 Probleme GPFS over SAN direkte Anbindung der Rechner an die Platten vermutlich nicht realisierbar GPFS-I/O über alle Knoten -starke Schwankungen bei wall clock time - Leistungsminderung für Rechnungen -Fehleranfälligkeit aber dafür hohe Übertragungsraten Peter Endebrock, RRZN Hannover, Kolloquium,

38 Das Massenspeichersystem Peter Endebrock, RRZN Hannover, Kolloquium,

39 Konsequenzen Stärkere Trennung von Dateisystemen (ist schon erfolgt) Installation dedizierter I/O-Knoten Sonstige Planungen Installation des neuen Switch ( Federation ) Vervollständigung der Ein-System-Eigenschaft Peter Endebrock, RRZN Hannover, Kolloquium,

40 Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium,

41 Zusammenfassung Extreme Anforderungen (1. Beantragung): Anträge für 300 % der verfügbaren CPU-Zeit Einzelne Anträge mit Anforderungen, die (auch) an keinem anderen SC-Center in Deutschland befriedigt werden können HLRN war für Norddeutschland dringend nötig Peter Endebrock, RRZN Hannover, Kolloquium,

42 Links Peter Endebrock, RRZN Hannover, Kolloquium,

43 Danke für Ihre Aufmerksamkeit! Peter Endebrock, RRZN Hannover, Kolloquium,

Ähnliche Dokumente

Enterprise Computing Einführung in das Betriebssystem z/os. Prof. Dr. Martin Bogdan Prof. Dr.-Ing. Wilhelm G. Spruth WS 2012/13

UNIVERSITÄT LEIPZIG Enterprise Computing Einführung in das Betriebssystem z/os Prof. Dr. Martin Bogdan Prof. Dr.-Ing. Wilhelm G. Spruth WS 2012/13 System z/hardware Teil 3 Book und System Frame el0100