Das HLRN-System Peter Endebrock, RRZN Hannover
vorweg (1) Heute Vorträge im Dreierpack: Peter Endebrock: Das HLRN-System Gerd Brand: MPI Simone Knief: OpenMP Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 2
vorweg (2) Hamming 1962 The Purpose of Computing is Insight, not Numbers Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 3
vorweg (2) Hamming 1962 The Purpose of Computing is Insight, not Numbers Hamming 1972 The Purpose of Computing is not yet in Sight Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 4
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 5
Rechnersysteme am RRZN Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 6
Die anderen Hochleistungsrechner SGI Onyx 3800 Hochleistungs-Graphikrechner 18 CPUs, 4 Graphikpipes eingebunden in das HLRN-Konzept Sun Enterprise 10.000 SMP-Hochleistungsrechner 56 CPUs in vier Partitionen für kleinere Anwendungen Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 7
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 8
Übersicht über das HLRN-Konzept Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 9
HLRN-Geschichte (1) Erste Planungen ab 1995/96 Erster Antrag 1998 Ausschreibung in 2000/2001 Okt. 2001: Entscheidung für IBM-Angebot Nachprüfungsantrag bei Vergabekammern Jan. 2002: Entscheidung zugunsten HLRN März 2002: Vertragsunterzeichnung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 10
Vertragsunterzeichnung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 11
Aufbau in Hannover Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 12
HLRN-Geschichte (2) Apr. 2002: Lieferung und Aufbau Mai 2002: Systeminstallation Juni 2002: Erste Benutzertests Juli 2002: Aufnahme des (Probe-)Betriebs 01.04.2003: Produktionsbetrieb Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 13
HLRN-Organisation Verwaltungsrat Technische Kommission Wissenschaftlicher Ausschuss Zwei Betreiberzentren: RRZN Kompetenznetzwerk der Fachberater Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 14
Nutzungsberechtigte Primär Einrichtungen der Hochschulen der beteiligten Bundesländer Schnupper-User zur Vorbereitung Großprojekte nach Genehmigung durch den Wissenschaftlichen Ausschuss Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 15
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 16
HLRN-Gesamtsystem Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 17
HLRN-Komplex Hannover Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 18
Das Massenspeichersystem Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 19
Einige Daten 24 Rechner IBM pseries 690, je 32 Prozessoren davon -2 Rechner mit 256 GByte Hauptspeicher -2 Rechner mit 128 GByte Hauptspeicher - 20 Rechner mit 64 GByte Hauptspeicher insgesamt 768 Prozessoren, 2 TByte Hauptspeicher Plattenkapazität ca. 52 TeraByte (Nutzkapazität) Rechenleistung (peak): ca. 4 Teraflops Gigabit-Link zwischen den Komplexen Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 20
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 21
Der MCM Multi Chip Module Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 22
Der MCM schematisch Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 23
und ein Power4-Chip Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 24
und noch einmal der Chip Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 25
und dazu einige Daten 2 CPUs pro Power4-Chip, 1,3 GHz Taktrate, entspricht 5,2 Gflops (peak) pro CPU L1 Daten-Cache 32 KByte pro CPU L1 Instruktions-Cache 64 KByte pro CPU L2 Cache 3 x 512 KByte gemeinsam für 2 CPUs, mit 3 Controllern, achtfach assoziativ Bandbreite L2-L1 über 100 GByte/s Integrierter Controller für L3 Cache (dieser außerhalb des Chips, 32 MByte) Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 26
und noch einige Daten 0,18 µm Kupfer- und SOI-Technologie Größe 13 x 13 x 0,6 cm 3 35 Teil-Chips mit 2,5 Milliarden Transistoren Verbunden mit 4226 I/O-Pins, 1 km Draht 101 Glaskeramikschichten IBM-Ziele für den Power4-Prozessor: -hohe Instruktionen/Zyklus-Rate -hohe Taktrate Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 27
zum logischen Konzept Parallelrechner als Cluster von SMP-Knoten Ziel: single system image für den Benutzer Zur Zeit Aufteilung der Frames in LPARs (4 Knoten pro Frame), also pro Komplex 48 Knoten mit je 8 Prozessoren Innerhalb des Knotens OpenMP oder MPI, zwischen den Knoten MPI Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 28
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 29
zur Leistung: TOP500 (Nov. 2002) Rank 44 IBM pseries 690 Turbo 1.3GHz/ 384 1038.00 1996.00 HLRN at Universitaet Hannover / RRZN Germany/2002 Rank 45 IBM pseries 690 Turbo 1.3GHz/ 384 1038.00 1996.00 HLRN at ZIB/Konrad Zuse-Zentrum fuer Informationstechnik Germany/2002 Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 30
zur Leistung: beide Komplexe (1) Messungen mit LINPACK (Stefan Andersson, IBM) Matrixgröße n=28000 (ca. 6 GByte) 8 Tasks pro Knoten Messungen in einem Komplex und auf beiden Komplexen Eine Messung mit n=110000 Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 31
zur Leistung: beide Komplexe (2) 300 Gflops 250 200 1 Komplex (US) 1 Komplex (IP) 2 Komplexe (IP) 150 100 50 0 2 4 8 16 16 (gross) Knoten Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 32
single system image Single system (aktueller Stand): -singleusername auf dem HLRN-System -single/home auf dem HLRN-System -i. w. gleiche Umgebung auf beiden Seiten - gemeinsames LoadLeveller Scheduling Zwillingssystem: -keine einzelnen Jobs auf beiden Seiten (aber schon Tests) Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 33
aus Zwei mach Eins! Gemeinsam sind wir stark : jeder Standort einzeln hätte wahrscheinlich Personalprobleme gehabt Regelmäßige Video-Konferenzen unterstützen Informationsaustausch und Entscheidungen Konsolidierungsphase zur Zusammenführung der unterschiedlichen Kulturen war nötig Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 34
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 35
Die ursprüngliche Zielkonfiguration Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 36
Probleme GPFS over SAN direkte Anbindung der Rechner an die Platten vermutlich nicht realisierbar GPFS-I/O über alle Knoten -starke Schwankungen bei wall clock time - Leistungsminderung für Rechnungen -Fehleranfälligkeit aber dafür hohe Übertragungsraten Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 37
Das Massenspeichersystem Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 38
Konsequenzen Stärkere Trennung von Dateisystemen (ist schon erfolgt) Installation dedizierter I/O-Knoten Sonstige Planungen Installation des neuen Switch ( Federation ) Vervollständigung der Ein-System-Eigenschaft Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 39
Themen Rechnersysteme am RRZN Übersicht über das HLRN-Konzept Das HLRN-Gesamtsystem Das IBM pseries 690 System Einige Erfahrungen Weitere Planungen Zusammenfassung Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 40
Zusammenfassung Extreme Anforderungen (1. Beantragung): Anträge für 300 % der verfügbaren CPU-Zeit Einzelne Anträge mit Anforderungen, die (auch) an keinem anderen SC-Center in Deutschland befriedigt werden können HLRN war für Norddeutschland dringend nötig Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 41
Links http://www.hlrn.de/ http://www.rrzn.uni-hannover.de/software/hpc/ http://www.research.ibm.com/journal/rd/461/tendler.html Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 42
Danke für Ihre Aufmerksamkeit! Peter Endebrock, RRZN Hannover, Kolloquium, 15.05.2003 43