IBM Rechenzentrum Boeblingen. Hardware Entwicklung

Transkript

1 IBM Rechenzentrum Boeblingen Hardware Entwicklung

2 Data center Backup +USV im UG Mirror Kühlung

3

4 Schritte in der Hardware Entwicklung Architecture and High Level Design Logic Design and Verification Circuit / Phys Design benötigte Rechenleistung: ~ 0% benötigte Rechenleistung ~ 80% benötigte Rechenleistung ~ 20%

5 Herausforderungen im 24/7 IT Betrieb Verfügbarkeit von Rechenleistung (Benutzer) im Kontext zur optimalen Auslastung der Systeme / Effizienz (IT) und IT Team Größe Stromverbrauch (=> MMT) Kühlung Racks hohe Anzahl von parallelen Jobs (11k) (LSF), 800 Server, und Infrastr. Ausfallsicherheit, gerade bei lange laufenden Jobs (isierung, ) Kühlung (=> RDHE, Luftfluss, Wasser) Reaktionsfähigkeit bei Problemen (=>, isierung, remote access, Notfallprozeduren, USV)

6 autom. Start und Kontrolle von Millionen Jobs Compute server 1 Design wird in kleinere Einheiten aufgeteilt zentrale Auto Submitter Funktion kennt alle Modelle und schickt die Simulationsjobs automatisch in das batch processing system (LSF) Cloud Funktion (LSF) kennt die Leistungsdaten aller VMaschinen. Plant und startet Jobs automatisch. Compute server 2 Compute server 3... Compute server 650 Ergebnisse warden automatisch in AFS zentral gespeichert. Der Autosubmitter bekommt feedback ueber abgeschlossene Jobs File-system AFS Micropatritioned HW (Server) LSF startet zeitkritische und interactive Jobs hier Host 1 High priority Host 2 Low priority LSF startet Verification Jobs hier (batch mode) C P U Hyperviser 'CPU dispatcher' C P U

7 alle virtuelle CPUs Slots in LSF und Job Volumen

8 78 90 ER12 ER20 ER11 ER19 ER10 ER18 ER09 ER neu6 neu neu4 neu3 neu2 neu1 Cooler Cooler Cooler Cooler AFS p7 p8 p6 => p8/9 NAS Intel based Storage HMC Raum vorwiegend Mid-Range Systeme, AIX und Linux

9 Zusammenspiel LSF, Autosubmitter, HDWB, AFS Autosubmitter 2. Anfrage an HDWB 3. HDWB Daten aufbereiten 4. Autosubmitter LSF submit 5. LSF Master 6. LSF Master (DB update) 7. LSF Compute host 8. evtl. Lizenz holen ER12 ER11 ER10 ER09 ER20 ER19 ER18 ER AFS Anfrage Tool/Model 10. Job bearbeiten (Sekunden bis Tage) 11. Lokale Daten nach /tmp 12. Ergebnisdaten nach AFS Ergebnis in HDWB evtl. Lizenz rückgabe LSF Job Ende 17. LSF Master (DB update)... 4 bis 17 in loop bis Limit des Projektes erreicht; Danach ab 1. nach Wartezeit neu1 33 neu neu neu neu neu

10 Storage systems physical view IBM Power Hardware Switch DS5020 DS4700 SVC San Volume Controller Fabric 1 Switch Switch Physical Ethernet Fiber Channel (Backup) LPAR 1 VIO Server 1 Uncapped Micropartitions Ethernet Disk Ethernet Disk Storwize V7000 V7000 SSD SSD Flash SSD SSD SSD SSD SSD Fabric 2 Switch LPAR 2 Shared Processor Pool Shared Memory Pool Ethernet Disk Hypervisor Switch V7000 Physical Ethernet Fiber Channel (Master) VIO Server 2 Ethernet Disk

11 78 90 ER12 ER20 ER11 ER19 ER10 ER18 ER09 ER neu6 neu neu4 neu3 neu2 neu1 Cooler Cooler Cooler Cooler

12 Stromverbrauch des Rechenzentrums KW machines on, full workload machines on, no workload machines off, HW standby

13 Klima Messung mit MMT 2.0

14 supervisor console

15 IBM Rechenzentrum Boeblingen