High Performance Computing am Fraunhofer ITWM

Transkript

1 High Performance Computing am Fraunhofer ITWM FhGFS Zielsetzung und Einsatzszenarien 4. März 2010 ZKI Arbeitskreis Supercomputing Dr. Franz-Josef Pfreundt Competence Center for HPC

2 Fraunhofer Institut for Industrial Mathematics ITWM Founded 1996 Staff >200 Fluid dynamics Dynamics - Durability System Analysis Image Anaysis Finance Mathematics Optimization High Performance Computing Visualisierung

3 HPC Produktions Systeme 70 Blades = 1120 cores Peak TFlop = 28 Power consumption = 18 KW Green #1 Top #464 File System : FhGFS 270 Blades = 1080 cores ( Dual Core Woodcrest) Peak TFlop = 10,3 Power consumption = 80 KW Green #33 Top #134 File System : GPFS

4 Competence Center High Performance Computing and Visualization Business Fields HPC-Tools Cloud Computing Visualization Seismics parallel programming models distributed computing parallel algorithms parallel file systems Research ray tracing in visualization seismic imaging Staff : 27 Comp. Science 15, Mathematics 7, Physics 5

5 Tools zur Entwicklung paralleler Anwendungen Cloud Computing Parallel internal workflows (Map&reduce) Fraunhofer Virtual Machine PGAS low level communication API FVM statt MPI FP3 in der Entwicklung GraPA Graph Parallel Architecture ( portable graph based parallelzation framework)

6 Der Standard : MPI Node 1 Buffer Buffer Buffer Buffer local mem local mem local mem local mem Node 2 MPI Process MPI Process MPI Process MPI Process Process - Process Kommunication Kein globaler Adress Raum Nicht Fehler tolerant Multicore MPI/OpenMP Keine Threads im Standard Kommunikation belasted die CPU

7 Fraunhofer Virtual Machine Node 1 Local memory Global Memory 1.8GB/s IB Local memory Global Memory Node 2 FVM Thread FVM Thread FVM Thread FVM Thread FVM Thread FVM Thread FVM Thread FVM Thread Partitioned global adress space PGAS ( node,offset) Jeder Thread kann direkt schreiben und lesen Knotenausfall führt nicht zu einem Absturz der FVM Keine CPU cycles notwendig für den Datentransport Kommunikation mit Wirespeed DDR, QDR,...

8 FVM Performance FVM MPI FVM MPI

9 FVM Interface Infos, capabilities and utilities Environment runtime check Commands Global spinlock Barriers Collectives Socket Communication DMA Communication Passive Communication Global atomic counters

10 Wo wird die FVM derzeit genutzt? Visualisierung und Numbercrunching in der Ölindustrie Seismic Imaging 3D-GRT Random Zugriff auf bis zu 10TB memory BMBF IMEMO Molekulardynamik TAU Code DLR Ströumgsdynamik

11 FhGFS - The Fraunhofer Parallel File System Warum? Features Einsatz

12 Fraunhofer Parallel Filesystem Maximale Skalierbarkeit Multithreaded architecture Distributed Metadata Flexibilität Mehrere Netzwerke (Ethernet, Infiniband nativ) mit dynamischem Fail Over Client und Server dürfen auf dem gleichen Rechner laufen Neue Sever und Clients können jederezeit hinzugefügt werden Easy to use - Keine Kernel patches (kernel module) - Automatisierte Cluster Installation - GUI für Administration und Monitoring

13 Aufbau Fraunhofer file system performance is great

14 Eigenschaften Server laufen auf lokalem File System Z- Bsp ist XFS gut für hohe RaId performance Ander für SSD oder Metadaten We ve seen FhGFS performing very well and also saw its ease and robustness (that we did not see in many other parallel file systems). Flexibles Striping - Individual settings on a per-file (per-directory) basis Server auf der gleichen Machine - Storage und Metadata Servers können auf dem gleichen Rechner laufen - (Parallel Jobs können eigenes paralles FS erzeugen und nutzen) Daten Kohärenz Jeder Änderung ist immer sofort für alle anderen Clients sichtbar. Nicht so bei NFS, auch pnfs Server Preference - Clients können auf betimme Servergelenkt werden => Support für mehrere Daten Center

15 FhGFS Admon - Administration and Monitoring

16 Benchmarks Throughput (MB/s) write MB/s read MB/s Throughput (MB/s) Fluent serial I/O Lustre FhGFS Number of Cores/Processes Number of Servers IOzone results on 256 node Infiniband cluster Storage servers: 1-32 nodes with single 40MB/s internal hard drive Clients: 128 nodes Simultaneous stream I/O We are noticing impressive IO benchmark numbers. Throughput (MB/s) Lustre Fluent parallel I/O FhGFS Number of Cores/Processes Performance comparison of Lustre and FhGFS ANSYS Fluent measured by SGI Altix IB Cluster: 1 metadata, 4 storage servers (IS4500 storage array), 32 clients Serial and parallel I/O mode with 20 million cells, 2GB result files

17 Installation Universität Frankfurt Hardware : 8 Storage Server angebunden mit DDR Infiniband 19 Platten a 500 GB Hardware Raid Controler 3Ware Raid 6 + Hotspare Anzahl Clients für f die Messung 20 Write Performance : 4,2 GB/sec Raed Performance : 4.5 GB/sec Anzahl Clients für f die Messung 1 Write Performance : 1.1GB/sec Raed Performance : 1.4 GB/sec Weitere Clustervision Installationen Uni Groning, Utrecht, Dortmund, DNO Norwegen

18 Storage Rechner Ölindustrie muss sehr große Datenlasten managen! Es gibt auch sehr viele kleine Ölfirmen bzw. Zulieferer Typische Installation Inifiband Cluster - teilweise auch aus Workstations Kleines Raid system pro Knoten ( 8 x 1 oder 2 TB) Dual Nehalem 48 Gb Ram Rechner und Daten Speicher Wie : Priorisierung der FhGFS Server Prozesse

19 FhGFS in der Cloud Installation des FhGFS on Demand Server sind User Space Prozesse Keine besonderen Anforderungen an die Metadatenserver lineare Skalierbarkeit via Anzahl der Metadatenserverprozesse Many Task Computing for Multidisciplinary Ocean Sciences: Real-Time Uncertainty Prediction and Data Assimilation Constantinos Evangelinos Pierre F. J. Lermusiaux Chris Hill Jinshan Xu MIT Earth, Atmospheric and Planetary Sciences Auf Amazon EC2 Problem : Gbit Ethernet Connectivität teilweise schlecht Location der server

20 Demnächst April More aggressive client-side caching (page cache) - Dynamic cache size (grows/shrinks based on free system memory) - Asynchronous read-ahead and write-back: Improves typical HPC application loop (compute -> I/O -> compute -> I/O -> ) Neuer Cache Coherence Algorithmus - Optimistic byte-range locks - No overhead for read-only files, no/minimal overhead for writing Hochverfügbarkeit - Verteilte n-fache Datenspiegelung kein shared storage notwenid - Frei Konfigurierbar per-file (per-directory) Sommer