Leistungsanalyse von Rechnersystemen

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen Auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel Michael Kluge (michael.kluge@tu-dresden.de) Ulf Markwardt (ulf.markwardt@tu-dresden.de) Gliederung I/O Hardware I/O & Betriebssystem Charakterisierung von I/O Benchmarks für Ein/-Ausgabe Definition der zu messenden Parameter Typische Messungen Spezielle Benchmarks Analyse von Benchmark-Ergebnissen

2 Motivation Systeme wachsen Transfer Speicher <-> Platten Anzahl der Komponenten steigt -> mehr Einflüsse Plattenspeicher liegt heute im TB/PB Bereich Bandbreiten jenseits von 100GB/s sind möglich (ASCI Purple) Design eines HPC-Rechners muss I/O-Subsystem enthalten HRSK - Übersicht HPC 6.5 TB RAM, 2048 cores Intel Itanium GHz PC-Farm 2592 cores AMD Opteron 2.6 GHz 8 GB/s 4 GB/s 4 GB/s Tape Library 1000 TB HPC-SAN 68 TB PC-SAN 50 TB 1.8 GB/s

3 HRSK I/O HRSK PC-SAN

4 I/O - Hardware Platten aufgeteilt in Blöcke, Spuren und Sektoren (Zylinder) konstante Winkelgeschwindigkeit Speicherkapazität heute >> 100 MB Umdrehungen pro Minute Interface (IDE, SCSI, ATA, SATA, FC, ) Lebenszeit zwischen und 1 Mio. Stunden verfügbar direkt, auch via USB, FireWire etc. durch Raid-Controller SAN Betriebssystem (Linux) & I/O read() Systemaufruf vfs_read() VFS file->f_op->read() Dateisystem submit_bio() Block-Schicht I/O-Scheduler q->reuest_fn() Gerätetreiber

5 Charakterisierung von I/O nach Aufrufen I/O - Operationen pro Sekunde: open, close stat unlink nach Größe: 1 Byte oder große Abschnitte nach Zugriffsmustern: auf die Datei aus dem Hauptspeicher wiederholtes Schreiben/Lesen nach Ziel der I/O-Operation Platten, Tapes Charakterisierung von I/O nach Anwendung Rohzugriff auf Platten ungepuffert open (IO_DIRECT), close read/write gepuffert fopen,fclose fread/fwrite darauf aufbauende Standards in Bibliotheken MPI-I/O (parallel) NetCDF (network common data form) HDF5 (Hierarchical Data Format Version 5)

6 I/O Benchmarks Definition der zu messenden Parameter Hardware Betriebssystem Dateisystem Gepuffert/Ungepuffert Nutzung von Hauptspeicher Art des Zugriffs auf I/O-Routinen Parallelität Zugriffsmuster Wiederholungen Typische Messungen nach Zielen Messung der Metadatenrate wie viele Dateien können N clients in einem Verzeichnis pro Sekunde anlegen wie viele Dateien können N clients in N Verzeichnissen pro Sekunde anlegen das selbe noch mal mit dem Anlegen von Verzeichnissen Löschen von Einträgen Messung des CPU-Overheads des Dateisystems Schreiben/Lesen von kleinen Puffern auf/von Platte Schreiben/Lesen mit verschiedenen Zugriffsmustern Messung der maximal verfügbaren Bandbreite Schreiben/Lesen großer Datenblöcke mit einem oder mehreren Task evtl. 1:1 Mapping zwischen Tasks und Anzahl der CPUs oder Anzahl der Netzwerkschnittstellen anstreben

7 Beispiel - Messung der Metadatenrate SGI Altix Dateisystem XFS Operationen/Sekunde #Prozesse create unlink Beispiel - Messung der Metadatenrate SGI Altix 3700 paralleles Dateisystem CXFS Operationen/Sekunde #Prozesse create unlink

8 Standard - I/O Benchmarks Desktop-Umgebung Bonnie++ iozone postmark fsbench HPC-Umgebung ior (ASCI) b_eff_io (HLRS) SPEC SFS97 (NFS) Bonnie++ basiert auf bonnie Ziel: Performanceanalyse in Richtung Datenbanken oder Mailserver C++ Code fester Satz von Tests sequentieller Output von 1 Byte großen Blöcken sequentieller Output von größeren Blöcken Lesen eines Teils der Datei, Invalideren des Hauptspeichers und Zurückschreiben sequentieller Input von 1 Byte und größeren Blöcken zufälliges Lesen von Blöcken und in 10% der Fälle Zurückschreiben von neuen Daten welche Anzahl von Dateien kann pro Sekunde erstellt/gelöscht werden Ergebnisse als *.cvs Dateien

9 iozone mehrere Test-Szenarien: Lesen/Schreiben, zweites Lesen und Schreiben, mit Strides Lesen und Schreiben, zufälliges Lesen, pread(), mmap(), asynchrones I/O Unterstützung von Multi-Prozessorsystemen Ausgabe als Excel-Dateien C Code ior (interleaved or random) auf Kommandozeile viele Optionen kein festes Set an Tests paralleles Lesen und Schreiben aus/in ein File C und Python Code testet auch: MPI I/O HDF5 parallele netcdf

10 b_eff_io (HLRS Stuttgart) Entwurf einer Art "Linpack für I/O" Messung verschiedener Lasten: Zeit bis gesamter Hauptspeicher einmal auf Platte geschrieben ist Verhalten bei verschiedenen Anzahl Prozessen/CPU verschiedene Zugriffsmuster Zugriff auf individuelle und geteilte Daten Ausgabe: Eine gewichtete Zahl über alle Messungen alle Teilresultate Benchmark Report Spezielle Benchmarks Abnahmetests in Dresden auf 1 oder 2 Dateisysteme werden Datenblöcke von 512MB geschrieben auf den Knoten werden 7/8 des verfügbaren Hauptspeichers allokiert Verlauf des Tests wird protokolliert es wird etwa das doppelte des Hauptspeichers auf Platte geschrieben Ausführung auf allen Cores des Systems spiobench es werden in der Summe von allen Prozessen immer 128GB geschrieben Blockgröße fest bei 192KB Ausführung auf Prozessoren

11 Spezielle Benchmarks Abnahmetests in Dresden auf 1 oder 2 Dateisysteme werden Datenblöcke von 512MB geschrieben auf den Knoten werden 7/8 des verfügbaren Hauptspeichers allokiert es wird etwa das doppelte des Hauptspeichers auf Platte geschrieben spiobench es werden in der Summe von allen Prozessen immer 128GB geschrieben Blockgröße fest bei 192KB Ausführung auf Prozessoren I/O-Bandbreite oder Cache?

12 Rechnung zum buffer cache Beispiel: Linux kann 8 GB freien Hauptspeicher pro Knoten für den Cache-Puffer nutzen die reale Bandbreite des I/O Subsystems beträgt 0,1 GB/s die Bandbreite in den Cache-Puffer beträgt 100 GB/s ein Prozess schreibt große Datenblöcke auf das I/O-Subsystem gemessen wird die Bandbreite in GB/s Frage: Wie viele Daten muss ich minimal auf das I/O Subsystem schreiben, damit das Ergebnis des Benchmarks nicht mehr als 1% von der realen Bandbreite entfernt ist? Beispiel - Messung der Bandbreite HRSK Abnahmetests HPC-Component 6.6 TB RAM, 2048 cores Itanium PC-Farm 2592 cores Opteron 8 GB/s 4 GB/s 4 GB/s HPC-SAN 68 TB PC-SAN 50 TB

13 Beispiel - Messung der Bandbreite HRSK Abnahmetests HPC-Component 6.6 TB RAM, 2048 cores Itanium PC-Farm 2592 cores Opteron 8 GB/s 4 GB/s 4 GB/s HPC-SAN 68 TB PC-SAN 50 TB Beispiel - Messung der Bandbreite HRSK Abnahmetests HPC-Component 6.6 TB RAM, 2048 cores Itanium PC-Farm 2592 cores Opteron 8 GB/s 4 GB/s 4 GB/s HPC-SAN 68 TB PC-SAN 50 TB

14 Analyse von I/O-Messungen Betrachtung der verwendeten Hardware Platten (Typ, Anzahl, Anordnung) Verbindungsnetzwerk und -technologien (FC, SCSI, ) Rechner-Hardware Anzahl CPUs Speicher Analyse des Betriebssystems und Messprogramms Tasks pro CPU Blockgrößen Zugriffsmuster auf Hauptspeicher Wiederholungen von Messungen Hinweise bei I/O-Messungen Bei Vergleich von Messergebnissen muss das ganze System betrachtet werden. nur dedizierte Messungen sagen wirklich etwas aus mehrmals messen vorher überlegen Warum messe ich? Oder besser: Was will ich eigentlich messen? Welche Einflussparameter gibt es, auf die ich achten muss? Zum Erreichen maximaler I/O-Performance auf parallelen Systemen Ausgewogenheit im System Ein-/Ausschalten von zusätzlichen Caches evtl. frisch formatiertes Dateisystem verwenden Tuning im Linux-Kernel immer wesentlich mehr Schreiben als der größte Cache groß ist