Summary of Previous Lecture

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen I/O Subsysteme und auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel (michael.kluge@tu-dresden.de) Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Summary of Previous Lecture Zellescher Weg 12 Willers-Bau A109 Tel (michael.kluge@tu-dresden.de)

2 Summary of Previous Lecture: Part I Monitoring Techniques Tool to observe the activities on a system Terminology: Event, Trace, Overhead, Domain, Input Rate, Resolution, Input Width System implementation levels: Software, Hardware, Firmware, Hybrid Trigger mechanisms: Event-driven, timer-driven Data display: On-line, batch/post-mortem Interval timers Most fundamental measuring tool, based on counting clock pulses Execution time, forms basis for sampling Hardware, software Time rollover Summary of Previous Lecture: Part II Program Execution Monitors: PC Sampling Basic Block Counting Indirect Strategies Tracing Instrumentation Manual (source based) Software Exceptions Emulation Binary Library Compiler Tools and their formats

3 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Leistungsanalyse von Rechnersystemen I/O Subsysteme und auf Ein-/Ausgabe spezialisierte Benchmarks Zellescher Weg 12 Willers-Bau A109 Tel (michael.kluge@tu-dresden.de) Gliederung Motivation I/O Hardware I/O & Betriebssystem Charakterisierung von I/O Benchmarks für Ein/-Ausgabe Definition der zu messenden Parameter Typische Messungen Spezielle Benchmarks Analyse von Benchmark-Ergebnissen

4 Motivation Systeme wachsen Transfer Speicher <-> Platten Anzahl der Komponenten steigt -> mehr Einflüsse Plattenspeicher liegt heute im TB/PB Bereich Bandbreiten jenseits von 100GB/s sind möglich (erstmals mit ASCI Purple) Design eines HPC-Rechners muss I/O-Subsystem enthalten I/O - Hardware (1) Platten aufgeteilt in Blöcke, Spuren und Sektoren (Zylinder) konstante Winkelgeschwindigkeit Speicherkapazität heute mehr als ½ TB Umdrehungen pro Minute Interface (IDE, SCSI, ATA, SATA, FC, ) Lebenszeit zwischen und 1 Mio. Stunden verfügbar direkt, auch via USB, FireWire etc. durch Raid-Controller SAN

5 I/O - Hardware (2) Betriebssystem (Linux) & I/O read() Systemaufruf vfs_read() VFS file->f_op->read() Dateisystem submit_bio() Block-Schicht I/O-Scheduler q->reuest_fn() Gerätetreiber

6 Effekte von Betriebssystempuffern auf I/O throughput in MB/s Limit total file size written in MB Charakterisierung von I/O nach Anwendung roh-zugriff auf Platten unbuffered open (IO_DIRECT), close read/write buffered fopen,fclose fread/fwrite darauf aufbauende Standards in Bibliotheken MPI-I/O (parallel) NetCDF (network common data form) HDF5 (Hierarchical Data Format Version 5)

7 Charakterisierung von I/O nach Art der Aufrufe I/O - Operationen pro Sekunde: open, close stat unlink nach Größe: 1 Byte oder große Abschnitte nach Zugriffsmustern: auf die Datei aus dem Hauptspeicher wiederholtes Schreiben/Lesen nach Ziel der I/O-Operation Platten, Tapes Performance großes I/O vs. kleines I/O small vs. large I/O blocks for a 1GB file written to fasfs throughput in MB/s block size in byte

8 Rechnung zum buffer cache Beispiel: Linux kann 8 GB freien Hauptspeicher auf einem Knoten für den buffer cache nutzen die reale Bandbreite des I/O Subsystems beträgt 0,1 GB/s die Bandbreite, die man sieht, wenn man nur in den buffer cache schreibt, beträgt 10 GB/s Ein Prozess schreibt grosse Datenblöcke auf das I/O-Subsystem gemessen wird die Bandbreite in GB/s Frage: Wie viele Daten muss ich minimal auf das I/O Subsystem schreiben, damit das Ergebnis des Benchmarks nicht mehr als 10% von der realen Bandbreite entfernt ist? I/O Benchmarks Definition der zu messenden Parameter Hardware Betriebssystem Dateisystem Gepuffert/Ungepuffert Nutzung von Hauptspeicher Art des Zugriffs auf I/O-Routinen Parallelität Zugriffsmuster Wiederholungen

9 Typische Messungen nach Zielen Messung der Metadatenrate wieviele Dateien können N clients in einem Verzeichnis pro Sekunde anlegen wieviele Dateien können N clients in N Verzeichnissen pro Sekunde anlegen das selbe nochmal mit dem Anlegen von Verzeichnissen Messung des CPU-Overheads des Dateisystems Schreiben/Lesen von kleinen Puffern auf/von Platte Schreiben/Lesen mit verschiedenen Zugriffsmustern Messung der maximal verfügbaren Bandbreite Schreiben/Lesen großer Datenblöcke mit einem oder mehreren Task evtl. 1:1 Mapping zwischen Tasks und Anzahl der CPU's oder Anzahl der Netzwerkschnittstellen anstreben Beispiel - Messung der Metadatenrate SGI Altix Dateisystem CXFS Operationen/Sekunde #Prozesse create unlink

10 Beispiel - Messung der Metadatenrate SGI Altix Dateisystem XFS Operationen/Sekunde #Prozesse create unlink Beispiel - Messung der Metadatenrate AMD Opteron Cluster - Dateisystem Lustre 1.4 (2006) 2000 Operationen/Sekunde #Prozesse create unlink

11 Beispiel - Messung der Bandbreite SGI Altix Dateisystem CXFS (Mai 2006) Durchsatz in MB/s Bandbreite #Prozesse Beispiel - Messung der Bandbreite AMD Opteron Cluster - Dateisystem Lustre 3000 Durchsatz in MB/s Bandbreite #Prozesse

12 HRSK Filesysteme Bandbreite Wie viele Bytes bekommt man pro Sekunde auf die Platten Je mehr, desto besser Alle Zahlen sind für einen einzelnen Rechner, der 10 GB in großen Blöcken schreibt PC mars 1 stripe 2 stripes 16 stripes 48 stripes /fastfs - 3 GB/s 250 MB/s 406 MB/s 369 MB/s 267 MB/s /work - 3 GB/s 169 MB/s 213 MB/s 354 MB/s - /tmp 58 MB/s 1) 50 MB/s 60 MB/s /scratch 20 MB/s 2) 400 MB/s 60 MB/s ) new disk (SATA at average performance) 2) old disk (IDE) HRSK filesystems - bandwidth Wie viele Bytes bekommt man pro Sekunde auf die Platten Je mehr, desto besser Alle Zahlen sind für den gesamten Rechner PC mars 1 stripe 2 stripes 16 stripes 48 stripes /fastfs - 10 GB/s 4 GB/s 4 GB/s 4 GB/s 4 GB/s /work - 10 GB/s 4 GB/s 4 GB/s 4 GB/s - /tmp 58 MB/s 200 MB/s 43 GB/s *) /scratch 20 MB/s 1,6 GB/s 43 GB/s *) *) 728 Knoten * 60 MB/s pro lokaler Platte

13 HRSK file systems - I/O Operationen pro Sekunde Gemessen als: Wieviel Dateien kann man pro Sekunden anlegen/löschen? Je mehr, desto besser PC mars 1 stripe 2 stripes 16 stripes 48 stripes /fastfs /work /tmp /scratch Paralleles I/O Bandbreite auf mars I/O with different block sizes and processes throughput in MB/s block size in byte

14 Paralleles I/O Parallele Effizienz parallel efficiency for writing with parallel processes 1.20 parallel efficiency block size in bytes Standard - I/O Benchmarks Desktop-Umgebung Bonnie++ iozone postmark fsbench HPC-Umgebung ior (ASCI) b_eff_io (HLRS) SPEC SFS97 (NFS)

15 Bonnie++ basiert auf bonnie Ziel: Performanceanalyse in Richtung Datenbanken oder Mailserver C++ Code fester Satz von Tests sequentieller Output von 1 Byte grossen Blöcken sequentieller Output von größeren Blöcken Lesen eines Teils der Datei, invalidieren des Hauptspeichers und zurückschreiben sequentieller Input von 1 Byte und größeren Blöcken zufälliges Lesen von Blöcken und in 10% der Fälle zurückschreiben von neuen Daten wieviele Anzahl von Dateien könen pro Sekunde erstellt/gelöscht werden Ergebnisse als *.cvs Dateien iozone mehre Test-Szenarien: Lesen/Schreiben, zweites Lesen und Schreiben, mit Strides Lesen und Schreiben, zufälliges Lesen, pread(), mmap(), asynchrones I/O Unterstützung von Multi-Prozessorsystemen Ausgabe als Excel-Dateien C Code

16 ior (ASCI Purple) auf Kommandozeile viele Optionen keine festes Set an Tests duch Script steuerbar C und Python Code testet auch: MPI I/O HDF5 parallele netcdf b_eff_io (HLRS Stuttgart) Entwurf einer Art "Linpack für I/O" Messung verschiedener Lasten: Zeit bis gesamter Hauptspeicher einmal auf Platte geschrieben ist Verhalten bei verschiedenen Anzahl Prozessen/CPU verschiedene Zugriffsmuster Zugriff auf individuelle und geteilte Daten Ausgabe: Eine gewichtete Zahl über alle Messungen alle Teilresultate Benchmark Report

17 Spezielle Benchmarks Abnahmetests in Dresden auf 1 oder 2 Dateisysteme werden Datenblöcke von 512MB geschrieben auf den Knoten werden 7/8 des verfügbaren Hauptspeichers allokiert es wird etwa das doppelte des Hauptspeichers auf Platte geschrieben spiobench es werden in der Summe von allen Prozessen immer 128GB geschrieben Blockgröße fest bei 192KB Ausführung auf Prozessoren I/O Setup SGI Altix Dresden Winter 2005

18 Warum Abfallen der Kurve bei 512MB Blockgröße? GB/s 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 3,9GB/500MB 3,5GB/500MB 3,5GB/110MB #processes Indiana University - BigRed I/O Setup 40 x Chassis IBM Blade Center (4 x 1GigE uplink per Chassis) each has 14 IBM JS21 Blades (1 GigE I/O uplink per Blade) each Blade has 2 DualCore IBM PPC 970 processors, 8 GB main memory per Blade Gbit/s 32 Gbit/s Force 10 E 600 GigE Switch x IBM pseries GPFS Server (2 x 1GigE Uplink per Server) 266 TB Storage

19 Indiana University - first write MB/s proc/blade 4 proc/blade #processes Indiana University - second write MB/s proc/blade 4 proc/blade #processes

20 Hinweise bei I/O-Messungen Bei Vergleich von Messergebnissen muss das ganze System betrachtet werden. nur dedizierte Messungen sagen wirklich etwas aus mehrmals messen vorher überlegen Warum messe ich? -oder besser- Was will ich eigentlich messen? Welche Einflussparameter gibt es, auf die ich achten muss? Zum Erreichen maximaler I/O-Performance auf parallelen Systemen Ausgewogenheit im System Ein-/Ausschalten von zusätzlichen Caches evtl. frisch formatiertes Dateisystem verwenden Tuning im Linux-Kernel immer wesentlich mehr Schreiben, als der größte Cache gross ist Analyse von I/O-Messungen Betrachtung der verwendeten Hardware Platten (Typ, Anzahl, Anordnung) Verbindungsnetzwerk und -technologien (FC, SCSI, ) Rechner-Hardware Anzahl CPUs Speicher Analyse des Betriebssystems und Messprogrammes Tasks pro CPU Blockgrößen Zugriffsmuster auf Hauptspeicher Wiederholungen von Messungen