RRZE Benchmark Suite: Eine standardisierte Benchmarkumgebung für Ausschreibungen und Evaluierungen

Größe: px

Ab Seite anzeigen:

Download "RRZE Benchmark Suite: Eine standardisierte Benchmarkumgebung für Ausschreibungen und Evaluierungen"

Catharina Baumgartner
vor 6 Jahren
Abrufe

1 RRZE Benchmark Suite: Eine standardisierte Benchmarkumgebung für Ausschreibungen und Evaluierungen J. Treibig RRZE, Friedrich-Alexander-Universität Erlangen-Nürnberg

2 Überblick Anwendung: Vorgeschriebene Benchmark Umgebung für Ausschreibungen Validierung von neuen Rechenknoten Analyse von Applikationscodes Anforderungen: Einfache Portierung und Anpassung an neue Systeme und Compiler Reproduzierbare und flexible Benchmarkausführung Dokumentation aller Schritte Automatische Auswertung und Zusammenfassung aller Daten 2

3 Verzeichnisbaum bench ILBDC dat src config.mk Makefile system include_lima.mk LIMA.pm Util benchset.mk Makefile runbench.pl generateresults.pl compareresults.pl Modularer einheitlicher Aufbau Einfaches hinzufügen von: Benchmarks Testmaschinen Buildsystem basiert auf GNU make Logik implementiert in Perl Zentralisierte build Konfiguration Callbackmechanismus für Aufruf des Benchmarks 3

4 Bauen Konfiguration ist unterteilt in generischen und Benchmark spezifischen Teil Die Kombination aus Compiler und Maschine ist ein TAG Es wird unterschieden zwischen: Seriell (SEQ) OpenMP (OMP) MPI (MPI) Durch den modularen Aufbau ist es einfach ein Subset zu bauen Die Umgebung unterstützt gleichzeitiges bauen von mehreren TAGS Paralleles bauen wird unterstützt Der gesamte Buildprozess wird dokumentiert 4

5 Benchmarkdurchführung Perl Skript das sich um folgende Punkte kümmert: Dokumentation (cpuinfo, meminfo, numactl, PBS info, Environment) Vorbereitung des Benchmarkfalls in eigenem Toplevelverzeichnis Starten der Executables (callbacks) Zeitmessung und Ergebnisauswertung Schreiben der Ergebnisse in Ergebnissverzeichnisbaum Es wird bei den Ergebnissen unterschieden zwischen: Sequentiell Socket Node Parallel./runBench.pl M WOODY i -P 1,2,4,8,16 TRATS_MPI 5

6 Ergebnisverzeichnis bench_tag bin ILBDC_MPI-LIMA log ILBDC_MPI-TIMESTAMP results ILBDC ILBDC_MPI-NODE-TIMESTAMP.[raw res] build_env.txt Workflow: Durchführen der Läufe. Am Ende der Session alle bis auf die gültigen Ergebnisfiles löschen. Es können mehrere Benchmarkläufe auf mehreren Maschinen gleichzeitig im gleichen Verzeichnisbaum laufen. 6

Auswertung der Ergebnisse Im Toplevel Verzeichnis resultpool wird für jeden TAG ein Verzeichnis angelegt mit allen Ergebnissen Auswertung und packen der Ergebnisse

7 Auswertung der Ergebnisse Im Toplevel Verzeichnis resultpool wird für jeden TAG ein Verzeichnis angelegt mit allen Ergebnissen Auswertung und packen der Ergebnisse Ergebnisbaum packen Ergebnisse in XML Format speichern Plots für alle parallele Laeufe generieren Vergleichen von Ergebnissen Generieren von Plots Generierung von Kiviat Diagrammen 7

8 Benchmarks Benchmark Gebiet Sprache Typ DMRG Quantenphysik C++ OpenMP SIP CFD F77 OpenMP STREAM Synthetic C OpenMP KETTE Synthetic F77 Sequentiell OAK3D Theo. Physik F90 MPI EXX Quantenchemie F90 MPI ILBDC CFD F90 MPI LAMMPS MD C++ MPI AMBER MD F90 MPI CPMD Ab Initio MD F90 MPI FASTEST CFD F77/F90 MPI IMB Synthetic C MPI MPIIO Synthetic C MPI 8

9 Beispiel: Ausschreibung LIMA Cluster Beschränkung auf 4 Applikationen: AMBER, ILBDC, LAMMPS, FASTEST Es mussten Leistungskriterien erbracht werden. Ergebnis war wie viele Knoten benötigt wurden um diese Kriterien zu erreichen. Es war den Anbietern explizit erlaubt den Code zu optimieren. 9

10 Beispiel: Evaluierung IBM Power 7 Vergleich IBM pseries 755 System gegen Intel Nehalem EX und AMD Magny Cours 10

11 Weitere Anwendungen 11

12 Kritische Diskussion Sind Applikationsbenchmarks notwendig? Wir glauben das für Standardcluster nachweisbare Leistungswerte für: STREAM IMB LINPACK ausreichend sind. Dies benachteiligt Anbieter die Ihre Stärken bei der Skalierung zu sehr hohen Prozesszahlen haben. Für große Installationen ist daher sicher eine Applikations-Benchmarksuite nachwievor notwendig. 12

13 Zusammenfassung HpcBench ist eine flexible Benchmarkumgebung um eine individuelle Benchmarksuite zusammenzustellen Trotz der Flexibilität ist es einfach sich in HpcBench einzuarbeiten Anwendungen sind: die Evaluierung von neuen Architekturen Validierung von neuen Software Stacks fuer individuellen Applikationsmix Verwendung in Ausschreibungen HpcBench kann auch für andere Rechenzentren oder HPC Anbieter nützlich sein Anfragen sind willkommen 13

Ähnliche Dokumente

Einige Grundlagen zu OpenMP

Einige Grundlagen zu OpenMP Stephanie Friedhoff, Martin Lanser Mathematisches Institut Universität zu Köln 22. Juni 2016 Überblick Was ist OpenMP? Basics Das OpenMP fork-join-modell Kompilieren und Ausführen