Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix

Transkript

1 Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix Hinnerk Stüben Konrad-Zuse-Zentrum für Informationstechnik Berlin Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen ZKI-Arbeitskreis Supercomputing DESY Zeuthen 20. Mai 2011

2 Bewertung von Rechenleistung für -II H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

3 -II Gesamtsystem Zwei Standorte: RRZN Hannover und ZIB Berlin Zwei Ausbaustufen Hersteller: SGI Spitzenrechenleistung: TFlop/s Rechenkerne: Hauptspeicher: 2 64 TByte Plattenplatz: TByte H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

4 -II Teilsysteme pro Standort Installation Typ Systemgröße Knoten-Kenndaten 2008 MPP-1 ICE 320 Knoten 2 quad core 2 GByte pro core 2008 SMP-1 XE 44 Knoten 2 quad core 8 GByte pro core 2009 MPP-2 ICE 960 Knoten 2 quad core 6 GByte pro core 2010 SMP-2 UV 5 Systeme 2 octo core 4 GByte pro core 512 cores, 2 TByte shared memory H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

5 Benchmark-Verfahren H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

6 Benchmark-Suite MPP-System 7 Anwendungen (BQCD, CPMD, MOLPRO, MOM4, OPA, PALM, TAU) Low-Level: HPC-Challenge SMP-Knoten 3 Anwendungen (BQCD, FEOM, Gaussian) Low-Level: HPC-Challenge Globales Festplattensystem Bandbreite: IObench [LRZ] Metadaten: Metadata [LRZ] H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

7 Wie bewertet man zwei Ausbaustufen? Rechenleistung Ausbaustufe 1 Ausbaustufe 2 Phase 1 Phase 2 9 >= {z } {z } T 1 T 2 >; 9 >= >; G 2 G 1 Zeit H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

8 Rechenkapazität Definition: Rechenkapazität := Rechenleistung Nutzungszeit K = G T Die Rechenkapazität K ist ein Maß für die vom System im Laufe seiner Standzeit insgesamt ausgeführten Rechenoperationen bei vorgegebenem Anwendungsmix. Zwei Ausbaustufen: K = G 1 T 1 + G 1 T 2 + G 2 T 2 Geometrisch entspricht K der Größe (dem Integral) aller grauen Flächen in der eben gezeigten Abbildung. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

9 Weitere Begriffe Wir nennen G die Gesamtrechenleistung. G ist eine Funktion der aggregierten Einzelleistungen L i der Anwendungs-Benchmarks: G = f(l 1,...,L n ) Bemerkung: Statt Rechenleistung könnte man auch die Bezeichnung Rechengeschwindigkeit (Rechenschritte pro Zeiteinheit) verwenden. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

10 Aggregierte Einzelleistung L Das Verfahren zur Bestimmung von L für einen Benchmark haben wir vom LRZ übernommen. Für den Lauf einer Instanz eines Benchmarks müssen soviele Knoten eingesetzt werden, dass eine vorgegebene Mindestleistung erreicht wird. Die Maschine ist möglichst vollständig mit solchen Instanzen zu füllen. (Der Rest ist z.b. mit Linpack zu füllen.) L ist die in einem Lauf mit vollständig gefüllter Machine erzeilte aggregierte Rechenleistung. (Falls es einen Rest gibt, wird linear hochskaliert.) H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

11 Das harmonische Mittel H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

12 Wie kann man G = f(l 1,...,L n ) ermitteln? Kandidat 1: arithmetischer Mittelwert n G = 1 n i=1 L i Kandidat 2: harmonischer Mittelwert G = n n 1 i=1 L i H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

13 Prüfung 1: Grenzwerte (I) Es seien n = 2, L 1 = 1, L 2 = 0. Dann sind G arithmetisch = 1/2, G harmonisch = 0. Ein Rechner, auf dem ein Benchmark überhaupt nicht läuft, ist ungeeignet. Der harmonische Mittelwert gibt dies treffend wieder. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

14 Prüfung 1: Grenzwerte (II) Es seien n = 2, L 1 = 1, L 2 =. Dann sind G arithmetisch =, G harmonisch = 2. Ein Rechner auf dem ein Benchmark unendlich schnell läuft, ist nicht insgesamt unendlich schnell. Der harmonische Mittelwert gibt dies treffend wieder. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

15 Prüfung 2: Beispiel mit endlichen Werten (I) Man denke an zwei Programme, die in Produktion laufen sollen. Beide Programme müssen in der Produktion gleich viele Operationen rechnen, um ein gegebenes Projekt erfolgreich abschließen zu können. Beispiel L 1 L 2 G arithmetisch G harmonisch Im zweiten Fall gaukelt der arithmetische Mittelwert die gleiche Leistungsfähigkeit wie im ersten vor. Das ist falsch. Denn im zweiten Fall braucht man das gesamte System für Programm 2 allein, um (pro Zeiteinheit) die gleiche Anzahl von Operationen ausführen zu können, wie im ersten Fall bei halber Belegung. Für Programm 1 bräuchte man zusätzliche Kapazitäten. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

16 Prüfung 2: Beispiel mit endlichen Werten (II) Weitere Interpretation Es sei der erste Fall die Leistungszusage und der zweite Fall die reale Messung. Bei Anwendung des harmonischen Mittelwertes wären 1/3 nachzuliefern. Beim arithmetischen Mittelwert wäre die Leistungszusage formal erfüllt (obwohl man in diesem Anwendungsmix über die Standzeit nicht die sich aus der Leistungszusage ergebende Anzahl von Rechenoperationen schaffen könnte). H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

17 Mittelwerte Beispiel Mittelwerte der 6 Leistungszahlen: 100, 100, 100, 100, 100, x arithmetisches Mittel harmonisches Mittel Mittelwert(x) x H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

18 Diskussion (I) Der harmonische Mittelwert ergibt sich mathematisch, wenn man von dem Ansatz ausgeht, die im zeitlichen Integral gerechneten Gleitkommaoperationen zum Maßstab zu machen. Der Ansatz entspricht den Bedürfnissen der Nutzer: Es zählt, ob eine gegebenes Problem in vorgegebener Zeit gerechnet werden kann. In gewissen Grenzen ist Rechenleistung mal Belegungszeit entscheidend. In diesen Grenzen wird die Rechenleistung an sich zweitrangig (solange fehlende Leistung durch längere Belegungszeit kompensiert werden kann). H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

19 Diskussion (II) Der allgemeine Fall ist der gewichtete harmonische Mittelwert: G = αi αi L i Für den normierten Fall α i = 1, α i > 0 ist in diesem Berechnungsmodell α i der Anteil der mit Benchmark-Programm i im Laufe der Standzeit auf dem System gerechneten Gleitkommaoperationen K. Der harmonische Mittelwert liegt näher beim kleinsten L i als der arithmetische. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

20 Analogie zur mittleren Geschwindigkeit beim Staffellauf Die mittlere Geschwindigkeit v ist nicht (v i = Geschwindigkeit von Läufer i) v = 1 n vi, v i = s i t i sondern v = si ti = si si v i. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

21 Alternatives Verfahren H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

22 Alternatives Verfahren Das Beispiel mittlere Geschwindigkeit beim Staffellauf zeigt, dass man die falsche Mittelwertbildung automatisch vermeidet, wenn man nur die gelaufenen Einzelzeiten kennt (was im Sport der Normalfall ist). Da es schwierig sein kann, die Rechenleistung eines Programms zu bestimmen, kann man alternativ ausschliesslich die Ausführungszeiten betrachten. Um das alternative Verfahren anwenden zu können, muss man nicht nur den Anwendungsmix sondern auch einen Job-Mix festlegen. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

23 Job-Mix Bisher Der Job-Mix wird implizit durch die Gewichte α i festgelegt. (Der konkrete Job-Mix zum Erzielen von G in der Praxis müsste erst berechnet werden.) Alternativ Anstelle von α i = Anteile an K sind Anteile n i an einer gesamten Job-Anzahl N festzulegen. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

24 Vorgehen Mit jeder Anwendung sind n i Jobs zu rechnen (insgesamt N Jobs). Gemessen wird die Zeit t bis alle N Jobs beendet sind. In der Praxis wird man analog zur aggregierten Einzelleistung vorgehen, d.h. die Maschine jeweils mit einer Anwendung füllen, die Ausführungszeiten t i messen und daraus t berechnen. Als (Rechen-) Kapazität bietet sich an zu bestimmen, wieviele Gruppen à N Jobs im Laufe der Standzeit gerechnet werden können: K = T/t Auch dieser Kapazitätsbegriff lässt sich für Ausbaustufen erweitern. H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

25 Schluss (I) Vorteile der Methoden zur Leistungsbewertung im HLRN Harmonischer Mittelwert realistische Bestimmung von Rechenleistung im Anwendungsmix in einem gewissen Rahmen können einzelne Minderleistungen durch Höherleistungen kompensiert werden Rechenkapazität Bewertung von Ausbaustufen Bewertung von Lieferverzögerungen H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen

26 Schluss (II) Folgerung Konsequenterweise müsste man Belegungszeiten in Abhängigkeit der Benchmark-Ergebnisse vergeben. (Die Belegungszeiten müssen angepasst werden, um die ermittelten Rechenkapazitäten für jede Einzelanwendung in der Praxis wirklich zur Verfügung zu haben.) Modellierung der realen Nutzung Auswahl der Anwendungen Festlegung der Mindestleistungen Wahl der Gewichte bzw. des Job-Mixes H. Stüben Wie schnell rechnet unser Computer? Rechenleistung im Anwendungsmix ZKI-AK Supercomputing, Zeuthen