Vorlesung Informatik 2

Transkript

1 Vorlesung Informatik 2 Teil 4: Rechnerarchitektur und Parallelverarbeitung Messung der Performanz von Rechnern Stand Inhalt Leistungsmessung von Rechnern CPU-Leistung Hauptspeicher-Effizienz E/A-Leistung Slide 1

2 Leistungsmessung von Rechnern Grundidee der Leistungsmessung: Das Leistungsverhalten einer DV-Anlage kann aufgrund der (Nutzer-)Zeit bestimmt werden, die die Anlage zur Bearbeitung einer Aufgabe braucht je schneller die Aufgabe erledigt wird, um so höher ist die Rechnerleistung zu bewerten einige Probleme dabei: die Gesamtleistung wird von den unterschiedlichen Komponenten der DV-Anlage (CPU, Speicher, E/A) unterschiedlich beeinflusst die Nutzerzeit wird von "Störungen" durch andere Programme, bzw. des Betriebssystems verfälscht die Leistungsaussage ist stark von der gestellten Aufgabe und dem Anwendungsgebiet (wissenschaftliches Rechnen, ganzzahlig / Fließkomma, Vektorisierung, Transaktionsanwendungen, ) abhängig die Güte des Compilers spielt eine entscheidende Rolle die verschiedenen Architekturen (CISC, RISC) benötigen unterschiedlich viele Maschinenbefehle zur Bearbeitung, was bei gleichem Zeitverbrauch trotzdem zu sehr unterschiedlichen Leistungsaussagen führen kann (wenn man z.b. "Anzahl Befehle pro Sekunde" misst) Slide 2 Leistungsmessung von Rechnern Bereits in den 60-er Jahren wurden von den Herstellern Programme (so genannte Benchmarks) entwickelt, die zur Leistungsbewertung genutzt werden sollten jeder Hersteller hatte eigene Vorstellungen über diese Programme (welche Arten von Befehlen mit welchem %-Anteil vertreten, mit oder ohne Fließkomma-Operationen, ) natürlich wurden diese Programme so entwickelt, dass sie die eigene Architektur möglichst gut ggü. der Konkurrenz aussehen lassen um die Benchmarks auf unterschiedlichen Rechnern laufen lassen und deren Ergebnisse vergleichen zu können: müssen sie in allgemein verfügbaren Hochsprachen definiert sein: FORTRAN, ALGOL, ADA, heute oft in C und müssen typische Anwendungsfälle aus der Praxis möglichst repräsentativ nachgebildet werden In neuerer Zeit sind zusätzliche Benchmarks hinzugekommen, die die Leistung einzelner Komponenten, z.b. von Grafikkarten bewerten Slide 3

3 Leistungsmessung von Rechnern Bei der Leistungsmessung sind also offenbar CPU-Leistung Speicher-Effizienz E/A-Leistung gesondert zu betrachten und entsprechend zu bewerten Beispielsweise: heutige Workstations sind in der reinen CPU- Leistung Host-Rechnern in etwa ebenbürtig, diesen aber aufgrund deren hoher E/A-Leistung und Speichereffizienz unterlegen: In einer IBM /390 können mittels 256 E/A-Kanälen maximal 256 Plattenspeicher gleichzeitig mit dem Hauptspeicher Datenaustausch betreiben Host-Rechner verfügen über extrem große Arbeitsspeicher: > 100 GB der in teurer, extrem schneller Technologie gebaut ist (z.b. bipolar ECL) Anmerkung: "mehr Hauptspeicher" kann in gewissen Grenzen zur Beschleunigung speicherintensiver Anwendungen führen, allerdings werden schließlich die Größe des Caches und die maximale Übertragungsbandbreite CPU Cache HS zum begrenzenden Faktor Slide 4 Inhalt Leistungsmessung von Rechnern CPU-Leistung Hauptspeicher-Effizienz E/A-Leistung Slide 5

4 CPU-Leistung Ein altes, aber immer wieder benutztes Maß zur Bestimmung der Verarbeitungsgeschwindigkeit eines Rechners stellt die Anzahl der verarbeiteten Befehle pro Sekunde (MIPS, million instructions per second) dar Folgendes Beispiel zeigt die Realisierung der Aufgabe "kopiere 16 Byte im Hauptspeicher von SOURCE nach DEST": 6502 LDX #$0F LOOP: LDA SOURCE, X STA DEST, X DEX BPL LOOP LOOP: MOVE $SOURCE, A0 MOVE $DEST, A1 MOVEQ #$0F, D0 MOVE.B (A0)+, (A1)+ DBF D0, LOOP / 370 MVC DEST(16), SOURCE 1 + (4 * 16) = 65 Befehle 3 + (2 * 16) = 35 Befehle 1 Befehl Unter der Annahme, dass alle 3 Rechner mit der Aufgabe in 1ns fertig werden, würde das rechnerisch für den 6502 Rechner eine Leistung von 65 MIPS, für den MIPS und die /370 eine Leistung von 1 MIPS ergeben Slide 6 CPU-Leistung Ein reales Beispiel (80-er Jahre, IBM Böblingen) Emulation des /370 Befehlssatzes auf einem Prozessor (Einschub in einem IBM PC-AT) mittels Mikroprogrammierung der CPU Das vorige Beispiel Umspeichern von 16 Byte ergibt: Das emulierte /370-Programm resultiert in einer Leistung von 1MIPS Das Programm resultiert in einer Leistung von 35 MIPS auf der gleichen CPU Die Leistungsbewertung einer CPU mithilfe der simplen MIPS- Rate ist irreführend bzw. nicht aussagefähig Slide 7

5 CPU-Leistung Es wurde eine überarbeitete Definition der MIPS-Rate (Leistung L der CPU in MIPS) unter Berücksichtigung der Größen CPI (clock cycles per instruction) und T (Taktzykluszeit in μs) eingeführt: L = mit CPI = mit CPI I 1 ( CPI * T [ μs] ) CPI n * I [MIPS] : mittlere Anzahl der Taktzyklen T : Taktzykluszeit in μs i i n i= 1 i i : Anzahl des Auftretens des Befehls i n : Anzahl der Befehle im Befehlssatz des Befehls i [Herrmann Kap. 13] Slide 8 CPU-Leistung Eine weitere Überarbeitung der Definition der MIPS-Rate berücksichtigt schließlich auch Effekte durch den Speicherbedarf pro Befehl und die Speicherzugriffszeit: 1 L = CPI * T + mit T : Taktzykluszeit in μs S : Speicherbedarf pro Durchschnittsbefehl T s S * T s [MIPS] : Speicherzugriffszeit in μs/bit in Bit Slide 9 Vorteile von MIPS als Leistungsmaß: Einfachheit und Verständlichkeit verbleibende Nachteile: Abhängigkeit vom Befehlssatz Abhängigkeit vom verwendeten Compiler keine Berücksichtigung des Betriebssystems Die MIPS-Rate bleibt wenig aussagekräftig und ist deshalb weitgehend aus (ernst zu nehmenden) Publikationen verschwunden

6 Inhalt Leistungsmessung von Rechnern CPU-Leistung Hauptspeicher-Effizienz E/A-Leistung Slide 10 Hauptspeicher-Effizienz Neben der CPU Verarbeitungsgeschwindigkeit spielt die Hauptspeicher-Effizienz eine entscheidende Rolle bei der Leistungsbeurteilung Es wird dabei ein Effizienz-Maß eingeführt, denn die reine Zugriffszeit oder Übertragungsrate kann nicht unabhängig davon beurteilt werden, ob die CPU die erreichbaren Übertragungsraten auch gut ausnutzt Die durch den CPU-Befehlssatz induzierten Übertragungsraten hängen maßgeblich von Struktur und Breite der Maschinenbefehle ab: CISC Rechner IBM /390 DEC VAX Motorola Intel , 4, 6 Bytes 2 35 Bytes 2 22 Bytes 1 11 Bytes RISC Rechner HP PRECISION IBM RS /6000 DEC ALPHA SUN Sparc 4 Bytes 4 Bytes 4 Bytes 4 Bytes Slide 11

7 Hauptspeicher-Effizienz Befehlslängen im direkten Vergleich /370 VAX PRECISION Register zu Register ADD (fixed) 2 Bytes 3 Bytes 4 Bytes HS zu Register ADD (fixed) 4 Bytes 6 Bytes 4 Bytes HS zu HS ADD (decimal packed) 6 Bytes 11 Bytes Bytes Slide 12 Ein VAX Programm, welches die drei gezeigten Befehle verwendet, belegt ca. 40% mehr Cache Speicher als ein äquivalentes /370 Programm Eine RISC Maschine(*) leidet darunter, keine 2 Byte Befehle zu haben und bei Speicheroperationen ein kleines Unterprogramm nutzen zu müssen, welches Operanden in Register bringt und wieder wegspeichert ( Compiler können das aber gut minimieren) Praktische Untersuchungen haben gezeigt, dass sehr komplexe Maschinenbefehle mit großen Speicherplatzbedarf (35 Byte VAX ~ 9 RISC Befehlen zu 4 Byte) nicht die CPU Leistung der äquivalenten RISC Befehle erbringen, d.h. der Leistungsverlust aufgrund der hohen Speicherplatzbelegung kann nicht durch die hohe Befehlskomplexität kompensiert werden. (*) RISC typisch: ausschließlich 4-Byte Befehle, Operationen nur auf Registern Hauptspeicher-Effizienz Ein FORTRAN Programm wurde auf 3 Architekturen übersetzt und ausgeführt: VAX /370 PRECISON Dynamische Pfadlängen ~ Befehle ~ Befehle ~ Befehle Dabei zeigte sich, dass die VAX zwar nur 2/3 so viele Befehle wie die /370 ausführen muss, dazu aber 30% mehr Bytes zwischen Hauptspeicher und CPU bewegt (aufgrund der wesentlich größeren Befehlslänge der VAX) Es kommt also darauf an, wie gut ein Rechner die verfügbare Bandbreite CPU Cache HS ausnutzen kann Slide 13

8 Inhalt Leistungsmessung von Rechnern CPU-Leistung Hauptspeicher-Effizienz E/A-Leistung Slide 14 E/A-Leistung Produzent Server Die E/A Leistung kann durch zwei Gruppen von Maßen angegeben werden: (1) Antwortzeit und Durchsatz (E/A Bandbreite) (2) Anzahl der E/A-Geräte und Vielfältigkeit der Anschlussmöglichkeiten Für (1) gibt das Bild rechts deren gegenläufige Beziehung wieder Die Beziehung (1) gilt nicht nur für E/A Geräte, sondern auch für CPU und Speicher Optimierungsziel: konstante Betriebslast Steigerung der E/A Leistung durch mehrere parallele Server Antwortzeit (Latenzzeit) in ms Datendurchsatz vs. Antwortzeit (schematisch) 0% 20% 60% 80% 100% Prozentsatz des max. Datendurchsatzes (Bandbreite) Slide 15

9 Inhalt Leistungsmessung von Rechnern CPU-Leistung Hauptspeicher-Effizienz E/A-Leistung Slide 16 Da die MIPS-Rate bald als ungeeignet erkannt wurde, hat man schon in den 60-Jahren begonnen, Programme (oder Pakete aus mehreren Programmen) zu definieren, deren absolute Laufzeit (aus Sicht des Benutzers) als Leistungsmaß einer Architektur anerkannt werden sollte diese werden als Benchmark bezeichnet Zunächst versuchten Hersteller Benchmarks zu definieren, die ihre eigenen Rechner ggü. der Konkurrenz 'gut aussehen' ließen, später wurden dann Benchmarks standardisiert: Whetstone Dhrystone Linpack SPECmark TPC [Webster's Dictonary] Benchmark a marked point of known or assumed elevation from which other elevations may be established Slide 17

10 Whetstone-Benchmark ursprünglich 1976 als Algol-60 Programm veröffentlicht später entstand eine FORTRAN Version, die aus einer Menge von Modulen mit maschinenunabhängigen sogenannten Whetstone-Befehlen besteht das Whetstone Benchmark enthält 1 Mio dieser Whetstone Befehle die Leistung der untersuchten Rechnerarchitektur wird in MWIPS (mega whetstone instructions per second) gemessen Beispiel: ein Rechner der 5 Sekunden für den Benchmark benötigt, verfügt über eine Leistung von 0.2 MWIPS Das Whetstone-Benchmark enthält einen relativ hohen Gleitkomma-Anteil (häufige Aufrufe von mathematischen Funktionen) und ist deshalb nicht zur Leistungseinschätzung jeder Rechnerarchitektur (jeder Anwendung) geeignet Slide 18 Dhrystone-Benchmark 1984 in Ada entwickelt, heute in C re-implementiert besteht aus nur 100 Befehlen (2 3 KB) und passt daher in jeden Cache Speicher, wodurch die Cache-Miss-Rate nicht gemessen werden kann keine Gleitkomma-Operationen zeigt beste Werte, wenn ein optimal auf die Architektur eingestellter Compiler verwendet wird Kritik: der Dhrystone-Benchmark bewertet mehr die Leistungsfähigkeit des Compilers, weniger die der Rechnerarchitektur Dhrystone-Vergleich einiger Architekturen IBM RS /6000 SUN SPARC Motorola Motorola MIPS R3000 INTEL INTEL Dhrystone / Sec Slide 19

11 Linpack-Benchmark 1976 als FORTRAN Programm für die Lösung von linearen Gleichungssystemen entwickelt Enthält hohen Anteil Gleitkommaoperationen Charakteristischer Ausdruck: A[i] := A[i] + K*B[i] mit A und B sind Vektoren gleicher Dimension, K eine Konstante und i läuft von 1 bis 10 9 Wegen der Datenunabhängigkeit ist dieser Ausdruck besonders geeignet für pipeline-architekturen; er unterbewertet aber Rechnerarchitekturen ohne spezielle Einrichtungen und ist daher nicht repräsentativ Linpack ist der heutige Bewertungsstandard für Supercomputer mit Vektor-Funktionseinheit, parallele Architekturen und Hochleistungs-Workstations Slide 20 SPEC-Benchmarks Um eine objektive Leistungsbewertung von unterschiedlichen Architekturen zu schaffen, wurde 1988 von SUN, MIPS, HP und Apollo die Institution SPEC (standard performance evaluation corporation, ) gegründet (heute sind über 40 Unternehmen und noch mehr assoziierte Organisationen beteiligt) Grundproblem von ist, dass die Einschätzung der Rechnerleistung anwendungsabhängig ist Beispiel: in einem direkten Vergleich von RS /6000 und /370 zeigte sich RS /6000 ist ca. 3 mal so schnell wie /370 beim Dual-Precision LINPACK (Software: wissenschaftlich, stark arithmetik-orientiert) /370 ist ca. 3 mal so schnell wie RS /6000 beim RAMP-C Benchmark (Software: kommerziell, stark transaktions-orientiert) Um diesem Problem zu begegnen, wurde ein Katalog von Programmen entwickelt, die verschiedene Anwendungen repräsentieren: numerische und nicht-numerische Programme aus den Bereichen Technik, Naturwissenschaft und kommerzieller Datenverarbeitung Slide 21

12 Benchmarks SPEC-Benchmarks (Fortsetzung) Die Programme trugen die Bezeichnungen SPEC89, SPECfp89 und SPECint89, je nachdem ob es sich um nichtnumerische oder numerische mit bzw. ohne Gleitkomma-Anteil handelte Mittlerweile wurde ein Testprogramm-Katalog um weitere 10 Benchmarks (SPEC92) erweitert Außerdem wurden weitere für Grafik und E/A-Leistung entwickelt (SPEC96) Für die Leistungsbewertung eines Rechners dienen heute zwei Werte: SPECfp92 und SPECint92 Dabei müssen die verwendeten Compiler-Optionen offen gelegt werden, um (verdeckte) Compiler-Optimierungen weitgehend zu verhindern Dies schließt zwar trotzdem unrealistische Bewertungen nicht ganz aus, kommt den realen Betriebsbedingungen heutiger Rechner (diverse Anwendungen) am nächsten Slide 22 TPC-Benchmarks Speziell für die Bewertung von Datenbank-Anwendungen wurde 1989 das erste TPC (transaction processing performance council) gegründet, dem mittlerweile 40 Unternehmen angehören, und in der Folge weitere: 1989 das TPC-A OLTP Benchmarks (seit 1995 obsolet) 1990 das TPC-B OLTP Benchmarks (seit 1995 obsolet) 1999 das TPC-C Mix unterschiedlicher Transaktionstypen 1995 das TPC-D komplexe Anfragen (Decision Support) auf Datenbanken von 1 GB 10 TB neu: TPC-W e-commerce-anwendungen (Maß: WIPS web interactions per second) OLTP = online transaction processing Slide 23

13 Benchmark MIPS-Zählung Whetstone Dhrystone Linpack SPEC TPC Eigenschaft Zählung der verarbeiteten Anzahl Befehle pro Sekunde: MIPS (veraltet) Hoher Gleitkomma-Anteil, daher nicht für jede Architektur und Anwendung als Benchmark geeignet Sehr kleines Programm (blendet Cache-Miss-Rate aus). Ergebnis sehr stark von Qualität des Compilers abhängig Bewertungsstandard für Supercomputer mit Vektor-Funktionseinheit, parallele Architekturen und Hochleistungs-Workstations (unterbewertet aber Architekturen ohne spezielle Hardware), Maß: Mega bzw. Tera floating operations per second (MFLOPS, TFLOPS) Umfangreicher Testprogramm-Katalog (SPEC92, SPEC96) zur Abdeckung unterschiedlicher Aspekte der Leistungsbewertung; SPECfp92 und SPECint92 sind heute Standard für die allgemeine Rechnerarchitekturbewertung TPC-C Benchmark-Mix für unterschiedliche Transaktionstypen TPC-D komplexe Anfragen (Decision Support) auf Datenbanken von 1 GB 10 TB TPC-W e-commerce-anwendungen (Maß: WIPS web interactions per second Slide 24 Top 10 aus der Top 500 Supercomputer Liste: siehe Stand Nov Prozessoren PowerPC MHz (à 2.8 GFlops) GB Memory GFlops Prozessoren PowerPC MHz (à 3.4 GFlops) GFlops ( GFlops peak) Slide 25

14 Slide 26