Leistung und Pipelining. Einführung in die Technische Informatik Falko Dressler, Stefan Podlipnig Universität Innsbruck

Transkript

1 Leistung und Pipelining Einführung in die Technische Informatik Falko Dressler, Stefan Podlipnig Universität Innsbruck

2 Übersicht Leistung Leistungsmessung Leistungssteigerung Pipelining Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 2

3 Lernziele Definition von Leistung und Möglichkeiten der Leistungsmessung Anwendung von Gesetzen über Leistung (Amdahl, CPU performance equation,...) Verständnis der Arbeitsweise einer Pipeline und Abschätzung des resultierenden Leistungsgewinns Realisierung einer Instruktionspipeline am Beispiel MIPS Entstehung, Bedeutung und Lösungsmöglichkeiten für Konflikte in einer Pipeline Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 3

4 Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 4 LEISTUNG

5 Leistung allgemein Generell wird Leistung definiert als P=Arbeit/Zeit. In der Informatik kann der Begriff Leistung unterschiedliche Bedeutungen haben. Beispiele: Durchschnittliche Ausführungszeit eines Programms über einen längeren Zeitraum (sustained performance). Maximale Leistung (peak performance) eines Prozessors/Systems Gleitkommaoperationen pro Sekunde Integer-Operationen pro Sekunde Durchschnittliche Leistung (average performance) eines Prozessors/Systems für eine bestimmte Arbeitslast, typischerweise angegeben als: Durchschnittliche Anzahl an Gleitkomma- oder Integer-Operationen pro Sekunde Abstrakte Maßzahl Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 5

6 Metriken (Beispiele) Ausführungszeit (in Sekunden/Millisekunden oder Taktzyklen) Anzahl der Instruktionen pro Sekunde Typische Metrik: MIPS = millions of instructions per second Anzahl der Integer-Operationen pro Sekunde Typische Metrik: MOPS = millions of operations per second Anzahl der Gleitkommaoperationen pro Sekunde Typische Metrik: MFLOPS = millions of floating-point operations per second Leistungsverhältnis Eine Maßzahl, die das Verhältnis zwischen der auf einem System gemessenen Ausführungszeit und der Ausführungszeit auf einem Referenzsystem angibt. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 6

7 Einführung in die Technische Informatik - WS 11/12 Ausführungszeit Leistung und Pipelining 7 Die Leistung (performance) p x eines Programmes kann aus der gemessenen Ausführungszeit (execution time) t x berechnet werden mit 1 px ~ t Ein Programm y ist um den Faktor c (c > 1) schneller als ein Programm x, wenn tx 1 p p x y c t 1 p p y Moderne Rechner sind mittlerweile mit Hardwarezählern ausgestattet, die die Anzahl der CPU-Zyklen n x für ein bestimmtes Programm x zählen (mit einer bestimmten Genauigkeit). Diese Zähler können für die Berechnung der Ausführungszeit verwendet werden: t x = n x t clk = n x / f clk t clk ist der Taktzyklus, f clk ist die Taktfrequenz x y x

8 Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 8 LEISTUNGSMESSUNG

9 Leistungsmessung (1) Die Ausführungszeit kann auf zwei unterschiedliche Arten gemessen werden: Gesamte Zeit (wall-clock time, real time) Gesamtzeit für eine Aufgabe (inklusive Plattenzugriffe, Overhead vom Betriebssystem). Typischerweise in Sekunden oder Millisekunden gemessen. CPU Zeit Zeit für die Berechnungen (keine Wartezeiten für I/O etc. inkludiert) Typischerweise mit Taktzyklen gemessen. Benutzerprogramm-CPU-Zeit: Ausführung der Benutzerinstruktionen System-CPU-Zeit: Ausführung von Systemaufrufen (Betriebssystem) Beispiel: Unix time Kommando (z.b. zid-gpl.uibk.ac.at): >time matrix >2.77user 0.98system 0:03.76elapsed 99%CPU... Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 9

10 Einführung in die Technische Informatik - WS 11/12 Leistungsmessung (2) Leistung und Pipelining 10 Eine wichtige Leistungsmetrik für einen Rechnerarchitekten ist die Anzahl der Taktzyklen pro Maschinenbefehl (CPI = clock cycles per instruction). Wenn man die Anzahl der Maschinenbefehle IC x (instruction count) für ein Programm x kennt, dann kann der CPI berechnet werden mit nx CPIx IC Die Anzahl der Maschinenbefehle kann zum Beispiel durch das Verwenden der Hardwarezähler oder durch Simulation ermittelt werden. Die CPU-Leistungsgleichung ergibt sich dann wie folgt: t x IC x CPI x t clk x ICxCPI f clk x

11 Einführung in die Technische Informatik - WS 11/12 Leistungsmessung (3) Leistung und Pipelining 11 Die Parameter der CPU-Leistungsgleichung: Die Taktzykluszeit t clk hängt von der Technologie und dem Aufbau der CPU ab. Die Anzahl der Maschinenbefehle IC x hängt vor allem von der Qualität der Compiler und des ISA ab. Der Wert von CPI x hängt vom Aufbau der CPU und der ISA ab. Der gesamte CPI-Wert (wenn unterschiedliche Befehlstypen i unterschiedliche Taktzykluszahlen haben) ist dann: ICi CPI CPI IC i i

12 Leistungsmessung (4) Generell hängt die Leistung eines Programms x ab von: Algorithmus (kann IC x und CPI x beeinflussen) Programmiersprache (kann IC x und CPI x beeinflussen) Compiler und ausgewählten Optimierungsstufen (kann IC x und CPI x beeinflussen) ISA (kann IC x, f clk und CPI x beeinflussen) Mikroarchitektur (kann f clk und CPI x beeinflussen) Wenn viele Systemaufrufe getätigt werden, dann hängt die Leistung auch vom Betriebssystem und der Hardware des Systems ab. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 12

13 Einführung in die Technische Informatik - WS 11/12 Amdahlsches Gesetz Leistung und Pipelining 13 Wenn nur ein Teil α des Programms x durch die Verbesserung der Hardware um einen Faktor c beschleunigt werden kann, dann ist der gesamte Speedup (Beschleunigung) s durch das Gesetz von Amdahl gegeben durch: s t t x (beschleunigt) x 1 t t x x tx c 1 ( 1 ) c Beispiel: Durch eine spezielle Prozessoreinheit kann die Divisionsoperation um den Faktor c=10 beschleunigt werden. 20% der Ausführungszeit eines Programms werden für die Division benötigt. Der Speedup kann daher nicht größer als 1.22 sein.

14 Benchmarks Die Leistung wird typischerweise mit Hilfe von Benchmarks bestimmt. Es gibt unterschiedliche Benchmarks: Synthetische Benchmarks: Kleine Programme, die das Verhalten realer Programme simulieren Beispiele: Dhrystone, Whetstone Kernels: Kleine Programme bzw. Algorithmen Beispiel: Linpack Mikrobenchmark: Messen die Leistung einzelner Komponenten eines Rechners (z.b: Platten-I/O) Benchmark-Suite: Sammlung von realen Programmen (aus einem oder mehreren Anwendungsgebieten) Beispiel: SPEC Benchmark Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 14

15 SPEC Benchmark SPEC = Standard Performance Evaluation Corporation SPEC Benchmark Besteht aus realen Programmen. Ist leicht portierbar. I/O-Einflüsse wurden minimiert. In C, C++ und Fortran implementiert. Maßzahl Verhältnis zwischen der Ausführungszeit auf einer Referenzmaschine und der gemessenen Ausführungszeit auf dem getesteten Rechner: SPECratio = time on reference computer time on computer being rated Gut geeignet die Leistung von Desktop CPU zu messen. Immer wieder Updates um Manipulation bzw. Beeinflussung durch größere Caches zu vermeiden. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 15

16 Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 16 LEISTUNGSSTEIGERUNG

17 Einführung in die Technische Informatik - WS 11/12 Leistungssteigerung (1) Leistung und Pipelining 17 Entwicklung (Leistung)

18 Einführung in die Technische Informatik - WS 11/12 Leistungssteigerung (2) Leistung und Pipelining 18 Entwicklung (Taktrate)

19 Leistungssteigerung (3) Exponentielles Wachstum der CPU-Performance 50% pro Jahr bis % pro Jahr seit 2002 Die Leistungssteigerung ist einerseits auf die technische Entwicklung zurückzuführen: Verringerung der Strukturgröße Höhere Taktraten möglich Transistoren werden immer kleiner Mehr Transistoren pro Chip Andererseits haben Weiterentwicklungen in der Rechnerarchitektur die Leistungssteigerung ermöglicht: Mehrstufige Cache-Hierarchien Pipelining Parallelverarbeitung auf Anweisungsebene (instruction-level parallelism ) Speicher? Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 19

20 Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 20 PIPELINING

21 Maschinenbefehlszyklus (1) Beschreibt gemeinsame Arbeitsweise von Leit- und Rechenwerk. Befehl holen (BH) Vereinfachte Stufen eines Maschinenbefehlszyklus Befehlsholphase (BH) Speicheradresse aus PC, Inhalt nach IR, PC erhöhen Dekodierphase (DE) OpCode und Operanden ermitteln (Wert, ister, Adresse) Operandenholphase (OP) ister oder Speicher auslesen Ausführungsphase (AU) Rechenwerk führt Befehl auf den Operanden aus Rückschreibphase (RS) Ergebnisse in Speicher oder ister zurückschreiben Befehl dekodieren (DE) Operanden holen (OP) Operation ausführen (AU) Ergebnis speichern (RS) Zyklus wird für jeden Befehl erneut durchgeführt. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 21

22 Maschinenbefehlszyklus (2) Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 22 Etwas genauer BH DE OP AU RS

23 Pipelining (1) Pipelining ist eine Implementierungstechnik, bei der mehrere Maschinenbefehle überlappend ausgeführt werden. Pipelining ist eine wichtige Technik für die allgemeine Leistungssteigerung eines Rechners. Funktioniert ganz ähnlich wie die Fließbandfertigung in der Industrie. In jeder Pipeline-Stufe (pipeline stage) wird ein Teil (eine Teilaufgabe) eines Maschinenbefehls ausgeführt. Am Ende von jedem Taktzyklus werden alle Maschinenbefehle in der Pipeline in die jeweils nächste Pipeline-Stufe gebracht. Der Taktzyklus der CPU wird daher durch die benötigte Zeit für die langsamste Pipeline-Stufe bestimmt. Die Länge aller Pipeline-Stufen sollte möglichst ausgeglichen sein. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 23

24 Pipelining (2) Fließbandprinzip gedankliche Übertragung der überlappenden Bearbeitung von Teilarbeitsschritten auf den Befehlszyklus eines Prozessors. Erinnerung: Phasen des Befehlszyklus Streng synchron arbeitende Teilwerke Jeder Befehl durchläuft sequentiell alle Teilwerke! 1. Befehl 2. Befehl 3. Befehl BH DE OP AU RS BH DE OP AU RS BH Zeit Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 24

25 Pipelining (3) Überlappendes Arbeiten 1. Befehl 2. Befehl 3. Befehl BH DE OP AU RS BH DE OP AU RS BH BH DE OP AU RS 1. Befehl Zeit BH DE OP AU RS BH DE OP AU RS 2. Befehl 3. Befehl BH DE OP AU RS 4. Befehl Zeit Dauer eines Befehls mindestens solang wie zuvor (Latenzzeit) Evtl. länger, Fließband richtet sich nach der langsamsten Komponente! Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 25

26 Pipelining (4) Am Ende jeder Pipeline-Stufe werden ister für die Zwischenspeicherung der Ergebnisse benötigt. Diese Ergebnisse sind dann die Inputs für die nächsten Pipeline-Stufen. Wenn ein Prozessor ohne Pipelining realisiert wird, dann dauert die Ausführung jedes Maschinenbefehls ein paar Taktzyklen. Mit Pipelining kann pro Taktzyklus die Abarbeitung eines Maschinenbefehls beendet werden. Durchsatz der Maschinenbefehle wird erhöht. CPI wird reduziert. Taktzykluszeit wird leicht erhöht (zusätzlicher Overhead). ABER: Eine entsprechende Leistung kann nur erreicht werden, wenn die Pipeline immer gefüllt ist. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 26

27 Pipelining (5) Einige Voraussetzungen, die für die Implementierung von Pipelining nützlich sind: Alle Maschinenbefehle haben die gleiche Größe. Die Instruktionen müssen innerhalb eines Taktzyklus gelesen werden. Alle haben das gleiche Format. Das erleichtert das Decodieren der Maschinenbefehle. Keine Operanden befinden sich im Speicher. Diese Voraussetzungen können bei RISC-Prozessoren, z.b. MIPS, gefunden werden. CISC-Prozessoren (wie x86) haben unterschiedliche Größen für Maschinenbefehle, unterschiedliche Formate für Maschinenbefehle und erlauben Operanden im Speicher. Es ist sehr schwierig Pipelining zu implementieren! Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 27

28 Einführung in die Technische Informatik - WS 11/12 MIPS Pipeline (1) Leistung und Pipelining 28 MIPS Datenpfad ohne Pipelining IR <= mem[pc]; PC <= PC + 4 [IR rd ] <= [IR rs ] op IRop [IR rt ]

29 Einführung in die Technische Informatik - WS 11/12 MIPS Pipeline (2) Leistung und Pipelining 29 MIPS Datenpfad mit Pipelining IR <= mem[pc]; PC <= PC + 4 A <= [IR rs ]; B <= [IR rt ] r <= A op IRop B WB <= r [IR rd ] <= WB

30 Pipelining Leistungssteigerung (1) Beispiel: Bei vier Befehlen, anstatt 20 Zeiteinheiten nur??? Theoretische Leistungssteigerung einer idealen Pipeline: Ausführung eines Befehls in k Takten Pipeline mit k Stufen Programmstück mit n Befehlen Es gilt: k-1 Takte zum Auffüllen der Pipeline, danach wird in jedem Takt ein Befehl fertig Gesamte Ausführungszeit: n + k-1 Praktische Einschränkungen Pipeline dominiert von langsamster Stufe. Jede Stufe verursacht Zusatzaufwand (Zwischenspeicherung im Datenfluss). Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 30

31 Pipelining Leistungssteigerung (2) Zykluszeit τ k einer Pipeline (Takt = 1 / τ k) τ k = max(τ i ) + d = τ m + d τ m maximale Stufenverzögerung k Anzahl der Stufen d Zeitverzögerung bedingt durch Zwischenspeicherung Gesamtzeit T k zur Bearbeitung von n Instruktionen T k = [ n + (k - 1)] τ k Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 31

32 Pipelining Leistungssteigerung (3) Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 32 Erreichbarer Speed-Up S k Verhältnis von Ausführungszeit T 1 ohne Pipeline zur Ausführungszeit T k in einer Pipeline mit k Stufen S k T T 1 k [ n nk 1 ( k 1)] k [ n nk ( k 1)] 1 k ( k 1) / n lim k 1 ( k 1) Sk n / n k

33 Pipelining - Nachteile Je mehr Stufen, desto besser, also möglichst viele Pipelinestufen? Damit ist auch der Chiptakt reduzierbar. Mit steigender Anzahl der Stufen verringern sich die Laufwege von einer Stufe zur nächsten schnellerer Takt. Aber Anstieg der HW-Kosten (ister zwischen den Stufen) Einschwingphase erhöht sich Latenzzeit Energieverbrauch nimmt zu! Wahrscheinlichkeit leerer Pipeline-Zyklen steigt nächste Folie Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 33

34 Pipelinekonflikte Einschränkung beim Pipelining: Pipelinekonflikte verhindern, dass der nächste Befehl im nachfolgenden Taktzyklus ausgeführt werden kann. Es gibt drei verschiedene Typen Strukturkonflikte (structural hazard) Ein Ereignis, bei dem ein Befehl nicht im vorgesehenen Taktzyklus ausgeführt werden kann, da die Hardware die Befehlskombination nicht unterstützt, die zum Ausführen im angegeben Taktzyklus festgelegt wurde. Datenkonflikte (data hazard) Ein Ereignis, bei dem ein Befehl nicht im vorgesehenen Taktzyklus ausgeführt werden kann, weil Daten zum Ausführen des Befehls noch nicht verfügbar sind. Steuerkonflikte (control hazard) Ein Ereignis, bei dem der gewünschte Befehl nicht im gewünschten Taktzyklus ausgeführt werden kann, weil der Befehl, der geholt wurde, nicht der ist, der benötigt wird. Die Abfolge von Befehlsadressen ist anders als von der Pipeline erwartet wird. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 34

35 Pipelinekonflikte auflösen Eine einfache Lösung für solche Pipelinekonflikte ist das Einfügen von Leertakten (engl. bubbles) in die Pipeline (auch Pipelineleerlauf). Dadurch wird aber der CPI vergrößert! Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 35

36 Strukturkonflikte (1) Typische Beispiele für Strukturkonflikte: Die einzelnen Ressourcen sind nicht in ausreichender Anzahl vorhanden. Es gibt nicht ausreichend viele Ports für den Zugriff auf ister oder Speicher. Einige Einheiten für die Ausführung (z.b. Dividiereinheit) bieten kein Pipelining an. In der 5-stufigen MIPS-Pipeline können keine Strukturkonflikte auftreten. Es wird davon ausgegangen, dass Instruktionen und Daten aus verschiedenen Speicherbereichen geladen werden (z.b. eigener Instruktions- und Datencache). Das Lesen und Schreiben der ister findet in unterschiedlichen Pipelinestufen statt. Schreiben eines isters findet in der ersten Hälfte, Lesen in der zweiten Hälfte eines Zyklus statt. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 36

37 Einführung in die Technische Informatik - WS 11/12 Strukturkonflikte (2) Leistung und Pipelining 37 Beispiel: Nur ein Speicherport Time (clock cycles) Cycle 1 Cycle 2 Cycle 3 Cycle 4 Cycle 5 Cycle 6 Cycle 7 Load Instr 1 Instr 2 Instr 3 Instr 4

38 Einführung in die Technische Informatik - WS 11/12 Strukturkonflikte (3) Leistung und Pipelining 38 Lösung für einen Strukturkonflikt: Einfügen von Bubbles Time (clock cycles) Cycle 1 Cycle 2 Cycle 3 Cycle 4 Cycle 5 Cycle 6 Cycle 7 Load Instr 1 Instr 2 Instr 3 Bubble Bubble Bubble Bubble Bubble Instr 4

39 Datenkonflikte (1) Ein Datenkonflikt tritt auf, wenn ein Maschinenbefehl Ergebnisse eines anderen Maschinenbefehls, der sich noch in der Pipeline befindet, als Operanden benötigt. Ohne zusätzliche Vorkehrungen würde der Maschinenbefehl die falschen Operanden (Werte) lesen. Lösung für einen Datenkonflikt: Anhalten der Pipeline (Pipelineleerlauf) bis die Operanden verfügbar sind. Einsatz von Forwarding, wodurch die Operanden mit Hilfe zusätzlicher Verbindungen oder Busse direkt im Datenpfad zu jenen Stellen weitergeleitet werden, die diese Operanden benötigen. Nicht alle Datenkonflikte können durch Forwarding gelöst werden! In diesem Fall muss eine spezielle Hardware (pipeline interlock) solche Situationen erkennen und dann die Pipeline in diesem Fall anhalten. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 39

40 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (2) Leistung und Pipelining 40 Beispiel für Datenabhängigkeit bei ister r1: Time (clock cycles) add r1,r2,r3 sub r4,r1,r3 and r6,r1,r7 or r8,r1,r9 xor r10,r1,r11

41 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (3) Leistung und Pipelining 41 Forwarding um Datenkonflikte zu vermeiden: Time (clock cycles) add r1,r2,r3 sub r4,r1,r3 and r6,r1,r7 or r8,r1,r9 xor r10,r1,r11

42 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (4) Leistung und Pipelining 42 Änderungen in der Hardware um Forwarding zu unterstützen: NextPC isters ID/EX mux mux EX/MEM Data Memory MEM/WR mux Immediate

43 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (5) Leistung und Pipelining 43 Forwarding um lw/sw-datenkonflikte zu vermeiden: Time (clock cycles) add r1,r2,r3 lw r4,0(r1) sw r4,12(r1) or r8,r6,r9 xor r10,r9,r11

44 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (6) Leistung und Pipelining 44 Beispiel für einen Datenkonflikt mit Forwarding: Time (clock cycles) lw r1,0(r2) sub r4,r1,r6 and r6,r1,r7 or r8,r1,r9

45 Einführung in die Technische Informatik - WS 11/12 Datenkonflikte (7) Leistung und Pipelining 45 Auflösung eines Datenkonflikts durch Bubbles: Time (clock cycles) lw r1,0(r2) sub r4,r1,r6 Bubble and r6,r1,r7 Bubble or r8,r1,r9 Bubble

46 Datenkonflikte (8) Load/Store-Datenkonflikte können durch geschicktes Scheduling von Maschinenbefehlen (durch den Compiler) vermieden werden. Beispiel: Für die folgenden Operationen soll schneller MIPS-Code erzeugt werden: a = b + c d = e f Es wird angenommen, dass a,b,c,d,e,f sich im Speicher befinden. Langsamer Code: lw lw add sw lw lw sub sw r2,b r3,c r1,r2,r3 r1,a r5,e r6,f r4,r5,r6 r4,d Einführung in die Technische Informatik - WS 11/12 Schneller Code: lw lw lw add lw sw sub sw r2,b r3,c r5,e r1,r2,r3 r6,f r1,a r4,r5,r6 r4,d Leistung und Pipelining 46

47 Steuerkonflikte (1) Bedingte Sprünge können den Kontrollfluss verändern. Ein Steuerkonflikt entsteht, wenn ein Sprung ausgeführt wird. führt dazu, dass alle Maschinenbefehle in der Pipeline nicht mehr gültig sind. Lösung für Steuerkonflikte: Anhalten der Pipeline bis die Bedingung ausgewertet wurde und die Sprungstelle bekannt ist. Jeder Sprung wird als nicht ausgeführt betrachtet und die Ausführung der Befehle wird fortgesetzt; Bei einem Sprung wird die Pipeline geleert und bei der neuen Adresse weitergemacht. Jeder Sprung wird als ausgeführt angenommen (gleich oder ein paar Maschinenbefehle später wird als delayed branch bezeichnet) Instruktionen, die unabhängig vom Sprung sind, müssen in einen Slot (delay slot) nach dem aktuellen Maschinenbefehl eingefügt werden. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 47

48 Einführung in die Technische Informatik - WS 11/12 Steuerkonflikte (2) Leistung und Pipelining 48 Beispiel für einen Steuerkonflikt bei einem Sprung: beq r1,r3,l1 and r2,r3,r5 or r6,r1,r7 add r8,r1,r9 L1: xor r10,r1,r11

49 Einführung in die Technische Informatik - WS 11/12 Steuerkonflikte (3) Leistung und Pipelining 49 Scheduling der Zeitfensters für die Verzögerung nach einem Sprungbefehl:

50 Steuerkonflikte (4) Im Falle eines verzögerten Sprunges muss der Compiler unabhängige Maschinenbefehle für den Delay-Slot finden (oft kompliziert), oder nop-befehle einfügen, wenn kein passender Maschinenbefehl gefunden werden kann. Ohne Modifikation würde die MIPS Pipeline einen Delay-Slot mit 3 Zyklen erfordern. Schwierig mit unabhängigen Maschinenbefehlen zu füllen. Durch geschickte Modifikation der Pipeline-Architektur kann der Delay-Slot auf einen Maschinenbefehl reduziert werden. Ca. 60% der Slots können durch einen Compiler gefüllt werden. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 50

51 Pipeline Operationen mit mehreren Zyklen (1) Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 51 Die Ausführungsphase von Operationen wie Division, Multiplikation, Gleitkommaoperationen braucht meist mehr als einen Taktzyklus. Solche Multizyklen-Operationen werden typischerweise in arithmetischen Pipelines implementiert, die die einfache Ausführungsphase ersetzen. Seltene Operationen wir Integer-Division, Gleitkommadivision oder Wurzelberechnungen werden nicht in einer Pipeline ausgeführt. Einige Verzögerungen in der MIPS Pipeline für Gleitkommazahlen: Integer 0 GP add 3 GP / Integer Mult 6 (pipelined) GP / Integer div 24 (not pipelined) Die Verzögerung wird definiert als die Anzahl der Zyklen zwischen einem Maschinenbefehl, der ein Ergebnis produziert und einem Maschinenbefehl, der das Ergebnis verwendet.

52 Pipeline Operationen mit mehreren Zyklen (2) Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 52 Beispiel: Die MIPS Gleitkommapipeline

53 Mehrfachzuordnung (1) Mehrfachzuordnung (Instruction Level Parallelism, ILP) 2-fach (2-fold ILP) Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 53

54 Mehrfachzuordnung (2) Statische Mehrfachzuordnung Eine Methode zum Implementieren eines Prozessors mit Mehrfachzuordnung, bei dem viele Entscheidungen vom Compiler vor der Ausführung getroffen werden. Dynamische Mehrfachzuordnung Eine Methode zum Implementieren eines Prozessors mit Mehrfachzuordnung, bei dem viele Entscheidungen während der Ausführung vom Prozessor getroffen werden. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 54

55 Mehrfachzuordnung (3) Zusätzliche Hardware wird benötigt. Beispiele: Mehr isterports, da mehrere Befehle (möglicherweise auf unterschiedliche ister) gleichzeitig ausgeführt werden. Zusätzlicher Addierer (für Adressberechnung) Speedup N-fold ILP könnte theoretische noch einmal die Ausführung um den Faktor N beschleunigen. ABER: Es müssen ausreichend Befehle vorhanden sein, die parallel ausgeführt werden können. Konflikte können noch schneller auftreten und wirken sich jetzt auf mehrere Befehle aus. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 55

56 Mehrfachzuordnung (4) Compiler oder Hardware müssen komplexe Schedulingtechniken verwenden. Dabei müssen unterschiedliche Abhängigkeiten berücksichtigt werden: Datenabhängigkeit Zeigt möglicherweise einen Konflikt an. Zeigt die Ordnung von Befehlen auf. Namensabhängigkeit Zwei Befehle benutzen die gleichen ister, aber es existiert keine Datenabhängigkeit. Kann durch Umbenennen der ister aufgelöst werden Antiabhängigkeit Outputabhängigkeit I: sub r4,r1,r3 J: add r1,r2,r3 K: mul r6,r1,r7 I: sub r1,r4,r3 J: add r1,r2,r3 K: mul r6,r1,r7 I: add r1,r2,r3 J: sub r4,r1,r3 Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 56

57 Mehrfachzuordnung (5) Eine wichtige Compilertechnik ist das Schleifenabrollen (loop unrolling), bei der vom Schleifenrumpf mehrere Kopien erstellt werden. Nach dem Abrollen kann, da sich die Befehle aus unterschiedlichen Iterationen überschneiden, die Befehlsebenen-Parallelität besser genutzt werden. Beim Schleifenabrollen fügt der Prozessor zusätzliche ister ein (isterumbennenung). Mit der Umbenennung werden Namensabhängigkeiten aufgelöst. Einführung in die Technische Informatik - WS 11/12 Leistung und Pipelining 57

58 Einführung in die Technische Informatik - WS 11/12 Mehrfachzuordnung Beispiel (1) Leistung und Pipelining 58 Original Loop: lw $t0, 0($s1) # $t0=array element addu $t0, $t0, $s2 # add scalar in $s2 sw $t0, 0($s1) # store result addi $s1, $s1, 4 # decrement pointer bne $s1, $zero, Loop # branch $s1!=0 2-fache MIPS Pipeline /branch Load/store cycle Loop: nop lw $t0, 0($s1) 1 addi $s1, $s1, 4 nop 2 addu $t0, $t0, $s2 nop 3 bne $s1, $zero, Loop sw $t0, 4($s1) 4

59 Einführung in die Technische Informatik - WS 11/12 Mehrfachzuordnung Beispiel (2) Leistung und Pipelining 59 Schleifenabrollen (4-fach) /branch Load/store cycle Loop: addi $s1, $s1, 16 lw $t0, 0($s1) 1 nop lw $t1, 12($s1) 2 addu $t0, $t0, $s2 lw $t2, 8($s1) 3 addu $t1, $t1, $s2 lw $t3, 4($s1) 4 addu $t2, $t2, $s2 sw $t0, 16($s1) 5 addu $t3, $t3, $s2 sw $t1, 12($s1) 6 nop sw $t2, 8($s1) 7 bne $s1, $zero, Loop sw $t3, 4($s1) 8