Allgemeine Lösung mittels Hazard Detection Unit

Transkript

1 Allgemeine Lösung mittels Hazard Detection Unit Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 83

2 Implementation der Hazard Detection Unit Grundlagen der Rechnerarchitektur Prozessor 84

3 Quiz: Vermeiden von Pipeline Stalls Wo findet ein Pipeline Stall statt? Bitte ankreuzen. lw lw $t1, 0($t0) $t2, 4($t0) add $t3, $t1, $t2 sw lw $t3, 12($t0) $t4, 8($t0) add $t5, $t1, $t4 sw $t5, 16($t0) Anzahl Taktzyklen mit Stalls? Anzahl Taktzyklen ohne Stalls? Bitte Befehle umorganisieren, sodass alle Stalls vermieden werden. Grundlagen der Rechnerarchitektur Prozessor 85

4 Control Hazards Grundlagen der Rechnerarchitektur Prozessor 86

5 Control Hazards Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 87

6 Branch Not Taken Strategie und Pipeline Flush Flush = Verwerfe Instruktionen in der Pipeline. Hier: Setze IF/ID, ID/EX und EX/MEM Register auf 0. Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 88

7 Reduktion des Branch Delays Adressberechnung kann schon in der ID Stufe stattfinden beq und bne erfordert lediglich ein 32 Bit XOR und ein 32 Bit OR Dazu braucht man keine ALU Also auch in der ID Stufe realisierbar Beispiel: für $1 und $3: Damit ist der Sprung schon in der ID Stufe entschieden Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 89

8 Reduktion des Branch Delays Konsequenz Branch Delay ist damit ein Instruktions Zyklus Wir brauchen lediglich ein Flush IF/ID Register Grundlagen der Rechnerarchitektur Prozessor 90

9 Reduktion des Branch Delays Achtung! Forwarding aus späteren Stufen macht die Sache kompliziert. Kann Pipeline Stall aufgrund von Data Hazards erforderlich machen. z.b. ein Zyklus, wenn ALU Ergebnis in den Vergleich einfließt z.b. zwei Zyklen, wenn Vergleichsoperator einen Schritt vorher aus dem Speicher geladen wurde Betrachten wir aber hier nicht genauer. Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 91

10 Dynamic Branch Prediction Strategie 0x : lw $1, 0($4) 0x : beq $1, $0, 40 0x : add $1, $1, $1 0x40000c : x40c004 : bne $3, $4, Unterer Teil der Adresse 0x00 1 0x04 0 0x xf8 0 0xfc 0 Branch hat stattgefunden Branch Prediction Buffer Grundlagen der Rechnerarchitektur Prozessor 92

11 Vorhersagegenauigkeit Annahme unendlich langer Loop, der immer 9 mal und dann einmal nicht durchlaufen wird. Was ist die Vorhersagegenauigkeit der vorher beschriebenen Branch Prediction? loop: bne $1,$2,loop... j loop Lässt sich das verbessern? Grundlagen der Rechnerarchitektur Prozessor 93

12 N Bit Vorhersage am Beispiel 2 Bit Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 94

13 Vorhersagegenauigkeit Annahme unendlich langer Loop, der immer 9 mal und dann einmal nicht durchlaufen wird. Was ist die Vorhersagegenauigkeit der vorher beschriebenen 2 Bit Branch Prediction? loop: bne $1,$2,loop... j loop Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 95

14 Branch Delay Slot Idee loop: bne $1,$2,loop <instruktion> <instruktion> Wird immer ausgeführt. Instruktion muss aber unabhängig von der Branch Entscheidung sein. Das muss der Compiler entscheiden. Im Zweifelsfall: nop passt immer. Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 96

15 Beispiele von Branch Delay Slot Schedules Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 97

16 Weniger Branches mit Conditional Instruktionen Beispiel MIPS Instruktionen movn und movz: movn $8, $11, $4 # $8 = $11, wenn $4!= 0 movz $8, $11, $4 # $8 = $11, wenn $4 == 0 Beispiel ARM ISA: ADDEQ r0,r1,r2 ; If zero flag set then ;... r0 = r1 + r2 Grundlagen der Rechnerarchitektur Prozessor 98

17 Quiz Betrachte die folgenden Branch Strategien: 1. Vorhersage Branch findet statt 2. Vorhersage Branch findet nicht statt 3. Dynamische Branch Vorhersage (mit 90% Genauigkeit) Was ist die beste Strategie, wenn: Branch findet mit 5% Häufigkeit statt? Branch findet mit 95% Häufigkeit statt? Branch findet mit 70% Häufigkeit statt? Grundlagen der Rechnerarchitektur Prozessor 99

18 Multiple Issue Grundlagen der Rechnerarchitektur Prozessor 100

19 Motivation Bisher: Instruction Level Parallelism (ILP) durch Pipelining ILP kann durch Pipeline Stufe erhöht werden Pipelines mit mehr Stufen sind anfälliger gegenüber Data und Control Hazards Also: Pipeline Stufen nur bis zu gewisser Tiefe sinnvoll Außerdem: Grenzen aufgrund der Leistungsaufnahme CPI bleibt gleich oder steigt sogar (wegen Hazards), Clock Rate steigt Hier eine weitere Methode um ILP zu steigern: Multiple Issue Replikation von internen CPU Strukturen, sodass mehrere Instruktionen pro Pipeline Stufe möglich sind CPI sinkt und Clock Rate bleibt gleich (oder sinkt sogar wegen erhöhter Komplexität) Beispiel: CPI eines 4 Wege Multiple Issue Mikroprozessor hat eine ideale CPI von? 0.25! CPI liegt aber in der Regel höher, wie wir gleich sehen werden Wir unterscheiden zwischen: Static Multiple Issue: Entscheidungen werden zur Compile Zeit gefällt Dynamic Multiple Issue: Entscheidungen werden zur Laufzeit gefällt (auch Superskalare CPU bezeichnet) Grundlagen der Rechnerarchitektur Prozessor 101

20 Multiple Issue Static Multiple Issue Grundlagen der Rechnerarchitektur Prozessor 102

21 Generelle Idee Eine große Instruktion pro Clock Cycle Große Instruktion besteht aus mehreren gleichzeitig stattfindenden Operationen Aber nicht jede Kombination von Operationen möglich Beispiel: ALU Operation und Speicheroperation gleichzeitig möglich Aber zwei ALU Operation auf einmal nicht möglich Terminologie: VLIW (Very Long Instruction Word) Grundlagen der Rechnerarchitektur Prozessor 103

22 Beispiel am MIPS Datenpfad ALU für arithmetische Operationen Extra ALU für gleichzeitige Adresskalkulation Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 104

23 Statische Two Issue Pipeline im Betrieb Was ist der CPI Wert? Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 105

24 Was ist nun die Aufgabe des Compilers? Compiler erzeugt Assembler Code: Loop: lw $t0, 0($s1) # $t0=array-element addu $t0, $t0, $s2 # addiere Wert sw $t0, 0($s1) # Speichere Element addi $s1, $s1, -4 # nächstes Element bne $s1, $zero, Loop # solange $s1!= 0 und ordnet Instruktionen so an, dass keine Pipeline Stalls entstehen Was ist der CPI Wert? Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 106

25 Verbesserung: Loop Unrolling Code wie vorher (der Einfachheit sei Loop Index Vielfaches von 4): Loop: lw $t0, 0($s1) # $t0=array-element addu $t0, $t0, $s2 # addiere Wert sw $t0, 0($s1) # Speichere Element addi $s1, $s1, -4 # nächstes Element bne $s1, $zero, Loop # solange $s1!= 0 Loop Body vier mal kopiert und Register Renaming Was ist der CPI Wert? Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 107

26 Multiple Issue Dynamic Multiple Issue Grundlagen der Rechnerarchitektur Prozessor 108

27 Generelle Idee CPU entscheidet, ob und wie viele aufeinander folgende Instruktionen parallel gestartet werden können Compiler erzeugt nur eine Folge von Instruktionen; kein VLIW Instruktions Scheduling des Compilers nicht mehr erforderlich aber trotzdem aus Performance Gründen sinnvoll Verbesserung der Superskalarität durch dynamisches Pipeline Scheduling: Instruktionsreihenfolge darf geändert werden, um Stalls zu vermeiden Grundlagen der Rechnerarchitektur Prozessor 109

28 Dynamic Pipeline Scheduling Motivation lw $t0, 20($s2) # zunächst $t0 laden addu $t1, $t0, $t2 # addu durch lw verzögert sub $s4, $s4, $t3 # sub könnte schon starten slti $t5, $s4, 20 # und genau so auch slti Warum nicht sub (und ggf. slti) vor addu vorziehen? Grundlagen der Rechnerarchitektur Prozessor 110

29 Dynamic Pipeline Scheduling generell Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 111

30 Wiedervorlage: Daten einiger ausgewählter Prozessoren Bildquelle: David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, 2012 Grundlagen der Rechnerarchitektur Prozessor 112

31 Zusammenfassung und Literatur Grundlagen der Rechnerarchitektur Prozessor 113

32 Zusammenfassung Schlechte Performance von Single Cylce Ansatz Instruktionsabarbeitung besteht aus mehreren Zyklen Moderne Prozessoren nutzen dies für Pipelining Multiple Issue Allgemein als Instruction Level Parallelism bezeichnet Für High Level Programmierer ist die Parallelität nicht sichtbar Sichtbar auf Assembler Ebene Sichtbar auf Compiler Ebene Hauptprobleme die die Parallelität einschränken Daten Abhängigkeiten Control Abhängigkeiten Methoden um Data und Control Hazards zu reduzieren Scheduling Spekulation Sichtbare Grenze der Power Wall ist erreicht Trend zu Multicores mit einfacheren Pipelines Konsequenz: Parallelität nicht mehr von der Hardware gekapselt Grundlagen der Rechnerarchitektur Prozessor 114

33 Quiz Super! Geschafft. Auf zum nächsten Level. Pipelining erhöht den Durchsatz aber reduziert nicht die Instruktions Latenz. [ ] Nein, Durchsatz und Latenz sinken [ ] Nein, Durchsatz und Latenz steigen [ ] Ja, das ist richtig Welchen Einfluss hat Superskalarität auf den CPI Wert? [ ] Der CPI Wert bleibt immer unverändert, [ ] Der CPI Wert steigt an. [ ] Der CPI Wert kann unter 1 fallen. Eine Pipeline mit k Stufen erreicht asymptotisch immer eine Performance Ratio von k. [ ] Jawohl. [ ] Nein, die Ratio kann darunter liegen. [ ] Nein, die Ratio kann sogar noch höher liegen. Mittels Pipelining kann man die Taktrate eines Rechners erhöhen. [ ] Stimmt! [ ] Nein, das ist völliger Quatsch. Welchen Einfluss hat Pipelining auf den CPI Wert? [ ] Der CPI Wert bleibt immer unverändert. [ ] Der CPI Wert kann unter 1 fallen. [ ] Der CPI Wert steigt in der Regel an. Grundlagen der Rechnerarchitektur Logik und Arithmetik 115 Bildquelle: content/artikel_endgegner_bild.jpg

34 Literatur [PattersonHennessy2012] David A. Patterson und John L. Hennessy, Computer Organization and Design, Fourth Edition, Introduction 4.2 Logic Design Conventions 4.3 Building a Datapath 4.4 A Simple Implementation Scheme 4.5 An Overview of Pipelining 4.6 Pipelined Datapath and Control 4.7 Data Hazards: Forwarding versus Stalling 4.8 Control Hazards 4.10 Parallelism and Advanced Instruction Level Parallelism 4.11 Real Stuff: the AMD Opteron X4 (Barcelona) Pipeline Grundlagen der Rechnerarchitektur Prozessor 116