9. Fließbandverarbeitung

Transkript

1 9. Fließbandverarbeitung

2 Nachteile der Mikroprogrammierung Von CISC zu RISC Fließbandverarbeitung Pipeline-Hazards Behandlung von Daten- und Kontroll-Hazards 334

3 Nachteile mikroprogrammierter CPUs Zusätzliche Laufzeit durch LIE-Interpretierer Unterschiedliche Taktzeiten verschiedener Befehle Unterschiedliche Befehlsstruktur erschwert Parallelisierung Taktzeiten einiger 8086 Maschinenbefehle :: NOP 3 Takte MUL BX BX Takte STOSB 8 Takte REP REP STOSB 8 + (n-1)*4 Takte )* )* Empirische Untersuchungen zeigten, dass komplexe Befehle in der Praxis relativ selten eingesetzt wurden. )* n = Anzahl der Iterationen 335

4 Mikroprogrammierte CPUs leistungsfähige Maschinenbefehle kurze ausführbare Programme wenige, aber vielseitige Register einfache Erweiterbarkeit durch zusätzliche Befehle Aufwärtskompatibilität einfach zu gewährleisten zusätzlicher Zeitbedarf durch Dekodier- und LIE-Zyklus viele Befehle kaum genutzt uneinheitliche Befehlsstruktur schwierig zu parallelisieren 336

5 Ursachen für RISC Halbleiterspeicher ersetzen Kernspeicher > Hauptspeicher werden schneller und größer Einführung von Cache-Speichern > Beschleunigung der Speicherschnittstelle Compiler nutzen CISC-Befehlssätze nicht aus 5-10% Befehle in 60-80% der Ausführungszeit virtuelle Speicherkonzepte erschweren Mikroprogrammierung Korrektheitsprobleme mit Microcode uneinheitliche Befehlsstruktur erschwert Parallelverarbeitung 337

6 RISC-Generationen 1. Generation ( ): Pionierprojekte RISC I & II, David Patterson et al., Univ. of Berkeley ( ) MIPS, John Hennessy et al., Univ. of Stanford ( ) -> Microprocessor without Interlocking Pipeline Stages 2. Generation ( ): erste kommerzielle Weiterentwicklungen Klassifizierung: Stanford- oder Berkeley-Ansatz 3. Generation (ab 1985): CPI = Clock cycles superskalare RISC: CPI < 1 Per Instruction Verarbeitung mehrerer unabhängiger Instruktionen in einem Takt unter Einsatz separater Funktionseinheiten superpipelined RISC: CPI > 1 Minimierung der Taktzeit, Einsatz einer tiefen Pipeline Multiprozessor-RISC 338

7 RISC-Architekturmerkmale reduzierter, einfacher Instruktionssatz Einzyklus-Maschinenbefehle (CPI = 1) Maschinenbefehle fester Länge, wenige Formate typische RISC-Werte 64 Instruktionen 1 Adressiermodus Hardwaredekodierung großer Registersatz ``load/store -Architektur Pipelining mit delayed branching Cache-Speicher 32 Register >= 4 Pipelinestufen 339

8 Gegenüberstellung einiger RISC- Prozessoren Precision Architecture Scalable Processor Architecture Performance Optimization with Enhanced Risc MIPS HP PA Sparc IBM Pentium R3000 POWER Jahr Instruktionslänge 32 fest 32 fest variabel Befehlsanzahl >= 128 >= 256 Adresslänge Technologie CMOS NMOS CMOS CMOS CMOS Transistorzahl Pipeline-Tiefe Registerzahl

9 Fließbandverarbeitung zentrales Merkmal von RISC-Prozessoren überlappende Ausführung mehrerer Instruktionen aufeinanderfolgende Phasen der Instruktionsabarbeitung werden in separaten Verarbeitungseinheiten durchgeführt. Zwischenspeicher Zwischenspeicher Zwischenspeicher Stufe 1 Stufe 2... Stufe k Zwischenspeicher 341

10 Pipeline Lektionen (Wh aus Einführungskapitel) A u f g a b e n A B C D Zeit Fließbandverarbeitung verbessert nicht die Laufzeit einer einzelnen Aufgabe, sondern den Durchsatz der gesamten Arbeitslast. Mehrere Aufgaben werden mit unterschiedlichen Ressourcen simultan verarbeitet. Max. Beschleunigung = Anzahl der Verarbeitungsstufen Pipeline-Geschwindigkeit ist durch langsamste Stufe begrenzt. Unbalancierte Pipeline-Stufen reduzieren die Beschleunigung. Anlauf- und Leerlaufzeiten reduzieren die Beschleunigung. Leerlaufzyklen bei Abhängigkeiten 342

11 Phasen der MIPS-Befehlsausführung IF - Instruction Fetch, Befehlsbereitstellung Laden der Instruktion aus dem Speicher (Cache) ID - Instruction Decode, Befehlsdekodierung Analyse der Instruktion, Laden der Operandenregister EX - Execution, ALU-Operation Ausführung der Instruktion im Rechenwerk MEM - ory Access Speicherzugriff Lade- und Speichervorgänge WB - Write Back, Zurückschreiben Rückschreiben des Ergebnisses in Zielregister Takt 1 Takt 2 Takt 3 Takt 4 Takt 5 Ifetch Reg/Dec Exec Wr 343

12 MIPS-Pipeline Instruktion Pipeline-Takt IF ID Ex MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB Pipeline-Inhalt im 6.Takt 344

13 MIPS-Pipeline-Datenpfad IF/ID ID/EX EX/MEM MEM/WB 4 ADD M u x Zero? Branch taken IR PC Instruction memory IR IR MEM/WB.IR Registers M u x M u x ALU Data memory M u x Sign extend FIGURE 3.4 The datapath is pipelined by adding a set of registers, one between each pair of pipe stages. 345

14 5 Steps of MIPS Datapath Next PC Instruction Fetch 4 Adder MUX Instr. Decode Reg. Fetch Next SEQ PC RS1 Execute Addr. Calc Next SEQ PC Equal? ory Access MUX Write Back Address ory IF/ID RS2 Reg ID/EX MUX MUX ALU EX/MEM ory MEM/WB MUX Datapath Imm Sign Extend RD RD RD WB Data Control Path 346

15 Vereinfachte Sicht 347 Exec Data Access Reg. A B S M Next PC PC Reg Inst. IR IRex Equal Valid Dcd Ctrl Ex Ctrl IRwb IRmem Ctrl WB Ctrl

16 Kontrolldiagramm IR <- [PC]; PC < PC+4; A <- R[rs]; B< R[rt] S < A op B; S < A op ZX; S < A + SX; S < A + SX; If Cond PC <- PC+SX; M < S M < S M < [S] [S] <- B R[rd] < S; R[rd] < S; R[rd] < M; Equal Next PC PC Inst. IR Reg A B Exec S D Access M Data Reg. 348

17 Datenpfad und Kontrolle 349 Exec Access Data Reg. A B S Next PC Reg PC IR fun D Ctrl M WB Ctrl Inst. Decode op rs rt rs rt v rw wb me ex im v rw wb me v rw wb

18 Beispielverarbeitung Oktaladressen 10 lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r and r13, r14, r15 350

19 Start: Fetch 10 n n n n Inst. IR Decode rs rt im Ctrl WB Ctrl Reg A B Exec S M Reg. D Access Data IF 10 lw r1, 35(r2) 14 addi r2, r2, 3 Next PC sub r3, r4, r5 24 beq r6, r7, ori r8, r9, 17 PC 34 add r10, r11, r and r13, r14, r15 351

20 Fetch 14, Decode 10 Inst. lw r1, 35(r2) IR Decode 2 rt n n n im Ctrl WB Ctrl Reg A B Exec S M Reg. Next PC D 14 Access Data ID IF 10 lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, 17 PC 34 add r10, r11, r and r13, r14, r15 352

21 Fetch 20, Decode 14, Exec 10 Inst. addi r2, r2, 3 IR Decode 2 rt lw r1 35 n Ctrl n WB Ctrl Reg r2 B Exec S M Reg. D Access Data EX ID 10 lw r1, 35(r2) 14 addi r2, r2, 3 Next PC 20 IF 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, 17 PC 34 add r10, r11, r and r13, r14, r15 353

22 Fetch 24, Decode 20, Exec 14, 10 Exec Reg. r2 B PC Next PC Access Data Reg r2+35 Inst. Decode IR 4 5 Ctrl n WB Ctrl 3 M D 24 sub r3, r4, r5 addi r2, r2, 3 lw r1 MEM EX ID IF 10 lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r and r13, r14, r15 354

23 Fetch 30, Dcd 24, Ex 20, 14, WB 10 IR Access Data Exec r2+3 Reg. r4 Reg r5 PC Next PC Inst. Decode 6 7 Ctrl WB Ctrl M[r2+35] D 30 beq r6, r7 100 sub r3 addi r2 lw r1 WB MEM EX ID IF 10 lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r and r13, r14, r15 355

24 Fetch 34, Dcd 30, Ex 24, 20, WB 14 IR Access Data Exec r2+3 Reg. r6 Reg r7 Ctrl WB Ctrl PC Next PC r1=m[r2+35] Inst. Decode 9 xx D 34 r4-r5 100 ori r8, r9 17 beq sub r3 addi r2 WB MEM EX ID IF 10 lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r and r13, r14, r15 356

25 Fetch 100, Dcd 34, Ex 30, 24, WB 20 Inst. add r10, r11, r12 Decode ori r8 beq Ctrl sub r3 WB Ctrl IR Reg r9 x Next PC Exec xxx D 100 PC Access r4-r5 Data Eine Instruktion (hier ori) wird nach einem bedingten Sprung auf jeden Fall ausgeführt (-> delayed branching (siehe später)), IF die nachfolgende (add) wird als ungültig markiert. Reg. WB MEM EX ID r1=m[r2+35] r2 = r lw r1, 35(r2) 14 addi r2, r2, 3 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r and r13, r14, r15 357

26 Fetch 104, Dcd 100, Ex 34, 30, WB 24 n Inst. and r13, r14, r15 Decode add r10 xx ori r8 Ctrl beq WB Ctrl IR Reg r11 r12 Exec r9 17 xxx Reg. r1=m[r2+35] r2 = r2+3 r3 = r4-r5 D Access Data 10 lw r1, 35(r2) 14 addi r2, r2, 3 Next PC 104 WB MEM 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, 17 PC EX 34 add r10, r11, r12 ID 100 and r13, r14, r15 358

27 Fetch 108, Dcd 104, Ex 100, 34, WB 30 n Inst. Decode and r13 add r10 Ctrl ori r8 WB Ctrl xx IR Reg r14 r15 Exec r11+r12 r9 17 Reg. r1=m[r2+35] r2 = r2+3 r3 = r4-r5 D Access Data 10 lw r1, 35(r2) 14 addi r2, r2, 3 Next PC 110 PC WB MEM 20 sub r3, r4, r5 24 beq r6, r7, ori r8, r9, add r10, r11, r12 EX 100 and r13, r14, r15 359

28 Fetch 114, Dcd 110, Ex 104, 100, WB 34 Inst. Decode and r13 Ctrl n add r10 WB Ctrl NO WB NO Ovflow IR Reg Exec r14 & R15 D Access r11+r12 Data Reg. r1=m[r2+35] r2 = r2+3 r3 = r4-r5 r8 = r lw r1, 35(r2) 14 addi r2, r2, 3 Next PC sub r3, r4, r5 24 beq r6, r7, ori r8, r9, 17 PC WB 34 add r10, r11, r12 MEM 100 and r13, r14, r15 360

29 Pipeline-Hazards Situationen, in denen die regelmäßige Abarbeitung in einer Pipeline unterbrochen werden muss Struktur-Hazards: aufeinanderfolgende Instruktionen benötigen dieselbe Hardware und können nicht überlappend ausgeführt werden. Daten-Hazards: Datenabhängigkeiten zwischen aufeinanderfolgenden Instruktionen Kontroll-Hazards: Änderung der sequentiellen Abarbeitung von Befehlsfolgen durch bedingte Sprünge 361

30 Struktur-Hazards Beispiel: Bei nur einem Speicherport zum Holen von Befehlen und Daten führt ein Speicherzugriffsbefehl zu einem Leertakt in der Pipeline: Instruktion Pipeline-Takt LOAD 3 4 stall 5 6 IF ID Ex MEM WB Konflikt zwischen IF ID EX MEM WB Laden von Daten und Befehl IF ID EX MEM WB IF ID EX MEM WB stall stall stall stall stall IF ID EX MEM WB IF ID EX MEM WB 362

31 WB Data 363 Eliminating Structural Hazards at Design Time Next PC MUX Next SEQ PC Next SEQ PC Zero? Adder RS1 4 MEM/WB ALU MUX MUX ID/EX Reg IF/ID Instr Cache MUX Data Cache EX/MEM RS2 Address Sign Extend Imm Datapath RD RD RD Control Path

32 Beispiel: Daten-Hazard Betrachte die Instruktionsfolge add $t1, $t2, $t3 (* $t1 := $t2 + $t3 *) sub $t4, $t1, $t5 (* $t4 := $t1 - $t5 *) $t1 wird geschrieben add sub IF ID EX MEM WB IF ID EX MEM WB $t1 wird gelesen 364

33 Daten-Hazards RAW (read after write) Befehl i+j versucht Datum zu lesen, bevor Befehl i dieses geschrieben hat WAR (write after read) Befehl i+j versucht Datum zu schreiben, bevor es von Befehl i gelesen wurde -> in MIPS-Pipeline nicht möglich, da frühes Lesen in ID und spätes Schreiben in WB WAW (write after write) Befehl i+j versucht Datum zu schreiben, bevor es durch Befehl i geschrieben wurde -> in MIPS-Pipeline nicht möglich, da nur in Phase WB geschrieben wird 365

34 Forwarding W R Aufteilung der Phase in zwei Teile: zuerst Schreiben, dann Lesen ADD R1, R2, R3 SUB R4, R1, R5 AND R6, R1, R7 OR R8, R1, R9 XOR R10, R1, R12 366

35 ALU mit Forwarding-Einheit Ergebnis- Schreibbus Registersatz MUX MUX ALU $t4 $t1 Ergebnispuffer 367

36 Forwarding in MIPS-Pipeline 368

37 Unvermeidbare Leerzyklen (stalls) Zeit (Takte) lw r1,0(r2) sub r4,r1,r3 IF ID/RF EX MEM WB ALU Im Reg Dm Reg ALU Im Reg Dm Reg echte Rückwärtsabhängigkeit Forwarding nicht möglich! Von load abhängige Instruktionen müssen verzögert werden. 369

38 Compiler Scheduling Durch geschicktes Umordnen von Instruktionen können Daten-Hazards oft vermieden werden. Bsp: A = B + C wird durch folgende Instuktionssequenz realisiert: lw $t1, B lw $t2, C add $t0, $t1, $t2 sw $t0, A Diese enthält einen nicht durch forwarding lösbaren Datenhazard. Aber: A = B+C; D = E-F kann durch folgende hazardfreie Sequenz implementiert werden: lw $t1, B lw $t2, C lw $t4, E add $t0, $t1, $t2 lw $t5, F sw $t0, A sub $t3, $t4, $t5 sw $t3, D 370

39 Kontroll-Hazards Bedingte Sprungbefehle können zu erheblichen Effizienzverlusten führen, weil im Normalfall erst am Ende der Bearbeitung des Befehls entschieden wird, ob ein Sprung erfolgt oder nicht. => Pipeline-Verzögerung (engl. stall) von 3 Takten Pipeline-Takt Instruktion bed. IF ID EX MEM WB Sprung 2 IF stall stall IF ID ID EX MEM WB Erst wenn das Sprungziel bekannt ist, kann der nächste Befehl geladen werden. stall stall stall MEM IF WB ID EX MEM WB stall stall stall MEM IF WB ID EX MEM WB stall stall stall EX IF MEM ID EX MEM Abhilfe: - früheres Herausfinden, ob Sprung erfolgt - früheres Berechnen der Sprungadresse 371

40 MIPS-Pipeline mit Kontrolle 372

41 Maßnahmen bei Kontrollhazards Vorverlagerung der Bedingungsauswertung in ID-Phase Die Berechnung des Verzweigungsziels kann bereits in der ID-Phase beginnen. Es sind die zu vergleichenden Register bekannt. Der Vergleich kann durch Spezialhardware (EXOR und NAND) sehr schnell erfolgen. Der korrekte Ziel-PC-Wert kann durch einen zusätzlichen Addierer aus der Konstante im Instruktionswort und dem aktuellen PC-Wert auch bereits in der ID-Phase berechnet werden. => Somit ist nur noch ein Stall-Schritt erforderlich. Predict Branch Not Taken Beginnen der Ausführung der Instruktionen, die dem Branch unmittelbar folgen Falls sich herausstellt, dass tatsächlich eine Verzweigung erfolgen soll, müssen die begonnenen Instruktionen annulliert werden. 373

42 Pipelined MIPS Datapath Figure 3.22, page 163, CA:AQA 2/e Instruction Fetch Instr. Decode Reg. Fetch Execute Addr. Calc ory Access Write Back Next PC 4 Adder Next SEQ PC RS1 Adder MUX Equal? Address ory IF/ID RS2 Reg ID/EX MUX ALU EX/MEM Data ory MEM/WB MUX Imm Sign Extend RD RD RD WB Data 374

43 ``Delayed Branching Idee: Schiebe zwischen Berechnung des Sprungziels und Ausführung des Sprungs vom Sprungbefehl unabhängige Instruktionen: bedingter Sprungbefehl Nachfolgebefehl 1 } Verzögerungsplätze... (engl. delay slots), meist gilt n =1 Nachfolgebefehl n ggfs. Durchführung des Sprungs Die korrekte Verwendung verzögerter Sprünge liegt in der Verantwortung des Compiler-Entwicklers oder Assemblerprogrammierers. Beispiel: Transformiere add R1, R2, R3 bz R2, label < delay slot >... label:... zu bz R2, label add R1, R2, R3... label:

44 Dynamische Sprungvorhersage 2-Bit-Schema, das die Vorhersage bei zwei Fehlern ändert T T Predict Taken NT Predict Taken T NT Predict Not Taken T NT NT Predict Not Taken Branch Target Buffer (BTB) enthält Adresse des Sprungindexes, um Vorhersage zu ermitteln und die Sprungadresse, 376

45 Dynamische Instruktionsanordnung mehrere Funktionseinheiten => mehrere Instruktionen können gleichzeitig bearbeitet werden (multiple issue) Registers Data buses FP mult FP mult out-of-order Ausführung von Instruktionen FP divide Verwaltung bspsweise über sogenanntes Scoreboard FP add Integer unit IF wird zerlegt in Issue: Dekodiere, Test auf Strukturhazards Control/ status Scoreboard Control/ status Operand Fetch: Test auf Datenhazards 377

46 Beispiel für Scoreboard (CDC 6600, 1964) Pipelinephasen: - Issue: Instruktionsstart, falls - kein Strukturhazard - kein WAW-Hazard - Read Operands: - Test auf RAW Hazards Ziel Operanden Quellen Operand verfügbar? - Execution - Write Result - Test auf WAR-Hazards Welche Einheit wird schreiben? 378

47 Dynamische Registerumbenennung (nach Tomasulo, 1967) Einführung von virtuellen Registern (reservation stations) in jeder Funktionseinheit zur Speicherung von Operanden Resultate werden über den gemeinsamen Datenbus (CDB) verbreitet (Broadcast) Loads und Stores als funktionale Einheiten Vermeidung von WARund WAW-Hazards From instruction unit Floatingpoint From memory operation queue FP registers Load buffers Operand Store buffers 1 buses FP adders Operation bus Reservation stations FP multipliers Common data bus (CDB) To memory

48 Verarbeitungsstufen Issue Instruktion wartet, bis Platz in Zwischenpuffern frei ist (-> Registerumbenennung) Execute Warte, bis alle Operanden verfügbar Überwache CDB, um fehlende Operanden zu lesen Write Result Resultat wird in CDB geschrieben und von dort überall gelesen, wo es benötigt wird 380

49 ......

50 gleichzeitige Bearbeitung von bis zu 126 Mikrooperationen umfangreiche Warteschlangen 20 Pipelinestufen