Grundlagen der Informationsverarbeitung:

Transkript

1 Grundlagen der Informationsverarbeitung: Parallelität auf Instruktionsebene Prof. Dr.-Ing. habil. Ulrike Lucke Durchgeführt von Prof. Dr. rer. nat. habil. Mario Schölzel Maximaler Raum für Titelbild (wenn kleiner dann linksbündig an Rand angesetzt) UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 1

2 Wiederholung: Befehlsverarbeitung 1 Instruction Fetch IF 2 Instruction Decode, ister Fetch ID 3 Execution, Memory Address Computation, Branch Completion EX 4 Memory Access, R-type Instruction Completion MEM 5 Memory Read Completion (Write Back) WB UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 2

3 Wiederholung: Ein-/Mehrzyklenimplementierung T 1 T 2 Einzyklenimplementierung lw sw T 1 T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9 Mehrzyklenimplementierung IF ID EX MEM WB IF ID EX MEM UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 3

4 Inhalt der Vorlesung Binäre Modellierung Codierung von Zahlen und Zeichen Boolesche Funktionen Schaltnetze Schaltungsentwurf Schaltwerke Minimierungsverfahren Grundbausteine der Computertechnik Befehlsverarbeitung in einem Prozessor Rechenwerke Assembler-Ebene Steuerwerke Parallelität auf Instruktionsebene Speicherhierarchie Leistungsbewertung UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 4

5 Parallelitätsebenen Ebene Realisierung Beispiel Programm (Multitasking) Prozess (Multithreading) Funktionseinheiten (Befehle) Befehlsstrom Datenstrom Bit Software Software Hardware Hardware Hardware Hardware Betriebssystem Compiler/ Programmierer mehrere (Integer-)s Mehrkernprozessor Vektorrechner Bitparallelität (8-, 16-, 32-, 64-Bit) UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 5

6 Tipp Ordnen Sie den genannten Ebenen für verschiedene Szenarien, z.b. Ihre normale PC-Arbeitsumgebung Taschenrechner Bordcomputer im Auto jeweils konkrete Ausprägungen zu! UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 6

7 Klassifikation von Flynn Data Stream single multiple SIMD SISD MIMD MISD single multiple Instruction Stream UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 7

8 Single Instruction Single Data UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 8

9 Single Instruction Multiple Data UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 9

10 Multiple Instruction Multiple Data UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 10

11 Multiple Instruction Single Data UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 11

12 Tipp Beschreiben Sie beispielhafte Realisierungen für die vier von Flynn definierten Kategorien! UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 12

13 Pipelining Echte Paralellität: Anweisungen werden gleichzeitig und unabhängig voneinander ausgeführt Hardware-Einheiten sind mehrfach vorhanden Nebenläufigkeit: Anweisungen werden unabhängig voneinander ausgeführt, egal ob nacheinander oder gleichzeitig Verschiedene Hardware-Realisierungen UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 13

14 Pipelining: Beispiel Waschsalon 4 Kunden anwesend waschen, trocknen und zusammenlegen A B C D Waschen 30 Minuten Trocknen 40 Minuten Zusammenlegen 20 Minuten UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 14

15 Sequentielles Waschen benötigt 6 Stunden für 4 Waschgänge 18h Mitternacht Zeit R e i h e n f o l g e A B C D UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 15

16 Waschen mit Pipelining benötigt 3,5 Stunden für 4 Waschgänge 18h Mitternacht Zeit R e i h e n f o l g e A B C D UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 16

17 Pipelining Die Laufzeit eines einzelnen Task wird nicht verkürzt, aber der Durchsatz der gesamten Taskmenge wird erhöht. Die langsamste Stufe bestimmt die Pipeline Rate. Mehrere Tasks werden an verschiedenen Stellen gleichzeitig ausgeführt. potentieller Speedup = Zahl der Pipeline-Stufen Speedup wird reduziert durch: unbalancierte Länge der einzelnen Pipeline-Stufen Auffüllen und Entleeren der Pipeline Konflikte UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 17

18 RISC-Prozessoren Reduced Instruction Set - optimiert für Pipelining festes Befehlsformat (bzw. nur wenige Formate) Speicherzugriffe nur mit load/store-befehlen diverse Allzweckregister (General Purpose ister) 3-Adressen-Befehle für Arithmetik (ister ister) feste Adressierungsart für load/store Base + Displacement einfache Sprungbedingungen UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 18

19 5-stufiger Datenpfad IF Instruction Fetch (Befehl holen) ID Instruction Decode (Befehl interpretieren) EX Execute (Befehl ausführen) MEM Memory Access (Speicherzugriff) WB Write Back (Rückschreiben) UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 20

20 Befehlsausführung sequentiell Befehl 1 Befehl 2 Befehl 3 IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB Pipelining I 1 I 2 I 3 I 4 I 5 IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 21

21 Vergleich: Einzyklen, Mehrzyklen, Pipelining Einzyklen- Implementierung T 1 T 2 lw sw T 1 T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9 Mehrzyklen- Implementierung lw IF ID EX MEM WB IF ID EX MEM sw Pipelining- Implementierung lw IF ID EX MEM WB sw IF ID EX MEM WB UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 22

22 Speedup durch Pipelining gegenüber einer Implementierung ohne Pipelining, in der alle Instruktionen k Stufen benötigen k Pipelinestufen IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB IF ID EX MEM WB n Instruktionen Speedup = k n k + n 1 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 23

23 Beispiel: Speedup mit 5-stufiger Pipeline 10 Instruktionen s = (10 5) / (5+10-1) = 3, Instruktionen s = (1000 5) / ( ) = 4, Instruktionen s = ( ) / ( ) = 4, asymptotischer Speedup: lim n k k + n n 1 = k UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 24

24 Tipp Vollziehen Sie diese Berechnung des Speedups für Pipelines mit 6, 12 und 20 Stufen nach! UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 25

25 Einführung von Pipelineregistern Stufenübergänge: IF/ID, ID/EX, EX/MEM, MEM/WB steigende Taktflanke: Pipelineregister übernehmen die Werte am Eingang UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 26

26 Beispiel: Befehlsverarbeitung (Takt 0) 0 0: ld r0, [r1, 5] 4: add r2,r3,r4 8: nop 12: ld r5, [r6, 2] UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 27

27 Beispiel: Befehlsverarbeitung (Takt 1) r1= x : ld r0, [r1, 5] 4: add r2,r3,r4 8: nop 12: ld r5, [r6, 2] Binärcode von ld r0, [r1, 5] UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 28

28 Beispiel: Befehlsverarbeitung (Takt 2) r3=300 r4= x x 0: ld r0, [r1, 5] 4: add r2,r3,r4 8: nop 12: ld r5, [r6, 2] Binärcode von add r2,r3,r4 Steuersignale von ld r0, [r1, 5] Operandenwerte von r1 und 5 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 29

29 Beispiel: Befehlsverarbeitung (Takt 3) x x x x : x x 0: ld r0, [r1, 5] 4: add r2,r3,r4 8: nop 12: ld r5, [r6, 2] Binärcode von nop Steuersignale von add r2,r3,r4 Operandenwerte von r3 und r4 Ergebnis von ld r0, [r1, 5] UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 30

30 Beispiel: Befehlsverarbeitung (Takt 4) r6=600 r0 := 1234 r0 oder r5? 6 x 600 x x x x : ld r0, [r1, 5] 4: add r2,r3,r4 8: nop 12: ld r5, [r6, 2] Binärcode von ld r5, [r6, 2] Steuersignale von nop Ergebnis von add r2,r3,r4 Ergebnis von ld r0, [r1, 5] UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 31

31 Behandlung von Steuerinformationen Steuersignale in der ID-Stufe generiert, z.t. aber erst später benötigt Adresse des Zielregisters liegt in ID-Stufe vor, aber in WB-Stufe verwendet in Pipelineregister aufnehmen UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 32

32 Pipeline-Visualisierung Zeit (Clockzyklen) Zyklus 1 Zyklus 2 Zyklus 3 Zyklus 4 Zyklus 5 Zyklus 6 Zyklus 7 R e i h e n f o l g e I 1 I 2 I 3 I 4 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 33

33 Relevanz von Pipelining in allen modernen Prozessoren verwendet! Performancesteigerung durch Pipelining mit k Stufen gegenüber Einzyklenimplementierung: kürzerer Takt Die einzelnen Stufen sind i.a. nicht ausbalanciert (nicht gleich lang) Die zusätzlichen Pipelineregister haben Verzögerungszeiten gegenüber Mehrzyklenimplementierung: kleinerer CPI-Wert Im besten Fall steigert Pipelining die Performance um den Faktor k Wie kann eine ISA Pipelining unterstützen? alle Instruktionen gleich lang wenige Befehlsformate, einheitliche Codierungen wenige, einfache Adressierungsarten Speicheroperationen nur über load/store Operanden an Wortgrenzen ausgerichtet (Alignment Restriction) RISC UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 34

34 Tipp Visualisieren Sie im Blockschaltbild der Pipeline die Abarbeitung eines Ihrer eigenen Assemblerprogramme! UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 35

35 Probleme beim Pipelining Konflikte / Hazards verhindern das Ausführen von Befehlen Structural Hazards: vorhandene Hardware kann die Instruktionskombination nicht unterstützen, z.b. mehrere Zugriffe auf einen Speicher zur gleichen Zeit Data Hazards: Instruktion muss auf ein Ergebnis einer vorhergehenden Instruktion warten, z.b. R-Typ-Befehle: neuer Inhalt eines isters wird in Stufe 3 (EX) zwar berechnet, aber erst in Stufe 5 (WB) ins isterfile geschrieben Control Hazards: Ergebnis einer Sprunginstruktion (Sprung oder nicht, Sprungadresse) ist nicht bekannt, während die Folgebefehle bereits in der Pipeline sind UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 36

36 Structural Hazards Beispiel: Single-Ported-Memory Zyklus 1 Zyklus 2 Zyklus 3 Zyklus 4 Zyklus 5 Zyklus 6 Zyklus 7 Load Instr. 2 Instr. 3 Instr. 4 Instr. 5 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 37

37 Auflösung von Structural Hazards geeignete Implementierung der Pipeline bspw. getrennte Speicher für Programme und Daten Harvard-Architektur: getrennte Speicher/Busse für Instruktionen und Daten bspw. Schreiben und Lesen des isterfiles in einem Taktzyklus nicht vermeidbare Structural Hazards: nachfolgende Instruktionen müssen warten Pipeline wird angehalten, Pipeline Stall / Bubble / nop-befehl eingefügt UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 38

38 Pipeline Stall Zyklus 1 Zyklus 2 Zyklus 3 Zyklus 4 Zyklus 5 Zyklus 6 Zyklus 7 Instr. 1 Instr. 2 Instr. 3 Stall nop nop nop nop nop Instr. 4 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 39

39 Tipp Welche Auswirkungen hat das Einfügen eines nop-befehls bei Pipelines mit 5, 12, 20,... Stufen? UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 40

40 Data Hazards Beispiel IF ID/RF EX MEM WB add r1,r2,r3 sub r4,r1,r3 and r6,r1,r7 or r8,r1,r9 xor r10,r1,r11 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 41

41 Auflösung von Data Hazards Daten in der Pipeline so früh wie möglich bereitstellen Forwarding / Bypassing Das Ergebnis einer Instruktion steht bereits nach der EX-Phase den nachfolgenden Instruktionen zur Verfügung Pipeline anhalten bis der Konflikt aufgelöst wurde Einfügen von nop-instruktionen Prozessorsteuerung Umordnen der Instruktionen, um Data Hazards zu vermeiden optimierende Compiler Prozessorsteuerung UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 42

42 Forwarding Daten weiterleiten, sobald Ergebnis vorliegt add r1,r2,r3 sub r4,r1,r3 and r6,r1,r7 or r8,r1,r9 xor r10,r1,r11 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 43

43 Hardware-Modifikation für das Forwarding UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 44

44 Datenkonflikte trotz Forwarding Ergebnis liegt zu spät vor ld r1, [r2, 0] sub r4,r1,r6 and r6,r1,r7 or r8,r1,r9 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 45

45 Pipeline anhalten / Leeroperationen Controller erkennt Konflikte in der entsprechenden Stufe Einfügen von Leeroperationen, Warten der Folgebefehle ld r1, [r2, 0] sub r4,r1,r6 nop and r6,r1,r7 nop or r8,r1,r9 nop UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 46

46 Software Scheduling Compiler fügt Leeroperationen ein wird hardwareabhängig, da er die Pipelinestruktur kennen muss Instruction Count wird größer, Performance sinkt sub r2, r1, r3 nop nop nop nop nop nop nop nop nop nop nop nop and r12, r2, r5 or r13, r6, r2 add r14, r2, r2 st r15, [r2, 100] UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 47

47 Tipp Untersuchen Sie die bereits von Ihnen erstellten Assembler-Programme: Wie oft finden Sie Data Hazards? UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 48

48 Control Hazards treten bei Verzweigungen und Sprüngen auf: Berechnung der Sprungadresse erfolgt in der EX-Stufe Sprungentscheidung wird in der MEM-Stufe getroffen Performance-Verlust 10: cbz r1,36 14: and r2,r3,r5 18: or r6,r1,r7 22: add r8,r1,r9 36: xor r10,r1,r11 UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 49

49 Auflösung von Control Hazards 1. Anhalten der Pipeline bis Sprungentscheidung und -adresse vorliegen 2. Spekulative Ausführung (einfache Sprungvorhersage) 3. Branch Delay Slots (verzögerter Sprung) 4. Branch Prediction (Sprungvorhersage) Prozessorarchitektur Vorlesung UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 50

50 Tipp Untersuchen Sie die bereits von Ihnen erstellten Assembler-Programme: Wie oft finden Sie Control Hazards? UNIVERSITÄT POTSDAM Institut für Informatik & Computational Science Komplexe Multimediale Anwendungsarchitekturen 57