Cache. Dr.-Ing. Volkmar Sieh. Institut für Informatik 3: Rechnerarchitektur Friedrich-Alexander-Universität Erlangen-Nürnberg SS 2011

Transkript

1 Cache Dr.-Ing. Volkmar Sieh Institut für Informatik 3: Rechnerarchitektur Friedrich-Alexander-Universität Erlangen-Nürnberg SS 2011 Cache 1/

2 Einleitung Hauptspeicherzugriffe sind langsam die wichtigsten Daten in der CPU zwischenspeichern was sind die wichtigsten Daten? die Daten, die demnächst (wieder) gebraucht werden welche Daten werden (vermutlich) demnächst gebraucht? die Daten, die zuletzt häufig gebraucht wurden ( temporale Lokalität ) die Daten, die nahe den zuletzt gebraucht Daten liegen ( räumliche Lokalität ) verschiedene Platzierungs-, Ersetzungs- und Rückschreibstategien Cache 2/

3 Cache-Position Cache 3/

4 Cache-Position Hinweis: 1st Level = Primary = L1 = Upstream 2nd Level = Secondary = L2 3rd Level = = L3 = Downstream Cache 4/

5 Virtueller Cache Cache 5/

6 Virtueller Cache Virtueller Cache: Vorteil: Adress-Umrechnung durch MMU vielfach nicht nötig Nachteil: bei Kontextwechseln (MMU rechnet Adressen anders um) Cache-Flush notwendig Cache 6/

7 Physikalischer Cache Cache 7/

8 Physikalischer Cache Physikalischer Cache: Vorteil: bei Kontextwechseln (MMU rechnet Adressen anders um) kein Cache-Flush notwendig Nachteil: Adress-Umrechnung durch MMU immer nötig Cache 8/

9 Harvard-Architektur Cache 9/

10 Harvard-Architektur Cache 10/

11 Caches Frage Wie groß sollte welcher Cache (mindestens) sein? Cache 11/

12 Caches-Blöcke Hinweis: Es werden i.a. nicht einzelne Bytes gecacht, sondern zusammenhängende Blöcke mit mehreren Bytes (z.b. 32 Bytes) Ausnutzung der räumlichen Lokalität Ausnutzung der Breite des externen Datenbusses Ausnutzung der Burst-Möglichkeit von externen Bussen geringerer Aufwand bei der Speicherung der zugehörigen Adressen Cache 12/

13 Caches-Blöcke Cache 13/

14 Caches-Blöcke Cache 14/

15 Caches-Blöcke Wie groß sollte bei unserer Beispiel-CPU die Cache-Block-Größe mindestens sein? Cache 15/

16 Caches-Blöcke Frage Es existiere folgendes Array (H und W seien große Zahlen): int array[h][w]; Welcher Algorithmus ist vermutlich der Schnellere: Algorithmus 1: sum = 0; for (x = 0; x < W; x++) { } for (y = 0; y < H; x++) { sum += array[y][x]; } Algorithmus 2: sum = 0; for (y = 0; y < H; x++) { for (x = 0; x < W; x++) { sum += array[y][x]; } } Cache 16/

17 Caches-Blöcke Frage Beim Pipelining sind Sprünge unangenehm. Eine Möglichkeit, sie zu umgehen ist Loop-Unrolling. Beispiel: Code: sum = 0; for (i = 0; i < 5; i++) { sum += array[i]; } Code mit Loop-Unrolling: sum = array[0]; sum += array[1]; sum += array[2]; sum += array[3]; sum += array[4]; Was bedeutet dies im Zusammenhang mit Caches? Cache 17/

18 Caches Frage Diskutieren Sie Delayed Branching im Zusammenhang mit Caches! Cache 18/

19 Caches Frage Beschreiben Sie, wie ein Cache die temporale Lokalität, räumliche Lokalität von Daten/Instruktionen nutzt! Cache 19/

20 Caches Platzierungsstrategie: wenn ein Datum aus dem Hauptspeicher zwsichengespeichert werden soll, muss ein Platz im Cache ausgewählt werden Ersetzungsstrategie: wenn der Cache gefüllt ist, muss ein altes Datum aus dem Cache entfernt werden, bevor ein neues Datum aufgenommen werden kann Schreibstrategie: wann werden im Cache modifizierte Daten in den Hauptspeicher zurückgeschrieben Cache 20/

21 Caches Platzierungsstrategien: Direct-Mapped: jeder Adresse im Hauptspeicher ist genau eine Speicherzelle des Caches zugeordnet N-Set-Associative: jeder Adresse im Hauptspeicher ist genau eine von N Speicherzellen des Caches zugeordnet Full-Associative: jeder Adresse des Hauptspeichers kann jede Speicherzelle des Caches zugeordnet werden Cache 21/

22 Direct-Mapped Caches Ein direct-mapped cache mit E Einträgen bildet die Adresse im Cache (CA) aus der Adresse im Speicher (MA) durch Berechnung von CA = MA mod E Cache 22/

23 Direct-Mapped Caches Cache 23/

24 Direct-Mapped Caches D.h. dass jeder Speicheradresse genau eine Cache-Adresse zugeordnet ist. Jeder Cache-Adresse entsprechen jedoch i.a. mehrere Speicheradressen. Daher muss zusätzlich zum gecachten Wert noch die Adresse des Wertes im Hauptspeichers vermerkt werden. Da ein Teil der Adresse schon in der Adresse des Caches implizit enthalten ist, reicht sogenanntes Tag : CA = MA mod E, Tag = MA/E Cache 24/

25 Direct-Mapped Caches Frage Es gilt: CA = MA mod E, Tag = MA/E Wie sollte E aussehen, damit die Lösung in Hardware möglichst einfach ist? Cache 25/

26 Direct-Mapped Caches Cache 26/

27 Direct-Mapped Caches Frage Wofür ist das Valid -Bit notwendig? Cache 27/

28 Direct-Mapped Caches Frage Es soll ein direct mapped Cache aufgebaut werden. Gegeben sind folgende Werte: die CPU besitzt einen 32-Bit-Adressbus der Cache soll 1 MByte Daten aufnehmen jede Cache-Zeile soll 64 Bits aufnehmen können es soll auf jedes Byte zugegriffen werden können Wieviele Bits werden für den Byte-Offset, den Index und das Tag benötigt? Wieviele Bits müssen jetzt wirklich im Cache gespeichert werden? Cache 28/

29 1-aus-N-Dekoder Frage Wie kann man eine einfache Hardware bauen, die folgendes Input-Output-Verhalten hat ( 1-aus-N-Dekoder ): EN I 2 I 1 I 0 O 0 O 1 O 2 O 3 O Cache 29/

30 Direct-Mapped Caches Frage Überlegen Sie sich, wie dieses Struktur-Bild eines direct-mapped Caches in Hardware übersetzt werden kann! Cache 30/

31 Direct-Mapped Caches Frage Kann ein Direct-Mapped-Cache gleichzeitig beschrieben und ausgelesen werden? Könnte man diese Eigenschaft gebrauchen? Cache 31/

32 Direct-Mapped Caches Frage Wie fügt sich der Cache in die Reihe CPU-Core Cache Main-Bus ein? Wie muss das Interface des Caches aussehen? Cache 32/

33 Direct-Mapped Caches Frage In der Werbung sieht man ab und zu Sprüche wie Die CPU besitzt einen 3 MByte großen First-Level-Cache Was sagen Sie dazu? Cache 33/

34 Direct-Mapped Caches Frage Zwei 32-Bit-CPUs besitzen jeweils 1 KByte große Direct-Mapped-Caches. In der einen CPU ist dieser organisiert als Cache mit 256 Cache-Zeilen zu je 4 Byte In der anderen CPU ist dieser organisiert als Cache mit 64 Cache-Zeilen zu je 16 Byte Welche Variante ist in Hardware einfacher aufzubauen? Welche CPU ist besser? Diskutieren Sie die Vor- und Nachteile! Cache 34/

35 Direct-Mapped Caches Frage Eine CPU besitze je einen Direct-Mapped-Cache für Instruktionen und Daten. Die Cache-Blöcke seien jeweils 4 Speicherworte groß. Überlegen Sie sich den Inhalt der Caches beim Ablauf folgendes Programmes: 16: xor %r2, %r2, %r2 17: add $2048, %r0, %r3 18: xor %r4, %r4, %r4 19: jmp +4 20: load (%r3), %r5 21: add %r5, %r4, %r4 22: add $1, %r2, %r2 23: add $1, %r3, %r3 24: cmp $16, %r2, %r2 25: jne -6 Warum sind die Adresse 16 und 2048 besonders gut gewählte Zahlen? Cache 35/

36 N-Set-Associative Caches Direct-Mapped Caches: Vorteil: sehr einfach => große Caches möglich Nachteil: in vielen Situationen wertlos (wenn mehrfach nacheinander auf Speicherzelle X und X + k E zugegriffen wird) => N-Set-Associative Caches Cache 36/

37 N-Set-Associative Caches Definition N-Set-Associative Cache : Jedes Datum kann an N Stellen im Cache gespeichert werden. (mit: E ist ganzzahliges Vielfaches von N) Cache 37/

38 N-Set-Associative Caches Ist ein Datum an mehreren Stellen speicherbar, müssen mehrere Tags gleichzeitig untersucht werden. => N-Set-Associative Caches benötigen N Vergleicher Cache 38/

39 N-Set-Associative Caches Cache 39/

40 Full-Associative Caches Spezialfall N = E: Jedes Datum kann in jeder Cache-Speicherzelle gespeichert werden: voll-assoziativer Cache Cache 40/

41 Caches Daumenregel: sehr großer Cache => direct-mapped mittlerer Cache => N-set-associative sehr kleiner Cache => full-associative Cache 41/

42 Ersetzungsstrategien Ist der Cache voll, muss vor dem Einlagern eines neuen Adress-/Werte-Paares ein altes aus dem Cache verworfen werden. Zwei gängige Verfahren gibt es: zufällig: hier wird irgendein zufälliges Paar ausgewählt LRU: (least recently used) hier wird das am längsten nicht mehr benutzte Paar überschrieben Pseudo-LRU: ähnlich LRU aber Hardware-mäßig einfacher (s.u.) das Zufallsverfahren ist in manchen Situationen besser als das (Pseudo-)LRU-Verfahren Cache 42/

43 LRU-Ersetzung LRU für zwei Einträge ist einfach: ein Bit kennzeichnet den jeweils zuletzt benutzten Eintrag echtes LRU für vier und mehr Einträge ist (zu) aufwändig Cache 43/

44 LRU-Ersetzung Frage Wie könnte man ein echtes LRU-Verfahren implementieren? Welche Informationen müsste man dafür im Cache speichern? Cache 44/

45 LRU-Ersetzung Vereinfachtes (Pseudo-) LRU für vier und mehr Einträge: jeweils zwei Einträge werden paarweise mit je einem Bit über LRU verwaltet jeweils zwei auf diese Art verwaltete LRU-Paare werden jeweils wieder mit je einem Bit über LRU verwaltet... Cache 45/

46 LRU-Ersetzung Cache 46/

47 LRU-Ersetzung Frage Auf folgende Adressen wird der Reihe nach in einem Cache zugegriffen, dessen Cache-Blöcke jeweils 16 Worte groß sind (voll-assoziativer Cache mit 4 Einträgen): 0x22, 0x78, 0x93, 0x50, 0x94, 0x37, 0x41, 0x74, 0x45, 0x5A Wie verhält sich das Pseudo-LRU-Verfahren im Vergleich zum LRU-Verfahren? Cache 47/

48 LRU-Ersetzung Anzahl der zusätzlichen Pseudo-LRU-Bits: 4-set-associative: 3 Bits 8-set-associative: 7 Bits 16-set-associative: 15 Bits... N-set-associative: N 1 Bits => i.a. werden nur Assoziativitätsgrade bis höchstens 8 oder 16 verwendet Cache 48/

49 LRU-Ersetzung Frage Bisher wurden die Pseudo-LRU-Verwaltungs-Bits neu berechnet, wenn auf den Cache zugegriffen wurde. Ist mit Zugriff eine Lese- oder ein Schreib-Zugriff gemeint? Oder werden die Bits in beiden Fällen angepasst? Cache 49/

50 LRU-Ersetzung Frage Wie müsste ein Pseudo-LRU-Cache Hardware-mäßig aufgebaut werden? Cache 50/

51 LRU-Ersetzung Frage Kann ein Cache mit LRU-Ersetzung gleichzeitig beschrieben und ausgelesen werden? Cache 51/

52 LRU-Ersetzung Frage Kann man einen 14-fach-assoziativen Speicher bauen? Macht das Sinn? Cache 52/

53 Schreibstrategien Hier zunächst der Ansatz: Im Cache geänderte Daten werden auch sofort im Hauptspeicher aktualisiert bzw. in die I/O-Geräten geschrieben. Andere Strategien: später... Cache 53/