Analyse aktueller Cache-Architekturen hinsichtlich Struktur und Effizienz. Markus Krause

Transkript

1 Analyse aktueller Cache-Architekturen hinsichtlich Struktur und Effizienz Markus Krause Dresden,

2 Gliederung 1. Einführung 2. Problemstellung 3. Lösungen a) Miss Rate b) Miss Penalty c) Hit Time 4. Zusammenfassung 5. Quellen Cache-Architekturen Folie Nr. 2 von 18

3 Einführung Wieso verwenden wir überhaupt Cache? CPU-Memory-Gap wächst immer weiter Cache-Architekturen Folie Nr. 3 von 18

4 Einführung Cache arbeitet mit Hilfe von Locality 2 Arten von Locality: Zeitlich Räumlich CPU L1 Cache Register L2 Cache L3 Cache Speicher Cache-Architekturen Folie Nr. 4 von 18

5 Problemstellung Die 3 entscheidenden Größen bei Cache- Architekturen: 1. Miss Rate 2. Miss Penalty 3. Hit Time Cache-Architekturen Folie Nr. 5 von 18

6 Problemstellung Warum aber nicht einfach 1-stufiger Cache??? riesige Miss Penalty deswegen großer L1 aber langsame Hit Time deswegen mehrstufiger Cache Cache-Architekturen Folie Nr. 6 von 18

7 Lösungen Miss Rate Einsatz eines Victim Cache Block J gesucht L1 Cache A B C D E F G H J Victim Cache I H J K L Block J gefunden Blöcke J und H ausgetauscht bis zu 95% Konfliktreduzierung Cache-Architekturen Folie Nr. 7 von 18

8 Lösungen Miss Rate Verbesserungen des Victim Cache Miss Table: locked einzelne Blöcke bis zu 31% Miss Rate- und 38% Energieverbrauch- Reduzierung nur für größere Datenmengen Selektiver VC: Algorithmus basierte Optimierung 21% Verbesserung der Miss Rate 70% Reduktion des Blockaustauschs Cache-Architekturen Folie Nr. 8 von 18

9 Lösungen Miss Rate Stream Buffer L1 Cache Block L O A B C D O E F G L gesucht H Stream Buffer M N O P in Stream Buffer suchen Block L gefunden L2 Cache Stream Buffer lädt I J K L M N O P Cache-Architekturen Folie Nr. 9 von 18

10 Lösungen Miss Penalty Read over Write Write Buffer 2 Möglichkeiten für Schreibvorgang Write-Through Write-Back Einsatz eines Write Buffers führt zu RAW Konflikten bis zu 50% größere Penalty Verhalten des Write Buffers anpassen zuerst in Buffer schauen Daten von L2 in Write Buffer kopieren Cache-Architekturen Folie Nr. 10 von 18

11 Lösungen Miss Penalty Early Restart und Critical Word First praktisch bei großen Blöcken räumliche Locality möglicherweise Problem Cache-Architekturen Folie Nr. 11 von 18

12 Lösungen Miss Penalty CAM Zellen bei AMD zwar größerer Cache jedoch besonders im L3 deutlich langsamer möglicher Grund ist der Einsatz von CAM Zellen Cache-Architekturen Folie Nr. 12 von 18

13 Lösungen Miss Penalty CAM Zellen prinzipiell 2 Aufgaben: Speicher Vergleicher besteht aus 9 10 T aber größere Leistungsaufnahme und quadratisches Delay Trade-Off zwischen Chip-Fläche und Miss Penalty Cache-Architekturen Folie Nr. 13 von 18

14 Lösungen Hit Time Small and Simple Caches kleiner, direct mapped L1 Cache erhöht Miss Rate bei L1 nicht so entscheidend wird in praktisch allen heutigen Prozessoren verwendet Cache-Architekturen Folie Nr. 14 von 18

15 Lösungen Hit Time Avoiding Address Translation viele Prozessoren setzen auf virtuelle Adressierung des Speichers phyischer TAG und virtueller Index Problem der Homonyme und Synonyme aufgrund von Synonymen mittlerweile komplett physische Adressierung in größeren Caches Trade Off zwischen Geschwindigkeit und Konsistenz Cache-Architekturen Folie Nr. 15 von 18

16 Lösungen Hit Time Pipelined Writes Hit Time bezieht sich auch auf Write im ersten Takt Adress-Tag Vergleich im zweiten Takt schreiben und nächster Vergleich Cache-Architekturen Folie Nr. 16 von 18

17 Zusammenfassung viele verschiedene Möglichkeiten zur Cache Optimierung vorhanden Victim Cache und Optimierungen Write Buffer und CAM Zellen kleiner einfacher L1 und pipelined Writes Cache-Architekturen Folie Nr. 17 von 18

18 Quellen - e/architecture-2008/hennessy-patterson/ch5-fig02.jpg alle Quellen aus schriftlicher Ausarbeitung Cache-Architekturen Folie Nr. 18 von 18

19 Zusatz Non-Blocking Cache trotz Miss weiter arbeiten auch mehrere Misses möglich Out-Of-Order Completion nötig Cache-Architekturen Folie Nr. 19 von 18