Einführung in die Systemprogrammierung

Transkript

1 Einführung in die Systemprogrammierung Caches in der Praxis Prof. Dr. Christoph Reichenbach Fachbereich 12 / Institut für Informatik 17. Juli 2015

2 Cache-Architektur Mehrere Cache-Stufen, z.b.: Speicherplatz Zugriffszeit Reg. 1 kib sofort L1 64 kib 4 Zyklen L2 256 kib 10 Zyklen L3 8 MiB Zyklen Arbeitsspeicher 512 GiB 200 Zyklen Festspeicher groß > Zyklen L1-Cache wird meist getrennt in: Instruktionscache (I-Cache) Datencache (D-Cache)

3 Modifizierte Harvard-Architektur Trennung in Instruktions- und Datencaches ergibt Struktur wie in Harvard-Architektur Lesen, Schreiben, Ausführen prinzipiell mit allen Speicheradressen weiter möglich Ausführung fließt durch I-Cache Lesen/Schreiben fließt durch D-Cache I-Cache D-Cache PSp Reg ALU DSp Reg

4 Speicherlayout mit Caches (Beispiel) Prozessor Arbeitsspeicher Northbridge Kern Kern L1I L1D L2 L1I L1D L2 L3 Southbridge Kern Kern L1I L1D L1I L1D L2 L2 Festspeicher

5 Weitere Cache-Details Zeilengröße: Cachezeilen sind meist größer als ein Byte Datenteilung zwischen Caches: Dupliziert L1 die L2 (L2 die L3,... )-Inhalte? Prefetching: Speicher laden, bevor er benötigt wird

6 Cachezeilengröße und Räumliche Lokalität Räumliche Lokalität: Daten, die im Speicher nahe beieinander liegen, werden oft zusammen gelesen/geschrieben

7 Zeilengröße Caches wie bisher gezeigt nutzen temporale Lokalität Nutzung von räumlicher Lokalität: Ein Rechner mit 64-Bit-Registern schreibt/liest meist 32 oder 64 Bit (n k ) gleichzeitig Wir können mehrere Bytes pro Cache-Zeile speichern Mehr als 8 Bytes: hilft bei Zeichenketten und anderen Datenstrukturen Hintere k bit werden als Indizes in Werteintrag in Cachezeile verwendet Adresse: V Tag Wert Index x

8 Direkt abgebildeter Cache: Erweitertes Beispiel Cachezeilengröße 32 Bit V Tag Cachezeile Idx lbu $t0, 0b ($0) Fehlz F4F lbu $t0, 0b ($0) Treffer Speicherinhalt Adresse b A4 FF C3 10 e b F 4F

9 Realistischer satzassoziativer L1-Cache Haswell, L1 Datencache: Adresse: Satz-Index: 6 Bits Tag: 36 Bits Bytenr. in Cachezeile: 6 Bits 2 15 Bytes (= 32 kib) insgesamt im Cache 2 6 = 64 Bytes Cachezeilengröße 2 6 = 64 Cachesätze 2 3 = 8-fach satzassoziativ 2 9 = 512 Cache-Zeilen

10 Datenteilung zwischen Caches Inklusive Cacheteilung Daten in L1 müssen auch in L2 liegen Daten in L2 müssen auch in L3 liegen Vereinfacht Kommunikation zwischen Prozessorkernen (z.b. Intel seit Core) L1 L E20 0E Exklusive Cacheteilung Daten dürfen nicht gleichzeitig in mehreren Caches liegen Nutzt Cache-Speicher besser aus (z.b. AMD Athlon) L1 L AF90 0E20 AF

11 Prefetching Wenn wir vorhersagen könnten, welche Daten gelesen werden müssen, könnten wir Caches weiter beschleunigen Prefetching: Laden von Werten in den Cache, bevor sie benötigt werden Bessere Nutzung räumlicher Lokalität Varianten: Explizit: Programm löst prefetching aus: uldl zero, 0(t2) (Lesen in $zero-register, Alpha) Prozessor läd Wert in Cache, hält Programm nicht an Implizit: Prozessor sagt Zugriff heuristisch voraus Herausforderungen: Falsche Adresse geladen: Speicherbandbreite/Cachezeile verschwendet Zu früh geladen: Wert evtl. gelöscht vor Nutzung Zu spät geladen: Prefetch hilft nur teilweise

12 k-schritt prefetching Häufiges Speicherzugriffsmuster: la $t0, adresse loop: lw 0($t0) addi $t0, $t0, j loop Wir lesen von adresse, adresse+40, adresse+80, adresse+120, adresse+160,... k-schritt prefetching (k-stride prefetching): Erkennt Lesezugriffe nahe beieinander mit konstanter Schrittgröße Löst automatische prefetches aus Von vielen modernen Prozessoren unterstützt

13 Zusammenfassung: Cache-Eigenschaften Cache-Typ k-fach satzassoziativ Sonderfälle: Direkt abgebildet (k = 1) Vollassoziativ (k = #Einträge) Zeilengröße / Blockgröße (Bytes pro Cache-Zeile) Ersetzungsstrategie (für assoziative Caches): LRU Zufällig Inklusiver Cache / Exklusiver Cache Prefetch ermöglicht frühes Laden

14 Zusammenfassung: Caches Ausnutzung von temporaler und räumlicher Lokalität Teil der Speicherhierarchie: L1, L2, L3,... Trennung von L1 in Daten- und Instruktionscache