Anforderungsanalyse für Daten-Caches für die SHAP-Mikroarchitektur

Transkript

1 Fakultät Informatik Institut für technische Informatik, Professur für LSI-Entwurfssysteme, iagnostik und Architektur Anforderungsanalyse für aten-caches für die SHAP-Mikroarchitektur ortrag zum Beleg 30. Juli 2008 Stefan Alex

2 Gliederung 1. Aufgabenstellung 2. Caches - Grundlagen/Organisationsstrukturen 3. Lokalitätsprinzip 4. Analytische Modelle 5. orgehensweise 6. Quellen Folie 2 von 24

3 1. Aufgabenstellung Literaturstudium zu Strategien für aten-caches unter den Aspekten: Caching von atenstrukturen (Objekte), Besonderheiten im Multi-Core-Bereich und praktischer Anwendung in eingebetteten Systemen. Entwurf von Protokollierungseinheiten für die Analyse der zeitlichen Lokalität von Objektaktivierungen einerseits und für die Analyse der zeitlichen und örtlichen Lokalität der Speicherzugriffe innerhalb der Objekte andererseits. Implementierung der Protokollierungseinheiten im Prozessorsimulator ITO als auch in Hardware (HL). Gegenseitiger Test anhand einer einfachen, dafür zugeschnittenen Testapplikation. Bestimmung der unter Punkt 2 genannten Kenndaten für mindestens 3 verschiedene, selbst gewählte Applikationen. araus ableitend, Formulierung von Anforderungen für den zukünftigen Entwurf eines TLB und eines aten- Caches. Zusammenfassung und okumentation der Ergebnisse. Folie 3 von 24

4 2. Caches - Grundlagen/Organisationsstrukturen Cache französisch cacher - verstecken häufig gebrauchte Speicherworte in prozessornahen Speicher erstmals vorgeschlagen 1965 von Wilkes erstmalig implementiert im IBM System 360/85 im Jahr 1968 Ziel: hohe Bandbreite, großer Speicher, geringe Latenz, geringe Kosten Folie 4 von 24

5 2. Caches - Grundlagen/Organisationsstrukturen Assoziativität irect Mapped Adresse Tag Index Zeilenanwahl Byteadresse Wortadresse Tag 0 Tag 1 Tag 2 Tag 3 Tag Komparator Tag Hit alid Hit & Cache Hit Wort Auswahl 32 Many-to-one-mapping der Speicheradressen in den Cache Quelle: nach [7] theoretisch große Blöcke in Cache speicherbar Folie 5 von 24

6 2. Caches - Grundlagen/Organisationsstrukturen Assoziativität Set associative Adresse Tag Zeilenanwahl Index Byteadresse Wortadresse Tag 0 Tag 1 Tag Komparator Tag 0 Tag Wort Auswahl 32 Tag Komparator Wort Auswahl Many-to-few-mapping & & 32 1 Cache Hit Quelle: nach [7] Folie 6 von 24

7 2. Caches - Grundlagen/Organisationsstrukturen Assoziativität Fully associative Adresse Tag Byteadresse Wortadresse Tag 0 Komparator Tag 1 Komparator Tag 2 Komparator Tag 3 Komparator Tag 2047 Komparator Many-to-many-mapping 1 Tag Hit Wort Auswahl alid Hit Cache Hit & Quelle: nach [7] ergleich mit allen Tags nötig / LRU schwierig zu implementieren 32 Folie 7 von 24

8 2. Caches - Grundlagen/Organisationsstrukturen erdrängungsstrategien FIFO (First In, First Out) LRU (Least Recently Used) LFU (Least Frequently Used) NMRU (Not Most Recently Used) Round Robin Random Folie 8 von 24

9 2. Caches - Grundlagen/Organisationsstrukturen Strategien Schreibstrategien Write-through Write-allocate Non-write-allocate Copy-back Mischvarianten Zugriffsstrategien Look Aside Look Through Folie 9 von 24

10 2. Caches - Grundlagen/Organisationsstrukturen Optimierungsstrategien zusätzliche Speicher ictim Buffer Write Buffer Linefill Buffer Pseudo-assoziative Caches Profiling (Way Prediction,...) alternative Implementierungen: Hash-Caches, Skew-Caches, Smart Caches,... Folie 10 von 24

11 3. Lokalitätsprinzip Zeitliche Lokalität temporal locality aten werden nach kurzer Zeit wieder referenziert Ursachen: z.b. Programmschleifen, Hot-Spot-ariablen Konsequenzen: aten möglichst lange im Cache halten Cache-Größe, Assoziativität, erdrängungsstrategie Metrik: Stack-istanz Folie 11 von 24

12 3. Lokalitätsprinzip Stack-istanz Analyse des Adresstraces Zuordnung einer Stack-istanz zu jedem Zugriff Stack-istanz von A: Anzahl unterschiedlicher Zugriffe seit letzten Zugriff auf A verschiedene Granularität: Cache-Line, Speicheradresse Ziel: Charakterisierung von Programmen, Klassifikation von Cache-Misses, Grundlagen für analytische Modelle Quelle: [5] Folie 12 von 24

13 3. Lokalitätsprinzip Stack-istanz Stack istance istribution 0,25 0,2 sdd d = T eq d,s [t] t=0 T 1 0,25 0,2 sdd/100 0,15 0,1 sdd/100 0,15 0,1 0,05 0, Stack istance Stack istance Beispiele für hohe Lokalität (links) und niedrige Lokalität (rechts) Klassifikation von Cold-, Capacity- und Conflict-Misses (Three C's-Modell) Folie 13 von 24

14 3. Lokalitätsprinzip Stack-istanz Stack istance istribution 0,25 0,2 sdd d = T t=0 eq d,s [t] T 1 0,25 0,2 sdd/100 0,15 0,1 sdd/100 0,15 0,1 0,05 0, Stack istance Stack istance Beispiele für hohe Lokalität (links) und niedrige Lokalität (rechts) Klassifikation von Cold-, Capacity- und Conflict-Misses (Three C's-Modell) Folie 14 von 24

15 3. Lokalitätsprinzip Örtliche Lokalität spatial locality Adressen in der Nähe kürzlich verwendeter aten werden aufgerufen Ursache: z.b. atenstrukturen (Objekte, Arrays, Matrizen), Instruktionen Konsequenzen: neben eigentlichen aten Nachbardaten in Cache laden Größe einer Cache-Line Metrik: verschiedene Folie 15 von 24

16 3. Lokalitätsprinzip Örtliche Lokalität - Metriken Markov-Modell Berechnung von Wahrscheinlichkeiten für urchläufe mit Schrittweite 1 durchschnittliche Länge der urchläufe kann bestimmt werden Stride eines Zugriffes (Block istanz) Abstand zu nächsten Nachbarn, der in bestimmtem Zeitfenster vorher aufgerufen wurde Look Back Window i 1 i i Stride(i) = 1 Folie 16 von 24

17 4. Analytische Modelle Modell nach Agarwal, Horowitz & Hennessy Analyse des Adresstraces Einteilen in Time Granules (Zeitintervalle) Bestimmen von Parametern pro Time Granule Errechnen von urchschnittswerten Klassifikation von Cache-Misses Start-up misses Nonstationary misses Intrinsic Interference Extrinsic Interference Folie 17 von 24

18 4. Analytische Modelle Modell nach Agarwal, Horowitz & Hennessy Zielfunktion: C S B τ T t u(b) U(B) c m C, t = u B t U B u B T c d = [u B d =0 S d P d ] Cache-Organisation (S,, B) Anzahl an Sets Grad der Assoziativität Block-Größe Anzahl der Referenzen pro Time Granule Anzahl an Time-Granules Time-Granule durchschnittliche Anzahl an verschiedenen Speicherblockzugriffen pro Time Granule Anzahl unterschiedlicher Speicherblockzugriffe pro Trace Kollisionsrate Folie 18 von 24

19 4. Analytische Modelle Modell nach Agarwal, Horowitz & Hennessy Örtliche Lokalität arstellung durch 2-stufiges Markov-Modell Berechnung der Anzahl unterschiedlicher Zugriffe pro Time-granule auf Basis von Wahrscheinlichkeiten 0,56 R1 R2 0,44 0,88 u B = u 1 l av l= l =1 f R l 1 l 1 1 l1 B =u 1 B f l2 1 f l1 f l Folie 19 von 24

20 4. Analytische Modelle Modell nach Agarwal, Horowitz & Hennessy Bestimmung der Collision Rate durch repräsentative Messung im Adresstrace Annahmen: erteilung der Blöcke auf die Sets gleichwahrscheinlich zufällige Ersetzungsstrategie Multiprogramming-Erweiterung: m i C, t i extrinsic = 1 t i t 1 i t s d= S d =0 e=u i' B P i d e= 1 n= MIN d,e e n=0 n d n 1 d e n P i ' e Folie 20 von 24

21 4. Analytische Modelle Modell nach Brehob, Enbody Auswertung der Stack-istanzen Wahrscheinlichkeit für jeden Zugriff, ob atum im Cache A Assoziativität Stack istance B Cache-Größe durchschnittlicher Fehler: 3 % a= A 1 P HIT = a=0 a A a B B A a B wenige Parameter, Erweiterbar auf Örtliche Lokalität, Non-standard-Caches Folie 21 von 24

22 5. orgehensweise Implementierung von Protokollierungseinheiten Protokollieren von Zugriff, Adresse, Lese- oder Schreibzugriff, (aten/instruktionen) Folie 22 von 24

23 5. orgehensweise Aufzeichnen des Adress-Traces Übertragen an PC mittels UART/USB-Schnittstelle Charakterisierung und Auswahl geeigneter Testapplikationen Implementierung eines Cache-Simulators Analyse der Adress-Traces im Simulator für verschiedene Cache-Konfigurationen Anwendung 1 Anwendung 2 Anwendung 3 PE SHAP Locality Analyzer Cache Simulator f(x) Folie 23 von 24

24 5. orgehensweise Analyse der Lokalität evtl. Anpassung der analytischen Modelle Implementierung der Zielfunktion, ergleich mit Simulatorergebnissen Abschätzung des Hardwareaufwandes Ermittlung geeigneter Cache-Konfigurationen Anwendung 1 Anwendung 2 Anwendung 3 PE SHAP Locality Analyzer Cache Simulator f(x) Folie 24 von 24

25 6. Quellen [1] John L. Hennessy, avid A. Patterson, Computer Architecture A Quantitative Appoach, Morgan Kaufmann, 2003 [2] Martin Zabel, Peter Reichel, Rainer G. Spallek, Multi-Port-Speichermanager für die Java-Plattform SHAP, 2008 [2] Anant Agarwal, Mark Horowitz, John Hennessy, An Analytical Cache Model, Computer Systems Laboratory, Stanford University [3] Mark Brehob, Richard Enbody, An Analytical Model of Locality and Caching, Michigan State University, epartment of Computer Science and Engineering [4] Jonathan Weinberg, Michael O. McCracken, Allan Snavely, Erich Strohmaier, Quantifying Locality In The Memory Access Patterns of HPC Applications, San iego Supercomputer Center, University of California, San iego [5] Kristof Beyls, Erik H. 'Hollander, Reuse istance as a Metric for Cache Behavior [6] Cory J. Fox, James S. Gonzalez, Kelley C. Jones, Studying the Quantitative Effects of Parameter ariation on Temporal and Spatial Locality, epartment of Computer Science, Florida State University [7] Prof. r.-ing. Reinhold Orglmeister orlesung Mikroprozessortechnik, TU Berlin, Fachgebiet Elektronik und medizinische Signalverarbeitung Folie 25 von 24