ARBEITSWEISE VON CACHES: ALLGEMEINES SCHEMA

Transkript

1 Vorleung 3 ARBEITSWEISE VON CACHES: ALLGEMEINES SCHEMA Raumänderung: Übungen ab ofort im M3! 24 CACHES UND SPEICHERHIERARCHIEN it ein kleiner chneller Speicher, der zichen Hauptpeicher und Prozeor eingefügt ird enthält eine Kopie von Teilen der im Hauptpeicher abgelegten Daten, die vom Prozeor al Worte geleen erden Kopie ird al ganzer Block (og cache line) geladen -Kontrolle ird vom Prozeor abgekoppelt und vom cache controller beerktelligt e 1 MOTIVATION: Prozeorgechindigkeit ächt ehr chnell Speicherzugriff-Gechindigkeit ächt ebenfall, edoch viel langamer Diee Aueinanderdriften erchert die volle Aunutzung der Prozeor-Performance Die Zugriffzeiten von (kleinen) ind idr um ca eine Größenordnung geringer al die de (großen) Hauptpeicher Slide 3 Prozeor Wort Block Hauptpeicher IDEE VON CACHES: Benutzung eine kleinen -Speicher, um die Zugriff-Gechindigkeit zu erhöhen Controller e 2 UMSETZUNG DER CACHE-IDEE: Ein Teil de Hauptpeicher ird in den geladen/kopiert Die vom Programm benötigten Daten ollten ich zum Zeitpunkt de Zugriff möglicht im befinden Beim Suchen eine Datum: im gefunden = -Treffer = hit im nicht gefunden = -Fehler = mi -Veraltung: Strategien zum Nachladen bz Aulagern, um mie zu minimieren Problem der Konitenz/Kohärenz für Werte eine Datum: Wert im Hauptpeicher v Wert im Werte in zeier/mehrerer Prozeoren Speicher und (evtl mehrtufige) Speicherhierarchie DIE CACHE-PROBLEMATIK BEFASST SICH MIT: ➀ Entickeln effizienter Aktualiierung- und Nachladetrategien ➁ Garantieren der Datenkonitenz/Kohärenz Slide 4 C ACHE CONTROLLER controller macht folgende: Beim hit ird da Wort dem Prozeor übergeben Beim mi ird ein neuer Block in den geladen (ein alter evtl augelagert) Für den Prozeor läuft alle tranparent ab: er ieht nur den Unterchied in Zugriffzeiten zichen hit- und mi-situationen Der Zeitunterchied kommt daher, daß da Laden de Blocke eentlich länger dauert al der -Zugriff Während de Warten kann der Prozeor andere Berechnungen durchführen, für die die Operanden vorhanden ind (durch mehrere FU und andere Möglichkeiten, iehe Vorl 2) Trotz dieer Berechnungen führen viele Nachlade- Operationen idr zu niedriger Performance c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 1 c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 2

2 LOKALITÄT DER SPEICHERZUGRIFFE BEISPIEL: AUSNUTZUNG DER LOKALITÄT Die -Effizienz (hit/mi ratio) ird beeinflußt durch: Hardare: die Nachladetrategie it vorgegeben Softare: da Speicherzugriff-Verhalten de augeführten Programm kann vom Programmierer beeinflußt erden for (i=; i<n; ++i) for (=; <N; ++) for (k=; k<n; ++k) c[i][] += a[i][k] * b[k][]; der Laufzeiten (von R Lechtchinky): e 5 Da für da -Nachladen relevante Speicherzugriff- Verhalten eine Programm ird Lokalität genannt: Räumliche Lokalität: zu aufeinanderfolgenden Zeitpunkten greift da Programm auf räumlich benachbarte Speicherzellen zu Da Konzept von blöcken tützt ich auf die räumliche Lokalität vieler Anendungprogramme Zeitliche Lokalität: auf dieelbe Speicherzelle ird zu dicht aufeinanderfolgenden Zeitpunkten zugegriffen Slide 7 /* Zei Schleifen vertauchen */ for (i=; i<n; ++i) for (k=; k<n; ++k) for (=; <N; ++) c[i][] += a[i][k] * b[k][]; Beachte da Zugriffmuter von b[k][] in beiden Fällen: palteneie in Verion 1 und zeileneie in Verion 2 Array ind in C zeileneie gepeichert (in Fortran palteneie) CACHE- BZW CACHEBLOCKGRÖSSE e 6 BEIDE ARTEN DER LOKALITÄT SIND WICHTIG geringe räumliche Lokalität: e ird auf nur einen Wert eine block zugegriffen = die anderen Werte urden unnötig geladen geringe zeitliche Lokalität: nach dem Laden ird nur einmal auf eine Speicherzelle zugegriffen bevor ie au dem entfernt ird; = beim neuen Zugriff muß der Block neu geladen erden! E gibt pezielle Verfahren/Rezepte, die die Lokalität von Programmen erhöhen, oohl beim Programmieren al auch beim Kompilieren (iehe einfache Beipiel nächte Folie) Slide 8 VOR- UND NACHTEILE EINES GRÖSSEREN CACHES: + : eniger Nachladeoperationen : die Zugriffzeit auf ebene teigt : mehr Chipfläche verbraucht, it teuerer Typich für erter Stufe (am näheten zum Prozeor) ind 1K 512 K Worte (e Bit) VOR- UND NACHTEILE GRÖSSERER CACHEBLÖCKE: + : der Tranfer eine Block mit x Worten kotet eniger al x Einzeltranporte : eniger Blöcke paen in den müen chneller eretzt erden Typiche Blockgröße: 4 8 Speicherorte c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 3 c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 4

3 i i i e 9 CACHE-ASSOZIATIVITÄT Blöcke erden im in og Blockrahmen abgelegt ILLUSTRATIONSBEISPIEL: Hauptpeicher: n Blöcke, n = 2 : m Blockrahmen, m = 2 r, r << Block bz Blockrahmen: l Worte, l = 2 DIE WICHTIGSTEN ASSOZIATIVITÄTS-MÖGLICHKEITEN: ➀ direct-mapped cache: eder Speicherblock kann bei Bedarf nur in einem betimmten Blockrahmen abgelegt erden ➁ aociative cache: eder Speicherblock kann bei Bedarf in edem Blockrahmen abgelegt erden ➂ k-ay aociative cache (zichen direct und aociative): eder Speicherblock kann in einer fetgelegten Anzahl von Blockrahmen, k = m/v, abgelegt erden; Mengen: S 1,,S v TYPISCH VERWENDETE ASSOZIATIVITÄTEN: k = 2: to-ay aociative cache; k = 4: four-ay aociative cache Slide 11 VOLL-ASSOZIATIVER CACHE Speicherblock ird in beliebigem Blockrahmen abgelegt Speicheradree Wort cache mi + Rahmen B Rahmen B Hauptpeicher + : hohe Flexibilität beim Laden : die Markierungen/ ind lang: Bit : beim Zugriff müen alle unterucht erden DIREKT ABGEBILDETER CACHE K-FACH ASSOZIATIVER CACHE Speicherblock ird immer im gleichen Blockrahmen abgelegt, zb im Blockrahmen B i, gd i = mod m in v Mengen unterteilt, d Bit lang, obei d = logv Beipiel: B auf Rahmenmenge S i abgebildet gd i = mod v 1 Speicheradree Rahmen Wort -r r Legende: 2 Bloecke e 2 Worte 2 r Blockrahmen cache mi + -r Rahmen B Rahmen B Hauptpeicher + : einfach zu realiieren : zei oft benutzte Speicherblöcke, enn auf einen Blockrahmen abgebildet, erden hin- und hergechoben Slide 12 + Speicheradree Menge Wort -d d -d cache mi Rahmen B Rahmen B Hauptpeicher Spezialfälle: k = 1 direkt abgebildeter; k = m voll-aoziativer c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 5 c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 6

4 BLOCKERSETZUNGS-STRATEGIEN Strategien zur Auahl de Block, der augelagert erden oll 13 Sind nur für aociative und et-aociative relevant (arum?) LRU-Strategie (leat-recently ued): Für eden Block muß der Zeitpunkt der letzten Benutzung abgepeichert und bei edem Zugriff aktualiiert erden Für to-ay aociative relativ einfach: oder 1 LFU (leat-frequently ued): Ein Zähler muß für eden Block veraltet erden Round Robin: in fetgelegter Reihenfolge eretzen; kleiner Mehraufand, keine Qualitätgarantie! Slide 15 RÜCKSCHREIBEN BEIM CACHE-FEHLER (mi) Schreiboperation betrifft einen Block de Hauptpeicher, der nicht im vorliegt Zei Strategien: rite-allocate: Da Datum ird zunächt in den geholt und dort aktualiiert rite-no-allocate: Da Datum ird nur im Hauptpeicher aktualiiert, ohne e in den zu holen Die erte Strategie ird voriegend benutzt Random (zufällige Auahl): kein Mehraufand, keine Qualitätgarantie! RÜCKSCHREIBESTRATEGIEN ANZAHL DER CACHES Frage: Ein Wort ird im verändert Wann kann bz muß eine Kopie im Hauptpreicher aktualiiert erden? Zur Erinnerung: Prozeor greift oohl auf Daten, al auch auf da Programm zu ZWEI STRATEGIEN DES RÜCKSCHREIBENS BEIM CACHE-TREFFER: 1Stufe 14 rite-through: Der frühetmögliche Zeitpunkt, dh bei der Aktualiierung im ird auch Hauptpeicher erneuert + : der Wert im Hauptpeicher it garantiert korrekt, kann von I/O (und anderen Prozeoren) benutzt erden : evtl Wartezeiten (rite tall), Abhilfe durch Schreibpuffer rite-back: Der pätetmögliche Zeitpunkt, dh ert bei Entfernung de Block au dem Dazu dient da Modifizierungbit (dirty bit) de block + : eniger Schreiboperationen im Hauptpeicher : I/O kann nicht unabhängig durchgeführt erden (Abhilfe: I/O-Speicherbereiche nicht im aufheben) Slide 16 Prozeor 2Stufe Intruktion- Hauptpeicher Ein eparater Intruktioncache erlaubt größere Flexibilität: eder arbeitet unabhängig (Parallelität auf!) Jede -Stufe kann uu ander aufgebaut ein (Aoziativität, Größe, Strategien, etc) c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 7 c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 8

5 17 MEHRSTUFIGE CACHES Allgemeiner Trend: zei- und mehrtufige L1-: auf dem Prozeorchip; Aoziativität vorgegeben L2-: auf einem Extrachip, auf Architektur anpaßbar zb Pentium III: zei auf dem Prozeorchip zb Cray T3E: L1: e ein für Daten und Intruktionen; beide direkt abgebildet; e 8 KB groß L2: 3-fach aoziativ, Eretzung nach Round-Robin, 32 KB groß, ca 5-mal langamer al L1 4 Worte pro Blockrahmen Strategien: Write-Back, Write-Allocate Speicher in modernen Computerytemen beteht idr au, lokalen und globalen Speichermodulen und ird dehalb al Speicherhierarchie bezeichnet und betrachtet Slide 19 WAS HABEN WIR HEUTE GELERNT bechleunigen den Speicherzugriff -Effizienz (Relation von Hit zu Mie) ird durch geeignete Strategien geährleitet Beim -Aufbau gibt e Alternativen: -Größe und ihre Anzahl Aoziativität: volle, k-fache, einfache Blockeretzung- und Rückchreibetrategien Lokalität (zeitliche und räumliche) pielt eine ichtige Rolle und kann oft vom Programmierer verbeert erden Aublick: Ein ichtige und anpruchvolle Thema it die Korrektheit (Kohärenz) mehrerer Kopien eine Werte in den mehrerer Prozeoren Diee Thema erden ir demnächt behandeln TYPISCHE SPEICHERHIERARCHIEN [CULLER - FIG 52] P 1 Pn Sitch ( interleaved ) Firt-level P 1 P n Interconnection netork ( interleaved ) Main memory ( a ) Shared cache ( c ) Dancehall 18 P 1 Bu Pn P 1 P n I/O device ( b ) Bu-baed hared memory Interconnection netork ( d ) Ditributed-memory Varianten a) -c) ind ymmetrich, d) nichtymmetrich a), b) für SMP und Dektop: Skalierbarkeit ird durch gemeinamen oder Bu erchert c), d) für größere, kalierbare Syteme Kombinationen möglich, zb verteilter Speicher mit SMP-Knoten c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 9 c 26 BY SERGEI GORLATCH UNI MÜNSTER PARALLELE SYSTEME VORLESUNG 3 1