Speicher. Speicher. Speicherhierarchie. Speicher. Interessante Zahlen:

Transkript

1 Übersicht 1 Einleitung Hauptspeicher 2 Hauptspeicher 3 Caches, Cache-Kohärenz Dr.-Ing. Volkmar Sieh Institut für Informatik 3: Rechnerarchitektur Friedrich-Alexander-Universität Erlangen-Nürnberg WS 2008/2009 Einleitung Platzierungsstrategien Ersetzungsstrategien Schreibstrategien Hinweise 4 Virtueller Speicher Hauptspeicher 1/ Hauptspeicher 2/ Übersicht 1 Einleitung 2 Hauptspeicher Speicher Processor-Memory-Gap: 3 Caches, Cache-Kohärenz Einleitung Platzierungsstrategien Ersetzungsstrategien Schreibstrategien Hinweise 4 Virtueller Speicher Hauptspeicher 3/ Hauptspeicher 4/

2 Speicher Speicher Vorteile Nachteile Register sehr schnell sehr teuer SRAM schnell teuer, große Chips DRAM höhere Integration Refresh notwendig Platten billig, viel Speicher langsam, laut, mechanisch Interessante Zahlen: MByte / Dollar: Kosten für Speicher Zugriffslatenzzeit: Dauer, bis das erste Byte gelesen/geschrieben wird Speicherbandbreite: Anzahl der Bytes, die maximal pro Zeiteinheit geschrieben bzw. gelesen werden können Hauptspeicher 5/ Hauptspeicher 6/ Speicher Speicherhierarchie Kosten, Latenz und Bandbreite variieren sehr stark. Beispiel: Hauptspeicher: 1GByte, 125 EUR (GByte/125 EUR) 20ns ca. 512MByte/s Festplatte: 400GByte, 275 EUR (GByte/0.69 EUR) 10ms ca. 40MByte/s Hauptspeicher 7/ Hauptspeicher 8/

3 Speicherhierarchie Pentium Speicherhierarchie Beispiel: Pentium kleiner, schneller Speicher nahe dem Prozessor großer, langsamer Speicher weiter entfernt Wenn Caching gut funktioniert, hat Hierarchie Zugriffszeit nahe dem schnellsten Speicher Größe nahe dem größten Speicher Hauptspeicher 9/ Hauptspeicher 10/ Hierarchie-Management Caches - Begriffe Register <-> Memory durch Compiler bzw. Assembler-Programmierer Cache <-> Main-Memory durch Hardware Main-Memory <-> Disk durch Hardware und Betriebssystem (Paging) durch Programmierer (Files) Hit/Treffer: wenn auf ein Datum zugegriffen wird, das im Cache vorhanden ist Miss/Fehler: wenn auf ein Datum zugegriffen wird, das nicht im Cache vorhanden ist Hit-/Treffer-Rate: Wahrscheinlichkeit, dass ein benötigtes Datum im Cache vorhanden ist Miss-/Fehler-Rate: 1 Hit Rate Hauptspeicher 11/ Hauptspeicher 12/

4 Caches - Begriffe Mittlere Effektive Zugriffszeit Zugriffszeiten Annahmen: Hit-Time: Zeitdauer, bis Datum im Hit-Fall geliefert wird Miss-Penalty: Zeit, die im Miss-Fall zusätzlich gebraucht wird Hinweis: Hit-Time «Miss-Penalty i = 1, 2,..., n Hierarchiestufen Stufe i 1 ist schneller und kleiner als Stufe i Informationen in Stufe i 1 befinden sich auch immer in Stufe i H(i) ist die Präsenz-Wahrscheinlichkeit für Stufe i h i ist die Wahrscheinlichkeit, dass die Daten in Stufe i, jedoch nicht in Stufe i 1 sind (relative Trefferhäufigkeit für Stufe i) Hauptspeicher 13/ Hauptspeicher 14/ Mittlere Effektive Zugriffszeit Mittlere Effektive Zugriffszeit Es gilt: h i = H(i) H(i 1) für i> 1 Mittlere Effektive Zugriffszeit: E[T(n)] = n h i T i i=1 mit der Zeit T i, die benötigt wird, um die gewünschte Information auf Stufe i vorzufinden Es ist T i = i t k mit t k ist die Zugriffszeit der Stufe k k=1 Mit H(0) = 0 und H(n) = 1 gilt E[T(n)] = n i t k (H(i) H(i 1)) i=1 k=1 E[T(n)] = n (1 H(i 1)) t i i=1 Hauptspeicher 15/ Hauptspeicher 16/

5 Übersicht Hauptspeichermodule 1 Einleitung 2 Hauptspeicher 3 Caches, Cache-Kohärenz Einleitung Platzierungsstrategien Ersetzungsstrategien Schreibstrategien Hinweise SIMM: single inline memory DIMM: dual inline memory DDR: double data rate memory... 4 Virtueller Speicher Hauptspeicher 17/ Hauptspeicher 18/ Hauptspeichermodule Hauptspeichermodule Hauptspeicher 19/ Hauptspeicher 20/

6 Hauptspeichermodule Hauptspeicher Dynamische RAMs haben Zugriffszeit: Zeit, die benötigt wird, die Adresse und die dazugehörigen Daten zu übermitteln Zykluszeit: minimal erlaubte Zeit vom Beginn eines Zugriffs bis zum Beginn des nächsten Bei DRAMs: Zugriffszeit < Zykluszeit Hauptspeicher 21/ Hauptspeicher 22/ Hauptspeicher - Interleaving Hauptspeicher - Interleaving Speicherzugriffe erfolgen in den überwiegenden Fällen auf aufeinanderfolgende Speicheradressen. => zeitlich aufeinander folgende Zugriffe beziehen sich dann auf verschiedene Speichermodule. Hauptspeicher 23/ Hauptspeicher 24/

7 Hauptspeicher - Interleaving Hauptspeicher - Interleaving Vorteil: schnellerer Zugriff auf aufeinander folgende Speicherzellen (z.b. bei Burst-Zugriffen) Nachteil: Speicherriegel müssen alle gleiche Größe haben Hauptspeicher 25/ Hauptspeicher 26/ Übersicht Caches 1 Einleitung 2 Hauptspeicher 3 Caches, Cache-Kohärenz Einleitung Platzierungsstrategien Ersetzungsstrategien Schreibstrategien Hinweise 4 Virtueller Speicher Hauptspeicherzugriffe sind langsam die wichtigsten Daten in der CPU zwischenspeichern was sind die wichtigsten Daten? die Daten, die demnächst (wieder) gebraucht werden welche Daten werden (vermutlich) demnächst gebraucht? die Daten, die zuletzt häufig gebraucht wurden ( temporale Lokalität ) die Daten, die nahe den zuletzt gebraucht Daten liegen ( räumliche Lokalität ) verschiedene Platzierungs-, Ersetzungs- und Rückschreibstategien Hauptspeicher 27/ Hauptspeicher 28/

8 Cache-Position Virtueller Cache Hauptspeicher 29/ Hauptspeicher 30/ Virtueller Cache Physikalischer Cache Virtueller Cache: Vorteil: Adress-Umrechnung durch MMU vielfach nicht nötig Nachteil: bei Kontextwechseln (MMU rechnet Adressen anders um) Cache-Flush notwendig Hauptspeicher 31/ Hauptspeicher 32/

9 Physikalischer Cache L1-Caches Intel Physikalischer Cache: Vorteil: bei Kontextwechseln (MMU rechnet Adressen anders um) kein Cache-Flush notwendig Nachteil: Adress-Umrechnung durch MMU immer nötig Hauptspeicher 33/ Hauptspeicher 34/ Caches-Blöcke Caches Hinweis: Es werden i.a. nicht einzelne Bytes gecacht, sondern zusammenhängende Blöcke mit mehreren Bytes (z.b. 32 Bytes) Ausnutzung der räumlichen Lokalität Ausnutzung der Breite des externen Datenbusses Ausnutzung der Burst-Möglichkeit von externen Bussen geringerer Aufwand bei der Speicherung der zugehörigen Adressen Platzierungsstrategie: wenn ein Datum aus dem Hauptspeicher zwsichengespeichert werden soll, muss ein Platz im Cache ausgewählt werden Ersetzungsstrategie: wenn der Cache gefüllt ist, muss ein altes Datum aus dem Cache entfernt werden, bevor ein neues Datum aufgenommen werden kann Schreibstrategie: wann werden im Cache modifizierte Daten in den Hauptspeicher zurückgeschrieben Hauptspeicher 35/ Hauptspeicher 36/

10 Caches Direct-Mapped Caches Platzierungsstrategien: Direct-Mapped: jeder Adresse im Hauptspeicher ist genau eine Speicherzelle des Caches zugeordnet N-Set-Associative: jeder Adresse im Hauptspeicher ist genau eine von N Speicherzellen des Caches zugeordnet Full-Associative: jeder Adresse des Hauptspeichers kann jede Speicherzelle des Caches zugeordnet werden Ein direct-mapped cache mit E Einträgen bildet die Adresse im Cache (CA) aus der Adresse im Speicher (MA) durch Berechnung von CA = MA mod E Hauptspeicher 37/ Hauptspeicher 38/ Direct-Mapped Caches Direct-Mapped Caches D.h. dass jeder Speicheradresse genau eine Cache-Adresse zugeordnet ist. Jeder Cache-Adresse entsprechen jedoch i.a. mehrere Speicheradressen. Daher muss zusätzlich zum gecachten Wert noch die Adresse des Wertes im Hauptspeichers vermerkt werden. Da ein Teil der Adresse schon in der Adresse des Caches implizit enthalten ist, reicht sogenanntes Tag : CA = MA mod E, Tag = MA/E Hauptspeicher 39/ Hauptspeicher 40/

11 Direct-Mapped Caches N-Set-Associative Caches Direct-Mapped Caches: Vorteil: sehr einfach => große Caches möglich Nachteil: in vielen Situationen wertlos (wenn mehrfach nacheinander auf Speicherzelle X und X + k E zugegriffen wird) => N-Set-Associative Caches Hauptspeicher 41/ Hauptspeicher 42/ N-Set-Associative Caches N-Set-Associative Caches Definition N-Set-Associative Cache : Jedes Datum kann an N Stellen im Cache gespeichert werden. (mit: E ist ganzzahliges Vielfaches von N) Ist ein Datum an mehreren Stellen speicherbar, müssen mehrere Tags gleichzeitig untersucht werden. => N-Set-Associative Caches benötigen N Vergleicher Hauptspeicher 43/ Hauptspeicher 44/

12 N-Set-Associative Caches Full-Associative Caches Spezialfall N = E: Jedes Datum kann in jeder Cache-Speicherzelle gespeichert werden: voll-assoziativer Cache Hauptspeicher 45/ Hauptspeicher 46/ Caches Ersetzungsstrategien Daumenregel: sehr großer Cache => direct-mapped mittlerer Cache => N-set-associative sehr kleiner Cache => full-associative Ist der Cache voll, muss vor dem Einlagern eines neuen Adress-/Werte-Paares ein altes aus dem Cache verworfen werden. Zwei gängige Verfahren gibt es: zufällig: hier wird irgendein zufälliges Paar ausgewählt LRU: (least recently used) hier wird das am längsten nicht mehr benutzte Paar überschrieben das Zufallsverfahren ist in manchen Situationen besser als das LRU-Verfahren Hauptspeicher 47/ Hauptspeicher 48/

13 LRU-Ersetzung LRU-Ersetzung Vereinfachtes (Pseudo-) LRU für vier und mehr Einträge: LRU für zwei Einträge ist einfach: ein Bit kennzeichnet den jeweils zuletzt benutzten Eintrag echtes LRU für vier und mehr Einträge ist (zu) aufwändig jeweils zwei Einträge werden paarweise mit je einem Bit über LRU verwaltet jeweils zwei auf diese Art verwaltete LRU-Paare werden jeweils wieder mit je einem Bit über LRU verwaltet... Hauptspeicher 49/ Hauptspeicher 50/ LRU-Ersetzung LRU-Ersetzung Anzahl der zusätzlichen Pseudo-LRU-Bits: 4-set-associative: 3 Bits 8-set-associative: 7 Bits 16-set-associative: 15 Bits... N-set-associative: N 1 Bits i.a. werden nur Assoziativitätsgrade bis höchstens 8 oder 16 verwendet Hauptspeicher 51/ Hauptspeicher 52/

14 Schreibstrategien Schreibstrategien Es sind verschiedene Fälle zu bedenken: A: es werden einige wenige Daten in Speicherzellen geschrieben, die sehr bald wieder gelesen werden (Beispiel: Zugriff auf lokale Variablen, Rücksprungadressen) B: es werden große Datenbereiche geschrieben, die erst später gelesen werden (Beispiel: Initialisierung großer Datenstrukturen) C: es wird auf I/O-Register zugegriffen im Fall A ist es sinnvoll, die Daten in den Cache zu schreiben ( Write-Using-Cache ) im Fall B ist es nicht sinnvoll ( Write-Around-Cache ; Daten im Cache u.u. invalidieren) im Fall C verhindert Caching u.u. die korrekte Funktion Hauptspeicher 53/ Hauptspeicher 54/ Schreibstrategien Write-Through Im Cache modifizierte Daten müssen letztendlich auch im Hauptspeicher modifiziert werden. Zwei Möglichkeiten: Write-Through: beim Schreiben werden die Daten sofort im Cache und im Hauptspeicher modifiziert Write-Back: erst, wenn das Datum im Cache überschrieben werden würde, findet ein Update des Hauptspeicherwertes statt Write-Through: u.u. werden häufig beschriebene Werte unnötig häufig auch im Hauptspeicher modifiziert (z.b. lokale Variablen, Rückkehradressen) andere Bus-Master (z.b. DMA oder andere CPUs) sehen immer den richtigen Speicherinhalt ( Cache-Kohärenz ) Hauptspeicher 55/ Hauptspeicher 56/

15 Write-Back Snooping Write-Back: häufig beschriebene Werte werden im besten Fall praktisch gar nicht im Hauptspeicher modifiziert (z.b. lokale Variablen, Rückkehradressen) andere Bus-Master (z.b. DMA oder andere CPUs) sehen u.u. nicht mehr aktuelle Speicherinhalte => spezielle flush - Befehle notwendig ( Cache-Kohärenz nicht gegeben) wird der Inhalt des Hauptspeichers durch externe Bus-Master (DMA oder andere CPUs) modifiziert, enthält ein CPU-Cache u.u. nicht mehr aktuelle Werte Problem durch Snooping lösbar Cache lauscht am Bus, welche Speicherzellen modifiziert werden und updated oder invalidiert u.u. eigene Cache-Zeilen Hauptspeicher 57/ Hauptspeicher 58/ Snooping Caches wird ein Wert aus dem Hauptspeicher durch externe Bus-Master (DMA oder andere CPUs) gelesen, bekommt der Leser u.u. falsche Ergebnisse, wenn ein anderer CPU-Cache bereits modifizierte Werte enthält Problem durch Snooping lösbar Cache lauscht am Bus, welche Speicherzellen gelesen werden und liefert u.u. den neuen Wert Harvard-Architektur: getrennte Wege für Daten und Instruktionen => getrennte Daten- ( D-Cache ) und Instruktions-Caches ( I-Cache ). I-Cache einfacher als D-Cache da read-only keine Probleme mit Cache-Kohärenz Voraussetzung: kein selbstmodifizierender Code! Hauptspeicher 59/ Hauptspeicher 60/

16 Performance Bespiel Beispiel: Performance, Mittlere Speicherzugriffszeit: Zeit = HitTime + MissRate MissPenalty Hit-Time = 1 Takt Miss-Rate = 5% Miss-Penalty = 20 Takte => Mittlere Speicherzugriffszeit = Takte = 2 Takte Hauptspeicher 61/ Hauptspeicher 62/ Verbesserung der Cache-Performance Miss-Gründe Zeit = HitTime + MissRate MissPenalty Verbesserungen: Reduzierung der Hit-Time Reduzierung der Miss-Rate Reduzierung des Miss-Kosten Reduzierung der Miss-Kosten heisst Reduzierung der Zugriffszeit auf tiefere Cache-Ebenen: Compulsory: auf ein Datum wird das erste Mal zugegriffen Capacity: ein Datum wurde zwischenzeitlich aus Platzgründen aus dem Cache entfernt Conflict: ein Datum wurde zwischenzeitlich im Cache mit einem Datum mit ähnlicher Adresse überschrieben Zeit i = HitTime + MissRate Zeit i+1 Hauptspeicher 63/ Hauptspeicher 64/

17 Cache-Block-Size Cache-Block-Size Design Trade-Off: Block- oder Seiten-Größe viele kleine Blöcke einige Blöcke mittlerer Größe wenige große Blöcke kleine Blöcke temporale Lokalität wird gut genutzt räumliche Lokalität wird nicht genutzt kleinere Miss-Penalty große Blöcke räumliche Lokalität wird gut genutzt temporale Lokalität wird nicht genutzt Blöcke werden aufgrund von Konflikten früh überschrieben größere Miss-Penalty => mittlere Blockgrößen Hauptspeicher 65/ Hauptspeicher 66/ Ping-Pong-Effekt Cache-Block-Size Ping-Pong-Effekt : zwei (oder mehrere) Einträge verdrängen sich jeweils abwechselnd gegenseitig => Cache ist wirkungslos u.u. gefährlich, wenn eine Instruktion mehrere Daten gleichzeitig benötigt, diese sich aber gegenseitig aus dem Cache verdrängen (=> Hardware-Stall!) Beispiel: IA86 braucht bis zu 10 verschiedene Daten für eine einzelne Instruktion Hauptspeicher 67/ Hauptspeicher 68/

18 Cache-Block-Size Reduzierung der Misses Instruktionen: Umordnen der Prozeduren und Schleifen zur Reduzierung der Conflict-Misses Daten: Merging Arrays Verbesserung der räumlichen Lokalität z.b. durch Nutzung eines Arrays mit Strukturen statt mehrerer Arrays. Loop Interchange Umsortieren von Schleifen um auf Daten in der Reihenfolge zuzugreifen, in der sie im Speicher liegen Loop Fusion Verschmelzen von Schleifen, die die gleiche Anfangs- und Endwerte haben sowie auf gemeinsame Variablen zugreifen Blocking temporale Lokalität durch den wiederholten Zugriff auf Blöcke erhöhen anstatt ganze Spalten bzw. Reihen abzuarbeiten Hauptspeicher 69/ Hauptspeicher 70/ Übersicht Virtueller Speicher 1 Einleitung 2 Hauptspeicher 3 Caches, Cache-Kohärenz Einleitung Platzierungsstrategien Ersetzungsstrategien Schreibstrategien Hinweise die Organisation des Gesamtspeichers: Hierarchie von Speicherebenen Gesamtspeicher enthält Speicher unterschiedlicher Größe und Zugriffsgeschwindigkeit Speicherverwaltung notwendig, Hardware-Unterstützung durch Memory-Management-Unit (MMU) 4 Virtueller Speicher Hauptspeicher 71/ Hauptspeicher 72/

19 Virtueller Speicher MMU Der Hauptspeicher kann als Cache für den Plattenspeicher dienen Vorteil: Memory Management Unit (MMU) Illusion eines großen physikalischen Speichers MMU hilft zusätzlich bei: Programm-Relokation Speicherschutz Hauptspeicher 73/ Hauptspeicher 74/ Paging Paging Wenn benötigte Daten auf Platte liegen Laden der Daten in freie Page im Hauptspeicher mittels DMA Umschalten auf anderen laufbereiten Prozess wenn DMA fertig ist, kommt Interrupt im Interrupt-Handler Page-Tabelle des Prozesses updaten beim Zurückschalten auf den Prozess sind die Daten dann vorhanden Hauptspeicher 75/ Hauptspeicher 76/

20 Paging Adressumsetzung Miss Penalty groß => Blöcke (Pages) sollten relativ groß sein (z.b. 4 kbyte) Reduzierung der Page-Fault-Häufigkeit wichtig => sehr gute Ersetzungsstrategie notwendig Page Faults können in Software gelöst werden; keine Extra-Hardware notwendig Write-Through viel zu teuer => Write-Back Hauptspeicher 77/ Hauptspeicher 78/ Typische Parameter für Caches und Virtuellen Speicher Parameter First-Level-Cache Virtueller Speicher Blockgröße Bytes 4-64 kbytes Hit-Dauer 1-2 Zyklen Zyklen Miss Penalty Zyklen Zyklen Miss Rate % % Speichergröße 8-64 kbyte MBytes Hauptspeicher 79/