Vorlesung Rechnerarchitektur. Speicher V 1.2

Transkript

1 Speicher V 1.2

2 Speicheranbindung früher und heute Bei der MU0 wurde der Speicher in einem Taktzyklus gelesen und geschrieben Dieses Verhalten war für ältere Rechner charakteristisch und stimmt auch noch heute für zahlreiche (kleine) Mikrocontroller Aus der Vorlesung TGI wissen wir: Es gibt SRAM (speichert mit FFs) und DRAM (speichert mit Kapazität), DRAM wird z.b. mit einem Speichertakt von 133 MHz ausgelesen (bei DDR wie er für PCs üblich ist) Aktuelle Prozessoren arbeiten aber z.b. mit einer Taktrate von 3 GHz, selbst Prozessoren in Mobiltelefonen erreichen heutzutage mehr als 1 GHz Wie passt das zusammen? SRAM ist zwar schneller als DRAM, aber eben auch sehr viel teurer mehrere Gbyte mit SRAM zu realisieren wäre unerschwinglich 2

3 Prinzip der Lokalität Programme greifen auf einen kleinen Adressbereich zu Temporäre Lokalität (temporal locality) Tendenz zur Wiederverwendung zuvor bereits genutzter Datenelemente (DE) z.b. Instruktionen in einer Schleife, Schleifenvariablen Räumliche Lokalität (spatial locality) Tendenz auf DE's zuzugreifen, die in der ähe von bereits zugegriffenen DE liegen. z.b. sequenzielle Instruktionen, Felder Es wäre vorteilhaft, wenn wir die Lokalität ausnutzen könnten, um schneller auf den Speicher zuzugreifen / Daten verarbeiten zu können 3

4 Der Cache Cache-Speicher sind Pufferspeicher, die diese Lokalität ausnutzen Zeitlich / räumlich lokale Daten werden bei Caches im schnellen SRAM vorgehalten, damit die CPU schnell zugreifen kann, der Cache ist jedoch sehr viel kleiner als der gesamte Speicher, der weiterhin aus DRAM besteht Insgesamt ergibt sich (je nach Anwendung) eine deutlich höhere Leistung bei nur geringfügig höheren Kosten Caches bilden nach den Registern die nächste Stufe der Speicherhierarchie Wir schauen uns zunächst die Speicherhierarchie genauer an, dann betrachten wir genauer, wie Caches funktionieren und was es für Arten von Caches gibt 4

5 Speicherhierarchie In Rechnern werden sehr unterschiedliche Arten von Speichern eingesetzt, die sich stark in Preis und Leistung unterscheiden. Speicherhierarchie teuer schnell billig langsam groß klein 5

6 Speicherhierarchie Register Register Register Register Byte Byte << 1ns 1ns Level Level 11 Cache Cache KByte KByte wenige wenige ns ns Level Level 22 Cache Cache einige einige KByte KByte einige einige ns ns Hauptspeicher Hauptspeicher MByte MByte bis bis GByte GByte ns ns Flash Flash Speicher Speicher (z.b. (z.b. USB USB Sticks) Sticks) einige einige GByte GByte µs µs Festplatte Festplatte einige einige GByte GByte ms ms Static RAM (SRAM) 0.5ns 2.5ns $2000 $5000 per GB Dynamic RAM (DRAM) 50ns 70ns $20 $75 per GB Festplatte 5ms 20ms $0.20 $2 per GB 6

7 Speicherhierarchie und das Ausnutzen der Lokalität Alles wird auf der Festplatte / FlashRAM gespeichert Kopiere (zugegriffenen) Speicher und benachbarte Elemente von der Festplatte zu (kleinerem) Dynamic RAM (DRAM) Speicher Benötigt periodisches Auffrischen (Millisekunden) aufgrund von Leckströmen (kl. Energiebedarf auch bei Ruhestrom) sehr hohe Datendichte auf einer kleinen Chipfläche Vergleichsweise billig Hauptspeicher Kopiere (gerade zugegriffenen) Speicher und benachbarte Elemente von DRAM zu (noch kleinerem) Static RAM Speicher (SRAM) Kein Auffrischen notwendig Cache Speicher angeschlossen an die CPU 7

8 Agenda Cache-Speicher, Grundprinzipien Cache-Organisation Kenngrößen von Caches Schreiben von Daten Lesen von Daten 8

9 Cache-Speicher, Grundprinzipien 1. Zugriff auf Cache deutlich schneller als auf Hauptspeicher 2. CPU kann auf Daten im Cache sehr schnell zugreifen 3. Cache viel kleiner als Hauptspeicher Cacheblock (Cachezeile, cache line): Einheit für Kopie Umfasst i.d.r. mehrere Worte Woher ist bekannt, ob ein Datum im Cache liegt? Wo wird nachgeschaut? 9

10 Cache-Speicher, Grundprinzipien Anzahl Zeilen eine Potenz von 2 Untere Adressbits als Speicherort Speicherort wird durch Adresse bestimmt Direkte Adressierung: nur eine Wahl (Speicheraddresse) modulo (#Zeilen im Cache) 10

11 Cache-Speicher, Grundprinzipien Woher ist bekannt, welcher Block im Cachespeicher abgelegt ist? Speichern der Blockadresse und der Daten ur die oberen Adressbits werden für Blockadresse benötigt Wird als TAG bezeichnet Was ist, wenn am Speicherort keine Daten sind? Valid bit: 1 = vorhanden, 0 = nicht vorhanden Anfangs 0 Beispiel: Index V direkt abgebildet 011 Anfangszustand -> Zeilen, 1 Wort/Zeile Tag Data 11

12 Cache-Beispiel: Wortadresse Binäre Adresse Treffer Cache Block Miss 110 Index V Y 111 Tag Data 10 Mem[10110] 12

13 Cache-Beispiel: Wortadresse Binäre Adresse Treffer Cache Block Miss 010 Index V Y Y 111 Tag Daten 11 Mem[11010] 10 Mem[10110] 13

14 Cache-Beispiel: Wortadresse Binäre Adresse Treffer Cache Block Hit Hit 010 Index V Y Y 111 Tag Daten 11 Mem[11010] 10 Mem[10110] 14

15 Cache-Beispiel: Wortadresse Binäre Adresse Treffer Cache Block Miss Miss Hit 000 Index V Tag Daten 000 Y 10 Mem[10000] Y 11 Mem[11010] 011 Y 00 Mem[00011] Y 10 Mem[10110]

16 Cache-Beispiel: Wortadresse Binäre Adresse Treffer Cache Block Miss 010 Index V Tag Daten 000 Y 10 Mem[10000] Y 10 Mem[10010] 011 Y 00 Mem[00011] Y 10 Mem[10110]

17 Aufteilung der Adresse (1 Wort pro Block) 17

18 Cache-Beispiel mit grösserem Cacheblock Cache mit 64 Blöcken und 16 Bytes pro Block Auf welchen Block die Speicheradresse 1200 abgebildet? Blockadresse im Speicher: floor(1200/16) = 75 floor: Abrundungsfunktion floor(x): Die größte ganze Zahl, die kleiner oder gleich x ist: Blocknummer im Cache: 75 modulo 64 = Tag Index Offset 22 bits 6 bits 4 bits 18

19 Aufteilung der Adresse (16 Worte pro Block), 256 Cacheblöcke 19

20 Cache-Speicher, Speicheradressierung Speicheradressierung: 32 Bit Speicheradresse (232= Adressen) Speicheradressierung: Speicherwort: 4 Byte (2w) Speicherzeile: 16 Worte (2n) Speicherzeilen: 232-n-w = Zeilen Anz. Blöcke im Cache: 1024 (2m) Adress-Tag: 32-(n+m+w) Bits Cache speichert: Adress-Tag Kopie der Speicherzeile 20

21 Cache-Speicher, Speicheradressierung Wenn Wort aus Hauptspeicher gelesen werden soll, prüft Cache-Logik, ob Wort bereits im Cache ist cache hit: Trefferrate = Treffer/Zugriffe (hit rate) Wenn nicht cache miss, dann muss Wort aus dem HS gelesen werden. Wird gleichzeitig im Cache gespeichert: Fehlzugriffsrate = 1- Trefferrate, Fehlerzugriffszeit (miss rate/penalty) Soll ein (verändertes) Wort geschrieben werden, muss dies sowohl im Cache als auch im HS geschehen write through. Andere Strategien schreiben nur in Cache und markieren Eintrag (dirty-bit) 21

22 Cache-Organisation: Lesen 22

23 Cache-Organisation: Direkt abgebildet (Direct mapped): Ein Datenwort kann genau in einem Eintrag abgelegt sein. Voll assoziativ (Fully associative ): Ein Datenwort kann in einem beliebigen Cache-Eintrag abgelegt sein. Satz-assoziativ (Set associative): Ein Datenwort kann in wenigen Cache-Einträgen (typischerweise 2 bis 8) abgelegt sein. 23

24 Assoziativer Cache im Vergleich Adresse 12: 12 mod 8 = 4 Adresse 12: 12 mod 4 = 0 24

25 Direkt abbildender Cache 25

26 Voll assoziativer Cache 26

27 -fach satzassoziativer Cache 27

28 Assoziativer Cache: Ein Cache mit 8 Daten 28

29 Beispiel: Kleiner Cache aus vier 1-Wort Blöcken Direkt abgebildet Cacheindex = Blockadresse modulo 4 5 Fehlzugriffe Blockadresse Cache Index Treffer Cache Inhalt nach Zugriff Index 0 Index 1 Index nein Mem[0] 8 0 nein Mem[8] 0 0 nein Mem[0] 6 2 nein Mem[0] Mem[6] 8 0 nein Mem[8] Mem[6] Index 3 29

30 Beispiel: Kleiner Cache aus vier 1-Wort Blöcken 2-fach satzassoziativ Cacheindex = Blockadresse modulo 2 4 Fehlzugriffe Blockadresse Cache Index Treffer Cache Inhalt nach Zugriff Satz 0 Satz nein Mem[0] 8 0 nein Mem[0] Mem[8] 0 0 ja Mem[0] Mem[8] 6 0 nein Mem[0] Mem[6] 8 0 nein Mem[8] Mem[6] Satz 1 Satz 1 30

31 Beispiel: Kleiner Cache aus vier 1-Wort Blöcken vollassoziativ Cacheindex = Blockadresse 3 Fehlzugriffe Blockadresse Treffer Cache Inhalt nach Zugriff Satz 0 Satz 1 Satz 2 0 nein Mem[0] 8 nein Mem[0] Mem[8] 0 ja Mem[0] Mem[8] 6 nein Mem[0] Mem[8] Mem[6] 8 ja Mem[0] Mem[8] Mem[6] Satz 3 31

32 Grad der Assoziativität? Höhere Assoziativität verringert die Fehlzugriffsrate Simulation eines Datencaches mith 64kB, 16-Worte pro Block, SPEC fach: 10.3% 2-fach: 8.6% 4-fach: 8.3% 8-fach: 8.1% Gesamtgrösse des Caches ist abhängig von der gewählten Organisation bei gleicher Grösse für die Daten (Beispiel) Simulation 32

33 Betrachtung der Blockgrösse Grössere Blöcke reduzieren die Fehlzugriffsrate aufgrund räumlicher Lokalität Fehlzugriffsrate steigt, falls Blockgrosse zu einem wesentlichen Teil der Cachegrösse wird Wenige Blöcke im Cache, grösserer Wettbewerb um Blöcke Fehlzugriffsaufwand steigt i.d.r. mit grösseren Blöcken 33

34 Cache Kenngrößen Liegt ein gesuchtes Wort im Cache, erhält man Treffer (hit). Trefferrate a in Prozent (hit rate). Liegt gesuchtes Wort nicht im Cache (Fehlzugriff, miss), muss es aus dem Speicher gelesen werden: Fehlzugriffsrate (1-a) in Prozent (miss rate). Zugriffszeit bei Treffer (hit time) ist die Zeit für den Zugriff auf das Element plus die Zeit um festzustellen, ob der Zugriff ein Treffer (oder ein Fehlzugriff) ist. Mit Zugriffszeit (hit time) tc eines Wortes im Cache und der Zugriffszeit tm eines Wortes im Hauptspeicher ist die mittlere Zugriffszeit ta auf ein Wort: ta = a tc + (1-a) tm Fehlzugriffsaufwand (miss penalty) ist die Zeit, die benötigt wird, um einen Block von einer unteren Ebene in eine höhere Ebene der Speicherhierarchie zu laden. Diese beinhaltet die Zeit für die Übertragung des Blocks in die höhere Ebene, auf der der Fehlzugriff stattgefunden hat, sowie die Zeit für den Zugriff auf den Block durch den Prozessor 34

35 Messen der Cache-Leistung Komponenten der CPU Zeit CPU-Ausführungstaktzyklen Beinhalten Kosten für Cachetreffer Speicherstillstandszyklen Hauptsächlich aufrund von Cache-Fehlzugriffen Mit vereinfachenden Annahmen: (weiteres Beispiel) CPU-Zeit = (CPU-Ausführungszyklen + Speicherstillstandszyklen) x Taktzykluszeit Speicherstillstandszyklen = Lesestillstandszyklen + Schreibstillstandszyklen Lesestillstandszyklen = Leseoperationen / Programm x Lesefehlzugriffsrate x Lesefehlzugriffsaufwand Schreibstillstandszyklen = Schreiboperationen / Programm x Schreibfehlzugriffsrate x Schreibfehlzugriffsaufwand + Schreibpufferstillstände 35

36 Cache Eigenschaften und Ersetzungsstrategien Ist ein Wort nicht im Cache vorhanden, muss aus Speicher in den Cache geladen werden. Bei Direkt abgebildetem Cache ist Zuordnung der Adresse des Wortes zu einer Cache-Zeile eindeutig. Beim Assoziativen Cache sind mehrere Strategien möglich: Wähle Zeile, auf die am längsten nicht mehr zugegriffen wurde (LRU) Einfach für 2-fach, vertretbar für 4-fach, zu aufwändig für höhere Assoziativität Wähle zufällig eine Zeile aus Ähnliche Trefferraten wie LRU bei hoher Assoziativität 36

37 Schreiben von Daten Beim Schreiben von Daten muss sichergestellt sein, dass Daten in Cache und Hauptspeicher konsistent bleiben. Mehrere Strategien: o-write: Wort nur in Hauptspeicher (HS) schreiben, nicht in Cache. Zugehörige Zeile im Cache als ungültig markieren. langsam, Schreiben in HS, ggf. Lesen aus HS Write-Through: Cache- und Hauptspeicher beide schreiben. Cache-Zeile bleibt gültig. Übliches Verfahren. langsame Schreibzugriffe. Write-Back: ur Cache-Speicher schreiben, aber Cache-Zeile als modifiziert ( Dirty ) markieren. Vor Überschreiben der Zeile muss der Inhalt in Hauptspeicher gesichert werden. Dirty-Bit ist der Cache-Zeile angefügt, wird beim Laden einer Zeile aus dem HS gelöscht, beim Schreiben eines Wortes in der Cache-Zeile gesetzt. 37

38 Lesen von Daten Zwei prinzipielle Lese- und Füllstrategien on demand, demand fetching Beim ersten Lesen einer Information aus dem Hauptspeicher wird die gesamte Zeile auch in den Cache übertragen. Benötigte Blöcke, die noch nicht im Cache liegen, werden nachgeladen. Diese Strategie wird von jedem Cache verwendet Prädiktiv, prefetch Es wird versucht, vorherzusagen, welche Speicherzeilen zukünftig gebraucht werden und diese während Leerlaufphasen schon in den Cache vorgeladen. Ein zweiter Programmzähler (remote PC) im Cache wird dazu verwendet, den künftigen Programmverlauf vorherzubestimmen und entsprechende Blöcke vorzuladen. 38

39 Cache Speicher in der Harvard Architektur Kopien von Befehlen Cache Adresse Befehle Befehle Adresse Befehle Register Daten Prozessor Adresse Daten Kopien von Daten Adresse Daten Cache Speicher 39

40 Cache-Organisation Level-1: kb Level-2: 512 kb 1 MB Level-3: ~ MB SRAM Um Rechner weiter zu optimieren werden mehrere Cache Ebenen eingefügt. kleiner, schneller, teurer größer, langsamer, billiger Split-Cache, verbessert Bandbreite und Latenz: Level-1: Cache für Instruktionen und Daten Level-2: vereint (unified) für Instruktionen und Daten Level-3: auf Karten-Ebene (Static RAM) 40

41 Multilevel Cache Auslegung Beispiel (1): Gegeben CPU Verarbeitung Clocks per Instruktion (CPI) = 1, Taktrate = 4GHz Fehlzugriffsrate für Instruktionen = 2% Zugriffszeit auf Hauptspeicher = 100ns Mit nur einem (Primär-)Cache: Fehlerzugriffsaufwand = 100ns/0.25ns = 400 Takte Effektive CPI = = 9 41

42 Multilevel Cache Auslegung Beispiel (2): L-1 und L-2 Cache (L1: Primärcache, L2: Sekundärcache) L-2 Cache: Zugriffszeit 5ns Globale Fehlzugriffsrate zum Hauptspeicher = 0.5% Fehlzugriff auf L-1 Cache mit L-2 Treffer Fehlerzugriffsaufwand = 5ns/0.25ns = 20 Takte Fehlzugriff auf L-1 Cache und L-2 Cache Zusätzl. Fehlerzugriffsaufwand = 400 Takte CPI = = 3.4 Performanzverhältnis = 9/3.4 =

43 Speichermanagement Kopplung von CPU- und Speicheradresse Virtuelle und physikalische Adressen 43

44 Speichermanagement Virtuelle und physikalische Adressen Benutzung der Hauptspeichers als Cache für die Festplatte Kopplung von CPU- und Speicheradresse Bisher sind wir davon ausgegangen, dass die intern vom Prozessor verwendete Adresse identisch mit der externen Speicheradresse ist. Das aber hat achteile: Anpassung der Speicherbelegung eines Programms an die Rechnerkonfiguration notwendig. Bei Multitasking Zuweisung eines speziellen Speicherbereichs für jeden Task nötig. 44

45 Stack-, Heap-, Daten- und Code-Bereich Größe von Daten- und Code-Bereich wird beim Übersetzen vom Compiler ermittelt (feste Größe für ein Programm). Stack und Heap besitzen dynamische Größen, die vom Programmablauf abhängen. Stack: z.b. Lokale Variable, Heap: dynamische Objekte Der freie Bereich zwischen Stack und Heap sollte immer möglichst groß gewählt werden um Speicherunterlauf zu vermeiden. Mögliche Größe hängt aber vom Rechner (Ressourcen) ab. 45

46 Speicherzuweisung bei Multitasking Bei Multitasking muss beim Start einer Task ein freier Speicherbereich gesucht und die Task an diesen Speicherbereich durch Linken angepasst werden. Jede Task benötigt einen eigenen Ausschnitt aus dem gesamten Adressraum, der nicht von anderen Tasks verwendet werden darf. Wenn ein Task terminiert, entsteht eine Lücke im Speicher. Passt ein neuer Task nicht genau in diese Lücke, entstehen nach und nach ungenutzte Speicherfragmente. 46

47 Kopplung CPU- und Speicheradresse Eine feste Kopplung von CPU-interner Adresse und externer Speicheradresse verhindert flexible und dynamische utzung des Hauptspeichers. Dies ist nur bei Embedded Systemen akzeptabel. In allen anderen Systemen, welche Flexibilität erfordern, ist die Entkopplung interner und externer Adressen notwendig, z.b. Großrechner, Workstations, PC s etc. Entkopplung der CPU-internen (virtuellen) Adresse und der Speicheradresse (physikalische Adresse) schafft die notwendige Flexibilität. Die Umsetzung erfolgt durch eine Hardwareeinheit, diese nennt man Memory Management Unit (MMU) oder Paging Unit 47

48 virtuelle und physikalische Adresse Der virtuelle und der physikalische Speicherbereich wird in Speicherseiten fester Größe aufgeteilt pages (Kacheln) Übliche Seitengrößen sind 4 kbytes oder 8 kbytes (2er Potenzen), aber auch deutlich größere Seiten werden verwendet. Virtuelle Speicherseiten werden durch die MMU physikalischen Seiten zugeordnet. Ist bei Zugriff auf eine virtuelle Seite keine physikalische zugeordnet, liegt ein Seitenfehler (page fault) vor. Die MMU erzeugt dann in der CPU einen Interrupt, die Ausnahmebehandlung lädt die fehlende Seite. 48

49 virtuelle Adressierung durch MMU Physikalischer Adressraum: 15 Bit Beispiel: eine 32 Bit-Adresse wird zerlegt in 20 Bit Seiten-ummer und 12 Bit Offset. Der Offset ist die Adresse des gesuchten Byte in der 4096 Byte (212 Bit) großen Seite. Mit der Seitennummer wird in der Tabelle die physikalische Speicherseite gesucht. Physik. Speicherseite + Offset = Adresse des Operanden im Speicher. 49

50 virtuelle Adressierung durch MMU (2) Die Seitentabelle liegt im physikalischen Speicher, ihre Anfangsadresse ist im Register Tabellenbasis abgelegt. Index auf Seitentabelle = Tabellenbasis + Tabellenindex Adresse Operand = physik. Adresse der Seite + Offset 50

51 Beschleunigung der Adressumsetzung Sehr grosse Seitentabellen im Hauptspeicher (Beispiel) Zugriff auf Seitentabelle im physikalischen Speicher und anschließender Zugriff auf die physikalische Speicherzelle: Zweifacher Zugriff auf Speicher langsam! Lösung: Hardware-Erweiterung Assoziativspeicher, in dem Paare aus Tabellenindex und zugehöriger Basisadresse der physikalischen Speicherseite aus vorangegangenen Zugriffen gespeichert sind. Translation Lookaside Buffer (TLB) 51

52 Translation-Lookaside-Buffer (TLB) Virtuelle Adresse wird an TLB angelegt: Für Tabellenindex ist Eintrag vorhanden Hit. Kein Eintrag: Basisadresse für physik. Speicherseite wird aus Seitentabelle beschafft und im TLB eingetragen. In beiden Fällen: Physik. Adresse = Basisadresse + Offset 52

53 Translation-Lookaside-Buffer (TLB) (2) TLB enthält aktuellen Tabellenindex und Seitenbasis. Fehlt der Eintrag, erfolgt Zugriff auf Seitentabelle über Hauptspeicher. 53

54 Seitentabelle ohne Translation-Lookaside-Buffer (TLB) 54

55 Seitentabelle mit Translation-Lookaside-Buffer (TLB) 55

56 Virtuelle Adressierung (Zusammenf.) Virtuelle Adressierung erlaubt, einen großen Adressraum mit kleinerem physikalischem Speicher flexibel zu realisieren. ur ein Teil der virtuellen Seiten wird im physikalischen Speicher gehalten. icht benötigte Seiten werden auf Festplatte ausgelagert (Page-, Swap-Datei). Ersetzung erfolgt nach Least Recently Used, FiFo oder anderen Mechanismen. Benötigte aber nicht vorhandene Seiten werden von der Festplatte nachgeladen (Paging) und ersetzen ältere Seiten. 56