Virtueller Speicher und Cache. VL5 GRT, SS 2004, Kneisel

Transkript

1 Virtueller Speicher und Cache VL5 GRT, SS 2004, Kneisel

2 Speicherhierarchie Übersicht! Ausgangsproblem, Motivation! Virtueller Speicher " Paging, Adressübersetzung, Pufferung " Segmentierung Abgrenzung zum Paging! Cache-Speicher " Cache-Arten " Prozessorcaches! Organisation,! Aktualisierung, Alterung! Zusammenschau GRT SS2004, VL5, Kneisel 2

3 Einführung Speicherhierarchie = Abgestuftes System verschiedener Speicher für optimale Rechnerleistung.! Warum? Antwort auf das Grundproblem: "Immer zuwenig Speicher. Und immer zu langsam. "Dieses Problem taucht auf verschiedenen Ebenen im Rechner auf. Techniken zur Abhilfe sind u.a. Virtueller Speicher, Cache. GRT SS2004, VL5, Kneisel 3

4 Virtueller Speicher - Motivation! Früher waren Programme häufig zu groß für den Arbeitsspeicher.! > Aufteilung in Overlays (Überlagerungen), die bei Befarf vom Massenspeicher nachgeladen werden. " kontrolliert vom Programmierer > hoher Aufwand in jedem Anwendungsprogramm.! Auch bei DOS lange benutzt.! Verlagerung der Überlagerungsverwaltung ins Betriebssystem - Virtual Memory " Vorschlag erstmals durch Wilkes, Manchester, 1961 " Erste kommerzielle Implementierung IBM S/370, 1970 GRT SS2004, VL5, Kneisel 4

5 Virtueller Speicher - Prinzip! Trennung von Adressraum und physikalischer Speicherstelle logischer Virtuelle = Logische Adresse - Reale Adresse engl. Virtual Address Real Address - physischer Speicherort! Abbildung über Tabellen, wird automatisch vom Betriebssystem bewerkstelligt.! Hardwareunterstützung durch Memory Management Unit (MMU). GRT SS2004, VL5, Kneisel 5

6 Virtueller Speicher - Begriffe! Paging = Abbildung zwischen logischer Adresse und physischer Speicherstelle! Page Table (Seitentabelle) = Tabelle, die diese Abbildung speichert.! Page (Seite) = Logischer Speicherblock fester Größe, Grundeinheit der Verwaltung des Virtuellen Speichers.! Typisch 4kB, auch 4MB.! Page Frame (Seitenrahmen) = Physischer Speicherbereich, der eine Seite aufnimmt, Größe = Seitengröße.! Page Hit Seite ist im Hauptspeicher vorhanden.! Page Miss (Seitenfehler) Seite ist nur im Massenspeicher vorhanden, Nachladen in den Hauptspeicher nötig.! Working Set (Arbeitsmenge) = Menge der Seiten, mit denen ein Programm arbeitet. GRT SS2004, VL5, Kneisel 6

7 Virtueller Speicher - Beispiel! 16-Bit-Adressraum " 64kB adressierbarer Speicher.! Hauptspeicher nur 8kB.! Seitengröße 4kB! Logische Adresse aufgeteilt in " 12 Bit Offset in der Seite " 4 Bit Seitenindex. 64k 60k 56k 16k 12k 8k 4k 4k HS = Hauptspeicher, 0 0 MS = Massenspeicher, Festplatte Logischer Adressraum Hauptspeicher VL5-1 Nur bei Virtuellem Speicher Massenspeicher Ausgelagerte HS-Seiten (14) 8k GRT SS2004, VL5, Kneisel 7

8 Virtueller Speicher - Beispiel! Base Page 0-8k im HS! Zugriff auf Adresse 12k = 0x2FFF! Ohne Virtuellen Speicher: Programmabbruch.! Mit virtuellem Speicher: " Alte Seite FFF wird von HS nach MS gespeichert. " Neue Seite FFF wird im MS gesucht und " In den HS geladen " Seitentabelle wird aktualisiert. " Programm wird fortgesetzt. 64k 60k 56k 16k 12k 8k 4k 0 Logischer Adressraum VL5-2 HS = Hauptspeicher, MS = Massenspeicher, Festplatte Massenspeicher 0-FFF Ausgelagerte HS-Seiten (14) 4k 0 Hauptspeicher GRT SS2004, VL5, Kneisel 8 8k

9 Virtueller Speicher - Seitentabelle! Seitentabelle mit 16 Einträgen " Nummer der Seite als Index " 1Bit Seitenrahmennummer " 1 Present Bit Seite im HS vorhanden X Seite Present, Seitenrahmen Bei Seitenfehler wird Betriebssystem aktiv. 64k 60k 56k 16k 12k 8k 4k 0 Logischer Adressraum VL5-3 Massenspeicher 0-FFF Ausgelagerte HS-Seiten (14) 8k 4k 0 Hauptspeicher GRT SS2004, VL5, Kneisel 9

10 Virtueller Speicher Eigenschaften! Seitenfehler (Present-Bit =0) löst Trap aus. Betriebssystem lädt Seite nach.! Paging ist transparent = Das Anwendungsprogramm merkt nichts davon.! Zeitersparnis, wenn jede Seite nur bei Bedarf geladen wird ( Demand Paging ) " Am Anfang kann der HS leer sein.! Seitentabelle enthält auch Verwaltungsinformationen: " Seite nur lesbar, " Seite verändert ( dirty ) > muß bei Auswechslung in den Speicher geschrieben werden. " Priviliegienbits wer darf die Seite beschreiben GRT SS2004, VL5, Kneisel 10

11 Virtueller Speicher Probleme! Wenn eine neue Seite geladen wird, muß eine alte ausgelagert werden.! Typischerweise die älteste ( least recently used, LRU- Algorithmus)! Bei Arbeitsmenge größer als der Hauptspeicher, die zyklisch benutzt wird, versagt der Ersetzungsalgorithmus.! Leistung sinkt dramatisch bis zum Stillstand (z.b.win3.1)! Sogenanntes Thrashing ( hin und her zappeln, schütteln, prügeln ) GRT SS2004, VL5, Kneisel 11

12 Paging Beispiel Pentium! Schema nach IBM S/370! 32-Bit logische, lineare Adresse " 10 Bit adressieren Eintrag im Page Table Directory " 10 Bit adressieren Eintrag in der Page Table " 12 Bit adressieren Offset in der Page " Bild VL5-4! Seitentabelle mit 1k Einträgen von je 4Byte.! Einträge in der Seitentabelle enthalten Rahmennummer, Verwaltungsinformationen. GRT SS2004, VL5, Kneisel 12

13 Paging Beispiel Pentium Bild VL5-4 GRT SS2004, VL5, Kneisel 13

14 Paging Beispiel Pentium (Fs.)! Warum zweistufige Abbildung?! Zur Beschleunigung der Übersetzung existiert ein Translation Lookaside Buffer (TLB) "Zwischenspeicher für die letzten Übersetzungen > spart Zeit. "Assoziativspeicher (inhaltsadressiert) GRT SS2004, VL5, Kneisel 14

15 Segmentierung! Technik zur Bereitstellung mehrerer Adressräume nicht verwechseln mit Virtuellem Speicher. " Verschiedene Adressräume erleichtern Verwaltung verschiedener Datenstrukturen.! Eigenschaften: " Lineare Adresse wird aus Segment und Offset gebildet: Lineare Adresse = (Segment SHL 16)+ Offset ( bei Intel) " Segmente können verschieden groß sein. " Segmentierung nicht transparent für den Programmierer. " Implementierung durch! Swapping Auslagerung ganzer Segmente auf Massenspeicher.! Paging Zusammensetzung aus Seiten, Auslagerung von Seiten, " d.h. Kombination mit Virtuellem Speicher möglich. Bild VL5-5 GRT SS2004, VL5, Kneisel 15

16 Bild VL5-5 Kombination von segmentiertem und Virtuellem Speicher Quelle: IBM S/390 POP, 1996 GRT SS2004, VL5, Kneisel 16

17 Cache - Motivation! Lokalitätsprinzip = Programme greifen häufig auf nahe beieinanderliegende Daten zu. " Beispiele: Programmcode, Datenströme, Datenbanken, Algebraische Berechnungen.! Blockzugriffe auf Speicher sind günstiger.! Z.B. PCI-Burst Lesen Schreiben ! Folge: " Nicht alle Daten müssen ständig vorgehalten werden. " Kleiner, schneller Speicher enthält aktuelle Daten. " Bei Bedarf Nachladen durch Sammelzugriffe auf den größeren, langsameren Speicher. GRT SS2004, VL5, Kneisel 17

18 Cache - Definition! Kleiner, schneller Zwischenspeicher, der gerade benötigten Teil von Daten vorhält.! An vielen Stellen eingesetzt: " Prozessorcache " Dateisystemcache " Browser-Seiten-Cache! versteckt die (frz. cacher, verstecken ) Langsamkeit des hinterliegenden Speichers. GRT SS2004, VL5, Kneisel 18

19 Cache - Prinzipschaltung! Cache-Steuerung entscheidet, woher die Daten genommen werden. CPU Cache Hauptspeicher Cachecontroller Bild VL5-6 GRT SS2004, VL5, Kneisel 19

20 Cache - Begriffe! Cache-Hit (Cachetreffer) = Daten sind im Cache vorhanden.! Cache-Miss (Cache-Fehlschlag) = Daten sind nicht im Cache vorhanden.! Hitrate = Durchschnittshäufigkeit eines Cachetreffers! Hitrate = Anzahl Treffer / Anzahl Speicherzugriffe! Cacheable Area = Adressraum, der vom Cache abgedeckt wird.! Cache-Line (Cachezeile) = Organisationseinheit im Cache. " stets mehrere Worte gespeichert, z.b. heute typisch 256 Bit. GRT SS2004, VL5, Kneisel 20

21 Cache - Kriterien! Größe! Platz in der Speicherhierarchie L1, L2..! Verhalten " Write-Through, Write-Back " Write (Miss) Allocation, direktes Schreiben! Aufteilung " Gemeinsam, getrennt für Daten und Code! Organisation " Direkt abgebildet, n-fach oder voll assoziativ GRT SS2004, VL5, Kneisel 21

22 Cache Hierarchie und Größe! Cache-Prinzip kann mehrfach angewandt werden. " Großer Cache braucht Platz > weiter vom Prozessor entfernt > Zugriff langsamer. " Abhilfe: kleinerer Cache direkt neben der Fetch-Einheit auf dem Prozessor > L1-Cache! Einteilung in Cache-Ebenen ( Level )! L1= Level1 typisch 8kB..64kB(Thunderbird)! L2 typisch 256kB...1MB! L3 z.t. bei Großrechnern IBM z-series! Cache-Größe über 1MB bringt wenig Erhöhung der Trefferrate, typisch Hitrate(1MB) > 90% GRT SS2004, VL5, Kneisel 22

23 Cache - Verhalten! Zwei unterschiedliche Arten beim Schreiben: " Write-Through (Durchschreiben) = Daten werden direkt in den Hauptspeicher geschrieben! Cache wird nur beim Lesen benutzt.! Einfache Implementierung, aber höhere Buslast, Verbesserung durch Puffern ( Buffered Write-Through, i486) " Write-Back (Zurückschreiben) = Daten werden im Cache geändert.! Zeile wird als geändert ( dirty ) markiert. (heute üblich)! Write Allocation = Bei Schreibfehlschlag werden die Daten in den Cache geladen und dort aktualisiert. " Gegenteil:Nur in den Hauptspeicher schreiben. Bei Read-Miss allgemein Read-Through = Daten in Cache und Hauptspeicher werden auf einmal aktualisiert. GRT SS2004, VL5, Kneisel 23

24 Cache - Aufteilung! Zwei Möglichkeiten: "Gemeinsamer ( unified ) Cache für Daten und Instruktionen. "Getrennter ( split Cache ) Cache für Daten und Instruktionen.! Häufig bei superskalaren oder RISC-Prozessoren, um Pipeline-Konflikte zu vermeiden.! Gekoppelt mit Harvard-Architektur. GRT SS2004, VL5, Kneisel 24

25 Cache - Organisation! Direkt abgebildet ( direct mapped ) = Zeilennummer der Cachezeile entspricht direkt dem Adressoffset der Speicherstelle im Hauptspeicher. " Speicherstelle im Hauptspeicher kann nur in genau eine Cache-Zeile geladen werden.! Vollassoziativ = Kein Bezug zwischen Cache-Zeilennummer und Adressoffset der Speicherstelle im Hauptspeicher. " Speicherstelle im Hauptspeicher kann in jede Cachezeile geladen werden. " Cache enthält Hauptspeicheradresse als zusätzlichen Teil der Cachezeile. " Cache-Zeile wird über den Inhalt adressiert > assoziativ.! N-fach assoziativ = Mischform, Hauptspeicherstelle kann in N Cachezeilen geladen werden. GRT SS2004, VL5, Kneisel 25

26 Direct-mapped Cache! Cachezeile entspricht direkt dem Adressoffset im Hauptspeicher (niedrigstwertige Bits der HS- Adresse)! Cache paßt m-mal in den Hauptspeicher (bzw. Cacheable Area) " m = HS-Größe / Cachegröße! Um den gesamten HS puffern zu können, muß der Cachezeile ein Merker t ( Tag ) mitgegeben werden, aus welchem Teil des HS die gepufferte Zeile stammt. 0 <= t <= m-1 GRT SS2004, VL5, Kneisel 26

27 VL5-7: Direktabgebildeter Cache Adresse vom Prozessor Hauptspeicher, 16MB Rest Tag Offset 64kB 14 Bit Direkte Adressierung D0 0F D0 0Fh Tag FFh Zeile 01h FFh Tag CA FE BA BEh D0 0F D0 0Fh Datenbereich, 64kB Cache CA FE BA BEh 64kB 64kB Adr. FF0004h Adr. 01FFF8h Tag 01h Tag 00h GRT SS2004, VL5, Kneisel 27

28 Direktabgebildeter Cache, Beispiel 1.Cachecontroller empfängt Adresse vom Prozessor. 2. Direkte Adressierung über Zeile = 0001h 3. Vergleich des Tags der Cachezeile mit dem der angeforderten Adresse. FF=FF > Hit! 00FF0004h Rest Tag Offset Zeile 01h FFh Tag 14 Bit 0 CA FE BA BEh D0 0F D0 0Fh Datenbereich, 64kB Cache Hauptspeicher, 16MB 64kB D0 0F D0 0Fh CA FE BA BEh 64kB 64kB Tag FFh Adr. FF0004h Adr. 01FFF8h Tag 01h Tag 00h GRT SS2004, VL5, Kneisel 28

29 VL5-8: Vollassoziativer Cache Adresse vom Prozessor Hauptspeicher, 16MB Rest Tag BE 22 Bit D0 0F D0 0Fh Paralleler Inhaltsvergleich mit allen Einträgen Adr. FF0004h = Tag 3FC001h 007FFEh 3FC001h CA FE BA BEh D0 0F D0 0Fh CA FE BA BEh Adr. 01FFF8h = Tag 007FFEh Tag, 256 Einträge Datenbereich, 1kB Cache GRT SS2004, VL5, Kneisel 29

30 VL5-9: 2-fach assoziativer Cache Adresse vom Prozessor Rest Tag Offset h 1FFh 13 Bit Direkte Adressierung, dann Vergleich mit beiden Tags (Lesen) bzw. Auswahl eines Eintrags (Schreiben) 0 CA FE BA BEh D0 0F D0 0Fh D0 0F D0 0Fh Hauptspeicher, 16MB 32kB D0 0F D0 0Fh CA FE BA BEh 32kB Tag 1FFh Adr. FF8004h Adr. 01FFF8h Tag 01h Zeile Tag Datenbereich, 2x32kB Cache 32kB Tag 00h GRT SS2004, VL5, Kneisel 30

31 Cache Organisation, Vergleich! Direkt abgebildeter Cache " Unaufwendig zu implementieren.! Kleinere RAM-Speicher " Thrashing kann auftreten, wenn zwei HS-Adressen gepuffert werden, die um die Cachegröße auseinanderliegen.! Vollassoziativer Cache " Aufwendige Implementierung! Großes Tag-RAM. Für jede Zeile ein Komparator nötig zum assoziativen Vergleich! " Immun gegen Thrashing! Simulationen zeigen, daß 2- bis 4-fach assoziative Cachespeicher optimale Ergebnisse bringen. GRT SS2004, VL5, Kneisel 31

32 Cache - Verschiedenes! Kohärenzsicherung "Wichtig in Multiprozessorsystemen " Snooping -Protokolle "MESI-Protokoll (Modified, Exclusive, Shared, Invalid)! Non-Cacheable Bereiche: "Z.B. Grafikspeicher, Speicher für Interprozesskommunikation GRT SS2004, VL5, Kneisel 32

33 Cache - Aufgaben! Welche Rolle spielt die Zeilengröße für die Cachewirkung? Beim D- Cache, beim I-Cache?! Gegeben: " System1: Cache mit Hitrate=0,95. Cache-Zugriff dauert 1 Prozessortakt. Hauptspeicherzugriff dauert 3 Prozessortakte. " System2: Gesamter Hauptspeicher mit nur 1 Takt Zugriffszeit. " Welches Verhältnis der Leistungen?! Prozessor mit 50 MIPS, Befehlslänge 4Byte. Hauptspeicher 128MB, Cacheable Area = 64 MB. 1MB-L2-Cache, direkt abgebildet, mit 8 Byte Zeilenlänge. Speicherschnittstelle entspricht Cachebreite. " Wie breit (in Bits) und wie groß ist das Tag-RAM? " Wie hoch ist die Speicherbandbreite? GRT SS2004, VL5, Kneisel 33

34 Speicherhierarchie! Cache und Virtueller Speicher sind beide Lösungen für das Speicherproblem, nur auf verschiedenen Ebenen.! Speicher verschiedener Größe und Geschwindigkeit bilden eine Hierarchie: " Register " Cache, L1, L2.. " Hauptspeicher " Massenspeicher Festplatte " Sicherungsspeicher CR-ROM, Bandlaufwerk... GRT SS2004, VL5, Kneisel 34