Speicher- verwaltung

Transkript

1 Kap. 4 Speicher- verwaltung Version vom Kap. 4 - Inhalt Übersicht Direkte Speicherbelegung Logische Adressierung und virtueller Speicher Seitenverwaltung Segmentierung Cache Speicherschutz Folie 2

2 Übersicht I Speicher ist neben dem Prozessor das wichtigste Betriebsmittel Speicherhierarchie Folie 3 Übersicht II Typische Speicherhierarchie mit Zahlen Zahlen sind sehr grobe Schätzungen < 1KB 1 MB 1GB 16GB GB GB Folie 4

3 Übersicht III Unterschiedliche Strategien für verschiedene Bereiche Anwenderprogramme interner Speicher: z.b. Verwaltung des Heaps durch Speichermanager oder garbage collector Hauptspeicher Aufteilung auf Prozesse: globaler vs. lokaler Speicher bei Multiprozessorsystemen Massenspeicher internes Management bei Dateien, z.b. der Swapdatei Folie 5 Übersicht IV Wesentliche Strategien der Speicherverwaltung für Prozesse Komplette Speicherbelegung (Prozeß) auslagern (swapping: langsam) Speicherteile (Prozeßteile) auslagern Folie 6

4 Direkte Speicherbelegung I Einfache Speicherbelegung Ein Benutzerprogramm ohne Swapping oder Paging Folie 7 Direkte Speicherbelegung II Multiprogramming mit festen Partitionen Folie 8

5 Direkte Speicherbelegung III Degree of multiprogramming CPU Benutzung als Funktion der Zahl der Prozesse im Speicher Folie 9 Direkte Speicherbelegung IV Zuordnung durch feste Tabellen Tabelleneinheit (z.b. 1Bit) gibt Zustand einer Speichereinheit (z.b. 32Bit-Wort oder 4KB-Einheit,...) an 9 8 A 7 6 FREI C 2 1 B 0 Speicherbelegung Belegungstabelle Folie 10

6 Direkte Speicherbelegung V Zuordnung durch verzeigerte Listen 9 8 A 7 6 FREI C 2 1 B 0 Speicherbelegung Anfang FREI.len=2 FREI.start=5 C.len=3 C.start=2 B.len=2 B.start=0 A.len=3 A.start=7 Belegungsliste Folie 11 Direkte Speicherbelegung VI - Belegungsstrategien Unabhängig von der Art der Verwaltung der Speicherbelegungslisten gibt es verschiedene Strategien, um aus der Menge der unbelegten Speicherblöcke den geeignetsten herauszusuchen. Ziele: Anzahl der freien Bereich minimieren Größe der freien Bereiche maximieren Folie 12

7 Direkte Speicherbelegung VII - Belegungsstrategien FirstFit Nimm das erste, ausreichend große Stück. Aber: Reststücke NextFit wie FirstFit, aber führe Speicherindex mit BestFit kleinste freie Stück, das paßt WorstFit größte freie Stück, um große Reststücke zu erreichen QuickFit eine Liste pro Anforderungsgröße, also pro Datentyp Buddy-Systeme Listen von 2 n großen Speicherstücken: 256B, 512B, 1024B, 2048B,... Kein passendes Stück da: Zerteilen des nächstgrößeren. Verschmelzen mit jeweils dem Partnerstück bei gleichem Adressenanfang Folie 13 Direkte Speicherbelegung VI - Bewertung Bewertung der Belegungsstrategien FirstFit > NextFit, WorstFit, BestFit Kenntnisse über Speicheranforderungen: QuickFit Leistungsfähigkeit der buddy-systeme Überschlagsrechnung: mittl. Anforderung = 75%, vergeudet 25% tats. Belegung schnell, aber nicht effizient Verbesserung: halbe oder viertel Partner (aber: Verwaltung!) Folie 14

8 Direkte Speicherbelegung VII - Fragmentierung Fragmentierung und Verschnitt Interner Verschnitt Interne Zersplitterung durch Heap-Belegung Abhilfe: garbage collector des Programmiersystems Externer Verschnitt Freier Platz zwischen den Programmen im Auslagerungsbereich Abhilfe: zuerst Einlagern großer Prozesse, dann Auffüllen mit kleinen. swapping kleiner Programme (gegen SJF- Strategie!) Oder: Speicheraufteilung in verschieden große Bereiche, jede mit eigener Warteschlange (IBM OS/MFT): ineffizient! Folie 15 Direkte Speicherbelegung VIII - Swapping Speicherallokation ändert sich, wenn Prozesse in den Speicher eingelagert werden den Speicher verlassen Schattierte Flächen sind ungenutzter Speicher Folie 16

9 Direkte Speicherbelegung IX - Swapping Platz für wachsendes Datensegment allokieren Platz für wachsendes Stack- und Datensegment allokieren Folie 17 Virtueller Speicher I - Wozu? Probleme & Einzellösungen Speicherzusatzbelegung Prozeß auslagern, neuen Speicher reservieren, neu einlagern Externen Verschnitt zum Prozeß dazuschlagen (stack & heap) Relozierung von Programmcode rel. Adressen für GOTO bei allen CPU-Typen bei Einlagerung oder zur Laufzeit absolute Adr. errechnen Speicherschutz Betriebssystemkern darf nicht korrumpiert werden (fences,limits), spezielle HW-Einheit Programmiermodell soll klar, einfach und uniform sein Folie 18

10 Virtueller Speicher II Forderung: lineares Programmiermodell Fragmente sollen zusammenhängend erscheinen Nur inaktive Programmteile werden ausgelagert FFF FFF C000 B8FF... A900 A Beliebig langer, Fragmentierter, durchgehender Speicher endlicher i Speicher Implementierung durch Memory Management Unit MMU Folie 19 Virtueller Speicher III Funktion und Position der MMU Folie 20

11 Virtueller Speicher IV - Wichtige Begriffe Seiten: Adreßraum ist in Einheiten gleicher Größe (sog. Seiten) aufgeteilt Seitenrahmen: physischer Speicher ist in Einheiten gleicher Größe (sog. Seitenrahmen oder Seitenkacheln) aufgeteilt Seitentabellen: verwalten Zuordung zwischen Seiten und Seitenrahmen Segmente: ähnlich wie Seiten, nur ungleich groß Segmenttabellen: ähnlich wie Seitentabellen, mit Größeninformation Folie 21 Seitenverwaltung I - Seitentabellen Relation zwischen virtuellen Adressen und physischen Speicheradressen wird durch die Seitentabelle beschrieben Folie 22

12 Seitenverwaltung II - Grundmodell virt. Adreßkonversion Virtuelle Adresse PageNr 6 HSB 11 0 offset LSB Basisadresse 6 offset Physikal. Adresse 7 Basisadresse 7 6 Basisadresse 6 5 Basisadresse 5 4 Basisadresse 4 3 Basisadresse 3 2 Basisadresse 2 1 Basisadresse 1 0 Basisadresse 0 Seitentabelle ~ ~ Page 6 ~ ~ Page 7 ~ ~ Hauptspeicherbelegung Folie 23 Seitenverwaltung III - Adreßkonversion Problem: virt. Adreßraum >> phys.adreßraum Riesige Seitentabellen! Sei Seitengröße=offset=12 Bit 4KB Seitenrahmen (page frame) 16 Bit: 4 Bit 16 Einträge 32 Bit: 20 Bit 1 Mill. Einträge 64 Bit: 52 Bit Einträge Adreßbegrenzung kleiner Adreßraum, z.b. 30 Bit (1 GB) 18 Bit 256 KB Tabelle Aber: Vergeudung von Platz, da meist nicht benötigt! Folie 24

13 Seitenverwaltung IV - Adreßkonversion Multi-Level-Tabellen Prozeßkontext Seitentabelle offset Virtuelle Adresse 7 Tafeladresse 7 6 nicht existent 5 nicht existent 4 nicht existent 3 nicht existent 2 nicht existent 1 Tafeladresse 1 0 Tafeladresse 0 3 nicht existent 2 Seitenadresse5 1 Seitenadresse 1 0 Seitenadresse 2 3 nicht existent 2 Seitenadresse 6 1 Seitenadresse 3 0 Seitenadresse 4 3 nicht existent 2 nicht existent 1 nicht existent 0 Seitenadresse7 offset ~ ~ Page 3 ~ ~ Page 7 ~ ~ page base table Seitentabellen 2 Speicherbelegung (Seitentabelle1) Folie 25 Seitenverwaltung V Adreßkonv.: 3-Level Tabellen SPARC-Architektur (SUN) Folie 26

14 Seitenverwaltung VI Adreßkonv.: 4-Level-Tabellen MC Motorola Problem: 4 von 5 Speicherzugriffen sind overhead Folie 27 Seitenverwaltung VII - Adreßkonversion Problem: Multi-Level-Tabellen sind langsam SPARC: 3-stufig, MC stufig (80% länger) und benötigen Tabellenplatz für jeden Prozeß extra. Lösung. Invertierte Seitentabellen ProzeßId=1 virt. reell , ProzeßId=2 virt. reell reell virtuell ProcId Folie 28

15 Seitenverwaltung VIII - Adreßkonversion Problem: Inverse Tabellen sind langsam Durchsuchen der gesamten Tabelle Lösung. Assoziativer Tabellencache Assoziativspeicher Abfragewort ProcId virtuelle reelle Seite X Antwort Folie 29 Seitenverwaltung IX - Shared Memory Globale Variablen (Prozeßkommunikation) Gemeinsamer Puffer (Semaphor-geregelter Zugriff) Gemeinsam genutzer Code (C-Bibliothek,..) BS-geregelter Zugriff memory mapping Daten virt. Seite 5 Prozeß A freigeben RAM-Seite 123 phys. Speicher Daten virt.seite 10 Prozeß B Daten virt. Seite 2 Prozeß C Folie 30

16 Seitenverwaltung X - Unix HP-UX: 32 Bit + 16/32 Bit space register 4 Segmente (Quadranten) unterschiedl. Funktionalität Memory-mapped devices (kernel mode) 4GB 3GB I/O map shared memory shared libs shared memmapped files IV III 2GB 1GB user stack u_area heap data user program 0 GB code II I Folie 31 Seitenverwaltung XI - Windows NT Windows 2000/XP/Vista/7 : 32 oder 64 Bit Virtual memory manager für Seitenverwaltung 4KB-64KB Seiten 2-stufige Seitentabellen page directory/ page table = PFD Shared memory Sonderregelung 3.Stufe: zentrale prototype page table Kernel mode Adressierung durch 30 Bit phys. Adresse 4 GB locked 3 GB paged 2 GB kernel user process 0 (paged) Folie 32

17 Seitenverwaltung XII - Strategien zur Seitenersetzung Problem: Begrenzter Hauptspeicher. Welche alte Seite soll durch benötigte Seite ersetzt werden? (Scheduling für Seitenaustauschprozessor) Folge von benötigten Seiten: Referenzfolge Optimale Strategie (Belady 1966) Ersetze die Seite, die am spätesten benutzt werden wird Beispiel: Ziel RAM RAM RAM t = Folie 33 Seitenverwaltung XIII - Strategien zur Seitenersetzung Problem: Ansatz: Referenzfolge i.a. nicht bekannt. Statistik notieren pro Seite Bits R= referenced Reset durch Timer oder Ereignis M= modified FIFO-Strategien: Ersetze die älteste Seite nur älteste Seite ersetzen: Problem mit Hauptseite Folge RAM RAM RAM t = Folie 34

18 Seitenverwaltung XIV - Strategien zur Seitenersetzung Der clock-algorithmus Markierung im Ringpuffer letzte Seite kreist Überspringen einer Seite bei R=1 (Second-Chance-Algorithmus) Neue Seite Älteste Seite Folie 35 Seitenverwaltung XV - Strategien zur Seitenersetzung Die NRU-Strategie (Not Recently Used) Ersetze die Seite mit geringster Nutzung in einem gemeinsamen Zeitraum Mit Prioritätsliste bessere Statistik-Ausnutzung: 1) R = 0, M = 0 wenig Nutzung zuerst ersetzen. Clock-Alg! 2) R = 0, M = 1 beschriebene Seite 3) R = 1, M = 0 genutzte Seite 4) R = 1, M = 1 genutzte beschriebene Seiten zuletzt Ersetze Seite mit kleinster Nummer (2R+M) Problem: Geringe Differenzierung (Seiten mit gleichem Status) Not Frequently Used NFU, Least Frequently Used LFU Ersetze die Seite mit geringster Benutzungsfrequenz Zeitspanne = Existenzzeit des Prozesses Problem: früher aktuelle Seiten dominieren zu lange, träges Verhalten Alterungsprozeß einführen! Linux: Einen Zähler pro Seite, bei jeder Referenz hochzählen, Dekrementieren durch Hintergrundsprozeß Folie 36

19 Seitenverwaltung XVI - Strategien zur Seitenersetzung Die LRU-Strategie (Least Recently Used) Seite mit kleinster Benutzungswahrscheinlichkeit (längste Zeitspanne seit letzter Benutzung) zuerst ersetzen Folge RAM RAM RAM t = Zählen durch Schieberegister: 8 Bit-Zahl ~ Aktualität Zeitpunkt t Seite A Seite B Seite C R-Bit Folie 37 Seitenverwaltung XVII - Seitenmengen: Das working set Arbeitsmenge (working set) eines Prozesses Minimale Seitenzahl pro Prozeßfenster (Denning 1980) Mittlere Seitenzahl pro Prozeß Beispiel: Variable A,B,C,D sind auf verschiedenen Seiten MOVE A,B MOVE C,D Denning Working set = 5, unabhängig von evtl. zusätzlichen Seiten Lokalitätsprinzip tsprinzip! Einlagern von nötigen Seiten: Einlagern des working set: demand paging prepaging Folie 38

20 Seitenverwaltung XVIII - Seitenreferenzen: Lokalitätsprinzip Ausführungszeitpunkte Benutzte Seiten Speicherverwaltung H. Weber, FH Wiesbaden Folie 39 Seitenverwaltung XIX - Strategien zur Seitenersetzung Die Working Set-Strategie Seite außerhalb des working set-fensters zuerst ersetzen Fenster > Speichergröße Folge RAM1 RAM2 RAM f d t= Speicherverwaltung H. Weber, FH Wiesbaden Folie 40 20

21 Seitenverwaltung XX - Modellierung und Analyse Optimale Seitenlänge Hauptspeichergröße k, SW-Seitengröße s Einstufige Seitentabelle mit k/s Einträgen pro Prozeß Datenlänge ist aus ]0,s] mittl. Verschnitt s/2 mittl. Speicherverlust V = (s/2 + k/s) k f v größ. Seiten kleinere Tabellen, mehr Verschnitt klein. Seiten größere Tabellen, weniger Verschnitt Optimum: Ableitung von V(s) wird null Vs ( opt ) 1 = 0 k 0 2 s 2 s = 1 = k 2 2 opt s opt s opt = 2k und Verlustfaktor f v = 2/s opt Folie 41 Seitenverwaltung XXI - Modellierung und Analyse Weitere Kriterien für optimale Seitengröße große Seiten haben hohen Verschnitt bei geringen zusätzl. Speicheranforderungen (höh. Mittl. Verschnitt) Zeit, um eine Seite auf den Massenspeicher zu schieben: kleinere Seiten sind schneller geschrieben, aber langsamer gefunden Speicherverschnitt bei mittl. Dateigröße von 1 kb => nicht zu große Seiten! Kleine Seitengröße, große Transfermengen => I/O Clustermengen, read ahead Folie 42

22 Seitenverwaltung XXII - Modellierung und Analyse Optimale Seitenzahl pro Prozeß? Beispiel FIFO 4 vs. 5 Seiten für Referenzfolge Ziel Ziel RAM RAM1 RAM RAM2 RAM RAM3 RAM RAM RAM5 Beladys Anomalie: Mehr Ersetzungen trotz mehr Seiten! Folie 43 Seitenverwaltung XXIII - Modellierung und Analyse Beispiel LFU 4 Seiten vs. 5 Seiten Stack-Notation Zeit Häufigkeit RAM RAM RAM RAM RAM RAM RAM RAM DISK RAM DISK DISK DISK DISK a) 4 RAM-Seiten b) 5 RAM-Seiten LFU-Liste mittels Stack-Liste implementierbar unabhängig von der RAM/DISK-Grenze Keine Anomalie für alle Stack-Algorithmen beweisbar Folie 44

23 Seitenverwaltung XXIV - thrashing Beobachtung: Bei sehr vielen Prozessen läuft plötzlich das Gesamtsystem langsamer, stattdessen starke Plattenaktivität Erklärung: Wartezeiten kehren sich um CPU PPU n Prozesse, jeder m<k Seiten Keine Verzögerung > Prozeß 1 Prozeß 2 Prozeß 3 thrashing: Prozeß 1 Prozeß 2 Prozeß 3 t W t S > t W t S Folie 45 Seitenverwaltung XXV - Analyse von thrashing Folie 46

24 Seitenverwaltung XXVI - Anti-Thrashing Strategien Speicherangebot muß genügen für working set bei gegebenem Verhältnis Seitenverweilzeit t S Seitenwechseldauer t T Hardwaremaßnahmen Große Seiten großes t S (Festplattenverzögerung!) mehrere parallele swap-festplatten kleineres t T Programmierungsmaßnahmen lokaler code (inline), lokale Adressreferenzen (z.b. Matrizenmultiplikation) kleines σ T (nötige Seitenzahl) Working Set Modell nur so viele Prozesse, wie Speicher für alle working sets fester Größe reicht (z.b. Siemens:BS2000, IBM:CP67) Page Fault Frequency-Modell PPF Wenn Seitenersetzungen pro Zeiteinheit (Seitentauschrate) > Schwelle, Prozesse stillegen. < Schwelle, Prozesse aktivieren. (Dynamische Strategie: etwas besser als die statische working-set-strategie) Folie 47 Seitenverwaltung XXVII - Anti-Thrashing Strategien PFF-Modell Folie 48

25 Seitenverwaltung XXVIII - Anti-Thrashing Strategien Globale vs. lokale Strategien Speicheraufteilung je nach Prozeßgröße Strategien (PPF, LRU,..) nicht isoliert pro Prozeß, sondern global für alle Seiten aller Prozesse (z.b. PPF gleich für alle Prozesse). Nachteil: Nicht gerecht Lazy evaluation Vermeide unnötigen Seitentausch Copy On Write Seitenkopie erst durchführen, wenn darauf geschrieben wird Page Out Pool Auszulagernde Seiten zwischenspeichern (standby) Folie 49 Seitenverwaltung XXIX - Seitenverwaltung Probleme I/O Pages und Shared Pages Paging Demon Kapselung als idle-prozeß, z.b. für page out pool (besonders wichtige Seiten) DMA für ausgelagerte Prozesse: Fehler! Gemeinsame Bibliotheken, shared memory: Probleme beim Auslagern! Page faults und Instruktionsgrenzen Bei Seitenfehler: Wiederholung des Befehls. Aber wo fing er an? Rekonstruktionszeit nötig bei Microcode. Folie 50

26 Seitenverwaltung XXX - Seitenverwaltung Ablauf eines Page faults : Folie 51 Seitenverwaltung XXXI - Unix: Seitenersetzungsstrategien HP-UX: Swapping vs. Paging Swapping: schneller Zugriff, z.b. für Prozeßauslagerung z.b. swap disk, swap section einer Platte, swap directory im Dateisystem Pageout demon desfree < freierspeicher < 25% des Anwenderspeichers: periodischer reset des R-Bits, t warten, Auslagern der Seiten mit R=0 swapper demon freierspeicher < desfree: swapper demon desaktiviert Prozesse + sweep out, bis Min. erreicht. Min,Max für Hysterese gegen Seitenflattern Folie 52

27 Seitenverwaltung XXXII - Windows NT: Seitenersetzungsstrategien FIFO-Seitenersetzung im Normalfall Keine globale Seitenabstimmung der Prozesse, da lokales Seitenmanagement pro Prozeß subjektiv gerechter Wenig aufwendig Auslagerung häufig benutzter Seiten gemildert durch page out pool Automatic workset trimming zu wenig Speicher da Alle Prozesse mit aktueller Seitenzahl (working set) >min verkleinern Bei Seitenfehlern wird working set geclustert vergrößert (größere effektive Seitenlänge!) Automatic Copy on write unnötiges Kopieren verhindern Neue Prozesse (POSIX): Seiten mit copy on write verhindert Kopieren von Elternseiten für Kinder (Codeüberlagerung) Dynamic Link Library DLL nur bei write kopiert, sonst nicht. Folie 53 Seitenverwaltung XXXIII - Konfigurationsmöglichkeiten UNIX Bei der Installation des Systems wird eine Swap-Partition angelegt, deren Grösse man festlegen kann. Später können weitere Swapbereiche in Form von Partitionen und Files hinzugefügt werden, sogar Swapping über NFS ist möglich. Windows NT/2000/XP/Vista/7 Bei der Installation wird ein gewisser Standard eingestellt, der in der Systemsteuerung abgeändert werden kann, was Größe und Verteilung der Swapbereiche auf die Platten angeht. Folie 54

28 Segmentierung I Segmente statt globalem linearem Adressraum Problem: Kollision der Adreßräume bei wachsenden Datenstrukturen Oberer Speicher (Heap) Symboltabellen Quelltext Daten Tabellen Programm Parser- Baumstrukturen Laufzeitsystem Stack Argumente/ Optionen UNIX-Segmente Stack Compiler-Segmente Folie 55 Segmentierung II Seitentabelle Segmenttabelle (Segmentregister) Beispiel: Intel Daten Code Stack CPU/MMU SegmentRegister DS CS SS ES Extended- Daten Speicher Daten A Code A Daten B Code B Stack DatenBlock 1 DatenBlock 2 Folie 56

29 Segmentierung III Lokale und globale Seitentabellen INTEL Pro Prozeß: Local Description Table LDT Alle Prozesse: Global Description Table GDT CPU LDT-Register GDT-Register Prozeß B LDT Code Segment GDT Daten Segment Globale Segmente Code Segment Code Segment Prozeß A Code LDT Segment Daten Segment Daten Segment Folie 57 Cache I Schneller Speicherzugriff durch schnellen Hilfsspeicher (Cache) bei Lokalitätseigenschaft Pipeline-burst-Cache Adresse Prozessor Daten burst CACHE Speicher DRAM Befehls/Daten-Cache Prozessor Daten Adresse CACHE Speicher DRAM Folie 58

30 Cache II Konsistenzproblem Prozessor Adresse CACHE Speicher DRAM DMA Read Ein-/ Ausgabeeinheiten Daten Write Lösungen Direktschreiben write through Zurückschreiben write back Aktualisieren copy back mittels snooper (Überwachung) Beispiel: Intel MESI Statuswort für Cachespeicher Folie 59 Speicherschutz I Virt.Speicher: keine Adressiermöglichkeit des Nachbarn Zugriffsrechte bei jeder Seite bzw. Segment (UNIX, NT) VM Manager (Windows NT) Execute only Gemeinsame Bibliotheken Guard Page Bei Benutzung Signalerzeugung guard page exception No Access bei nichtex. oder gesperrten Seiten: Debuggingsignal Copy on Write Speicherschutz: Bei Zugriff nur Schreiben auf Kopie Sicherheitsstufen kernel mode vs. user mode z.b. Intel 80386: real mode virtual mode:user /dll /system /kernel Zugriff und Sprünge nur auf Seiten mit größerer/gleicher Statuszahl Folie 60