Betriebssysteme, Rechnernetze und verteilte Systeme 1 (BSRvS1) Virtueller Speicher.

Transkript

1 Betriebssysteme, Rechnernetze und verteilte Systeme (BSRvS) Virtueller Speicher Olaf Spinczyk rbeitsgruppe ingebettete Systemsoftware Lehrstuhl für Informatik TU Dortmund in Zusammenarbeit mit Prof. Franz Hauck, Universität Ulm Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher

2 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher 3 Wiederholung Bei der Speicherverwaltung arbeitet das Betriebssystem sehr eng mit der Hardware zusammen. Segmentierung und/oder Seitenadressierung Durch die implizite Indirektion beim Speicherzugriff können Programme und Daten unter der Kontrolle des Betriebssystems im laufenden Betrieb beliebig verschoben werden. Zusätzlich sind diverse strategische ntscheidungen zu treffen. Platzierungsstrategie (First Fit, Best Fit, Buddy,...) Unterscheiden sich bzgl. Verschnitt sowie Belegungs- und Freigabeaufwand. Strategieauswahl hängt vom erwarteten nwendungsprofil ab. Bei in-/uslagerung von Segmenten oder Seiten: Ladestrategie rsetzungsstrategie heute mehr dazu BSRvS: 9 Virtueller Speicher

3 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher Lokalität der Speicherzugriffe inzelne Instruktionen benötigen nur wenige Speicherseiten uch über längere Zeiträume zeigt sich starke Lokalität Instruktionen werden z.b. eine nach der anderen ausgeführt. Die Lokalität kann ausgenutzt werden, wenn der Speicher nicht reicht. z.b. Overlay-Technik Quelle: Silberschatz, Operating System oncepts BSRvS: 9 Virtueller Speicher 6

4 Die Idee des Virtuellen Speichers ntkoppelung des Speicherbedarfs vom verfügbaren Hauptspeicher Prozesse benötigen nicht alle Speicherstellen gleich häufig bestimmte Befehle werden selten oder gar nicht benutzt (z.b. Fehlerbehandlungen) bestimmte Datenstrukturen werden nicht voll belegt Prozesse benötigen evtl. mehr Speicher als Hauptspeicher vorhanden Idee Vortäuschen eines großen Hauptspeichers inblenden benötigter Speicherbereiche bfangen von Zugriffen auf nicht-eingeblendete Bereiche Bereitstellen der benötigen Bereiche auf nforderung uslagern nicht-benötigter Bereiche BSRvS: 9 Virtueller Speicher Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher 8

5 Demand Paging Bereitstellung von Seiten auf nforderung Virtueller dressraum B D F Seiten-Kachel-Tabelle Kacheln im Hauptspeicher 3 6 Hintergrundspeicher D F B Präsenzbit BSRvS: 9 Virtueller Speicher 9 Demand Paging Reaktion auf Seitenfehler (page fault) Virtueller dressraum B D F lade v in F SKT Kacheln im Hauptspeicher Trap! 3 6 Betriebs- system Präsenzbit Hintergrundspeicher BSRvS: 9 Virtueller Speicher D B F

6 Demand Paging Reaktion auf Seitenfehler (page fault) Virtueller dressraum B D F lade v in F SKT Kacheln im Hauptspeicher Trap! 3 6 F Präsenzbit inlagern der Seite Hintergrundspeicher BSRvS: 9 Virtueller Speicher D B F rmitteln der ausgelagerten Seite Demand Paging Reaktion auf Seitenfehler (page fault) Virtueller dressraum B D F lade v in F SKT npassen der SKT Kacheln im Hauptspeicher 3 6 F Betriebs- system Betriebs- system Präsenzbit Hintergrundspeicher BSRvS: 9 Virtueller Speicher D B F

7 Demand Paging Reaktion auf Seitenfehler (page fault) Virtueller dressraum B D F Wiederholen des Zugriffs lade v in F SKT Kacheln im Hauptspeicher 3 6 F Betriebs- system Präsenzbit Hintergrundspeicher BSRvS: 9 Virtueller Speicher 3 D B F Diskussion: Paging Zeitverhalten Performanz von Demand Paging Ohne Seitenfehler ffektive Zugriffszeit zwischen und Nanosekunden Mit Seitenfehler p sei Wahrscheinlichkeit für Seitenfehler; p nahe Null nnahme: Zeit zum inlagern einer Seite vom Hintergrundspeicher gleich Millisekunden (8 ms Latenz, ms Positionierzeit, ms Übertragungszeit) nnahme: normale Zugriffszeit ns ffektive Zugriffszeit: ( p ) + p = p Seitenfehlerrate muss extrem niedrig sein BSRvS: 9 Virtueller Speicher

8 Diskussion: Weitere igenschaften Prozesserzeugung opy-on-write uch bei Paging MMU leicht zu realisieren. Feinere ranularität als bei Segmentierung. Programmausführung und Laden erfolgen verschränkt Benötigte Seiten werden erst nach und nach geladen. Sperren von Seiten Notwendig bei in-/usgabeoperationen BSRvS: 9 Virtueller Speicher Diskussion: Demand Segmentation Prinzipiell möglich, hat aber Nachteile... robe ranularität z.b. ode-, Daten-, Stack-Segment Schwierigere Hauptspeicherverwaltung lle freien Kacheln sind gleich gut. Schwierigere Hintergrundspeicherverwaltung Hintergrundspeicher wie Kacheln in Blöcke strukturiert (er Potenzen). In der Praxis hat sich Demand Paging durchgesetzt. BSRvS: 9 Virtueller Speicher 6

9 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher Seitenersetzung Was tun, wenn keine freie Kachel vorhanden? ine Seite muss verdrängt werden, um Platz für neue Seite zu schaffen! uswahl von Seiten, die nicht geändert wurden (dirty bit in der SKT) Verdrängung erfordert uslagerung, falls Seite geändert wurde Vorgang: Seitenfehler (page fault): Trap in das Betriebssystem uslagern einer Seite, falls keine freie Kachel verfügbar inlagern der benötigten Seite Wiederholung des Zugriffs Problem Welche Seite soll ausgewählt werden (das Opfer )? BSRvS: 9 Virtueller Speicher 8

10 rsetzungsstrategien Betrachtung von rsetzungsstrategien und deren Wirkung auf Referenzfolgen Referenzfolge Folge von Seitennummern, die das Speicherzugriffsverhalten eines Prozesses abbildet rmittlung von Referenzfolgen z.b. durch ufzeichnung der zugegriffenen dressen Reduktion der aufgezeichneten Sequenz auf Seitennummern Zusammenfassung von unmittelbar hintereinanderstehenden Zugriffen auf die gleiche Seite Beispiel für eine Referenzfolge:,, 3,,,,,,, 3,, BSRvS: 9 Virtueller Speicher 9 First-In, First-Out Älteste Seite wird ersetzt Notwendige Zustände: lter bzw. inlagerungszeitpunkt für jede Kachel blauf der rsetzungen (9 inlagerungen) Referenzfolge 3 3 Kachel Hauptspeicher Kachel Kachel Kachel 3 Kontrollzustände Kachel > 3 (lter pro Kachel) Kachel 3 > > 3 BSRvS: 9 Virtueller Speicher

11 First-In, First-Out rößerer Hauptspeicher mit Kachel ( inlagerungen) Referenzfolge 3 3 Kachel Kachel Hauptspeicher Kachel Kachel Kachel 3 3 Kontrollzustände Kachel > 3 3 (lter pro Kachel) Kachel 3 > > 3 3 Kachel > > > 3 FIFO-nomalie (Belady's nomalie, 969) BSRvS: 9 Virtueller Speicher Optimale rsetzungsstrategie Vorwärtsabstand Zeitdauer bis zum nächsten Zugriff auf die entsprechende Seite Strategie OPT (oder MIN) ist optimal (bei fester Kachelmenge): minimale nzahl von inlagerungen/rsetzungen (hier ) rsetze immer die Seite mit dem größten Vorwärtsabstand! Referenzfolge 3 3 Kachel 3 Hauptspeicher Kachel Kachel 3 3 Kachel 3 3 > > > > > Kontrollzustände Kachel > 3 3 > > > > (Vorwärtsabstand) Kachel 3 > > 6 3 > BSRvS: 9 Virtueller Speicher

12 Optimale rsetzungsstrategie Vergrößerung des Hauptspeichers ( Kacheln): 6 inlagerungen Referenzfolge 3 3 Kachel Kachel Hauptspeicher Kachel Kachel Kachel 3 3 > > > > > Kontrollzustände Kachel > 3 3 > > > > (Vorwärtsabstand) Kachel 3 > > 6 3 > > > Kachel > > > 6 3 > keine nomalie BSRvS: 9 Virtueller Speicher 3 Optimale rsetzungsstrategie Implementierung von OPT nahezu unmöglich Referenzfolge müsste vorher bekannt sein OPT meist nur zum Vergleich von Strategien brauchbar Suche nach Strategien, die möglichst nahe an OPT kommen z.b. Least Recently Used (LRU) BSRvS: 9 Virtueller Speicher

13 Least Recently Used (LRU) Rückwärtsabstand Zeitdauer, seit dem letzten Zugriff auf die Seite LRU Strategie ( inlagerungen) rsetze die Seite mit dem größten Rückwärtsabstand! Hauptspeicher Kontrollzustände (Rückwärtsabstand) Kachel Kachel Kachel Kachel Kachel > Kachel 3 > > BSRvS: 9 Virtueller Speicher Least Recently Used (LRU) Vergrößerung des Hauptspeichers ( Kacheln): 8 inlagerungen Referenzfolge 3 3 Kachel Kachel Hauptspeicher Kachel Kachel Kachel 3 3 Kontrollzustände Kachel > 3 3 (Rückwärtsabstand) Kachel 3 > > 3 3 Kachel > > > 3 BSRvS: 9 Virtueller Speicher 6

14 Least Recently Used (LRU) Keine nomalie llgemein gilt: s gibt eine Klasse von lgorithmen (Stack-lgorithmen), bei denen keine nomalie auftritt: Bei Stack-lgorithmen ist bei n Kacheln zu jedem Zeitpunkt eine Untermenge der Seiten eingelagert, die bei n+ Kacheln zum gleichen Zeitpunkt eingelagert wären! LRU: s sind immer die letzten n benutzten Seiten eingelagert OPT: s sind die n bereits benutzten Seiten eingelagert, die als nächstes zugegriffen werden Problem Implementierung von LRU nicht ohne Hardwareunterstützung möglich s muss jeder Speicherzugriff berücksichtigt werden BSRvS: 9 Virtueller Speicher Least Recently Used (LRU) Hardwareunterstützung durch Zähler PU besitzt einen Zähler, der bei jedem Speicherzugriff erhöht wird (inkrementiert wird) bei jedem Zugriff wird der aktuelle Zählerwert in den jeweiligen Seitendeskriptor geschrieben uswahl der Seite mit dem kleinsten Zählerstand ufwendige Implementierung viele zusätzliche Speicherzugriffe hoher Speicherplatzbedarf BSRvS: 9 Virtueller Speicher 8

15 Second hance (lock) insatz von Referenzbits Referenzbit im Seitendeskriptor wird automatisch durch Hardware gesetzt, wenn die Seite zugegriffen wird einfacher zu implementieren weniger zusätzliche Speicherzugriffe moderne Prozessoren bzw. MMUs unterstützen Referenzbits (z.b. x86: access bit) Ziel: nnäherung von LRU das Referenzbit wird zunächst auf gesetzt wird eine Opferseite gesucht, so werden die Kacheln reihum inspiziert ist das Referenzbit, so wird es auf gesetzt (zweite hance) ist das Referenzbit, so wird die Seite ersetzt BSRvS: 9 Virtueller Speicher 9 Second hance (lock) Implementierung mit umlaufendem Zeiger (lock) Referenzbit H B H B H H D D F F an der Zeigerposition wird Referenzbit getestet falls Referenzbit eins, wird Bit gelöscht Seite wird ersetzt falls Referenzbit gleich Null, wurde ersetzbare Seite gefunden Zeiger wird weitergestellt; falls keine Seite gefunden: Wiederholung falls alle Referenzbits auf stehen, wird Second hance zu FIFO BSRvS: 9 Virtueller Speicher 3

16 Second hance (lock) blauf bei drei Kacheln (9 inlagerungen) Referenzfolge 3 3 Kachel Hauptspeicher Kachel Kachel Kachel Kontrollzustände Kachel (Referenzbits) Kachel 3 Umlaufzeiger BSRvS: 9 Virtueller Speicher 3 Second hance (lock) Vergrößerung des Hauptspeichers ( Kacheln): inlagerungen Referenzfolge 3 3 Kachel Hauptspeicher Kachel Kachel Kachel Kachel Kachel Kontrollzustände Kachel 3 (Referenzbits) Kachel Umlaufzeiger BSRvS: 9 Virtueller Speicher 3

17 Second hance (lock) Second hance zeigt FIFO nomalie Wenn alle Referenzbits gleich, wird nach FIFO entschieden rweiterung Modifikationsbit kann zusätzlich berücksichtigt werden (Dirty Bit) Drei Klassen: (,), (,) und (,) mit (Referenzbit, Modifikationsbit) Suche nach der niedrigsten Klasse (insatz im MacOS) BSRvS: 9 Virtueller Speicher 33 Diskussion: Freiseitenpuffer... beschleunigt die Seitenfehlerbehandlung Statt eine Seite zu ersetzen, wird permanent eine Menge freier Seiten gehalten uslagerung geschieht im Voraus ffizienter: rsetzungszeit besteht im Wesentlichen nur aus inlagerungszeit Behalten der Seitenzuordnung auch nach der uslagerung Wird die Seite doch noch benutzt bevor sie durch eine andere ersetzt wird, kann sie mit hoher ffizienz wiederverwendet werden. Seite wird aus Freiseitenpuffer ausgetragen und wieder dem entsprechenden Prozess zugeordnet. BSRvS: 9 Virtueller Speicher 3

18 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher 3 Seitenanforderung Problem: Zuordnung der Kacheln zu mehreren Prozessen Begrenzungen Maximale Seitenmenge: begrenzt durch nzahl der Kacheln Minimale Seitenmenge: abhängig von der Prozessorarchitektur Mindestens die nzahl von Seiten nötig, die theoretisch bei einem Maschinenbefehl benötigt werden (z.b. zwei Seiten für den Befehl, vier Seiten für die adressierten Daten) leiche Zuordnung nzahl der Prozesse bestimmt die Kachelmenge, die ein Prozess bekommt rößenabhängige Zuordnung röße des Programms fließt in die zugeteilte Kachelmenge ein BSRvS: 9 Virtueller Speicher 36

19 Seitenanforderung lobale und lokale nforderung von Seiten lokal: Prozess ersetzt nur immer seine eigenen Seiten Seitenfehler-Verhalten liegt nur in der Verantwortung des Prozesses global: Prozess ersetzt auch Seiten anderer Prozesse bessere ffizienz, da ungenutzte Seiten von anderen Prozessen verwendet werden können BSRvS: 9 Virtueller Speicher 3 Seitenflattern (Thrashing) usgelagerte Seite wird gleich wieder angesprochen Prozess verbringt mehr Zeit mit dem Warten auf das Beheben von Seitenfehlern als mit der eigentlichen usführung PU uslastung thrashing rad des Mehrprogrammbetriebs (nzahl der Prozesse) BSRvS: 9 Virtueller Speicher 38

20 Seitenflattern (Thrashing) Ursachen Prozess ist nahe am Seitenminimum Zu viele Prozesse gleichzeitig im System Schlechte rsetzungsstrategie Lokale Seitenanforderung behebt Thrashing zwischen Prozessen Zuteilung einer genügend großen Zahl von Kacheln behebt Thrashing innerhalb der Prozessseiten Begrenzung der Prozessanzahl BSRvS: 9 Virtueller Speicher 39 uslagerung von Prozessen inaktiver Prozess benötigt keine Kacheln Kacheln teilen sich auf weniger Prozesse auf Verbindung mit dem Scheduling nötig Verhindern von ushungerung rzielen kurzer Reaktionszeiten BSRvS: 9 Virtueller Speicher

21 rbeitsmengenmodell Menge der Seiten, die ein Prozess wirklich braucht (Working Set) Kann nur angenähert werden, da üblicherweise nicht vorhersehbar nnäherung durch Betrachten der letzten Seiten, die angesprochen wurden geeignete Wahl von zu groß: Überlappung von lokalen Zugriffsmustern zu klein: rbeitsmenge enthält nicht alle nötigen Seiten 3 3 Referenzfolge Hinweis: > rbeitsmenge, da Seiten in der Regel mehrfach hintereinander angesprochen werden BSRvS: 9 Virtueller Speicher rbeitsmengenmodell Beispiel: rbeitsmengen bei verschiedenen Referenzfolge 3 3 Seite X X X X X X X X X Seite X X X X X X X X X =3 Seite 3 X X X X X X Seite X X X X X Seite X X X X Seite X X X X X X X X X X X Seite X X X X X X X X X X X = Seite 3 X X X X X X X Seite X X X X X X Seite X X X X X BSRvS: 9 Virtueller Speicher

22 rbeitsmengenmodell nnäherung der Zugriffe durch die Zeit Bestimmtes Zeitintervall ist ungefähr proportional zu nzahl von Speicherzugriffen Virtuelle Zeit des Prozesses muss gemessen werden Nur die Zeit relevant, in der der Prozess im Zustand RUNNIN ist Verwalten virtueller Uhren pro Prozess BSRvS: 9 Virtueller Speicher 3 rbeitsmengenbestimmung mit Zeitgeber nnäherung der rbeitsmenge mit Referenzbit ltersangabe pro Seite (Zeitintervall ohne Benutzung) Timer-Interrupt (durch Zeitgeber) lgorithmus durch regelmäßigen Interrupt wird mittels Referenzbit die ltersangabe fortgeschrieben: ist Referenzbit gesetzt (Seite wurde benutzt) wird das lter auf Null gesetzt; ansonsten wird ltersangabe erhöht. s werden nur die Seiten des gerade laufenden Prozesses gealtert. Seiten mit lter > sind nicht mehr in der rbeitsmenge des jeweiligen Prozesses BSRvS: 9 Virtueller Speicher

23 rbeitsmengenbestimmung mit Zeitgeber Ungenau: System ist aber nicht empfindlich auf diese Ungenauigkeit Verringerung der Zeitintervalle: höherer ufwand, genauere Messung Ineffizient große Menge von Seiten zu betrachten BSRvS: 9 Virtueller Speicher rbeitsmengenbestimmung mit WSlock lgorithmus WSlock (working set clock) rbeitet wie lock Seite wird nur dann ersetzt, wenn sie nicht zur rbeitsmenge ihres Prozesses gehört oder der Prozess deaktiviert ist Bei Zurücksetzen des Referenzbits wird die virtuelle Zeit des jeweiligen Prozesses eingetragen, die z.b. im PB gehalten und fortgeschrieben wird Bestimmung der rbeitsmenge erfolgt durch Differenzbildung von virtueller Zeit des Prozesses und Zeitstempel in der Kachel BSRvS: 9 Virtueller Speicher 6

24 rbeitsmengenbestimmung mit WSlock WSlock lgorithmus PB PB PB3 6 Virtuelle Prozesszeit = B B 6 F F D D Referenzbit Zeitstempel der Kachel Seite wird ersetzt BSRvS: 9 Virtueller Speicher Diskussion: rbeitsmengenprobleme Zuordnung zu einem Prozess nicht immer möglich gemeinsam genutzte Seiten in modernen Betriebssystemen eher die Regel als die usnahme Shared Libraries emeinsame Seiten im Datensegment (Shared Memory) Thrashing kann durch direkte Steuerung der Seitenfehlerrate leichter verhindert werden Messung pro Prozess Rate < Schwellwert: Kachelmenge verkleinern Rate > Schwellwert: Kachelmenge vergrößern BSRvS: 9 Virtueller Speicher 8

25 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher 9 Ladestrategie uf nforderung laden uf der sicheren Seite Im Voraus laden Schwierig: usgelagerte Seiten werden eigentlich nicht gebraucht. Oftmal löst eine Maschineninstruktion mehrere Page-Faults aus. Durch Interpretation des Befehlt beim ersten Page Fault können die benötigten anderen Seiten im Voraus eingelagert. Weitere Page Faults werden verhindert. Komplettes Working Set bei Prozesseinlagerung im Voraus laden BSRvS: 9 Virtueller Speicher

26 Inhalt Wiederholung Motivation Demand Paging Seitenersetzung Seitenanforderung Ladestrategie Zusammenfassung BSRvS: 9 Virtueller Speicher Zusammenfassung Virtueller Speicher ermöglicht die Nutzung großer logischer dressräume trotz Speicherbeschränkung. Komfort hat aber seinen Preis ufwand in der Hardware Komplexe lgorithmen im Betriebssystem rstaunliche ffekte (wie Thrashing ) Zeitverhalten nicht vorhersagbar infache (Spezialzweck-)Systeme, die diesen Luxus nicht unbedingt benötigen, sollten besser darauf verzichten. BSRvS: 9 Virtueller Speicher