Virtueller Speicher WS 2011/2012. M. Esponda-Argüero

Transkript

1 Virtueller Speicher WS /

2 Virtuelle Speicher Bis jetzt sind wir davon ausgegangen, dass Prozesse komplett im Hauptspeicher gelagert werden. Speicherreferenzen sind nur logische Adressen, die dynamisch in physikalische Adressen umgewandelt werden. Prozesse werden in Teile (Seiten oder Segmente) zerlegt und nach verschiedenen Strategien im Speicher geladen.

3 Virtueller Speicher Gesetzt: er physikalische Speicher ist nie groß genug! Früher Jetzt weil der Speicher zu teuer war. weil ständig neue Multimedia-Anwendungen entwickelt werden, die noch größer sind. Seit den 5er Jahren müssen Programme ausgeführt werden, die nicht in den physikalischen Hauptspeicher passten.

4 Virtueller Speicher Erste Lösung: - Algorithmen, um den Speicherverbrauch zu reduzieren. - Programmierer müssten selber die Programme teilen (Overlays) und genauere Anweisungen für das Ein- und Auslagern angeben. Zweite Lösung: ie Verwaltung der Overlays wurde vom Betriebssystem übernommen, aber der Programmierer musste trotzdem das Programm teilen. urchbruch im Jahr 96 Als das Konzept des virtuellen Speichers von Fortheringham vorgeschlagen worden ist.

5 Virtueller Speicher Programm Programm Programm Virtuelle Speicherräume ie reale Hauptspeichergröße wird mit Hilfe eines Bereichs auf der Festplatte erweitert. Hauptspeicher Aus Sicht des Benutzers haben die Programme viel mehr Hauptspeicher zur Verfügung, als tatsächlich vorhanden. 5

6 Virtueller Speicher ie Programme generieren nur virtuelle Adressen. Prozess virtuelle Adresse Speicher- Verwaltung MMU+BS physische Adresse Hauptspeicher Bei Rechnern mit virtuellem Speicher geht die Adresse nicht direkt an den Hauptspeicher, sondern an die MMU Memory Managment Unit, die die Festplatten- Adresse er Adressraum wird in Hauptspeicher und Hintergrundspeicher aufgeteilt. virtuelle Adresse auf die physikalische Adresse abbildet. Hintergrundspeicher 6

7 Vorteile Virtueller Speicher ie Technik des virtuellen Speichers befreit den Benutzer von Speichereinschränkungen. Prozesse können gemeinsame Programmteile benutzen. Prozesse können effizienter erzeugt werden. - mehrere kleinere Prozesse können laufen - weniger I/O-Operationen beim Swapping Nachteile ie Implementierung eines virtuellen Speichers ist kompliziert - Hardware und Software werden kompliziert Bei unvorsichtiger Anwendung kann die Ausführung der Programme stark verlangsamt werden. 7

8 Virtueller Speicher Es gibt zwei grundlegende Implementierungsmöglichkeiten für virtuelle Speichersysteme. emand Paging Einlagern nach Anforderung emand Segmentation Es werden im Hauptspeicher nur die Seiten geladen, die gerade gebraucht werden. - weniger I/O-Operationen - weniger Speicherverbrauch - mehrere Prozesse - schnellere Antwortseiten Es werden im Hauptspeicher nur die Segmente geladen, die gerade gebraucht werden. 8

9 Valid-Invalid Bit Jeder Seitentabellen-Eintrag hat einen invalid-valid-bit v ist im Hauptspeicher und im Prozess-Adressraum i ist nicht im Hauptspeicher oder nicht im Prozess-Adressraum Am Anfang werden alle invalid-valid-bit auf i gesetzt. Frame #. v v v v i valid-invalid Bit Während der Adressübersetzung wird ein Seitenfehler verursacht, wenn der valid-invalid-bit auf i gesetzt ist. Seitentabelle i i 9

10 5 6 7 Seiten A B C E F G H Logische Speicher Frames emand Paging valid-invalid-bit ie Seiten eines Prozesses werden erst geladen, wenn sie zum ersten Mal gebraucht werden v v Seitentabelle i v i v i i A 5 F B 5 6 Hauptspeicher A E B F C G H Festplattenspeicher

11 as Innenleben einer MMU mit 6xK-Seiten virtuelle Seite CPU Offset valid-invalid-bit ie virtuelle Seite wird als Index für die Seitentabelle verwendet ohne TLB! Seitentabelle Offset physikalischer Speicher

12 Schritte für die Behandlung von Seitenfehlern physikalischer Speicher setzt die Seitentabelle auf valid A CPU load Adresse page frame vi trap Fehlender Frame wird kopiert er load- Befehl wird fortgesetzt TLB ie Seite ist im Hintergrundspeicher A B C E F G H Betriebssystem Festplattenspeicher

13 Schritte für die Behandlung von Seitenfehlern. Es wird zuerst in einer internen Tabelle (gespeichert mit der PCB) kontrolliert, ob die Referenz gültig ist.. Wenn die Referenz nicht gültig ist, wird der Prozess beendet. Wenn sie gültig ist, aber noch nicht im physikalischen Speicher ist, muss die Seite aus dem Hintergrundspeicher gelesen werden.. Ein leerer Frame wird im Hauptspeicher gesucht.. Eine I/O-Festplattenoperation wird gestartet und die neue Seite wird im Hauptspeicher kopiert.. Wenn die Seite kopiert worden ist, wird in der internen Tabelle des Prozesses sowie in der Seitentabelle die neue Seite als verfügbar markiert.. er Prozess wird an der Stelle wieder gestartet, wo er von dem trap unterbrochen wurde.

14 Beispiel: Seitenfehler-Overhead Speicherzugriff = ns. durchschnittliche Behandlungszeit = 8 Millisekunden Wahrscheinlichkeit des Auftretens = p (Effective Access Time) EAT = ( p) (ns) + p (8ms) = ( p) p ns. = p Wenn p = EAT = 8 ns. % langsamer!

15 Seiten A B C Logische Speicher von Prozess E F G H Logische Speicher von Prozess Frames Seitenersetzung valid-invalid-bit 8 v v Seitentabelle von Prozess 5 6 i v v Seitentabelle von Prozess i v v E A G H B Physikalischer Speicher C F Festplattenspeicher

16 Seiten A B C Logische Speicher von Prozess E F G H Logische Speicher von Prozess Frames Seitentabelle von Prozess Seitenfehler valid-invalid-bit v v i v v vi v v Seitentabelle von Prozess E A G H B F Physikalischer Speicher C F Festplattenspeicher

17 Grundlegende Schritte einer Seitenersetzung Wenn ein Seitenfehler auftritt: Seite im Hintergrundspeicher finden Freiplatz (für die Seite im Hauptspeicher) finden Wenn es einen Freiplatz gibt, wird er verwendet Wenn es keinen gibt, wird ein Ersetzungsalgorithmus benutzt ie Opferseite wird im Hintergrundspeicher zurück geschrieben ie neue Seite wird im Hauptspeicher kopiert ie Seitentabelle wird aktualisiert en Prozess wird erneut gestartet 7

18 Grundlegende Schritte einer Seitenersetzung i V Seitentabelle wird auf invalid gesetzt ein neuer Eintrag wird in die Tabelle geschrieben Opfer physikalischer Speicher die Seite wird ausgelagert Um den doppelten Aufwand des Hin- und Zurückkopierens zu vermeiden, wird ein zusätzliches Bit verwendet. die gefragte Seite wird geladen modify bit (dirty bit) Nur wenn eine Seite verändert worden ist, wird auf die Festplatte zurückkopiert 8

19 TLBs Translation Lookaside Buffers Valid Modified Protection Virtual page Page frame R W X

20 Zwei wichtige Fragen sollen möglichst gut gelöst werden. Wie viele Seiten soll ein Prozess von seinem gesamten Adressraum im Speicher haben? frame-allocation-algorithmus Mit welcher Strategie sollen alte gegen neue Seiten ausgetauscht werden? page-replacement-algorithmus

21 Ersetzungsalgorithmen Was ist der Optimale Ersetzungsalgorithmus? Ersetzt die Seite, die am längsten nicht gebraucht wird. Beispiele: ) FIFO-Strategie ) LRU-Strategie Least Recently Used ) Clock-Algorithmus

22 Wie können die Algorithmen verglichen werden? am besten mit echte Zugriffssequenzen, die mit Hilfe von trace- Funktionen erzeugt und gespeichert werden können. reference strings Beispiel:,,, 6,,,, 6,... Seite = Bytes,,, 6,, 6,...

23 Seitenfehler vs. Frame-Anzahl Grafikquelle: Silverschatz, Galvin, Gagne

24 FIFO-Ersetzungsalgorithmus - as Betriebssystem verwaltet eine Liste von allen Seiten im Speicher. Am Kopf der Liste steht die älteste Seite und am Ende die, die zuletzt eingelagert wurde. - Bei einem Seitenfehler wird die Seite am Kopf der Liste entfernt und die neue Seite wird an das Ende angehängt. Nachteil: Seiten werden ausgelagert, obwohl sie häufig benutzt werden. Seitenanforderungen neue Seiten älteste Seiten F F F F F F

25 FIFO-Seitenersetzungsstrategie Geht davon aus, dass Seiten, die als letztes geladen werden öfter verwendet werden. Vorteile: Sehr einfach zu implementieren. Probleme: aten, die während der gesamten Ausführung des Programms benötigt werden, werden ständig ein- und ausgelagert. ie FIFO-Seitenersetzung wird selten verwendet. 5

26 Modellierung der FIFO-Seitenersetzungsstrategien Belady s Anomaly Am Anfang gibt es keine Seite neue Seiten älteste Seiten F F F F F F F F F 9 Fehler neue Seiten älteste Seiten F F F F F F F F F F Fehler

27 Optimaler Algorithmus Ersetzt die Seite, die am längsten nicht verwendet wird. Beispiel:,,,,,,, 5,,,,, Seitenfehler Wie können wir das wissen? nur als Massstab für Simulationen von anderen Algorithmen verwendet 7

28 Least Recently Used (LRU) Eine Seite, die von den letzten Befehlen benutzt wurde, wird wahrscheinlich auch für die nächsten gebraucht. Seiten, die schon lange nicht benutzt worden sind, werden ausgelagert. Eine verkettete Liste von allen Seiten im Speicher ist nötig mit der zuletzt benutzten Seite am Anfang und der am längsten nicht benutzten Seite am Ende die Liste muss nach jedem Speicherzugriff aktualisiert werden!!! (O(n)) Alternativ kann ein Zähler pro Antrag in der Seitentabelle benutzt werden. Beim Seitenfehler wird die Seite mit dem niedrigsten Zähler-Stand gewählt. 8

29 Least Recently Used (LRU) Referenzliste:,,,,,, 5,,,,, 5 älteste - Implementierung mit Zähler (Zeitstempel) - Jeder Seitenantrag hat einen Zähler; jedes Mal, wenn eine Seite durch diesen Antrag referenziert wird, muss die aktuelle Zeit in dem Zähler kopiert werden. - Wenn eine Seite ersetzt werden soll, muss mit Hilfe der Seitenzähler die Seite gesucht werden, die am längsten nicht benutzt worden ist. 5 älteste älteste 5 5

30 Sequenz der Referenzen Seiten LRU LRU-Algorithmus

31 LRU-Algorithmus Sequenz der Referenzen Ein Stapel, mit einer doppelt verketteten Liste, kann verwendet werden. 6 Head ie zuletzt referenzierte Seite wird an die Spitze des Stapels platziert. 6 ie Suche der LRU-Seite kann in 6 konstanter Zeit O() realisiert werden. 5 Aber? ie Aktualisierung der Stapel 5 LRU 5 LRU muss nach jedem Speicherzugriff gemacht werden!!

32 LRU-Algorithmus mit Hardware Eine Matrix aus nxn Bits wird verwendet, wo n die Anzahl der Seiten ist. Wenn ein Zugriff auf Seite k stattfindet, setzt die Hardware alle Bits der Zeile k auf und alle Bits der Spalte k auf. Seitenzugriffe ie Zeile mit dem niedrigsten Binärwert ist am längsten nicht benutzt worden.

33 er Second-Chance-Algorithmus Variante der FIFO-Strategie Ein Referenced-Bit (R-Bit) wird verwendet, um zu signalisieren, dass eine Seite wieder verwendet worden ist. as R-Bit der ältesten Seite wird geprüft. Wenn es nicht gesetzt ist, ist die Seite nicht nur alt sondern auch unbenutzt und wird ersetzt. Ansonsten wird das R-Bit zurück gesetzt, die Seite am Ende der Liste angehängt und die nächst älteste Seite geprüft.

34 er Second-Chance-Algorithmus Erste geladene Seite Ladezeiten R-Bit A B C E F Zuletzt geladene Seite B wird ersetzt B C E F A C E F A neue Seite A wird wie eine neu geladene Seite behandelt ie neue Seite wird geladen

35 er Second-Chance-Algorithmus Referenzbits Referenzbits Zirkuläre Warteschlange nächstes Opfer Bild aus Silverschatz, Galvin und Gagne 5

36 K L A B C er Clock-Algorithmus Sobald ein Seitenfehler auftritt, wird die Seite referenziert, auf die der Pfeil zeigt. ie Folgeaktion hängt J I E vom R Bit ab: Wenn R=: ie Seite wird ersetzt Wenn R=: Lösche R und wandere mit dem Pfeil eine Position weiter. H G F 6

37 K L A neue Seite C er Clock-Algorithmus Sobald ein Seitenfehler auftritt, wird die Seite referenziert, auf die der Pfeil zeigt. ie Folgeaktion hängt J I E vom R Bit ab: Wenn R=: ie Seite wird ersetzt Wenn R=: Lösche R und wandere mit dem Pfeil eine Position weiter. H G F 7

38 K L A neue Seite C er Clock-Algorithmus Sobald ein Seitenfehler auftritt, wird die Seite referenziert, auf die der Pfeil zeigt. ie Folgeaktion hängt J I E vom R Bit ab: Wenn R=: ie Seite wird ersetzt Wenn R=: Lösche R und wandere mit dem Pfeil eine Position weiter. H G F 8

39 K L A neue Seite C er Clock-Algorithmus Sobald ein Seitenfehler auftritt, wird die Seite referenziert, auf die der Pfeil zeigt. ie Folgeaktion hängt J I E vom R Bit ab: Wenn R=: ie Seite wird ersetzt Wenn R=: Lösche R und wandere mit dem Pfeil eine Position weiter. H G F 9

40 K L A neue Seite C er Clock-Algorithmus Sobald ein Seitenfehler auftritt, wird die Seite referenziert, auf die der Pfeil zeigt. ie Folgeaktion hängt J vom R Bit ab: Wenn R=: ie Seite wird ersetzt I H G F neue Seite Wenn R=: Lösche R und wandere mit dem Pfeil eine Position weiter.

41 NFU-Algorithmus Not Frequently Used Jede Seite besitzt einen Zähler. Nach jeder Zeitunterbrechung wird das R-Bit der Seiten an den jeweiligen Zählern addiert. Bei Seitenfehlern wird die Seite mit dem niedrigsten Zählerstand ersetzt. Probleme Seiten, die am Anfang sehr oft benutzt worden sind, bleiben im Speicher, obwohl diese nicht mehr gebraucht werden.

42 Aging-Algorithmus Alle Seitenzähler werden zuerst ein Bit nach rechts verschoben und dann wird das R-Bit zum höchstwertigen Bit des Zählers addiert. Eine Seite, auf die in den letzten Intervallen nicht zugegriffen wurde, hat Nullen an den ersten Bitstellen des Zählers und damit einen niedrigeren Zählerwert als der Zähler der Seiten, auf die zugegriffen worden ist. Problem as Aufzeichnen vergangener Zugriffe ist durch die Anzahl der Bits begrenzt. Zwischen zwei Zählern voller Nullen ist es nicht mehr möglich zu wissen, welche Seite zuletzt benutzt worden ist.

43 Aging-Algorithmus R- Bits der Seiten bis 5 t t t t t 5 Seite t t Seitenzähler t 5 t 5

44 Working-Set ie Menge von Seiten, die ein Prozess zu einem bestimmten Zeitpunkt benutzt, wird Working-Set oder Arbeitsbereich genannt. Working-Set = Δ Reihenfolge der Seitenzugriffe: Δ Δ P WS(P )={,,,5,6} WS(P )={7,9} P

45 Working-set Einlagern bei Bedarf ie Seiten eines Prozesses können erst bei Anforderung gelagert werden. Probleme Zu viele Seitenfehler bis der Prozess alle Seiten, die er braucht, im Speicher hat. Lokalität der Referenzen Prozesse neigen dazu, ihre Seitenzugriffe innerhalb zeitlich begrenzter Ausführungsphasen auf einen relativ kleinen Teil ihrer Seiten zu reduzieren. 5

46 Lokalität der Referenzen Bildquelle: Silverschatz, Galvin und Gagne

47 Working-Set-Modell Eine reine Form des Wieder-Einlagerns bei Bedarf würde dazu führen, dass jeder Prozess viele Seitenfehler erzeugen könnte, bevor er seinen Arbeitsbereich wieder vollständig geladen hat. Viele Betriebssysteme benutzen die Lokalitätseigenschaft der Prozesse und merken sich deshalb den Arbeitsbereich eines Prozesses und sorgen dafür, dass er wieder geladen wird. ieser Ansatz wird Working-Set-Modell genannt und soll dafür sorgen, dass die Seitenfehlerrate reduziert wird. 7

48 Working-Set Wieder-Einlagern bei Bedarf Arbeitsbereich Seitenfehler-Rate Zeit 8

49 Working-Set Lokalität der Referenzen. Wenn Δ zu groß ist, werden mehrere Lokalitäten gleichzeitig umfasst. Wenn Δ ohne Grenzen wächst, ist irgendwann das ganze Programm da. - niedrige CPU Auslastung - zu wenig Programme können gleichzeitig arbeiten. - sehr großer Zeitaufwand beim swapping. Wenn Δ zu klein ist, können viele Prozesse im Speicher arbeiten, aber die Lokalitäten werden nicht komplett. as Problem des Seiten-Flatterns (Thrashing) entsteht 9

50 Thrashing Seitenflattern Wenn ein Prozess nicht genug Seiten hat, wird die Seiten- Fehlerrate zu hoch. Ein Prozess ist nur mit dem Ein- und Auslagern von Seiten beschäftigt. CPU-Auslastung Thrashing Anzahl von Prozessen 5

51 Seitenfehlerrate-Schema Angenommen, es gibt eine etablierte Fehlerrate. Wenn die aktuelle Rate zu klein ist, darf der Prozess Seiten verlieren. Wenn sie zu hoch ist, sollen zusätzliche Seiten geladen werden. 5

52 WS-Algorithmus Letzter Zugriff Seitentabelle R-Bit ie Seite wurde im letzten Intervall benutzt. Δ Zeitintervall, um den Working-Set Fenstern eines Prozesses festzulegen. Alle Seiten und entsprechende R-Bits werden durchsucht. wenn R= die Zeit des letzten Zugriffs wird mit der aktuellen virtuellen Zeit ersetzt. wenn R= und (virtuelle Zeit - letzter Zugriff) > Δ Seite ersetzen. wenn alle Seiten im Arbeitsbereich liegen und es gab Seiten mit R= die Seite mit dem höchsten Alter wird ausgelagert. wenn im letzten Intervall auf alle Seiten zugegriffen würde (R= in alle Seiten) eine willkürlich gewählte Seite wird ausgelagert.

53 WS-Algorithmus Probleme ie ganze Seitentabelle muss jedesmal durchsucht werden. Verbesserung WSClock-Algorithmus von Carr und Hennessey 98 Eine ringförmige Liste mit Seiteninformation wird verwendet. Am Anfang ist die Liste leer. Neu geladene Seiten werden in der Liste eingefügt. 5

54 WSClock-Algorithmus Bei einem Seitenfehler werden die Seiten ab einem Uhrzeiger-Position untersucht. Wenn das R-Bit gesetzt ist, wird dieser auf gesetzt, ie Zeitstempel aktualisiert und der Uhrzeiger sucht weiter. Wenn das R-Bit gleich ist und das Alter der Seite größer als Δ wenn die Seite nicht verändert wurde dirty-bit ist gleich, wird sie ersetzt. sonst wird auf der Seite vorgemerkt, den Inhalt auf die Platte zu schreiben (um Prozess-Wechsel zu vermeiden) der Uhrzeiger geht einen Schritt weiter und sucht weiter nach einer nicht veränderten Seite. Wenn der Uhrzeiger an den Anfang der Liste zurückkehrt und mindestens eine Seite vorgemerkt wurde, bewegt sich der Zeiger weiter bis die erste saubere Seite gefunden wird. Wenn der Uhrzeiger am Anfang der Liste zurückkehrt und keine Seite vorgemerkt wurde, gehören alle Seiten zu irgendeinem Arbeitsbereich und es wird eine beliebige Seite ausgelagert.

55 Virtuelle Zeit WSClock-Algorithmus Δ = R-Bit 6 X 8 X X Zeitpunkt des letzten Zugriffs X X X X X 9 X X

56 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X X 9 X X

57 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X X 9 X X

58 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X X 9 X X

59 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X X 9 X X wird markiert!

60 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X X 9 X X wird markiert!

61 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X Neue Seite! X 9 X X wird markiert!

62 WSClock-Algorithmus Virtuelle Zeit Δ = 6 X 8 X X X X X X Neue Seite! X 9 X X wird markiert!

63 Zusammenfassung der Algorithmen Algorithmus Kommentar Optimale Ersetzung Optimale Ersetzung NRU (Not Recently Used) Sehr primitiv FIFO Wichtige Seiten können entfernt werden Second Chance Verbesserung gegenüber FIFO LRU (Least Recently Used) NFU (Not Frequently Used) Aging Working Set WSClock Exzellent, aber schwierig zu implementieren Grobe Annährung an LRU Effizienter Algorithmus, der fast LRU erreicht Aufwändige Implementierung Guter und effizienter Algorithmus 6