Wunschvorstellung der Entwickler vom Speicher

Transkript

1 Wunschvorstellung der Entwickler vom Speicher Unendlich groß Unendlich schnell Nicht flüchtig billig Obwohl sich der verfügbare Speicher laufend erhöht, wird immer mehr Speicher benötigt, als verfügbar ist

2 Systeme ohne Speicherabstraktion

3 Lösungsmöglichkeiten für mehrere Programme auf Systemen ohne Speicherabstraktion Aus- und Einlagern jeweils des gesamten Programmspeichers (swapping) Speicherblöcke mit Schutzschlüsseln versehen. Statische Relokation beim Laden

4

5 Speicherabstraktion: Adressräume Abstrakter Speicher, der von einem Prozess genutzt werden kann. Ein Adressraum kann nur von einem Prozess genutzt werden (ausgenommen, Prozesse wollen den Speicher teilen) Analogien: Telefonnummern, DNS-Domains, KFZ-Kennzeichen.

6 Adressraum mit Basis- und Limitregister Dynamische Relokation Bei Speicherzugriffen wird der Wert des Basisregisters zur Adresse addiert. Zur Sicherung wird geprüft, ob er Wert unterhalb des Limitregisters liegt. Basis- Limitregister sind evtl. über Systemaufrufe vor Veränderung geschützt. Mehrere Register für Daten, Text, Stacksegment sind möglich.

7

8 Swapping Alle laufenden Prozesse benötigen oft mehr Speicher, als physikalisch vorhanden ist. Prozesse, die nicht laufen, werden auf Festplatte ausgelagert und nur in den Arbeitspeicher geladen, wenn sie benötigt werden.

9

10 Swapping Speicherverdichtung zum Zusammenfassen von Lücken zu großen Bereichen ist Zeitaufwändig. Dynamische Speicherallokation in Programmen erschwert Vorhersagen über benötigen Platz. Wenn der freie Speicherblock belegt ist, muss der Prozess warten, bis ein größerer Block frei wird. Beim Einlagern kann eine bestimmte Menge freier Speicher berücksichtigt werden.

11

12 Verwaltung des freien Speichers Bitmaps Unterteilung des Speichers in Blöcke (ByteKByte) Ein Bit pro Speicherblock Listen Verkette Liste von belegten und freien Speicherblöcken. Ein Eintrag enthält entweder einen Prozess oder eine Lücke.

13 Verwaltung des freien Speichers mit Bitmaps

14 Verwaltung des freien Speichers mit Bitmaps Bitmaps können sehr groß werden oder Speicher wird nicht gut ausgenutzt, da dieser nur in Blöcken belegt werden kann. Finden von freien Speicherblöcken bedeutet im Worst-Case das Durchsuchen der gesamten Bitmap. Suche nach einem Speicherbereich der Größe k ist die Suche nach k aufeinanderfolgenden Nullen in der Bitmap.

15 Verwaltung des freien Speichers mit Listen Beim Freiwerden eines Blockes muss der Status nur von Belegt auf Frei geändert werden. Aufeinanderfolgende freie Blöcke können einfach zusammengefasst werden. Belegung eines Blockes teilt einen freien Eintrag in 2 neue Einträge (Belegt und Frei) auf.

16 Verwaltung des freien Speichers mit Listen

17 Algorithmen zur Speicherbelegung First Fit / Next Fit Best Fit / Worst Fit Durchsuchen der Liste nach dem ersten / nächsten passenden Block. Suche nach der kleinsten passenden / größten Lücke (Langsam, da alle Einträge durchsucht werden müssen) Quick Fit Aufteilung in mehrere Listen nach Größenordnungen.

18 Virtueller Speicher Die Größe von Computerprogrammen wächst schneller als der verfügbare Hauptspeicher. Alle Programme zusammen benötigen i.d.r. mehr Hauptspeicher als physikalisch verfügbar ist. Swapping ist für häufige Prozesswechsel zu langsam (z.b. SATA MB/s)

19 Virtueller Speicher Aufteilung des Adressraumes in Seiten (Pages) aufeinanderfolgender Adressen Nicht alle Seiten müssen sich im Hauptspeicher befinden, damit ein Prozess laufen kann. Verallgemeinerung des Konzepts von Basisund Limitregister auf alle Speicherbereiche. Die meisten Systeme mit virtuellem Speicher verwenden Paging.

20 Paging Adressen werden nicht direkt an den Speicherbus gelegt, sondern an die MMU (Memory Management Unit)

21 Paging Der virtuelle Adressraum ist ein gleich große Seiten (Pages) aufgeteilt. Der Einheiten im physikalische Speicher werden Seitenrahmen (page frames) genannt und sind i.d.r. gleich groß. Virtuelle Adressen werden von der MMU über eine Seitentabelle in physikalische Adressen übersetzt.

22

23 Paging Seiten, die nicht im Speicher vorhanden sind, werden über ein Presence-/Absence-Bit gekenzeichnet. Der Zugriff auf eine Seite, die nicht im Hauptspeicher vorhanden ist, erzeugt einen Seitenfehler (page fault). Bei einem Seitenfehler lagert das Betriebssystem eine wenig benutzte Seite auf die Festplatte aus und lädt die benötigte Seite in den frei gewordenen Seitenrahmen.

24

25 Virtuelle Adressen Virtuelle Adressen werden in einen Offset (niederwertige Bits) und eine Seitennummer (höherwertige Bits) aufgeteilt. Die Aufteilung ist abhängig von der Seitengröße. Die Seitennummer ist ein Index auf die Seitentabelle. Virtuelle Adresse Seitennummer Offset

26 Seitentabelle Ein Eintrag für jede virtuelle Seite. Enthält nur Informationen, die die HW benötigt, um Adressen umzurechnen. Plattenadressen etc. speichert das BS.

27 Beschleunigung des Paging Umrechnung virtuelle in physische Adresse muss sehr schnell erfolgen können. Befehle enthalten oft mehrere Speicherzugriffe Wenn ein Befehl 1ns dauert, muss die Berechnung der Adresse viel schneller sein (z.b. 0,2ns) Wenn der virtuelle Adressraum groß ist, wird die Seitentabelle sehr groß. 32-Bit Adressen/4KB Seiten Seiten 64-Bit Adressen/4KB Seiten 4,5*1015

28 Lösungsansätze Seitentabelle in Hardwareregistern Wird beim Laden des Prozesses gefüllt Keine Zugriffe während der Prozess läuft Extrem teuer Laden beim Prozesswechsel dauert sehr lang. Seitentabelle komplett im RAM Ein Register für den Anfang der Seitentabelle Beim Prozesswechsel wird nur das Register geändert. Zugriff auf die Speicherreferenzen ist langsam.

29 Translation Lookaside Buffer (TLB) Meistens verursachen Programme viele Zugriffe auf wenige Speicheradressen. Umrechnung der Adressen mit erfolgt mit spezieller Hardware: TLB Kleiner Assoziativspeicher, der Adressen direkt abbilden kann. In der Praxis meistens kleiner als 64 Adressen

30 Translation Lookaside Buffer (TLB)

31 Translation Lookaside Buffer (TLB) Die meisten Anfragen können aus dem TLB beantwortet werden. Ist eine Seite nicht im TLB, wird ein wenig benutzter Eintrag durch den benötigten Eintrag der Seitentabelle ersetzt. Pflege des TLB kann entweder direkt durch die MMU oder das Betriebssystem erfolgen. (Dann wird ein TLB-Fehler erzeugt)

32 Seitentabellen für große Adressräume Mehrstufige Seitentabellen Die höchsten Bits enthalten eine Adresse der ersten Stufe. Die nächsten Bits die zweite Stufe. Die restlichen Bits enthalten den Offset. Ab der 2, Stufe werden nur noch die verwendeten Seitentabellen im Speicher abgelegt.

33

34 Seitentabellen für große Adressräume Invertierte Seitentabelle Einträge nur für die physikalischen Seiten Benötigt weniger Speicher, wenn der physikalische Speicher kleiner als der virtuelle Adressraum ist. Suche einer Seite ist sehr langsam Organisation als Hashtable Unterstützung durch TLB

35 Seitentabellen für große Adressräume

36 Seitenersetzungsalgorithmen Wenn ein Seitenfehler auftritt, muss Platz geschaffen werden, um eine neue Seite zu laden. Dazu muss eine Seite ausgewählt werden, die in Zukunft möglichst nicht sofort wieder benötigt wird. Wenn die Seite modifiziert wurde, muss sie vorher auf die Platte geschrieben werden.

37 Seitenersetzungsalgorithmen Not-Recently-Used-Algorithmus (NRU) Verwendung der M- und R-Bits R-Bit wird beim Zugriff gesetzt, und regelmäßig durch das BS (z.b. beim Timerinterrupt) zurückgesetzt. Beim Seitenfehler wird eine zufällige Seite der niedrigsten Klasse ersetzt. Referenziert Modifiziert Klasse Klasse 1 - X Klasse 2 X - Klasse 3 X X

38 Seitenersetzungsalgorithmen First-In-First-Out (FIFO) Es wird die Seite ersetzt, die schon am längsten in der Seitentabelle eingetragen ist. Problem: Es können auch häufig benutze Seiten ersetzt werden. FIFO wird selten unverändert benutzt.

39 Seitenersetzungsalgorithmen Second-Chance-Algorithmus Variante von FIFO Erste Seite der Liste wird geprüft. Wenn das R-Bit gesetzt ist, wird die Seite ans Ende verschoben und das R-Bit gelöscht. Die Suche wird fortgestzt, bis eine Seite ohne RBit am Anfang der Liste steht.

40 Seitenersetzungsalgorithmen Second-Chance-Algorithmus

41 Seitenersetzungsalgorithmen Clock-Algorithmus Variante von Second-Chance Verwaltung als Ringpuffer statt als Liste

42 Seitenersetzungsalgorithmen Least-Recently-Used (LRU) Wenn gerade auf eine Seite zugriffen wird, wahrscheinlich auch in Zukunft wieder auf die Seite zugegriffen. Pflege einer Liste aller Seiten im Speicher. Wenn auf eine Seite zugegriffen wird, wird der Eintrag an den Anfang der Liste verschoben. Seiten werden am Ende ersetzt. Suche der benötigten Seite und Pflege der Liste ist aufwändig.

43 Seitenersetzungsalgorithmen Least-Recently-Used (LRU) mit Hardware. Für n Seiten-Einträge wird eine n x n Matrix verwendet. Beim Zugriff auf eine Seite k werden alle Bits der Zeile k auf 1 und alle Bits der Spalte k auf 0 gesetzt. Die Spalte mit dem niedrigsten Binärwert ist am längsten nicht benutzt.

44 Seitenersetzungsalgorithmen Least-Recently-Used (LRU) mit Hardware.

45 Seitenersetzungsalgorithmen Not-Frequently-Used (NFU) Seitenzähler für jede Seite Regelmäßig wird das R-Bit zum Zähler addiert. Es wird die Seite mit dem niedrigsten Zähler ersetzt. Problem: NFU vergisst keine Nutzung Eine früher häufig benutze Seite wird nicht ersetzt, solange es weniger benutzte Seiten gibt.

46 Seitenersetzungsalgorithmen Aging Variante von NFU Zähler werden jeweils 1 Bit nach rechts geschoben. R wird zum höchsten Bit addiert. Aging ist ungenauer als LRU Nur 1 Bit pro Zeitintervall und nicht bei jedem Zugriff Anzahl der Bits begrenzt.

47

48 Seitenersetzungsalgorithmen Working-Set-Algorithmus Prozess wird ohne geladene Seiten geladen Erst beim Zugriff, wird ein Seitenfehler erzeugt und die Seite geladen. Es werden solange Seitenfehler erzeugt, bis alle benötigten Seiten geladen sind. Die meisten Prozesse neigen dazu jeweils nur auf einen kleinen Speicherbereich zuzugreifen. Die Menge der zu einen bestimmten Zeitpunkt genutzten Seiten wird Arbeitsbereich (Working set) genannt.

49 Seitenersetzungsalgorithmen Working-Set-Algorithmus Der Arbeitsbereich ändert sich in der Regel nur sehr langsam. Wenn ein Prozess ausgelagert wird, ist es daher sinnvoll, den Arbeitsbereich zu speichern und beim nächsten Einlagern komplett zu laden, statt wieder auf Seitenfehler zu warten. Bei Seitenfehlern werden Seiten ausgelagert, die nicht im Working-Set liegen.

50 Seitenersetzungsalgorithmen Working-Set-Algorithmus Implementierung: Definition Working-Set: Seiten, die in der Zeit T verwendet wurden. Für jede Seite werden M- und R-Bits verwaltet. R-Bits werden regelmäßig zurückgesetzt. Bei einem Seitenfehler werden alle Einträge durchlaufen Ist R gesetzt, wird die aktuelle Zeit gespeichert, Ist R=0, wird das Alter berechnet und die Seite ggf. ausgelagert.

51 Seitenersetzungsalgorithmen Working-Set-Algorithmus Implementierung: Eine Seite kann ersetzt werden, wenn das R-Bit nicht gesetzt und das Alter > T ist. Ist keine Seite älter als T, wird die älteste Seite ersetzt, die nicht referenziert wurde. Wurden alle Seiten referenziert, wird eine zufällige Seite ersetzt.

52 Seitenersetzungsalgorithmen

53 Seitenersetzungsalgorithmen WSClock Kombination von Clock und Working-Set Verwaltung der Seiten als Ringpuffer Es wird immer zuerst die Seite untersucht, an der der Zeiger steht. Ist eine Seite modifiziert, wird sie zum Auslagern im Hintergrund markiert und die Suche fortgesetzt, bis eine saubere Seite gefunden wurde. Sind alle Seite im Working-Set wird eine Seite zufällig ausgewählt.

54 Seitenersetzungsalgorithmen WSClock Kombination von Clock und Working-Set Verwaltung der Seiten als Ringpuffer Es wird immer zuerst die Seite untersucht, an der der Zeiger steht. Ist eine Seite modifiziert, wird sie zum Auslagern im Hintergrund markiert und die Suche fortgesetzt, bis eine saubere Seite gefunden wurde. Sind alle Seite im Working-Set wird eine Seite zufällig ausgewählt.

55

56 Entwurfskriterien für Paging-Systeme lokale vs. globale Zuteilung lokale Zuteilung Es werden Seiten des Prozesses ersetzt, der den Seitenfehler auslöst. Erscheint fair, ist aber nicht optimal. globale Zuteilung Verteilt die Seiten dynamisch unter allen laufenden Prozessen. Verteilt den Speicher in der Regel besser. Benötigt einen Algorithmus zur Verteilung der Seitenrahmen auf die laufenden Prozesse.

57 Entwurfskriterien für Paging-Systeme PFF-Algorithmus (Page Fault Frequency) zur Speicherzuteilung Ein Prozess, der viele Seitenfehler pro Zeiteinheit erzeugt, benötigt viel Speicher. Ein Prozess, der wenige Seitenfehler pro Zeiteinheit erzeugt, benötigt wenig Speicher. PFF versucht, die Seitenfehlerrate aller Prozesse innerhalb akzeptabler Grenzen zu halten.

58 Entwurfskriterien für Paging-Systeme Lastkontrolle Wenn alle Prozesse viel Speicher brauchen, kann es vorkommen, dass einen Prozess nicht mehr genügend Speicher bekommen kann. Ganze Prozesse könnten ausgelagert und alle ihre Seiten freigegeben werden.

59 Entwurfskriterien für Paging-Systeme Seitengröße Kleine Seiten benötigen eine große Seitentabelle Auswirkung auf Speicherbedarf und Geschwindigkeit. Hardwareseiten können vom Betriebssystem zu größeren Blöcken zusammengefasst werden. (Einer Seite werden mehrere aufeinanderfolgende Seitenrahmen zugeordnet werden) Große Seiten verschwenden Speicher (interne Fragmentierung)

60 Entwurfskriterien für Paging-Systeme Trennung von Befehls- und Datenräumen Verfügbarer Adressraum wird größer Unterschiedliche Paging-Algorithmen für Programm und Daten möglich.

61 Entwurfskriterien für Paging-Systeme Gemeinsame Seiten Mehrere Benutzer verwenden oft die selben Programme Bei getrennten Adressräumen kann für das Programm die selbe Seitentabelle verwendet werden. Bei gemeinsamer Nutzung von Daten muss beachtet werden, dass alle Prozesse die Daten ändern könnten Seiten werden als Read-Only markiert Erst bei Schreibzugriffen werden die Seiten dupliziert (Copy-on-Write)

62 Entwurfskriterien für Paging-Systeme

63 Entwurfskriterien für Paging-Systeme Gemeinsame Bibliotheken Bibliotheken werden oft von vielen Programmen verwendet. shared Library DLL (Dynamic Link Library) Statisch gebundene Bibliotheken verschwenden viel Speicher Bibliotheken können bei jedem Prozess an einer anderen Stelle im Adressraum liegen, daher ist absolute Adressierung nicht möglich. Bibliotheken müssen mit relativen Adressen compiliert werden.

64 Entwurfskriterien für Paging-Systeme Memory Mapped Dateien Verallgemeinerung von gemeinsamen Bibliotheken. Eine Datei wird direkt auf einen Teil des Adressraums abgebildet. Kann zur Prozesskommunikation verwendet werden. Statt in die Datei zu schreiben, können mehrere Prozesse direkt auf den Speicher zugreifen.

65 Entwurfskriterien für Paging-Systeme Bereinigungsstrategie Es sollten immer ausreichend Seitenrahmen frei sein, damit nicht erst bei einem Seitenfehler ausgelagert werden muss. Ein Hintergrunddienst (Paging-Daemon) kann in regelmäßigen Abständen veränderte Seiten auf die Platte schreiben. Solange der Seitenrahmen nicht benötigt wird, bleiben die Seiten im Speicher. Implementierung z.b. als Clock mit 2 Zeigern.

66 Implementierungsaspekte Aufgaben des Betriebssystems beim Paging Bei Erzeugung eines Prozesses Erzeugung der Seitentabelle Reservieren von Speicher für Programm und Daten Platz für ausgelagerte Daten reservieren und Swap-Bereich mit Programm und Daten füllen. Bei der Ausführung MMU für den Prozess initialisieren TLB leeren Evtl. Seiten einlagern.

67 Implementierungsaspekte Aufgaben des Betriebssystems beim Paging Bei einem Seitenfehler Auslesen, welche Adresse den Seitenfehler erzeugt hat. Ermitteln, welche Seite benötigt wird. Ermitteln, wo die Seite auf der Festplatte liegt. Evtl. eine Seite auslagern. Benötigte Seite einlagern. Befehlzähler auf den Befehl setzen, der den Seitenfehler ausgelöst hat. Bei der Terminierung Seiten freigeben. Plattenplatz freigeben.

68 Implementierungsaspekte Sperren von Seiten im Speicher Problem: Prozess wird während der Ein-/Ausgabe per DMA (Direkt Memory Access) unterbrochen. Ein anderer Prozess erzeugt einen Seitenfehler. Die Seite, die für die Ein- Ausgabe verwendet wird, wird ersetzt. Lösungen: Seite wird gesperrt um eine Auslagerung zu verhindern. Daten werden in einem Kernelpuffer zwischengespeichert.

69 Implementierungsaspekte Hintergrundspeicher Swap-Partition oder Swap-Platte (UNIX) Swap-Datei im Dateisystem (Windows) Dynamische oder statische Reservierung Kein Overhead für Dateisystem Statische Reservierung ist einfach zu implementieren. Dynamische Reservierung benötigt weniger Platz. Programme können direkt aus der Programmdatei in den Speicher geladen werden, statt sie in den Swap-Bereich zu kopieren.

70 Segmentierung Verschiedene Teile eines Programms wachsen unterschiedlich. Benötigte Größe ist nicht vom vorhersehbar. Lösung: Verwendung mehrerer Segmente. Segmente haben jeweils einen eigenen Adressraum. Segmente sind dem Programmierer bekannt. Programme / Prozeduren liegen immer an der selben Stelle im Segment.

71

72

73 Segmentierung Seiten haben feste Größen, Segmente nicht Durch dynamische Belegung von Segmenten entstehen Lücken im Speicher (externe Fragmentierung) Oft in Kombination mit Paging implementiert.

74 Segmentierung mit Paging beim Intel Pentium 2 Tabellen: LDT (Local Descriptor Table) für jeden Prozess GDT (Global Descriptor Table) einmal im System. Für den Zugriff wird ein Selektor für das Segment in ein Segment-Register des Prozessors geladen CS: Code-Segment DS: Data-Segment

75

76

77 Segmentierung mit Paging beim Intel Pentium Über ein globales Bit kann das Paging abgechaltet werden. (Die lineare Adresse wird dann als physikalische Adresse verwendet) Es wird eine zweistufige Seitentabelle verwendet 1024 Einträge im Seitenverzeichnis zeigen auf Seitentabellen mit 1024 Einträgen.