Betriebssysteme (BS) Inhalt. Speicherverwaltung. Olaf Spinczyk 1.

Transkript

1 Betriebssysteme (BS) Speicherverwaltung Olaf Spinczyk 1 olaf.spinczyk@tu-dortmund.de 1 In Zusammenarbeit mit Franz Hauck, Universität Ulm AG Eingebettete Systemsoftware Informatik 12, TU Dortmund Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Silberschatz, Kap. 8: Memory-Management Strategies Tanenbaum, Kap. 4: Speicherverwaltung Betriebssysteme: 08 - Speicherverwaltung 2

2 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 3 Wiederholung: Betriebsmittel Das Betriebssystem hat folgende Aufgaben: Verwaltung der Betriebsmittel des Rechners Schaffung von Abstraktionen, die Anwendungen einen einfachen und effizienten Umgang mit Betriebsmitteln erlauben Bisher: Prozesse Konzept zur Abstraktion von der realen CPU Nun: Speicher Verwaltung von Haupt- und Hintergrundspeicher Hauptspeicher (Memory) Prozessor (CPU, Central Processing Unit) E/A-Geräte (I/O Devices) E/A-Schnittstellen (Interfaces) Hintergrundspeicher (Secondary Storage) Betriebssysteme: 08 - Speicherverwaltung 4

3 Wiederholung: Mehrprogrammbetrieb CPU-Auslastung unter Annahme einer bestimmten E/A-Wartewahrscheinlichkeit: A=1-p n Quelle: Tanenbaum, Moderne Betriebssysteme Mehrprogrammbetrieb ist essentiell für eine hohe Auslastung der CPU. Beim Starten und Beenden der Prozesse muss dynamisch Speicher zugewiesen bzw. zurückgenommen werden! Betriebssysteme: 08 - Speicherverwaltung 5 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 6

4 Anforderungen Mehrere Prozesse benötigen Hauptspeicher Prozesse liegen an verschiedenen Stellen im Hauptspeicher. Schutzbedürfnis des Betriebssystems und der Prozesse untereinander Speicher reicht eventuell nicht für alle Prozesse. Betriebssystem Prozess 1 Prozess 2 Das Betriebssystem und zwei Anwendungsprozesse im Hauptspeicher Freie Speicherbereiche kennen, verwalten und vergeben Ein- und Auslagern von Prozessen Relokation von Programmbefehlen Hardwareunterstützung ausnutzen Betriebssysteme: 08 - Speicherverwaltung 7 Grundlegende Politiken/Strategien Platzierungsstrategie (placement policy) obligatorisch Woher soll benötigter Speicher genommen werden? Wo der Verschnitt am kleinsten/größten ist Egal, weil Verschnitt zweitrangig ist Und zusätzlich bei Ein-/Auslagerung Ladestrategie (fetch policy) Wann sind Speicherinhalte aus dem Hintergrundspeicher in den Hauptspeicher zu laden? Auf Anforderung oder im Voraus Ersetzungsstrategie (replacement policy) Welche Speicherinhalte sind ggf. in den Hintergrundspeicher zu verdrängen, falls der Speicher knapp wird? Das älteste, am seltensten genutzte Das am längsten ungenutzte Betriebssysteme: 08 - Speicherverwaltung 8

5 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 9 Speichervergabe: Problemstellung Verfügbarer Speicher 0xffffffff ROM RAM Hauptspeicherbereich 2 E/A-Geräte Verfügbarer Adressraum (hier mit 32 Bit breiten Adressen) RAM Hauptspeicherbereich 1 0 Speicherlandkarte (Memory Map) eines fiktiven 32 Bit Systems Betriebssysteme: 08 - Speicherverwaltung 10

6 Speichervergabe: Problemstellung Belegung des verfügbaren Hauptspeichers durch Benutzerprogramme Programmbefehle (Code) Programmdaten (Data) Dynamische Speicheranforderungen (Stack, Heap) Betriebssystem Betriebssystemcode und -daten Prozesskontrollblöcke Datenpuffer für Ein-/Ausgabe Zuteilung des Speichers nötig Betriebssysteme: 08 - Speicherverwaltung 11 Statische Speicherzuteilung Feste Bereiche für Betriebssystem und Benutzerprogramme Probleme Grad des Mehrprogrammbetriebs begrenzt Begrenzung anderer Ressourcen (z.b. Bandbreite bei Ein-/Ausgabe wegen zu kleiner Puffer) Ungenutzter Speicher des Betriebssystems kann von Anwendungsprogrammen nicht genutzt werden und umgekehrt Dynamische Speicherzuteilung einsetzen Betriebssysteme: 08 - Speicherverwaltung 12

7 Dynamische Speicherzuteilung Segmente zusammenhängender Speicherbereich (Bereich mit aufeinanderfolgenden Adressen) Allokation (Belegung) und Freigabe von Segmenten Ein Anwendungsprogramm besitzt üblicherweise folgende Segmente: Codesegment Datensegment Stacksegment (lokale Variablen, Parameter, Rücksprungadressen, ) Suche nach geeigneten Speicherbereichen zur Zuteilung insbesondere beim Programmstart Platzierungsstrategien nötig Besonders wichtig dabei: Freispeicherverwaltung Betriebssysteme: 08 - Speicherverwaltung 13 Freispeicherverwaltung Freie (evtl. auch belegte) Segmente des Speichers müssen repräsentiert werden Bitlisten A B C D Speicher Bitliste markiert belegte Speicherbereiche Speichereinheiten gleicher Größe (z.b. 1 Byte, 64 Byte, 1024 Byte) Betriebssysteme: 08 - Speicherverwaltung 14

8 Freispeicherverwaltung (2) Verkettete Liste A B C D Speicher B 0 5 F 5 3 B 8 6 B 14 4 F 18 2 B 20 4 belegt/frei Länge Anfang Repräsentation auch von freien Segmenten Betriebssysteme: 08 - Speicherverwaltung 15 Freispeicherverwaltung (3) Verkettete Liste im freien Speicher A B C D Speicher 3 2 Länge Mindestlückengröße muss garantiert werden Zur Effizienzsteigerung eventuell Rückwärtsverkettung nötig Repräsentation letztlich auch von der Vergabestrategie abhängig Betriebssysteme: 08 - Speicherverwaltung 16

9 Speicherfreigabe Verschmelzung von Lücken A B C D Speicher 3 2 Nach Freigabe von B: A C 9 2 D Speicher Betriebssysteme: 08 - Speicherverwaltung 17 Platzierungsstrategien auf der Basis von unterschiedlich sortierten Löcherlisten: First Fit erste passende Lücke wird verwendet Rotating First Fit / Next Fit wie First Fit, aber Start bei der zuletzt zugewiesenen Lücke vermeidet viele kleine Lücken am Anfang der Liste (wie bei First Fit) Best Fit kleinste passende Lücke wird gesucht Worst Fit größte passende Lücke wird gesucht Probleme: zu kleine Lücken Speicherverschnitt Betriebssysteme: 08 - Speicherverwaltung 18

10 Platzierungsstrategien (2) Das Buddy-Verfahren Einteilung in dynamische Bereiche der Größe 2 n Anfrage 70 Anfrage 35 Anfrage 80 Freigabe A Anfrage 60 Freigabe B Freigabe D Freigabe C A A B A B 64 C 128 B B D D 256 C C C C Effiziente Repräsentation der Lücken und effiziente Algorithmen Betriebssysteme: 08 - Speicherverwaltung 19 Diskussion: Verschnitt Externer Verschnitt Außerhalb der zugeteilten Speicherbereich entstehen Speicherfragmente, die nicht mehr genutzt werden können. Passiert bei den listenbasierten Strategien wie First Fit, Best Fit, Interner Verschnitt Innerhalb der zugeteilten Speicherbereiche gibt es ungenutzten Speicher. Passiert z.b. bei Buddy, da die Anforderungen auf die nächstgrößere Zweierpotenz aufgerundet werden Betriebssysteme: 08 - Speicherverwaltung 20

11 Zwischenfazit: Einsatz der Verfahren Einsatz im Betriebssystem Verwaltung des Systemspeichers Zuteilung von Speicher an Prozesse und Betriebssystem Einsatz innerhalb eines Prozesses Verwaltung des Haldenspeichers (Heap) erlaubt dynamische Allokation von Speicherbereichen durch den Prozess (malloc und free) Einsatz für Bereiche des Sekundärspeichers Verwaltung bestimmter Abschnitte des Sekundärspeichers, z.b. Speicherbereich für Prozessauslagerungen (swap space) Betriebssysteme: 08 - Speicherverwaltung 21 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 22

12 Ein-/Auslagerung (swapping) Segmente eines Prozesses werden auf Hintergrundspeicher ausgelagert und im Hauptspeicher freigegeben z.b. zur Überbrückung von Wartezeiten bei E/A oder Round-Robin Schedulingstrategie Einlagern der Segmente in den Hauptspeicher am Ende der Wartezeit Betriebssystem Hauptspeicher Prozess 1 Prozess 1 Hintergrundspeicher Prozess 2 Prozess 2 Ein-/Auslagerzeit ist hoch Latenzzeit der Festplatte Übertragungszeit Betriebssysteme: 08 - Speicherverwaltung 23 Ein-/Auslagerung (2) Adressen im Prozess sind statisch gebunden kann nur an gleiche Stelle im Hauptspeicher wieder eingelagert werden Kollisionen mit eventuell neu im Hauptspeicher befindlichen Segmenten Mögliche Lösung: Partitionierung des Hauptspeichers In jeder Partition läuft nur ein Prozess Einlagerung erfolgt wieder in die gleiche Partition Speicher kann nicht optimal genutzt werden Betriebssystem Partition 1 Partition 2 Partition 3 Partition 4 Besser: Dynamische Belegung und Programmrelokation Betriebssysteme: 08 - Speicherverwaltung 24

13 Adressbindung und Relokation Problem: Maschinenbefehle benutzen absolute Adressen z.b. ein Sprungbefehl in ein Unterprogramm oder ein Ladebefehl für eine Variable aus dem Datensegment Es gibt verschiedene Möglichkeiten, die Adressbindung zwischen dem Befehl und seinem Operanden herzustellen Absolutes Binden (Compile Time) Adressen stehen fest Programm kann nur an bestimmter Speicherstelle korrekt ablaufen Statisches Binden (Load Time) Beim Laden (Starten) des Programms werden die absoluten Adressen angepasst (reloziert) Relokationsinformation nötig, die vom Compiler oder Assembler geliefert wird Dynamisches Binden (Execution Time) Der Code greift grundsätzlich nur indirekt auf Operanden zu. Das Programm kann jederzeit im Speicher verschoben werden Betriebssysteme: 08 - Speicherverwaltung 25 Adressbindung und Relokation (2) Übersetzungsvorgang (Erzeugung der Relokationsinformationen) test.c test.s test.o C-Programm int main () { exit (0); } Assembler main: pushl %ebp movl %esp,%ebp pushl $0 call exit addl $4,%esp popl %ebp ret Bindemodul E A E a 83C d 89EC 000f 5D 0010 C3 Erzeugung beim Übersetzungsvorgang main: : exit ADDR32 ersetze Adresse von exit Betriebssysteme: 08 - Speicherverwaltung 26

14 Adressbindung und Relokation (3) Binde- und Ladevorgang test.o Bindemodul E A E a 83C d 89EC 000f 5D 0010 C3 main: : exit ADDR32 test Lademodul =0x E A E a 83C d 89EC 003f 5D 0040 C3 0036: ADDR32 TXT Prozess Speicherabbild =0x E A E a 83C d 89EC 213f 5D 2140 C3 ersetze Adresse von exit ersetze Adresse relativ zum Befehlssegment Adresse ist nun absolut Befehlssegment: Betriebssysteme: 08 - Speicherverwaltung 27 Adressbindung und Relokation (4) Relokationsinformation im Bindemodul erlaubt das Binden von Modulen in beliebige Programme Relokationsinformation im Lademodul erlaubt das Laden des Programms an beliebige Speicherstellen absolute Adressen werden erst beim Laden generiert Dynamisches Binden mit Compiler-Unterstützung Programm benutzt keine absoluten Adressen und kann daher immer an beliebige Speicherstellen geladen werden Position Independent Code Dynamisches Binden mit MMU-Unterstützung: Abbildungsschritt von logischen auf physikalische Adressen Relokation beim Binden reicht (außer für Shared Libraries ) Betriebssysteme: 08 - Speicherverwaltung 28

15 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 29 Segmentierung Hardwareunterstützung: Abbildung logischer auf physikalische Adressen logischer Adressraum physikalischer Adressraum ROM + 0x x54ffff 0x xfffff 0 + 0x RAM 0x1fffff 0x Das Segment des logischen Adressraums kann an jeder beliebigen Stelle im physikalischen Adressraum liegen. Das Betriebssystem bestimmt, wo ein Segment im physikalischen Adressraum tatsächlich liegen soll Betriebssysteme: 08 - Speicherverwaltung 30

16 Segmentierung (2) Realisierung mit Übersetzungstabelle Segmenttabellenbasisregister Segmenttabelle Startadr. Länge a02 logische Adresse ffe0 f fff ja < + Trap: Schutzverletzung ffe1 3a02 physikalische Adresse Betriebssysteme: 08 - Speicherverwaltung 31 Segmentierung (3) Hardware heißt MMU (Memory Management Unit) Schutz vor Segmentübertretung Rechte zum Lesen, Schreiben und Ausführen von Befehlen, die von der MMU geprüft werden Trap zeigt Speicherverletzung an Programme und Betriebssystem voreinander geschützt Prozessumschaltung durch Austausch der Segmentbasis jeder Prozess hat eigene Übersetzungstabelle Ein- und Auslagerung vereinfacht nach Einlagerung an beliebige Stelle muss lediglich die Übersetzungstabelle angepasst werden Gemeinsame Segmente möglich Befehlssegmente Datensegmente (Shared Memory) Betriebssysteme: 08 - Speicherverwaltung 32

17 Segmentierung (4) Probleme Fragmentierung des Speichers durch häufiges Ein- und Auslagern Es entstehen kleine, nicht nutzbare Lücken: externer Verschnitt Kompaktifizieren hilft Segmente werden verschoben, um Lücken zu schließen; Segmenttabelle wird jeweils angepasst Kostet aber Zeit Lange E/A-Zeiten für Ein- und Auslagerung Nicht alle Teile eines Segments werden gleich häufig genutzt Betriebssysteme: 08 - Speicherverwaltung 33 Kompaktifizieren Verschieben von Segmenten Erzeugen von weniger aber größeren Lücken Verringern des Verschnitts aufwendige Operation, abhängig von der Größe der verschobenen Segmente Ausgangslage 700 K verschoben 300 K verschoben P1 P1 P1 400K 400K 400K 300K P2 700K 700K P2 1000K 1100K 400K P3 1000K 1400K 1400K P3 1000K P3 1800K 1800K 300K 2100K 2100K 2100K P Betriebssysteme: 08 - Speicherverwaltung 34

18 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 35 Seitenadressierung (paging) Einteilung des logischen Adressraums in gleichgroße Seiten, die an beliebigen Stellen im physikalischen Adressraum liegen können Lösung des Fragmentierungsproblems keine Kompaktifizierung mehr nötig Vereinfacht Speicherbelegung und Ein-/Auslagerungen logischer Adressraum physikalischer Adressraum ROM Seiten (pages) Kacheln (frames) RAM Betriebssysteme: 08 - Speicherverwaltung 36

19 MMU mit Seiten-Kacheltabelle Tabelle setzt Seiten in Kacheln um SKT Basisregister Seiten-Kacheltabelle Startadr. ffe0 fxxx a logische Adresse ffe0f 12a physikalische Adresse Betriebssysteme: 08 - Speicherverwaltung 37 MMU mit Seiten-Kacheltabelle (2) Seitenadressierung erzeugt internen Verschnitt letzte Seite eventuell nicht vollständig genutzt Seitengröße kleine Seiten verringern internen Verschnitt, vergrößern aber die Seiten-Kacheltabelle (und umgekehrt) übliche Größen: 512 Bytes 8192 Bytes große Tabelle, die im Speicher gehalten werden muss viele implizite Speicherzugriffe nötig nur ein Segment pro Kontext sinngemäße Nutzung des Speichers schwerer zu kontrollieren (push/pop nur auf Stack, Ausführung nur von Text, ) Kombination mit Segmentierung Betriebssysteme: 08 - Speicherverwaltung 38

20 Segmentierung und Seitenadressierung Segmenttabellenbasisregister logische Adresse a Segmenttabelle + Seiten-Kacheltabelle SKT Zeiger Seitenzahl Startadr ffe0 fxxx < ja Trap: Schutzverletzung physikalische Adresse ffe0f 12a Betriebssysteme: 08 - Speicherverwaltung 39 Segm. und Seitenadressierung (2) Noch mehr implizite Speicherzugriffe Große Tabellen im Speicher Vermischung der Konzepte Noch immer Ein-/Auslagerung kompletter Segmente Mehrstufige Seitenadressierung mit Ein- und Auslagerung Betriebssysteme: 08 - Speicherverwaltung 40

21 Ein-/Auslagerung von Seiten Es ist nicht nötig ein gesamtes Segment aus- bzw. einzulagern Seiten können einzeln ein- und ausgelagert werden Hardware-Unterstützung Ist das Präsenzbit gesetzt, bleibt alles wie bisher. Ist das Präsenzbit gelöscht, wird ein Trap ausgelöst (page fault). Die Trap-Behandlung kann nun für das Laden der Seite vom Hintergrundspeicher sorgen und den Speicherzugriff danach wiederholen (benötigt HW-Support in der CPU). Seiten-Kacheltabelle Startadr. Präsenzbit ffe0 fxxx X Betriebssysteme: 08 - Speicherverwaltung 41 Mehrstufige Seitenadressierung Beispiel: zweifach indirekte Seitenadressierung logische Adresse a Präsenzbit auch für jeden Eintrag in den höheren Stufen Tabellen werden aus- und einlagerbar Tabelle können bei Zugriff (=Bedarf) erzeugt werden (spart Speicher!) Aber: Noch mehr implizite Speicherzugriffe Betriebssysteme: 08 - Speicherverwaltung 42

22 Translation Look-Aside Buffer (TLB) Schneller Registersatz wird konsultiert bevor auf die SKT zugegriffen wird: SKT Basisregister Seiten-Kacheltabelle Startadr. ffe0 fxxx a Translation Look Aside Buffer (TLB) a0123 bfff4 ffe0f logische Adresse ffe0f physikalische Adresse Betriebssysteme: 08 - Speicherverwaltung 43 12a Translation Look-Aside Buffer (2) Schneller Zugriff auf Seitenabbildung, falls Information im voll-assoziativen Speicher des TLB keine impliziten Speicherzugriffe nötig Bei Kontextwechseln muss TLB gelöscht werden (flush) Bei Zugriffen auf eine nicht im TLB enthaltene Seite wird die entsprechende Zugriffsinformation in den TLB eingetragen Ein alter Eintrag muss zur Ersetzung ausgesucht werden TLB Größe Intel Core i7: 512 Einträge, Seitengröße 4K UltraSPARC T2: Daten TLB = 128, Code TLB = 64, Seitengröße 8K Größere TLBs bei den üblichen Taktraten zur Zeit nicht möglich Betriebssysteme: 08 - Speicherverwaltung 44

23 Invertierte Seiten-Kacheltabelle Bei großen logischen Adressräumen (z.b. 64 Bit): Klassische Seiten-Kacheltabellen sehr groß (oder ) Sehr viele Abbildungsstufen Tabellen sehr dünn besetzt Invertierte Seiten-Kacheltabelle (Inverted Page Table) PID logische Adresse a Suche Kachel- physikalische Adresse Betriebssysteme: 08 - Speicherverwaltung 45 Seitentabelle ffe0f 12a Invertierte Seiten-Kacheltabelle (2) Vorteile wenig Platz zur Speicherung der Abbildung notwendig Tabelle kann immer im Hauptspeicher gehalten werden Nachteile Sharing von Kacheln schwer zu realisieren prozesslokale SKT zusätzlich nötig für Seiten, die ausgelagert sind diese können aber ausgelagert werden Suche in der KST ist aufwendig Einsatz von Assoziativspeichern und Hashfunktionen Trotz der Nachteile setzen heute viele Prozessorhersteller bei 64-Bit-Architekturen auf diese Form der Adressumsetzung UltraSparc, PowerPC, IA-64, (Alpha), Betriebssysteme: 08 - Speicherverwaltung 46

24 Inhalt Wiederholung Grundlegende Aufgaben der Speicherverwaltung Anforderungen Strategien Speichervergabe Platzierungsstrategien Speicherverwaltung bei Mehrprogrammbetrieb Ein-/Auslagerung Relokation Segmentbasierte Adressabbildung Seitenbasierte Adressabbildung Zusammenfassung Betriebssysteme: 08 - Speicherverwaltung 47 Zusammenfassung Bei der Speicherverwaltung arbeitet das Betriebssystem sehr eng mit der Hardware zusammen. Segmentierung und/oder Seitenadressierung Durch die implizite Indirektion beim Speicherzugriff können Programme und Daten unter der Kontrolle des Betriebssystems im laufenden Betrieb beliebig verschoben werden. Zusätzlich sind diverse strategische Entscheidungen zu treffen. Platzierungsstrategie (First Fit, Best Fit, Buddy, ) Unterscheiden sich bzgl. Verschnitt sowie Belegungs- und Freigabeaufwand. Strategieauswahl hängt vom erwarteten Anwendungsprofil ab. Bei Ein-/Auslagerung von Segmenten oder Seiten: Ladestrategie Ersetzungsstrategie nächstes Mal mehr dazu Betriebssysteme: 08 - Speicherverwaltung 48