Überschrift. Speicherverwaltung. Prof. Dr. Margarita Esponda Freie Universität Berlin 2011/2012

Transkript

1 Überschrift Speicherverwaltung Prof. Dr. Margarita Esponda Freie Universität Berlin 2011/2012 1

2 Hauptziele: Speicherverwaltung Speicher ist die zweite wichtigste Ressource, die das Betriebssystem verwalten muss. einen effizienten Zugriff auf den physikalischen Arbeitsspeicher eines Rechners zu ermöglichen. den Adress-Raum des Betriebssystems und der verschiedenen Prozesse gegen illegale Speicherzugriffe zu schützen. eine Schnittstelle für gemeinsame Verwendung von Speichern zu Verfügung zu stellen. 2

3 Überschrift Inhalt Speicherhierarchie (Motivation) Speicherverwaltung-Mechanismen Hardware-Unterstützung Virtuelle Speicher 3

4 Motivation für Speicherhierarchie Moderne Prozessoren können durch ihren hohen Parallelisierungsgrad Instruktionen mit ständig steigender Geschwindigkeit verarbeiten. Engpass! Dies erfordert schnellere Speicherzugriffe, die nur durch komplexe Speicherhierarchien gewährleistet werden können. 4

5 Pipelining Pipelining ist eine der wichtigsten Parallelisierungstechniken moderner Prozessoren. Die Ausführung eines Befehls wird in Stufen aufgeteilt und verschiedene Stufen von verschiedenen Befehlen parallel ausgeführt. Eine Pipeline besteht typischerweise aus 4 bis 15 Stufen. Beispiel: Pipeline mit 5 Stufen Befehl holen Befehl dekodieren Befehl ausführen Auf Speicher zugreifen Ergebnis in Register zurück schreiben fetch decode execute mem writeback 5

6 Pipelining Fetch Decode Execute Mem Writeback IR Register ALU 6

7 Pipelining Fetch Decode Execute Mem Writeback IR Register ALU 7

8 Pipelining Fetch Decode Execute Mem Writeback Register IR ALU 8

9 Intel 4 Hyper Pipeline Multiprozessor n Cores pro CPU Multithreading m Threads pro Core Multicore + Multithreading nxm Threads pro Prozessor Die größten Gegner des Pipelines sind Memory-Stalls und Programmsprünge 9

10 Parallelisierung Prognose im Jahr 2005 Platform 2015: Intel Processor and Platform Evolution for the Next Decade 10

11 Motivation für eine Speicherhierarchie - Befehle und Daten sollen innerhalb eines Taktzyklus gelesen werden können. - Der Prozessor hat nur zum Register oder zum internen Hauptspeicher direkten Zugriff. - Da Speicherzugriffe länger als ein Taktzyklus dauern, wird meistens ein oder mehrere schnellere Speicher (Cache) zwischen der CPU und dem Hauptspeicher verwendet. 11

12 Motivation für Speicherhierarchie Gut strukturierte Programme haben die Eigenschaft der Lokalität in zwei verschiedenen Formen: Zeitliche-Lokalität. Die Wahrscheinlichkeit, dass die zuletzt verwendeten Speicheradressen in naher Zukunft wieder verwendet werden, ist relativ groß. Räumliche-Lokalität. Die Wahrscheinlichkeit, dass nach einem Speicherzugriff als nächstes auf eine benachbarte Speicheradresse zugegriffen wird, ist relativ groß. Beispiel: sum = 0: for (i=0; i<array_size; i++) sum += array[i]; return sum;... 12

13 Speicherhierarchie CPU Register 8 Register im x86 vs. 128 im Itanium L1 Cache Festplatten L2 Cache L3 Cache Hauptspeicher Festplatten - Register Taktzyklen - L1 32KB 4 Taktzyklen - L2 256KB <12 Taktzyklen - L3 8MB Taktzyklen - DRAM ~ Taktzyklen 13

14 Vereinfachtes Bild des Speicherhierarchie no latency 2-3x langsamer 10-20x x Mx 14

15 Alles in einem Chip: Hydra System (Multiprocessor on a Chip) Centralized Bus Arbitration Mechanisms CPU 0 CPU 1 CPU 2 CPU 3 I-cache D-cache I-cache D-cache I-cache D-cache I-cache D-cache Memory Controler Cache refills On-chip Secondary Cache Write out invalidates in Memory Controler Off-chip L3 Interface Memory Controler Rambus Memory Interface Write-through Bus (64b) Read/Replace Bus (256b) DMA Memory Controler I/O Bus Interface Stanford 1999 Cache SRAM Array DRAM Main Memory I/O Device 15

16 Speicherverwaltungsmechanismen Direkte Speicherverwaltung - nur bei eingebetteten Systemen, die einen Prozess ausführen - sehr einfache direkte Verwaltung Segmentierung - früher weit verbreitet (MS-DOS) Segmentierung + Seiten-Adressierung - bei modernen Systemen Virtuelle Speicherverwaltung - fast in jedem modernen Betriebssystem 16

17 Direkte Speicherverwaltung Die einfachste Verwaltungsstrategie - nur ein Programm - Speicherteilung nur zwischen dem Programm und dem Betriebssystem - einfache eingebettete Systeme - kein MMU Programm Betriebssystem im RAM Betriebssystem im RAM Programm Gerätetreiber im RAM Benutzer- Benutzer- Benutzer- Programm Betriebssystem im RAM 17

18 Speicherverwaltung für Multiprogrammierung Durch Multiprogrammierung entstehen zwei wichtige Probleme: - Speicherschutz Der Speicher-Adressraum der Prozesse muss geschützt werden. Alle Programme zusammen verwenden meistens viel mehr Speicher als der physikalische Speicher, der tatsächlich zur Verfügung steht. Adressbindung - Relokation Swapping Prozesse, die gerade nicht ausgeführt werden, werden vom Speicher ausgelagert und später wieder geladen. 18

19 Speicherverwaltung für Multiprogrammierung Speicherschutz Es muss gesichert werden, dass jeder Prozess einen eigenen Adressbereich hat. Das Betriebssystem hat Zugriff zu jedem Prozess-Adressraum. Die Benutzerprozesse haben keinen Zugriff zum Adressraum anderer Prozesse und auch nicht zum Adressraum des Betriebssystems. Zwei spezielle Hardwareregister werden verwendet: Das Basis-Register hat die kleinste Speicheradresse, die ein Prozess benutzen darf. Das Grenz-Register hat die Größe des Adressraums eines Prozesses. 19

20 Hardware für die Speicherverwaltung Betriebssystem Prozess 1 Prozess 2 Prozess 3 Zwei spezielle Register (base und limit) werden benutzt, um die Adressraum- Grenzen der Prozesse zu schützen Basisregister von P Grenzregister von P

21 Einfache Hardware-Unterstützung Die CPU vergleicht jede Adresse, die im Benutzermodus generiert wird mit dem Basisregister und das Basisregister + Grenzregister der jeweiligen Prozesse. Der Versuch eines Prozesses, auf den Adressraum des Betriebssystems oder in den Adressraum eines anderen Prozesses zuzugreifen, löst einen Trap (Ausnahmefehler) aus, der entsprechend behandelt wird. Der Basisregister und der Grenzregister müssen bei Kontext- Wechsel gespeichert und zurückgesetzt werden. 21

22 Hardware für die Speicherverwaltung Basisregister + Grenzregister Basisregister Adresse CPU < ja ja Speicherzugriff nein nein Ausnahmefehler (trap). 22

23 Logische vs. Physikalische Adressen Das Konzept einer logischen Speicheradresse, die eine Bindung zu einer getrennten physikalischen Adresse hat, spielt eine zentrale Rolle in der Speicherverwaltung. Die CPU arbeitet mit logischen oder virtuellen Adressen. Die MMU arbeitet direkt mit den physikalischen Adressen. Vereinfacht linking, sharing und allocation!!! 23

24 Logische vs. Physikalische Adressen 1024: Virtuelle Adressen Physikalische Adressen 4096: free 0: 512: 0: MMU 512: 0: Betriebssystem 0: 24

25 Virtuelle vs. Physikalische Adressen CPU Vorteile: logische Adresse MMU - Vereinfachung der Programmierung von Anwendungen physikalische Adresse - alle Prozesse haben ein [0, high]-adressraum (homogenes Layout) - weniger Speicher pro Prozess (20/80 Regel) effizienter Ein-/Aus- Geräte Haupt- Speicher - kein Unterschied zwischen Hauptspeicher und Ein-/Ausgabegeräte 25

26 Memory Management Unit (MMU) Die MMU war ursprünglich als externe Komponente des Mikroprozessors gebaut. Moderne Mikroprozessoren haben sogar mehrere MMUs innerhalb des Prozessor-Chip. Das Benutzerprogramm arbeitet nur mit logischen Adressen. Er sieht nie die physikalische Adresse, welche die MMU sieht. Die Relocation- und Limit-Register sind Teil des Prozesskontextes und werden von dem Dispatcher als solches geladen. 26

27 Swapping Normalerweise werden Prozesse in eine schnelle Festplatte kopiert und in den gleichen Adressraum im Hauptspeicher zurückkopiert. Wenn die Adressbindung während der Assembler- und Ladezeit gemacht worden ist, kann dieser Prozess nicht in einen anderen Adressraum zurückgeladen werden. Wenn eine Ausführungszeit-Bindung benutzt wird, kann ein Prozess in einen anderen Adressraum zurückgeladen werden. 27

28 Swapping Betriebssystem Prozess 1 Prozess 2 Prozess 3 Prozess 5 Ein Teil der Festplatte wird verwendet, um Prozesse, die gerade nicht ausgeführt werden, vom Speicher auszulagern. Prozess 4 Hintergrundspeicher Hauptspeicher Ziel: - Effizienz - Bessere Speicherverwendung 28

29 Swapping-Strategie Möglichst viele ausführungsbereite Prozesse sollen im Hauptspeicher sein. Ein Prozess kann nur ausgelagert (swap out) werden, wenn es sicher ist, dass er sich im idle-zustand befindet. Prozesse, die auf I/O-Operationen warten, dürfen nur bedingt ausgelagert werden, z.b. wenn es ausgelagerte Prozesse gibt, die ausführungsbereit sind und die Prozesse, die ausgelagert werden sollen, auf keine I/O- Speicheroperationen warten. Weitere Kriterien für die Ein- oder Auslagerung sind: - Prioritäten - Speichergröße der Prozesse - Fairness. Die Prozesse sollen rotierend ein- und ausgelagert werden. 29

30 Swapping Swapping war die erste einfache Technologie, die im Betriebssysteme verwendet worden ist, um das Problem des Speicherüberlaufs zu lösen. Einige moderne Betriebssysteme schalten das Swapping-System erst dann ein, wenn der Speicherverbrauch sehr stark wird. Sonst wird das Problem des Speicherüberlaufs mit Paging-Technologie gelöst. Die meisten Betriebssysteme kombinieren Swapping mit Paging. Was passiert wenn Hauptspeicher und Swapping-Speicher voll sind? Linux OOM-Killer 30

31 Verwaltung freier Speicherlücken Die meisten Prozesse verändern während ihrer Laufzeit ihre Größe. Wenn Prozesse ein- und wieder ausgelagert werden, oder neuer Speicherplatz Prozessen dynamisch zugeteilt wird, muss das Betriebssystem die freien Speicherbereiche verwalten. Bitmaps Zwei Verwaltungstechniken Verkettete Listen 31

32 Speicherverwaltung mit Bitmaps Der Hauptspeicher wird in Allokationseinheiten unterteilt. Jede Einheit entspricht einem Bit in der Bitmap. Je kleiner die Allokationseinheiten sind, desto größer wird die Bitmap. 0 = frei 1 = belegt Große Allokationseinheit bedeutet Speicherverschwendung an den Rändern von Prozessen. Auch als interne Fragmentierung bekannt. P 2 P 4 P

33 Speicherverwaltung mit Bitmaps P 1 P 2 P 3 P Speicherverwaltung mit verketteten Listen Start Start Länge Prozess Länge Loch P H 6 5 P H 16 3 P P H

34 Speicherverwaltung mit verketteten Listen Eine doppelt verkettete Liste ist noch besser, weil die Verschmelzung von zwei benachbarten freien Speicherlücken vereinfacht wird, wenn ein Prozess terminiert. Beispiel einer Knotenstruktur vor der Terminierung von P 2 nach der Terminierung Startadresse P 1 P 2 P 3 P 1 free P 3 Länge des Blocks Nachfolger Länge des Nachfolgers free P 2 P 3 free P 3 Vorgänger Länge des Vorgängers P 1 P 2 free P 3 free free P 2 free free 34

35 Aufeinanderfolgende Speicherung Wenn sich jeder Prozess in einem aufeinanderfolgenden Speicherbereich befindet, ist es das größte Problem, jedes mal einen passenden Speicherplatz für die Prozesse zu finden. Wenn ein Prozess kommt, muss genug zusammenhängender Speicherplatz gefunden werden, um den Prozess zu laden. Das Betriebssystem muss Informationen über besetzte und freie Bereiche verwalten. BS BS BS BS Prozess 5 Prozess 5 Prozess 5 Prozess 5 Prozess 9 Prozess 9 Prozess 8 Prozess 10 Prozess 2 Prozess 2 Prozess 2 Prozess 2 35

36 Dynamisches Allokationsproblem Wie kann ein Speicherbereich mit Größe n in einer Menge von freien Speicherbereichen am Besten gewählt werden? First-Fit Best-Fit Worst-Fit Sucht den ersten freien Bereich, der groß genug ist. - schnelle Lösung Sucht den kleinsten freien Bereich, der aber groß genug ist. Sucht den größten freien Bereich. - erzeugt den größten Restbereich. Simulationen haben gezeigt, dass First-Fit und Best-Fit besser als Worst-Fit sind. 36

37 Größe der Lücken Quick Fit Vorteile: Findet Lücken sehr schnell. Nachteile: Wenn ein Prozess terminiert oder ausgelagert wird, ist das Finden und Verschmelzen von benachbarten Lücken zu aufwändig. 37

38 Externe Fragmentierung Nachdem die Prozesse öfter geladen und wieder entladen worden sind, zersplittert sich der freie Speicherbereich in immer mehr kleinere Stückchen. Es kann passieren, dass es genug Speicher für einen Prozess gibt, aber nicht benutzt werden kann, weil die speicherfreien Räume nicht zusammenhängend sind. Simulationen zeigten, dass etwa 1/3 des gesamten Speichers durch das Fragmentierungsproblem unbrauchbar wird. Lösungen: - Speicherkomprimierung - sehr zeitaufwändig - nur wenn Laufzeit-Bindung. - Probleme während Ein-/Ausgabe-Operationen Prozesse können verteilt gespeichert werden, wo gerade Lücken vorhanden sind. Paging und Segmentierung 38

39 Paging Paging erlaubt Prozessen oder Programmen in Teilen zu laden und löst das Problem des Findens nach passender freier Speichergröße für einen Prozess. Der physikalische Speicher wird in Frames geteilt. Der logische Speicher wird in Pages geteilt, die genau so groß sind wie die Frames. Um ein Programm mit n Pages zu laden, müssen n freie Frames im Speicher gefunden werden. Eine Tabelle mit der Zuordnung zwischen Frames und Pages muss gesetzt werden. Interne Fragmentierung kann entstehen. 39

40 Paging Die von der CPU erzeugte Adresse teilt sich wie folgt: Seitennummer (p) wird verwendet als Index für die Seiten-Tabelle, die wiederum die Basisadresse von jeder Seite im physikalischen Adressraum enthält. Offset (d) bildet, kombiniert mit der Basisadresse, die physikalische Adresse, die tatsächlich im Hauptspeicher verwendet wird. Seitennummer p Offset d 40

41 Paging f f logische Adresse physikalische Adresse CPU p d f d 0 f p f Seitentabelle

42 Beispiel: Einfache Methode logischer Speicher Seite 0 Seite 1 Seite 2 Seite 3 Seite 4 Seitentabelle Frame Seite 0 3 Seite Seite Seite 2 9 Seite 4 10 Hauptspeicher

43 Paging Beispiel: Speichergröße = 28 Bytes Seitengröße = 4 Bytes Logischer Speicher Seitentabelle Physikalischer Speicher A B C D I J K L M N O P E F G H A B C D E F G H M N O P I J K L

44 Freie Frames vor der Allokation nach der Allokation Freie Frames Liste Freie Frames Liste Seite Prozess Seitentabelle 5 6 Seite 0 Seite 1 Seite 2 Seite 3 neuer Seite 0 Prozess Seite Seite 2

45 Implementierung der Page-Tabellen 1. Mit Registern innerhalb der CPU - nur für sehr kleine Tabellen 2. Die Seitentabelle ist im Hauptspeicher - 2 spezielle Register (PTBR + PTLR) Page-Table-Base-Register Page-Table-Length-Register - die Zugriffszeit verdoppelt sich 3. Spezielle Hardware (TLB) Translation-Look-Aside-Buffer - schnelle assoziative Cache-Speicher - die TLB beinhaltet nur eine kleine Anzahl von Seiten (pages) - bei jedem Kontextwechsel muss die TLB gelöscht und wieder geladen werden 45

46 Hardwareunterstützung Assoziative Cache-Speicher mit paralleler Suche TLB Seitennummer Frame-Nummer Jede logische Adresse ist ein Tupel (p, d). Wenn p im assoziativen Register von TLB (Seitennummer) steht, wird die entsprechende Frame-Nummer abgelesen und mit d die physikalische Adresse berechnet. Sonst wird die Seitennummer im Hauptspeicher gesucht und dort die Frame-Nummer gelesen. 46

47 Hardwareunterstützung mit TLBs CPU logische Adresse p d Seitennummer Frame Nummer p f TLB hit f d physikalische Adresse TLB p TLB miss f physikalischer Speicher Seitentabelle

48 Zugriffszeit mit TLBs Beispiel: TLB - Zugriffszeit = 10 ns Speicherzugriffszeit = 80 ns Treffrate = 80% Effektive Zugriffszeit = 0,8 ( ) + 0,2 ( ) = 106 ns Treffrate = 95% Effektive Zugriffszeit = 0,95 ( ) + 0,05 ( ) = 94 ns weiter am Freitag! 48