Linux Paging, Caching und Swapping

Transkript

1 Linux Paging, Caching und Swapping

2 Inhalte Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

3 Prozeß VPFN 3 VPFN 2 VPFN VPFN 0 PFN 7 PFN 6 PFN 5 PFN 4 PFN 3 PFN 2 PFN PFN 0 Prozeß 2 VPFN 2 VPFN VPFN 0 Virtuelle Speicherseite eines Prozesses Physische Speicherseite eines Prozesses Physische Speicherseite die von mehreren Prozessen gemeinsam genutzt wird

4 Prozeß PFN 7 PFN 6 Prozeß 2 VPFN 3 VPFN 2 VPFN PFN 5 PFN 4 PFN 3 PFN 2 PFN VPFN 2 VPFN VPFN 0 PFN 0 Page Table Page Table VPFN 0 Virtuelle Speicherseite eines Prozesses Physische Speicherseite eines Prozesses Physische Speicherseite die von mehreren Prozessen gemeinsam genutzt wird Page Table

5 Virtuell Physisch Page-Größe bei ix86 Systemen beträgt 4 Kilobyte, also 0x000 B. Virtuelle Adresse 0x Prozessor extrahiert Offset und VPFN Physische Adresse 0x Prozessor generiert physische Adresse und greift darauf zu VPFN 0x484 Page Offset 0x456 Prozessor greift auf Page Table 0x484 zu PFN 0x89 Page Offset 0x456

6 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

7 Ein einzelner Page Table Eintrag eines Prozesses V Zugriffsrechte D PFN Valid Flag Page Dirty Flag

8 Ein einzelner Page Table Eintrag eines Prozesses V Zugriffsrechte D PFN Valid Flag Page Dirty Flag Valid gesetzt & PFN gesetzt Seite vorhanden Valid gelöscht & PFN gelöscht Seite ungültig (Page fault)

9 Ein einzelner Page Table Eintrag eines Prozesses V Zugriffsrechte D PFN Valid Flag Page Dirty Flag Valid gesetzt & PFN gesetzt Seite vorhanden Valid gelöscht & PFN gelöscht Seite ungültig (Page fault) Valid gesetzt & PFN gelöscht Page fault: Demand Paging Valid gelöscht & PFN gesetzt Page fault: Seite im Swap

10 Ein einzelner Page Table Eintrag eines Prozesses V Zugriffsrechte D PFN Valid Flag Page Dirty Flag Eine neue Page wird geladen Page wird geändert (beschrieben) Page wird nicht beschrieben Page wird dringend für einen anderen Prozeß benötigt Page wird auf Datenträger ausgelagert in den Swap Bereich Seite wird verworfen

11 Level Level 2 Level 3 Byte in Seite PFN PFN PFN Adresse PGD Physische Seite PGD: Page Global Directory.Vom Kernel initialisiert. Weist auf den ersten Page Table Level.

12 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

13 mem_map_t oder auch Page Struktur: count Anzahl der Benutzer, die die Seite benutzen age Alter der Seite. Entscheidet, ob die Seite verworfen bzw. ausgelagert wird, wenn wieder Speicherplatz benötigt wird. map_nr Physische PFN

14 free_area Vektor PFN 0 Freie Speicherseite im Hauptspeicher (nicht alloziert)

15 free_area Vektor 5 mem_map Struktur mem_map_t PFN 0 Freie Speicherseite im Hauptspeicher (nicht alloziert)

16 free_area Vektor 5 mem_map Struktur 4 map Bitmaps mem_map_t PFN 0 Freie Speicherseite im Hauptspeicher (nicht alloziert)

17 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping und Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

18 mm_struct vm_area_struct vm_end vm_start vm_ops Virtueller Speicher des Prozesses z.b. Code z.b. initialisierte Daten (Variablen).. Demand Paging Valid gesetzt & PFN gelöscht

19 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

20 Buffer Cache Page Cache Swap Cache Hardware Caches TLB (Translation Look-aside Buffers)

21 Buffer Cache Block-Gerätetreiber Block wird geladen Geräte-ID, Blocknummer 2 kb 2 kb 2 kb 2 kb 2 kb Hardware: Blockgerät (Festplatte)

22 Page Cache Page fault handling code Pointer auf mem_map_t Datei, Datenoffset page_hash_table (single-page read ahead) mem_map_t mem_map_t mem_map_t mem_map_t mem_map_t Page Page Page Page Page Festplatte

23 Swap Cache Seite wird aus Swap File gelesen Swap Cache erzeugt Page Table Entry (Swap File, Offset)

24 Swap Cache Seite wird aus Swap File gelesen Swap Cache erzeugt Page Table Entry (Swap File, Offset) Page wird geändert (beschrieben) Page wird nicht beschrieben Swap Cache löscht den Page Table Entry

25 Swap Cache Seite wird aus Swap File gelesen Swap Cache erzeugt Page Table Entry (Swap File, Offset) Page wird geändert (beschrieben) Page wird nicht beschrieben Swap Cache löscht den Page Table Entry Seite soll ins Swap File ausgelagert werden

26 Swap Cache Seite wird aus Swap File gelesen Swap Cache erzeugt Page Table Entry (Swap File, Offset) Page wird geändert (beschrieben) Page wird nicht beschrieben Swap Cache löscht den Page Table Entry Seite soll ins Swap File ausgelagert werden Seite nicht im Cache Page wird in Swap File geschrieben Seite im Cache Seite wird verworfen. Grosse Zeitersparnis

27 Hardware Caches TLB (Translation Look-aside Buffers) CPU (Prozessor) OS (Linux) TLB

28 Hardware Caches TLB (Translation Look-aside Buffers) CPU (Prozessor) Exception TLB miss OS (Linux) TLB neuer TLB

29 Hardware Caches TLB (Translation Look-aside Buffers) CPU (Prozessor) TLB exception bearbeitet OS (Linux)

30 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

31 Prozess mit Seiten im physischen Speicher PFN 7 PFN 6 PFN 5 PFN 4 PFN 3 PFN 2 PFN PFN 0 Working Set eines Prozesses

32 Prozess mit Seiten im physischen Speicher PFN 7 PFN 6 PFN 5 PFN 4 PFN 3 PFN 2 PFN PFN 0 mem_map_t count age map_nr count age map_nr Working Set eines Prozesses

33 Prozess mit Seiten im physischen Speicher PFN 7 PFN 6 PFN 5 PFN 4 PFN 3 PFN 2 PFN PFN 0 mem_map_t count age map_nr count age map_nr Least Recently Used (LRU) Technik zur Bestimmung des Seitenalters Working Set eines Prozesses Linux

34 LRU im Detail: Seite wird alloziert Das Alter wird gesetzt auf: age = 3 Seitenzugriff Das Alter wird um 3 eröht, Maximalwert ist 20 kswapd prüft das Alter Das Alter wird um reduziert. Wenn 0 erreicht wird, gilt die Seite als alt.

35 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

36 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_high und free_pages_low werden initialisiert

37 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? nein

38 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? nein Anzahl freier Seiten unter free_pages_high? nein

39 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? nein Anzahl freier Seiten unter free_pages_high? nein Don t Panic

40 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? nein Anzahl freier Seiten unter free_pages_high? ja nein Don t Panic

41 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? nein Anzahl freier Seiten unter free_pages_high? ja nein 3 Seiten freimachen Don t Panic

42 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert Anzahl freier Seiten unter free_pages_low? ja nein Anzahl freier Seiten unter free_pages_high? ja nein 3 Seiten freimachen Don t Panic

43 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert ja Anzahl freier Seiten unter free_pages_low? nein 6 Seiten freimachen Nur halbe Zeitspanne schlafen Anzahl freier Seiten unter free_pages_high? ja nein 3 Seiten freimachen Don t Panic

44 Systeminitialisierung kswapd wird geladen Kernel Swap Timer wird initialisiert free_pages_low und free_pages_high werden initialisiert ja Anzahl freier Seiten unter free_pages_low? nein 6 Seiten freimachen Nur halbe Zeitspanne schlafen Anzahl freier Seiten unter free_pages_high? ja nein 3 Seiten freimachen Don t Panic Zuletzt benutzte Methode wiederbenutzen:.) Page- und Buffer-Cache Seiten reduzieren (z.b. Memory Mapped Files, Festplattendaten) 2.) System V Shared Memory Seiten auslagern (Swap File) 3.) Speicherseiten auslagern (Swap File)

45 Inhalt Paging Das Virtuelle Speichermodell Die Page Table im Detail Page Allocation und Page Deallocation Memory Mapping & Demand Paging Caching Die verschiedenen Caches Swapping Welche Pages eines Prozesses werden ausgelagert Der Kernel Swap Demon (kswapd) Freimachen von Speicherseiten

46 .) Page- und Buffer-Cache Seiten reduzieren (z.b. Memory Mapped Files, Festplattendaten) Kein Swapping (Datenträgerzugriff) nötig! mem_map mem_map_t Physische Seiten clock Algorithmus

47 2.) System V Shared Memory Seiten auslagern (Swap File) clock Algorithmus Physische Seiten Prozeß A Prozeß B Prozeß C

48 2.) System V Shared Memory Seiten auslagern (Swap File) clock Algorithmus Physische Seiten Page Tables Prozeß A Prozeß B Prozeß C

49 2.) System V Shared Memory Seiten auslagern (Swap File) clock Algorithmus Physische Seiten Page Tables Prozeß A Prozeß B Prozeß C Page Table Eintrag invalid setzen PFN auf Swapposition setzen (Datei, Offset) User Count für die Seite um reduzieren (mem_map_t) Wenn User Count = 0, dann Seite swappen

50 3.) Speicherseiten auslagern (Swap File) kswapd Darf Prozeß geswappt werden? Prozeß A Prozeß B Prozeß C

51 3.) Speicherseiten auslagern (Swap File) kswapd Darf Prozeß geswappt werden? Prozeß A Prozeß B Prozeß C Dürfen Seiten geswappt werden? (nicht locked / shared)

52 3.) Speicherseiten auslagern (Swap File) kswapd Darf Prozeß geswappt werden? Prozeß A Prozeß B Prozeß C Dürfen Seiten geswappt werden? (nicht locked / shared) Muß eine Seite geswappt werden oder kann man sie einfach verwerfen? (Können die Informationen anders wiederhergestellt werden?)

53 3.) Speicherseiten auslagern (Swap File) kswapd Darf Prozeß geswappt werden? Prozeß A Prozeß B Prozeß C Dürfen Seiten geswappt werden? (nicht locked / shared) Muß eine Seite geswappt werden oder kann man sie einfach verwerfen? (Können die Informationen anders wiederhergestellt werden?) Seite verwerfen Einige wenige Seiten wählen Seiten ins Swap File auslagern

54 Ende Linux Paging, Caching und Swapping