Technische Informatik II (TI II) (9) Speicherverwaltung II. Sebastian Zug Arbeitsgruppe: Embedded Smart Systems

Transkript

1 1 (TI II) (9) Speicherverwaltung II Sebastian Zug Arbeitsgruppe: Embedded Smart Systems

2 2 Auswertung Evaluation Gut fand ich: Videoaufzeichung praktische Aufgaben umfassende Unterstützung bei den praktischen Aufgaben Das Debugging mit der Konsole Aufgreifen von Stoff aus TI I Herr Haft bitte??? Nicht gut fand ich: Probleme mit der Homepage, Übungsaufgaben, Zeitmangement Man könnte mehr in der Vorlesung auf die Übungen eingehen 100 Prozent praktische Votierungen dass die praktische Übungen nahezu ohne Hilfestellung bewältigt werden muss, absolute Hölle Schwer zu verstehende Implementierungsaufgaben Keine konkrete Vorbereitung auf die Klausur Superspäter Video Upload Probleme beim Patchen

3 3 Auswertung Evaluation An der Verstaltung könnte verbessert werden: praktische Aufgaben mehr erklärt werden vorher Aufgaben selber durchprobieren mehr Theorie Praxis und Theorie nicht am gleichen Tag Paralleles Seminar / Gleichzeitiges Tutorium Empfehlung: Viel Zeit mitbringen solide C++ Kenntnisse vorher aneigen TI I besuchen sich die Programmierlösungen aus dem Vorjahr besorgen Zeitaufwand (ohne Übung, Vorlesung)

4 4 Fragen an die Veranstaltung Welche Aspekte sind bei der Auswahl einer Seitenersetzungsstrategie zu hinterfragen? Warum ist die optimale Seitenersetzung praktisch nicht umsetzbar? In welchem Punkt verbessert der Second Chance Algorithmus den FIFO Ansatz? Warum unterscheidet man zwischen globalem und lokalen Scheduling? Welche Funktion übernimmt der Cache-Speicher? Welche Bedeutung haben den drei C im Hinblick auf die Cache-Missrate? Wie werden diese durch die Parameter des Caches bestimmt? Benennen Sie unterschiedliche Einlagerungsstratgien für die Cache. Worun unterscheiden sich diese?

5 5 Literatur Bücher Operating System Concepts, Abraham Silberschatz Computer-Arcrhitecture. A Quantitative Approach, John L. Hennessy, David A. Patterson: Webseiten Grundlagen der Informatik III Wintersemester 2010/ Vorlesung Dr.-Ing. Wolfgang Heenes Prof. Christoph Reichenbach, Uni Frankfurt, Youtube-Channel

6 6 Adressumsetzung mit Seiten logische (virtuelle) Adresse (20 Bit) Seiten tabellen Index Versatz (offset) Real Speicher 64 K = 16 x 4K Kacheln Kachel# (realer Seitenrahmen) reale Adresse (16 Bit) offset Seitentabelle (256 Einträge) Seitentabellenbasisregister virtueller Adressraum: 2 20 = 1 M max. Anzahl der Seiten: 256 max. Größe der Seiten: 4 k

7 7 Verwaltung des virtuellen Speichers Woher weiß man, wie viele Seiten benötigt werden? Einlagern von Seiten auf Anforderung Was tun, wenn mehr Seiten benötigt werden als Seitenrahmen zur Verfügung stehen? Seitenersetzungsmechanismen Kann man den Speicherzugriff noch weiter Beschleunigen? Caches

8 8 Virtual Memory und Demand Paging virt. Adr. Raum Seitentabelle A B C D D B F A C Rahmen im Realspeicher E F A E Hintergrundspeicher F C D B Present Bit (Seite im Hauptspeicher)

9 9 Die MMU: Speicherverwaltungseinheit MMU Memory Management Unit Adressübersetzung benötigt mehrere Ebenen der Indirektion negative Auswirkung auf Leistung! benötigt Hardwareunterstützung zur Beschleunigung. CPU Memory logische Adresse MMU reale, physische Adresse Seiten- oder Segmenttabelle Hintergrundspeicher Translation Lookaside Buffer (TLB) oder Address Translation Cache (ATC) Bus

10 10 Demand Paging reference to a memory location Hardware Mechanismus page is mapped in TLB? yes no exception: trap to OS check present bit in page descriptor Betriebssystem page is in physical memory? no yes check for free TLB entry load TLB with transl. info check for free frame load page from disk update page table access phys. mem. Page fault!

11 11 Demand Paging: Abschätzung Normaler Zugriff, kein Seitenfehler: Zugriffszeit ~ ns Wie hoch ist die Zugriffszeit bei einem Seitenfehler? p: Wahrscheinlichkeit für einen Seitenfehler Annahmen Normale effektive Zugriffszeit: 100 ns Laden einer Seite von der Platte: ~ 20 ms Effektive Zugriffszeit für p=0,01: (1-p) 100ns + p ns = 0, , ns = ns 200 µs Um im Bereich der normalen Zugriffszeit zum Realspeicher zu bleiben muss die Wahrscheinlichkeit eines Seitenfehlers in der Größenordnung von 0, liegen! -> 1 Seite pro Zugriffe darf zu einem Seitenfehler führen!

12 12 Seitenersetzungsverfahren Das Betriebssystem muss zukünftige Anforderungen vorhersagen. Dazu kann es nur die Analyse der Gegenwart und Vergangenheit ausnutzen: Wann wurde die Seite eingelagert? Wurde auf die Seite zugegriffen? Wurde die Seite modifiziert? Welche Prozesse sind zur Zeit aktiv? ersetze 42 Seiten- Deskriptor C R D P protect. frame number C: Caching, R: Referenced, D: Dirty (modified), P: Present

13 13 SES - FIFO FIFO: Ersetzt die Seite, die am längsten im Speicher ist. Ref. Folge Kachelzuordnung im Realspeicher Kontrollstatus: Alter der Seite frame 1 frame 2 frame 3 frame 1 frame 2 frame P P P P P P P P P 9 Seitenfehler Zeit der Aktivierung Ende d. Liste älteste Seite F1 A F3 F2 Liste zur Verwaltung der Kachelzuordnung

14 P P P P - - P P - 14 Optimale Seitenersetzungsstrategien ref. sequence frame assignment in phys. memory control state: distance to next reference ref. sequence frame assignment in phys. memory control state: distance to next reference frame 1 frame 2 frame 3 frame 1 frame 2 frame 3 frame 1 frame 2 frame 3 frame 4 frame 1 frame 2 frame 3 frame P P P P P P P Kacheln 7 Seitenfehler Ersetze die Seite, die erst nach der größten Zahl von Zyklen wieder abgerufen wird! 4 Kacheln 6 Seitenfehler

15 15 SES Not Recently Used NRU unterscheidet 4 Seitenklassen: Klasse 0: R=0, D=0 - nicht referenziert, nicht modifiziert Klasse 1: R=0, D=1 nicht referenziert, modifiziert Klasse 2: R=1, D=0 referenziert, nicht modifiziert Klasse 3: R=1, D=1 referenziert und modifiziert NRU ersetzt eine beliebige Seite aus der niedrigsten nichtleeren Klasse! sweep sweep Ref. Folge Kachelzuordnung im Realspeicher Kontrollstatus: Seitenklasse frame 1 frame 2 frame 3 frame 1 frame 2 frame P P P P P P P P 8 page faults

16 16 SES Second Chance Variation von FIFO: Der "Second Chance" Algorithmus Die Seiten sind in einer Liste nach FIFO geordnet check page at the tail of the list Bit R=0? yes replace page no 1. Move page to the head of the list 2. clear R (R=0) Das Verfahren ersetzt Seiten, die am frühsten eingelagert wurden UND die seit dem letzten Markierungsdurchlauf (sweep) nicht mehr referenziert wurden.

17 17 Zeit der Second Chance Algorithmus Aktivierung Ende d. Liste älteste Seite K Wohin? A B C D E F G H R=1 R=1 R=0 R=0 R=1 R=1 R=0 R= B C D E F G H Seiten sind nach FIFO geordnet R=1 R=0 R=0 R=1 R=1 R=0 R=1 R= C D E F G H A R=0 R=0 R=1 R=1 R=0 R=1 R=0 R= D E F G H A B K R=0 R=1 R=1 R=0 R=1 R=0 R=0 R=0

18 18 SES Least Recently Used Verdränge die Seite, die am längsten nicht referenziert wurde. Kette der Referenzen Rückwärtsabstand Vorwärtsabstand Vergangenheit "least recently used" nutzt die Referenzen der Vergangenheit Jetzt optimale Ersetzung nutzt die zukünftigen Referenzen Zukunft Problem: Least Recently Used ist schwer zu implementieren!

19 19 SES Least-Recently-Used ref. sequence frame assignment in phys. memory control state: backward distance frame 1 frame 2 frame 3 frame 4 frame 1 frame 2 frame 3 frame P P P P P P P 7 page faults

20 20 Working Set Algorithm w(k,t) Größe des WS wie viele Speicherreferenzen fallen in ein bestimmtes Fenster? k: Anzahl der letzten Speicherreferenzen Die Menge der Seiten, die von einem Prozess in einem bestimmten Zeitfenster benutzt werden, wird als Working Set (WS) bezeichnet.

21 Source: M. Esponda-Argüero, Freie Universität Berlin 21 Working Set Algorithm Wenn Δ zu klein ist, können viele Prozesse im Speicher arbeiten, aber die Lokalitäten werden nicht komplett Thrashing (Seitenflattern) Wenn Δ zu groß ist, werden mehrere Lokalitäten gleichzeitig umfasst. Wenn Δ ohne Grenzen wächst, ist irgendwann das ganze Programm da. - niedrige CPU Auslastung - zu wenig Programme können gleichzeitig arbeiten. - sehr großer Zeitaufwand beim swapping Δ

22 22 WS Algorithmus Seitendeskriptor for all descriptors: if R=1: Seitentabelle R-Bit virtual time: vt Das Feld enthält die Zeit des letzten Zugriffs auf die Seite. set vt to cvt and set R=0; if R=0 && (cvt - vt) > t: replace; if R=0 && (cvt - vt) < t: no change; if no change: replace oldest frame with R=0 && (cvt - vt) > t; if all descriptors R==1 replace arbitary one "virtual time" ist eine Prozesslokale Repräsentation der Zeit, die mit Prozessbeginn startet. current virtual time: cvt 2204 t = 800 : Schwelle für die Zeitdifferenz cvt - vt

23 23 Seitenersetzungsstrategien Vergleich Algorithmus Eigenschft. impl. Kommentar optimal NRU: FIFO 2nd chance: Clock: LRU: WS: nur zum Vergleich, kann nicht realisiert werden einfach und einfach zu realisieren einfach; Problem: wichtige (alte) Seiten werden verdrängt substantielle Verbesserung von FIFO intelligente Implementierung von 2nd Chance exzellent, aber schwierig in der Implementierung gut, Implementierungsprobleme

24 24 Globale und Lokale Seitenersetzungsstrategien Seitenersetzungsalgorithmen wurden bisher nur für einzelne Prozesse betrachtet (lokale Strategien). In der Praxis laufen jedoch meist mehrere Programme (quasi-)parallel. -> zur Verfügung stehender physikalische Speicher muss unter den Prozessen aufgeteilt werden. Herausforderungen: + Fragmentierung - bekommt beispielsweise ein Prozess für die komplette Laufzeit eine festen Speichergröße zugeordnet, die kleine als die maximal benötigte ist, so erzeugt der Prozess ständig Seitenfehler obwohl u.u. noch freie Seitenrahmen auf dem System zur Verfügung stehen. + dynamische Aufteilung des Speichers

25 25 Gemeinsame Seiten Führen zwei Prozesse das selbe Programm aus, ist es effizienter Seiten gemeinsam zu nutzen, als mehrere Kopien der selben Seite im Speicher zu halten. Seiten auf die nur lesend zugegriffen wird, können gemeinsam genutzt werden. Seiten auf die auch schreibend zugegriffen wird ist eine gemeinsame Nutzung in der Regel nicht möglich. -> Einfache Lösung: Zwei getrennte Adressräume für Daten und Programmcode. alle Prozess nutzen die Pagetables für den Programmcode gemeinsam getrennte Seitentabellen für die Daten

26 26 Zusammenfassung Ziele: unendlich {groß, schnell, billig}, -->Zielkonflikte Verwaltung des physischen Speichers: Interne und externe Fragmentierung Lokale und globale Listenverwaltung Buddy System Virtueller Speicher: Segmentierung: Seitenorientierung: + private Adressräume - Segment muss in physischen Speicher passen + riesiger linearer Adressraum - Schutz, Problem der Seitentabellen Seitenersetzungsstrategien Global / Lokal

27 27 Speicherverwaltung Die Kosten-Leistungs-Perspektive sehr teuer sehr billig sehr schnell schnell langsam sehr langsam registers scratchpad caches RAM ROM Disk DVD-ROM CD-ROM Tape on-chip on-board Hintergrund einzelner CPU Zyklus einzelner in-/ externer Buszyklus ms-minutes 0, sec 0, sec 0,001 sec

28 28 Typische Cache Hierarchie Die von der CPU gelieferte Adresse wird mit den im Cache gespeicherten Adressen verglichen. Gleichzeitig wird der Hauptspeicher adressiert. Liegt das adressierte Speicherwort im Cache (Treffer, Hit) wird es in die CPU geladen. Der Hauptspeicherzugriff wird abgebrochen. Liegt das adressierte Speicherwort nicht im Cache (Nicht-Treffer, Miss) wird es (zusammen mit anderen Speicherworten) in den Cache und die CPU geladen. Ist der Cache vollständig belegt, müssen Speicherworte ausgelagert werden. CPU-Gehäuse CPU-Chip L1-I MMU L1-D Register 1 kb sofort L1 Cache 64 kb 4 Zyklen L2 Cache 256 kb 10 Zyklen.. Arbeitsspeicher 16 GB 200 Zyklen Festspeicher??? > Daten L3 Cache L2 Cache I+D Speicher Bus Hauptspeicher

29 29 Das Lokalitätsprinzip zeitliche Lokalität: wenn ein Speicherwort benutzt wurde wird es mit hoher Wahrscheinlichkeit nach einem "kurzen" Zeitintervall wieder benutzt. räumliche Lokalität: wenn ein Speicherwort benutzt wurde werden Speicherworte der (Adressen-) Umgebung mit hoher Wahrscheinlichkeit auch genutzt Grund: Sequentielle Programmausführung: Unterbrechung lediglich durch im Quelltext vorkommende Verzweigungen nachfolgende Befehle werden also sehr wahrscheinlich ebenfalls verarbeitet. Verzweigungen finden dabei zu großen Teilen nur in Schleifen und Prozeduren statt, welche häufig mehrmals wiederholt ausgeführt werden. Verzweigungen zu entfernten Adressen, welche die Lokalität verletzen, sind dabei relativ selten.

30 30 Quantifizierung der Lokalität die Trefferrate Trefferrate: h = Anzahl der Treffer Anzahl der Gesamtzugriffe 100% Fehl-Rate: m = oder Miss-Rate Anzahl der Nicht-Treffer Anzahl der Gesamtzugriffe 100% Durchschnittliche Zugriffszeit : T AV = (h T cache ) + (m T HS ) h = 90, T cache = 1 ns, T HS = 50 ns h = 99, T cache = 1 ns, T HS = 50 ns T AV = (0,9 1) + (0,1 50 ) = 5,9 ns T AV = (0,99 1) + (0,01 50 ) = 1,49 ns

31 31 Typen von Fehlraten Compulsory The very first access to a block cannot be in the cache, so the block must be brought into the cache. Compulsory misses are those that occur even if you had an infinite cache. Capacity If the cache cannot contain all the blocks needed during execution of a program, capacity misses (in addition to compulsory misses) will occur because of blocks being discarded and later retrieved. Conflict If the block placement strategy is not fully associative, conflict misses (in addition to compulsory and capacity misses) will occur because a block may be discarded and later retrieved if conflicting blocks map to its set. Computer Architecture A Quantitative Approach, Hennessy, Patterson

32 32 4 Fragen zum Cache 1. Wie kann der sehr große Adressraum des Hauptspeichers auf die wenigen Einträge im Cache abgebildet werden? oder: wohin wird ein Datenblock im Cache eingelagert? 2. Wie wird ein Datenblock im Cache gefunden? oder ist der adressierte Block auch der gesuchte Block? 3. Wann und wie werden Dateblöcke im Cache ersetzt? 4. Was passiert bei Schreibzugriffen? oder: wie wird die Übereinstimmung zwischen Cache und Hauptspeicher sichergestellt?

33 (FFFFFF...) FF 33 Abbildungsproblem Physische Adresse von CPU?? 60 ns Adresse Cache 2Bit Daten 1 ns Cache Hauptspeicher 1. alle Bits der Adresse werden genutzt (assoziativer Cache (Hardware)) 2. Teile der Adresse werden genutzt (Hashing) ( ) 00

34 34 (Voll-)assoziativer Cache Adresse (Suchschlüssel) Ein beliebiger Eintrag kann von jeder Adresse belegt werden. Bei jedem Speicherbefehl werden alle Einträge parallel auf einen Treffer durchsucht Treffer

35 35 Suche im vollassoziativen Cache Suchschlüssel (Adresse) Eintrag Hardware n-mal vorhanden Treffer + sehr schnell + wenig Verwaltungsaufwand, alle Einträge können universell verwendet werden - sehr aufwändig durch den Komparator für jeden Eintrag - wurde/wird für sehr kleine Caches genutzt, z.b. zur Adressübersetzung

36 36 Einfach direkt abbildender Cache (direct mapped) Hash- Tag Hash- Index least significant bits! Adresse miss tag Daten Probleme: Schlechte Ausnutzung des Cache Adressraums Viele Kollisionen

37 37 Hash- Tag Hash- Index Offset Adresse Direkt abbildender Cache mit Blöcken Tag Daten = hit Die Unterteilung in die 3 wesentlichen Felder einer Adresse für direkt abbildende Caches Tag Block Adresse Index Block Offset

38 Adresse 4-Wege Mengen-assoziativer Cache tag data tag data tag data tag data set n x x x x x x x x x x x x x x x x set 0 = = = = hit 4:1 Multiplexer

39 39 Voll-assoziativer Cache: Block 12 kann überall eingelagert werden direkt abbildender Cache: Block 12 kann nur in Eintrag 4 eingelagert werden. (12 mod 8) 2fach-Mengen-assoziativer Cache: Block 12 kann überall in Set 0 eingelagert werden. (12 mod 4) Block # Cache set 0 set 1 set 2 set Block # Hauptspeicher Block #

40 40 Organisationsalternativen für Caches direkt tag data 2-Wege Mengen assoziativ 4-Wege Mengen assoziativ vollassoziativ

41 Hennessy, Patterson: Computer Architecture, Morgan-Kaufmann,2003 trägt..% zu totalen Fehl-Rate bei Cache Degree Total (KB) assoc. missrate Compulsory Capacity Conflict way % % % 4 2-way % % % 4 4-way % % % 4 8-way % % % 8 1-way % % % 8 2-way % % % 8 4-way % % % 8 8-way % % % 16 1-way % % % 16 2-way % % % 16 4-way % % % 16 8-way % % % 32 1-way % % % 32 2-way % % % 32 4-way % % % 32 8-way % % % 64 1-way % % % 64 2-way % % % 64 4-way % % % 64 8-way % % % way % % % way % % % way % % % way % % % way % % % way % % % way % % % way % % % way % % % way % % % ' way % % % way % % %

42 42 Implementierungsbeispiel

43 43 Verbesserung der Cache-Leistung Verminderung der Fehlrate Mehr Einträge, höherer Grad der Assoziativität, größere Cache- Blocks, getrennter Befehls- und Datencache, Compiler Unterstützung Verminderung des Fehlaufwands Prefetching, Victim Buffer Verminderung des Trefferaufwands Kleine und einfache Caches, Beschleunigung der Adreßumsetzung, Trace Cache

44 44 Bis zur nächsten Woche