Grundlagen der Informatik III

Transkript

1 Grundlagen der Informatik III WS 2009 / 2010 [Folien basierend auf VL von Prof. Eckert, WS 07/08, und von Prof. Fellner WS 08/09] Prof. Dr. rer. nat. Frederik Armknecht Sascha Müller Daniel Mäurer Fachbereich Informatik / CASED Mornewegstraße Darmstadt

2 Gliederung der Vorlesung GdI 3 1. Einführung 2. Assemblerprogrammierung 3. Leistungsbewertung 4. Speicherhierarchie 5. Assembler, Binder, Lader 6. Betriebssysteme und Ein-/Ausgabe (Grundlagen) 7. Rechnernetze (Grundlagen) 8. Compiler (Grundlagen) Fachbereich Informatik Prof. Dr. Frederik Armknecht 2

3 4. Speicherhierarchie 4.1 Background 4.2 Lokalitätsprinzip 4.3 Speicherhierarchien 4.4 Cache 4.5 Blockplatzierung 4.6 Cache-Ebenen 4.7 Virtueller Speicher Fachbereich Informatik Prof. Dr. Frederik Armknecht 3

4 Kapitel 4 Speicher und Speicherhierarchien 4.1 Background Schnelle Speicher sind teuer. Große Speicher sind langsam. Technologie Jahr Typische Zugriffszeit /MByte SRAM ns ,5 12 ns 1 2,50 DRAM ns ,5 50 ns 0,75 Festplatte ms 0,10 0, ms 0,005 Fachbereich Informatik Prof. Dr. Frederik Armknecht 4

5 4.1.1 SRAM SRAM (Static Random Access Memory) Statisch realisierter Speicher mit wahlfreiem (RAM) Zugriff Erfordern keinen Refresh, konstant fließender Strom Speicherung eines Wertes auf einem Paar invertierender Gatter (D-Latch), Flip-Flop-Speicher Sehr schnell (keine entladbaren Kondensatoren), aber größer als DRAM (4 bis 6 Transistoren) und höhere Stromaufnahme: starke Erwärmung Konfiguration eines SRAM Chip durch Anzahl adressierbarer Plätze ( Höhe ) und Weite jedes adressierbaren Platzes Fachbereich Informatik Prof. Dr. Frederik Armknecht 5

6 Beispiel Beispiel: 256K 1 SRAM 256K Einträge mit 1 Bit Weite 256K = 2 18, also 18 Adressierungseingänge sowie ein 1Bit Dateneingang und ein Datenausgang notwendig Beispiel: 32K 8 SRAM 32K Einträge mit 8 Bit Weite 32K = 2 15, also 15 Adressierungseingänge ein 8 Bit-Dateneingang und ein 8 Bit-Datenausgang notwendig aus technischen Gründen SRAMs häufig als 1 oder 4 SRAM realisiert Fachbereich Informatik Prof. Dr. Frederik Armknecht 6

7 4.1.2 DRAM DRAM (Dynamic Random Access Memory) dynamisch realisierter Speicher, heute meist synchron als SDRAM realisiert Speicherung eines Wertes als Ladung auf einem Kondensator (capacitor) Nur 1 Transistor notwendig, um gespeicherten Wert auszulesen oder um Ladung zu überschreiben Aber: Speicherung der Ladung auf Kondensator muss periodisch (ms-taktraten) erneuert werden durch Lesen und Zurückschreiben der Ladung ( dynamischer Speicher): Refresh: üblich, alle 1-16ms ein Refresh Fachbereich Informatik Prof. Dr. Frederik Armknecht 7

8 4.1.2 DRAM sehr klein (1 Transistor / Bit), aber langsamer als SRAM (Faktor 5 bis 10) Word line Pass transistor Capacitor Typischerweise DRAMs für Hauptspeicher, DRAM-Chips in Speichermodulen gepackt SRAMs für Cache-Realisierungen Bit line Weitere Details zu SRAMs und DRAMs siehe Patterson/Hennessy 3. A., Anhang B.9 Fachbereich Informatik Prof. Dr. Frederik Armknecht 8

9 4.1.3 Technologische Trends DRAM 1000:1! 2:1! Jahr Größe Zykluszeit Kb 250 ns Kb 220 ns Mb 190 ns Mb 165 ns Mb 145 ns Mb 120 ns Steigerung der Steigerung der Kapazität Geschwindigkeit Logik: 2x in 3 Jahren 2x in 3 Jahren DRAM: 4x in 3 Jahren 2x in 10 Jahren Platte: 4x in 3 Jahren 2x in 10 Jahren Fachbereich Informatik Prof. Dr. Frederik Armknecht 9

10 Prozessor-Speicher Performance Gap Leistung Performance Gap wächst ca. 50% / Jahr Zeit Lücke zw. Prozessor- und Speicherleistung wächst beständig. Speicherzugriffe werden zu Engpässen ( bottlenecks ) Verzögerte Befehlsverarbeitung Leistungsverhalten des Rechners verschlechtert sich Fachbereich Informatik Prof. Dr. Frederik Armknecht 10

11 Aufgabe: Schließen der Lücke Lösungsidee: Speicherhierarchie Bild aus Kap1 Fachbereich Informatik Prof. Dr. Frederik Armknecht 11

12 Problem: welche Daten, wie lange in welcher Ebene? 4.2 Lokalitätsprinzip Basis für Lösungen des Problems Typische Eigenschaft bei Abarbeitung von Programmen: Programme greifen zu jedem Zeitpunkt nur auf einen relativ geringen Teil ihres Adressraumes zu Fachbereich Informatik Prof. Dr. Frederik Armknecht 12

13 4.2.1 Formen der Lokalität zeitliche (temporale) Lokalität: Nach Zugriff auf einen bestimmten Datensatz wird mit großer Wahrscheinlichkeit bald erneut darauf zugegriffen Beispiel: Schleifen räumliche Lokalität: Nach dem Zugriff auf einen bestimmten Datensatz wird mit großer Wahrscheinlichkeit auch auf einen Datensatz zugegriffen, der in unmittelbarer Nähe im Speicher steht. Beispiele: 1) sequentielle Instruktionsfolgen, 2) Rechnen mit Matrizen Fachbereich Informatik Prof. Dr. Frederik Armknecht 13

14 4.2.2 Ausnutzung der Lokalität zeitliche Lokalität Halten der Daten, auf die zuletzt zugegriffen wurde, möglichst nahe beim Prozessor räumliche Lokalität Bewegen von jeweils zusammenhängenden Speicherblöcken durch Hierarchieebenen näher zum Prozessor Ziel: möglichst viele Treffer (hits) erzielen! Fachbereich Informatik Prof. Dr. Frederik Armknecht 14

15 4.2.2 Ausnutzung der Lokalität Treffer (hit): zugegriffene Daten sind in oberer Ebene (nahe beim Prozessor) Trefferrate: Anteil der Speicherzugriffe auf höherer Ebene (level) Trefferzeit: Zeit, um Treffer festzustellen und auf Datum zuzugreifen Fehltreffer (miss): gesuchte Daten nicht in oberer Ebene Fehlrate = 1 Trefferrate Fehlstrafzeit (miss penalty): Zeit, um Block auf eine höhere Ebene und zum Prozessor zu bringen Fachbereich Informatik Prof. Dr. Frederik Armknecht 15

16 4.2.2 Ausnutzung der Lokalität Bem.: zeitliche/räumliche Lokalität wird auf allen Ebenen ausgenutzt! Hardware: z.b. Pipelining, PC-relative Adressierung Cache-Verwaltung Betriebssystem: Hauptspeicher/Plattenverwaltung, Anwendungsebene: z.b. Web-Browser: Cache (Zwischenspeicher) von zuletzt genutzten Daten auf der lokalen Platte (anstatt immer remote) Fazit: beim Programmieren auf Lokalität achten! Fachbereich Informatik Prof. Dr. Frederik Armknecht 16

17 4.3 Speicherhierarchien Umsetzung des Lokalitätsprinzips Kleine, schnelle Speicher enthalten Kopien von Daten aus großen, langsameren Speichern Prozessor Steuerwerk Rechenwerk Geschwindigkeit: am schnellsten am langsamsten Größe: am kleinsten am größten Kosten: am teuersten am günstigsten Fachbereich Informatik Prof. Dr. Frederik Armknecht 17

18 4.3.1 Ziel von Speicherhierarchien Schaffen der Illusion eines Speichers mit: der Zugriffszeit des schnellsten Speichermediums der Größe des größten Speichers in der Hierarchie CPU Levels in the memory hierarchy Level 1 Level 2 Increasing distance from the CPU in access time Level n Size of the memory at each level Fachbereich Informatik Prof. Dr. Frederik Armknecht 18

19 4.3.2 Realisierung der Hierarchie so viel Speicher wie möglich in der billigsten Technologie Zugriffsmöglichkeit auf Basis der schnellsten Technologie Geschwindigkeit (ns): (10 ms) (10 s) Größe (Bytes): 100 Kilo Mega Giga Tera Fachbereich Informatik Prof. Dr. Frederik Armknecht 19

20 4.4 Cache (Schnellzugriffsspeicher) Cache-Speicher als Zwischenspeicher für schnelle Zugriffe Bestandteil jedes heutigen Rechners Caches auf unterschiedlichen Levels: On-Chip Cache Externer Cache auf zweiter Ebene (SRAM) Cache-Prinzip Unabhängig von der jeweiligen Cache-Ebene Zugriff auf Programmadresse führt zu Suche im Cache: Falls Datum vorhanden: lesen aus Cache (hit) Sonst: kopieren der Daten aus Hauptspeicher in Cache Fachbereich Informatik Prof. Dr. Frederik Armknecht 20

21 4.4 Cache (Schnellzugriffsspeicher) Beispiel eines einfachen Caches Blockgröße ist Wort Zugriff auf Xn, das noch nicht im Cache steht (Cache-Miss) (a) Cache-Zustand vor dem Zugriff (b) Cache-Zustand nach dem Zugriff auf Xn Probleme: woher weiß man, ob die gesuchten Daten im Cache stehen? wie findet man sie? (a) X4 X1 Xn 2 Xn 1 X2 X3 (b) X4 X1 Xn 2 Xn 1 X2 Xn X3 Fachbereich Informatik Prof. Dr. Frederik Armknecht 21

22 4.4.2 Direct Mapped Cache Programmadressen sind Hauptspeicheradressen. Jeder Hauptspeicheradresse ist fester Cache-Platz zugeordnet. D.h. Programmadresse kann direkt in die passende Cache- Adresse umgerechnet werden. Beispiel: (siehe nächste Folie) Cache mit 8 Einträgen Die letzten 3 Bits der Hauptspeicheradresse stellen die Cache-Adresse (Index) dar. Fachbereich Informatik Prof. Dr. Frederik Armknecht 22

23 4.4.2 Direct Mapped Cache Beispiel: Forts. Cache mit 8 Einträgen Abbildungsvorschrift: Cacheadresse = Blockadresse modulo Anzahl Cacheblöcke (z.b. 8) im Cache Zu jedem Datum auf der unteren Ebene gibt es genau eine Stelle im Cache Cache, wo es sein könnte. Viele Daten auf der unteren Ebene teilen sich Positionen auf der oberen Ebene Hauptspeicher Fachbereich Informatik Prof. Dr. Frederik Armknecht 23

24 4.4.2 Direct Mapped Cache Problem: Wie findet man ein Datum im Cache? Mehrfachbelegung: Jede Cache-Zelle kann Daten aus mehreren, unterschiedlichen Hauptspeicherzellen enthalten siehe vorh. Folie: 00001, 01001, auf 001 abgebildet Zuordnung der Daten zu den Hauptspeicherzellen ist an den Daten im Cache nicht erkennbar. Lösung: weitere Informationen sind erforderlich Ein Teil der Hauptspeicheradresse wird mit im Cache gespeichert: Tag-Feld Tag-Information: i.d.r. die Bits, die nicht als Cache-Index benutzt werden, also higher level Bits der Hauptspeicherzellen Fachbereich Informatik Prof. Dr. Frederik Armknecht 24

25 4.4.2 Direct Mapped Cache Beispiel: von Folie 23 2 Bit Tag-Feld, 3 Bit Index, z.b. Index = 001 und Tag = 01, d.h. in Cache Zeile 1 steht Block von Adresse Problem: Ob das Datum im Cache gültig ist, weiß man aber immer noch nicht, z.b. wenn der Eintrag leer ist (u.a. nach Booten des Rechners) Lösung: Einführung eines Valid-Bits: Falls Valid-Bit = 1, dann ist Eintrag gültig. Fachbereich Informatik Prof. Dr. Frederik Armknecht 25

26 Direct-Mapped Cache Address (showing bit positions) Byte offset 32 Bit Speicheradresse Hit Tag Index Data Cache: Index Valid Tag Data 1024=2 10 Einträge, d.h. 10 Bits für Index Bits Tag-Feld Bei Cache-Suche: Vergleich anhand des Tag- Feldes Bit breites Valid - Feld einer Cache- Zelle Fachbereich Informatik Prof. Dr. Frederik Armknecht 26

27 Beispiel: Folge von Cache-Zugriffen (1) Fachbereich Informatik Prof. Dr. Frederik Armknecht 27

28 Beispiel: Folge von Cache-Zugriffen (2) Fachbereich Informatik Prof. Dr. Frederik Armknecht 28

29 Beispiel: Folge von Cache-Zugriffen (3) Fachbereich Informatik Prof. Dr. Frederik Armknecht 29

30 Beispiel: Folge von Cache-Zugriffen (4) Fachbereich Informatik Prof. Dr. Frederik Armknecht 30

31 Beispiel: Folge von Cache-Zugriffen (5) Fachbereich Informatik Prof. Dr. Frederik Armknecht 31

32 Beispiel: Folge von Cache-Zugriffen (6) Cache-Platz wird überschrieben! Fachbereich Informatik Prof. Dr. Frederik Armknecht 32

33 4.4.3 Behandlung eines Cache-Miss Situation: Datum ist nicht im Cache vorhanden und muss aus dem Hauptspeicher geladen werden Valid-Bit zeigt an, ob gültige Adresse im Cache steht. Aktionen: Steuerung muss so lange anhalten, bis die gesuchten Daten im Cache verfügbar (Stall-Zyklen) Fachbereich Informatik Prof. Dr. Frederik Armknecht 33

34 4.4.3 Behandlung eines Cache-Miss Aktionen (Forts.) Separater Controller lädt die erforderlichen Daten vom Speicher in den Cache. Suche Platz im Cache für neue Daten, Strategie erforderlich! Falls Cache voll: entferne vorhandene Daten aus dem Cache Strategie erforderlich: Ersetzungsstrategie Bem.: Nachladen dauert ein Vielfaches von Cache-Zugriffen, Nachladezeit bezeichnet als Miss-Penalty. Fachbereich Informatik Prof. Dr. Frederik Armknecht 34

35 4.4.4 Schreiben in den Cache Geschwindigkeitsvorteile des Caches werden nicht nur zum Lesen von Daten verwendet, sondern auch zu deren Sicherung (Schreiben) Das zu schreibende Datum wird gemeinsam mit der Tag- Information in die entsprechende Cache-Zelle geschrieben. Dadurch entsteht zunächst ein Zustand, in dem der Cache-Inhalt nicht mehr mit dem Wert in der zugehörigen Hauptspeicherzelle übereinstimmt. Übliches Problem in der Informatik: Konsistenz von verteilten Datenbeständen bewahren bzw. herstellen Fachbereich Informatik Prof. Dr. Frederik Armknecht 35

36 4.4.4 Schreiben in den Cache: Lösungsansätze (1) Write-Through: der Wert wird bei jedem Schreibzugriff auch gleich in den Hauptspeicher kopiert ( durchgeschrieben ). häufig: Verwendung eines kleinen Zusatzspeichers ( Write-Buffer ) zur Ablage des Datums während des Durchschreibens (Vermeidung von Stall Zyklen) Fachbereich Informatik Prof. Dr. Frederik Armknecht 36

37 4.4.4 Schreiben in den Cache: Lösungsansätze (2) Write-Back: Der Wert wird erst dann in den Hauptspeicher kopiert, wenn ein Cache-Miss ihn aus dem Cache verdrängt. Dies reduziert den Aufwand beim Zurückschreiben und benötigt keinen Write-Buffer. Aber: Steuerung wird aufwändiger, warum? Aber: Entstehende Phase der Inkonsistenz zwischen Cache und Hauptspeicher können bei parallelen Systemen zu Problemen führen, warum? Was kann passieren? Fachbereich Informatik Prof. Dr. Frederik Armknecht 37

38 4.4.5 Weitere Formen der Cacheorganisation Bisher nur sehr einfache Cache-Organisation: 1 Wort entspricht einer Cache-Zeile. Jetzt: Caches, die räumliche Lokalität ausnutzen Ausnutzen der räumlichen Lokalität durch Block-Bildung Idee: Bei jedem Fehltreffer werden Blöcke aufeinanderfolgender Speicherworte in den Cache übertragen. Fachbereich Informatik Prof. Dr. Frederik Armknecht 38

39 Erweiterter, direkt abbildender Cache Address (showing bit positions) Ausnutzen der räumlichen Lokalität: z.b. Cache-Zeile enthält Block von 4 Speicherworten Hit Tag Byte offset Index Block offset Data 16 bits 128 bits V Tag Data 4K entries Mux Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 39 32

40 Beispiel: 64 KB Cache Cache-Zeile: Block von 4 Worten: d.h. 16 Byte, 128 Bit 2 12 Cache-Zeilen = 4K a 16 Byte, also 64 KB 12-bit als Cache-Index: Zeile mit 4 Worten Bits 3-2 zur Auswahl des gewünschten Wortes Bits 1-0 zur Auswahl von Byte im Wort Bem: Tag u. Valid Bit gültig für 4 Worte: Sharing! Fachbereich Informatik Prof. Dr. Frederik Armknecht 40

41 Konsequenzen Jede Cache-Zeile besteht dann aus mehreren Speicherworten. Neben der Adressierung über den Index, das Tag-Feld und ggf. den Byte-Offset, ist dann ein weiteres Adressfeld erforderlich ( Blockoffset ). Problem: Was passiert beim Schreiben? Beim Schreiben eines Wortes, das zu einem Block gehört, der im Cache vorhanden ist, geschieht nichts Neues. Fachbereich Informatik Prof. Dr. Frederik Armknecht 41

42 Konsequenzen Falls der Block, zu dem das zu schreibende Wort gehört, nicht im Cache liegt, darf der Wert an der entsprechenden Stelle nicht einfach überschrieben werden! Warum nicht? Es tritt ein Schreib-Miss (Schreib-Fehler) auf: Vor dem Schreiben muss der gesamte zugehörige Block in den Cache geladen werden, damit die übrigen Worte des Blocks konsistent sind. Fachbereich Informatik Prof. Dr. Frederik Armknecht 42

43 Zusammenfassung Read-Hit: erwünscht! Read-Miss: notwendige Aktionen Block aus Speicher in den Cache laden Write-Hit: notwendige Aktionen Daten im Cache und Speicher ersetzen oder Daten nur in den Cache ersetzen Write-Miss: notwendige Aktionen lies ganzen Block in den Cache; dann ein Wort schreiben Fachbereich Informatik Prof. Dr. Frederik Armknecht 43

44 4.4.6 Blockorganisation, Fehltrefferrate und -strafzeit Bereits gesehen: Ausnutzen der räumlichen Lokalität durch Vergrößern der Blöcke reduziert Fehltrefferrate Frage: Je größer die Blöcke desto besser? Antwort: Größere Blöcke, damit weniger Blöcke im Cache Wenige Blöcke präsent, damit steigt Miss-Rate an. Größere Blöcke: längere Transferzeiten bei Miss Miss Penalty Miss Rate Ausnutzung räumlicher Lokalität Average Access Time Ø Zugriffszeit = Hit Time x (1 - Miss Rate) + Miss Penalty x Miss Rate weniger Blöcke ungünstig wg. zeitlicher Lokalität Fehltreffer-Rate und -Strafzeit nehmen zu Block Size Fachbereich Informatik Prof. Dr. Frederik Armknecht 44 Block Size Block Size

45 Quantitative Darstellung 40% 35% 30% Miss rate 25% 20% 15% 10% 5% 0% 4 Gibt es eine bessere Cache- Organisation zur Verringerung der Fehltreffer-Rate? 16 Block size (bytes) 64 1 KB 8 KB 16 KB 64 KB 256 KB 256 Fachbereich Informatik Prof. Dr. Frederik Armknecht 45

46 4.5 Blockplatzierung Assoziativer Cache Bisher direkt abbildender Cache: Jeder Speicherblock wird exakt einem Cacheblock zugeordnet. Idee: Flexiblere Blockplatzierung kann die Cache- Ausnutzung verbessern und die Miss-Rate reduzieren: Ansatz dazu: Assoziativität (1) Vollassoziativer Cache (fully-associative cache): Ein Speicherblock kann in einen beliebigen Cache-Block abgespeichert werden. Fachbereich Informatik Prof. Dr. Frederik Armknecht 46

47 4.5 Blockplatzierung (2) Mengenassoziativer Cache (set-associative): Cache ist aufgeteilt in eine feste Menge von Cache-Block- Partitionen. Jeder Speicherblock wird einer festen Partition zugeordnet, kann aber in jeden Cache-Block dieser Partition abgespeichert werden (m-fach mengenassoziativer Cache). Bemerkung: In assoziativen Caches muss jeder Speicherblock eindeutig identifizierbar sein, muss also seine Tag-Information mit sich führen. Fachbereich Informatik Prof. Dr. Frederik Armknecht 47

48 Beispiel: Platzieren von Block 12 Direct-mapped: nur eine Möglichkeit, Cache Zeile Mengenassoziativ: 2-fach: 4 Mengen, Block in Menge Vollassoziativ: an beliebiger Stelle der 8 Cache-Zeilen Fachbereich Informatik Prof. Dr. Frederik Armknecht 48

49 Beispiel: 4-fach mengenassoziativer Cache Index zur Auswahl, Tag-Feld zur Identifikation: parallele Suche n-fach assoziativ: n Vergleicher (Hardware) notwendig. Address Index V Tag Data V Tag Data V Tag Data V Tag Data to-1 multiplexor Fachbereich Informatik Prof. Dr. Frederik Armknecht 49 Hit Data

50 Miss-Rate versus Mengengröße Bem.: Insbes. bei kleinen Caches: Großer Gewinn durch Assoziativität Grund: große Konkurrenz um die wenigen Cache-Plätze Missrate 15% 12% 9% 6% 3% 0% One-way Two-way Associativity Four-way 1KB 2KB 4KB 8KB Eight-way 16KB 32KB 64KB 128KB Beobachtung: 20-30% Verbesserung von direct mapped zu 2-fach assoz. nur 8-16% Verbesserung von 2-fach zu 4-fach; danach noch weniger Fachbereich Informatik Prof. Dr. Frederik Armknecht 50

51 4.5.2 Blockplatzierungsstrategien Bei Cache-Miss: Falls in Frage kommender Platz belegt, muss ein vorhandener Block aus dem Cache entfernt werden. Falls assoziative Cache-Organisation: Auswahl aus Kandidaten treffen. Im Prinzip kann man jeden beliebigen der in Frage kommenden Blöcke wählen, warum? Fachbereich Informatik Prof. Dr. Frederik Armknecht 51

52 4.5.2 Blockplatzierungsstrategien (1) Intuitiver Ansatz Ersetze Block, der am längsten in der Zukunft nicht benutzt wird: Unrealistisch (2) Realistischer Ansatz: Versuche aus der Vergangenheit auf die Zukunft zu schließen. Strategie: LRU Least Recently Used, d.h. ersetze Block, auf den am längsten nicht zugegriffen wurde. Notwendig: Protokollierung der Zugriffszeiten, aber zu aufwändig bei hoher Cache- Assoziativität Alternativ: LRU nur lokal innerhalb der Mengen Häufig verwendete Strategie bei Caches: Random Fachbereich Informatik Prof. Dr. Frederik Armknecht 52

53 4.6 Cache-Ebenen Prozessor-Memory-Gap ist so groß, dass Zugriffszeitunterschied zwischen On-Chip-Caches und DRAMS zu langen Wartezeiten für das Nachladen in den Cache (miss penalties) führt Lösung: In der Praxis werden 2 Ebenen von Caches verwendet, um den Miss-Penalty zu reduzieren Ein Off-Chip Secondary Level Cache (SRAMs) besitzt hohe Zugriffszeit bei hoher Cache-Größe. Wartezeit für Hauptspeicherzugriffe treten nur noch selten auf. Fachbereich Informatik Prof. Dr. Frederik Armknecht 53

54 4.6 Cache-Ebenen Frage: wie sieht die nächste Stufe der Hierarchie aus? Eingeführten Prinzipien übertragbar auf Hauptspeicher? Ist der DRAM als Cache für den Hintergrundspeicher (Magnetplattenspeicher) verwendbar? Antwort: ja: Das ist das Konzept des virtuellen Speichers. Aber: sehr viel komplizierter! Verwaltung kann nicht mehr allein durch Hardware erfolgen, gehört zu BS-Aufgaben Prozessor Steuerwerk Cache SRAM Rechenwerk Haupt- DRAM Platte Fachbereich Informatik Prof. Dr. Frederik Armknecht 54

55 4.7 Virtueller Speicher Virtueller Speicher: Die Schnittstelle zwischen Hauptspeicher und Hintergrundspeicher Hauptspeicher (DRAM) kann als Cache für Sekundärspeicher (Platte) fungieren. Prozessor Steuerwerk Rechenwerk Zugriffszeit (ns): (10 ms) (10 s) Größe (Bytes): 100 Kilo Mega Giga Tera Fachbereich Informatik Prof. Dr. Frederik Armknecht 55

56 4.7.1 Motivation Der Gesamtspeicherbedarf mehrerer, nebenläufiger Programme (Prozesse) kann sehr viel höher als der verfügbare Hauptspeicher sein, aber nur ein Bruchteil davon wird zu einem Zeitpunkt auch verwendet. Im Hauptspeicher müssen nur die aktiven Teile der vielen nebenläufigen Programme gehalten werden, ähnlich wie der Cache, der nur die aktiven Teile eines einzelnen Programms enthält. Fachbereich Informatik Prof. Dr. Frederik Armknecht 56

57 4.7.1 Motivation Problem: Gemeinsame Nutzung des Hauptspeichers durch Programme: Schutz der Programmteile voreinander notwendig Lösung: Isolation durch virtuellen Adressraum: Übersetzung eines jeden Programms in eigenen Adressraum (address space). Problem: zu wenig Hauptspeicher zur Ausführung des Programms Lösung: virtueller Speicher (virtual memory): auch Hintergrundspeicher (u.a. Platte) Fachbereich Informatik Prof. Dr. Frederik Armknecht 57

58 4.7.2 Aufgaben des virtuellen Speichers Unterstützung der nebenläufigen Ausführung von Programmen Abbilden eines virtuellen Adressraums eines Programms auf den physikalischen Adressraum des Speichers Schutz von Programmen und Daten vor unautorisiertem Zugriff durch andere Prozesse Unterstützung von Programmen, deren Größe die des Hauptspeichers überschreitet Ausnutzung von zeitlicher und räumlicher Lokalität Hauptspeicher als Cache für Sekundärspeicher Aber unterschiedliche technische Realisierung wegen der großen Zugriffsunterschiede zw. Hauptspeicher und Platte Fachbereich Informatik Prof. Dr. Frederik Armknecht 58

59 4.7.2 Aufgaben des virtuellen Speichers Vorteile: Illusion eines größeren physikalischen Speichers Vereinfachung der Programmverlagerung und -verteilung Sicherung des Speicherraums von Programmen vor Zugriffen von außen Fachbereich Informatik Prof. Dr. Frederik Armknecht 59

60 4.7.2 Aufgaben des virtuellen Speichers Vergleich mit Caches Blöcke Seiten (pages) Cache-miss Seitenfehler (page fault) Adressen im Programm: virtuelle Adressen Adressen im Hauptspeicher: (reale) physikalische Adressen Dynamische Zuordnung von Programmadressen zu Hauptspeicheradressen durch Adressabbildung Virtual addresses Address translation Physical addresses Disk addresses Programm wird in unterschiedliche Bereiche des Hauptspeichers geladen: Relocation Fachbereich Informatik Prof. Dr. Frederik Armknecht 60

61 Bsp: Virtueller Adressraum unter Windows 2000/XP 4GB virtueller Adressraum pro Prozess Eindeutig für jeden Prozess, zugreifbar im User oder Kernel Modus 7FFFFFFF Pro Prozess, zugreifbar nur im Kernel Modus C Systemweit, zugreifbar nur im Kernel Modus FFFFFFFF Fachbereich Informatik Prof. Dr. Frederik Armknecht 61.EXE code Globals Per-thread user mode stacks Process heaps.dll code Exec, Kernel, HAL, drivers, perthread kernel mode stacks, Win32K.Sys Process page tables, hyperspace File system cache Paged pool Non-paged pool 2 GB Prozess individuell Adressraum ist nur für Prozess zugreifbar 2 GB Systemweiter Raum u.a. Code des BS-Kerns, Treiber Bereich wird bei allen Prozessen an gleicher Stelle in Adressraum eingeblendet

62 4.7.3 Adressen und Adressabbildung Virtuelle Speicheradresse: virtuelle Seitennummer Seitenoffset (virtual page number page offset) Physikalische Speicheradresse: physikalische Seitennummer Seitenoffset (physical page number page offset) Beispiel: 2 12 Byte = 4KB Seitengröße, 2 18 physikalische Seiten 1 GB physikal. Adressraum, 4GB virtueller Adressraum Virtual address Virtual page number Page offset Translation Physical page number Physical address Page offset Fachbereich Informatik Prof. Dr. Frederik Armknecht 62

63 4.7.3 Adressen und Adressabbildung Adressabbildung: Jedes Programm besitzt eine Seitentabelle (page table) Seitentabelle: enthält für jede virtuelle Seitennummer die zugeordneter physikalische Seitennummer (translation) Jeder Seitentabelleneintrag verfügt über ein Valid-Bit, das angibt, ob die eingetragene Seitennummer eine gültige physikalische Seitenadresse darstellt. Ist das Valid-Bit 0, so ist die gesuchte Seite nicht im Hauptspeicher (so genannter Seitenfehler). Die Seitentabelle befindet sich selbst im Speicher und wird über ein Seitentabellenregister (page table register) referenziert. Fachbereich Informatik Prof. Dr. Frederik Armknecht 63

64 Seitentabelle und Hauptspeicher virtuelle Seitennummer Seitentabelle physikalische Seite oder Plattenadresse physikalischer Speicher Seiten im Hauptspeicher Plattenspeicher Validitäts-Bit Fachbereich Informatik Prof. Dr. Frederik Armknecht 64

65 Adressabbildung Page table register Virtual address Bsp.: 4GB virt. Adressraum 1GB physikalischer Adr Virtual page number Page offset Valid Physical page number Translation Page table If 0 then page is not present in memory Physical page number Page offset Physical address Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 65 Fachbereich Informatik Prof. Dr. Frederik Armknecht 65

66 Bemerkung Wieviel Speicher wird durch Seitentabelle belegt? Standardfall : 32-bit virtuelle Adressräume Seitengröße: 4KB = 2 12 Byte Pro Prozess: 2 20 Seiten Jede Seite benötigt einen Tabelleneintrag: 4 Byte d.h. pro Prozess: 2 20 x 4 Byte = 4MB in der Seitentabelle erforderlich! Heute: sehr viele Prozesse gleichzeitig aktiv: jeder belegt 4MB nur für Verwaltungsinformation?! D.h. intelligenteres Management notwendig, bspw. durch hierarchische (multi-level) Seitentabellen Fachbereich Informatik Prof. Dr. Frederik Armknecht 66

67 Beispiel: Linux Virtueller Adressraum 3GB virtueller Adressraum für Prozess 1GB für seine Seitentabellen und Kernel-Daten Adressabbildung: Verwende Hierarchie von Seitentabellen Fachbereich Informatik Prof. Dr. Frederik Armknecht 67

68 4.7.4 Designkriterien und Strategien Seitenfehler Daten müssen von der Platte geholt werden, Sehr hohe Fehlkosten (Millionen von Taktzyklen) Seitengröße Ziel: großen Ladezeitüberhang kompensieren, Heute übliche Größen: 16KB, 32 KB, 64 KB Seitenplatzierungsstrategie Zur Minimierung von Seitenfehlern wird ausschließlich vollassoziative Platzierung verwendet. Fachbereich Informatik Prof. Dr. Frederik Armknecht 68

69 4.7.4 Designkriterien und Strategien Behandlung von Seitenfehlern Erfolgt in Software Dedizierte Ersetzungsalgorithmen möglich. Der Overhead dafür ist klein verglichen mit der Seitenfehlerzeit. Rückschreibstrategie Durchschreiben (write through) ist zu teuer, daher ausschließlich Zurückschreiben (write back) der ganzen Seite (falls nötig) Wann ist es denn nötig? Wie erkennt man das? (mehr dazu gleich ) Fachbereich Informatik Prof. Dr. Frederik Armknecht 69

70 4.7.5 Seitenfehler (page fault) Situation: Bei Ausführung des Programms erfolgt Zugriff auf eine virt. Adresse in einer Seite, die nicht im Hauptspeicher liegt: D.h. es gilt: Valid-Bit = 0 der Seite, Auslösung eines Page-Fault, d.h. einen Interrupt Kontrolltransfer an das Betriebssystem Page-Fault Behandlung durch das Betriebssystem: BS sucht die gefragte Seite auf der Platte, wählt eine zu ersetzende Hauptspeicherseite aus initiiert die Übertragung der Seiten in den Hauptspeicher. Fachbereich Informatik Prof. Dr. Frederik Armknecht 70

71 Seiten-Tabelle Hauptspeicher Frame 1 load M (1) Zugriff (5) aktualisieren Frame 2... (6) Befehl erneut Prozess Pi (2) page-fault Seitenfehlerbehandlung des BS... (3) Seite auf Hintergrundspeicher Hintergrundspeicher mit Blöcken Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 71 Fachbereich Informatik Prof. Dr. Frederik Armknecht 71

72 Weitere Aufgaben des Betriebssystems Bei Aktivierung eines Prozesses: Laden aller Programmseiten in den (oder Lokalisieren im) Plattenspeicher mittels einer Tabelle, die ggf. mit der Seitentabelle kombiniert sein kann. Führen einer Tabelle, die die Seiten im Hauptspeicher verwaltet, mit Hilfe eines Seitenaustauschalgorithmus, in der Regel LRU. Hinweis: Bei assoziativen Caches wird in der Regel keine exakte Least-Recently-Used Strategie realisiert, sondern eine Hardware-Approximation (z.b. über ein periodisch gelöschtes Referenz-Bit pro Seite). Fachbereich Informatik Prof. Dr. Frederik Armknecht 72

73 Zurückschreiben (Write-Back) von Seiten Zurückschreiben von Seiten aus dem Hauptspeicher in den Plattenspeicher erfolgt nur dann, wenn die betroffene Seite wegen eines Seitenfehlers ersetzt werden muss. Das ist viel effizienter als ein Write-Through: warum? Der Transfer ganzer Seiten ist also im Verhältnis effizienter als ein Wortfür-Wort Transfer. Dirty Bit: Zur Vermeidung überflüssigen Schreiboperationen, wird für jede Seite in der Seitentabelle ein Dirty Bit geführt wird gesetzt, wenn auf ein Wort der Seite schreibend zugegriffen wird. Nur als dirty markierte Seiten müssen zurück auf die Platte kopiert werden. Fachbereich Informatik Prof. Dr. Frederik Armknecht 73

74 4.7.6 Beschleunigung der Adressübersetzung Problem: Seitentabellen liegen im Hauptspeicher: d.h. jeder Zugriff auf ein Wort im Hauptspeicher erfordert 2 Speicherzugriffe: einen für den Zugriff auf die Seitentabelle und einen zweiten für den eigentlichen Speicherzugriff. Lösung: Cache, der die letzten benutzten Adressabbildungen speichert: Translation-Lookaside Buffer (TLB). Format: Tag-, Daten, Verwaltungsbits (valid, reference, dirty) Jedes Tag -Feld enthält Teil einer virtuellen Seitennummer. Jedes Daten-Feld enthält eine physikalische Seitenadresse. Wo haben wir einen solchen Ansatz schon gesehen? Fachbereich Informatik Prof. Dr. Frederik Armknecht 74

75 Beschleunigung der Adressübersetzung Translation Lookaside Buffer (TLB) virtuelle physikalische Seitennummer Valid Tag Seitenadresse Seitentabelle physikalische Seite oder Plattenadresse Valid physikalischer Speicher Seiten im Hauptspeicher Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 75 1 Fachbereich Informatik Prof. Dr. Frederik Armknecht 75 Plattenspeicher

76 Speicherzugriff mit TLB TLB wird mit der virtuellen Seitennummer adressiert. Bei Treffer (hit): Verwenden des TLB-Dateneintrags zur Adressierung der Seite im Hauptspeicher Bei miss einer Seite im TLB: Entweder TLB-Miss: Die Seite ist im Hauptspeicher enthalten. Die Adressabbildung muss aus der Seitentabelle in den TLB geladen werden. Bei einer Ersetzung im TLB müssen die Verwaltungsbits in die Seitentabelle zurück kopiert werden (Write-Back). Fachbereich Informatik Prof. Dr. Frederik Armknecht 76

77 Speicherzugriff mit TLB TLB-Miss: (Forts.) Oder echter Seitenfehler: Die Seite ist nicht im Hauptspeicher. Dann gibt Prozessor Kontrolle an Betriebssystem zur Ausnahmebehandlung ab, um die Seite zu laden. Die dabei neu entstehende Adressabbildung wird in den TLB geladen. Typische Werte von TLBs: Größe: von 32 bis 4096 Einträge Bem: eher kleinere Caches: Einträge heute Blockgröße: 1 2 Seitentabelleneinträge (je 4 8 Byte) Hit -Zeit: 0,5 1 Taktzyklus Miss -Zeit: Taktzyklen (Fehltrefferrate: 0,01 1 %) Fachbereich Informatik Prof. Dr. Frederik Armknecht 77

78 4.7.7 Zusammenwirken von TLBs und Caches Beispiel: MIPS R2000 Seitengröße: 4 KByte, Adressraum: 32 Bit-Worte virtuelle Seitennummer: 20 Bit lang gleiche Größe von physikalischer und virt. Adresse TLB enthält 64 Einträge ist voll assoziativ (d.h. jeder TLB Tag-Eintrag muss mit Indexwert verglichen werden) wird auf Referenzen auf Instruktionen und Daten aufgeteilt Fachbereich Informatik Prof. Dr. Frederik Armknecht 78

79 Zusammenwirken von TLB und Cache Fachbereich Informatik Prof. Dr. Frederik Armknecht 79

80 Zusammenwirken von TLB und Cache Schreib-/Lese- Algorithmus für Beispiel MIPS R2000 Virtual address TLB access TLB miss exception No TLB hit? Yes Physical address No Write? Yes Try to read data from cache No Write access bit on? Yes Cache miss stall No Cache hit? Yes Write protection exception Write data into cache, update the tag, and put the data and the address into the write buffer Deliver data to the CPU Fachbereich Informatik Prof. Dr. Frederik Armknecht 80

81 4.7.8 Schutzmechanismen bei virtuellem Speicher Datensicherheit (protection) zwischen mehreren Prozessen: Sichergestellen, dass jeder Prozess nur Zugriff auf die zu ihm gehörigen Daten im Speicher erhält. D.h. Seitentabellen müssen so organisiert werden, dass Seiten verschiedener Prozesse auf verschiedene physikalische Adressen abgebildet werden. Sicherstellen, dass Benutzerprozesse keinen schreibenden Zugriff auf Seitentabellen erhalten. Fachbereich Informatik Prof. Dr. Frederik Armknecht 81

82 4.7.8 Schutzmechanismen bei virtuellem Speicher Hardwaremaßnahmen zur Unterstützung: Hardware unterscheidet: User und Supervisor-Mode (system-modus) Sicherstellen, dass Teile des CPU-Zustands nicht von Benutzerprozessen beschrieben werden können, u.a. user/supervisor Bit, Seitentab-Register Schreiben dieser Bereiche nur mit privilegierten Befehlen: im System-Modus Instruktionen, mit denen zwischen User- und Supervisor- Prozessen umgeschaltet werden kann: syscall für Supervisor Mode: BS-Aufruf rfe (return from exception) für User Mode Fachbereich Informatik Prof. Dr. Frederik Armknecht 82

83 4.7.9 Design-Kriterien: Zusammenfassung Hintergrund: Für je zwei Ebenen der Speicherhierarchie lassen sich unterschiedliche Parameter definieren, deren Zusammenwirken die Gesamtleistung der Speicherhierarchie bestimmt. Beispiel (Stand: 2006): L1 Cache L2 Cache Paged Virtual Memory TLBs Total size in blocks ,000 50,000 16, , Total size (KB) ,000-1,000,000, Block size (B) , Miss penalty (clocks) ,000, ,000, Miss rates 2% - 5% 0.1% - 2% % % 0.01% - 2% Fachbereich Informatik Prof. Dr. Frederik Armknecht 83

84 1) Wo kann ein Block platziert werden? Unterschiedliche Ansätze Reichen von keine Flexibilität (Direct mapped) bis hin zur vollen Flexibilität (Fully associative) Tradeoff ist zu beachten Fachbereich Informatik Prof. Dr. Frederik Armknecht 84

85 1) Wo kann ein Block platziert werden? Assoziativität: Je höher der Grad an Assoziativität desto geringer ist in der Regel die Fehltreffer-Rate. 15% 12% Fehltreffer-Rate Miss rate 9% 6% 3% 0% einfach One-way zweifach Two-way vierfach Four-way achtfach Eight-way Assoziativität Associativity 1 KB 2 KB 4 KB 8 KB 16 KB 32 KB 64 KB 128 KB Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 85 Fachbereich Informatik Prof. Dr. Frederik Armknecht 85

86 2) Wie wird ein Block gefunden? Kosten von Assoziativität Ein hohes Maß an Assoziativität reduziert die Fehltreffer-Rate, wobei dieser Effekt mit der Mengengröße sinkt. Assoziativität erfordert Such- bzw. Vergleichsverfahren in Hardware oder Software, die die Kosten erhöhen. Volle Assoziativität ist nur dann sinnvoll, wenn die Kosten für die assoziative Speicherung die Fehlstrafzeit (miss penalty) deutlich unterschreiten. Dies ist gewöhnlich nur bei der Hauptspeicher-Platten-Ebene relevant. Fachbereich Informatik Prof. Dr. Frederik Armknecht 86

87 3) Welcher Block soll bei einem Miss ersetzt werden? Ersetzungsstrategien: Bisher wurde immer von LRU ausgegangen. LRU erfordert aber in Hardware einen erheblichen Aufwand zur Realisierung. Bei geringem Maß an Assoziativität (2- oder 4-fach) lässt sich mit 1 bzw. 2 Verwaltungsbits LRU realisieren. Darüber hinaus ist es sehr aufwändig Volle Assoziativität findet sich in der Regel nur bei virtuellem Speicher. Hier kann man sich den Aufwand leisten, echtes LRU in Software zu implementieren. Bei n-fach-assoziativen Caches wird statt LRU häufig eine Zufallsstrategie (random strategy) verwendet Fachbereich Informatik Prof. Dr. Frederik Armknecht 87

88 4) Was geschieht beim Schreiben? Zurückschreiben (Write-Back, Copy-Back) Ein Block wird erst dann zurückgeschrieben, wenn er in der höheren Speicherebene ersetzt werden soll. Vorteile: Schreiben einzelner Worte mit Cache-Geschwindigkeit Mehrere Schreiboperationen in einen Block erfordern nur ein Hauptspeicherschreiben. Rückschreiben: Ausnutzen großer Speicherbandbreiten Durchschreiben (Write-Through) Vorteile: Misses sind einfach zu behandeln, warum? Einfacher zu implementieren als Zurückschreiben Fachbereich Informatik Prof. Dr. Frederik Armknecht 88

89 Die drei C s Die drei C s dienen zur intuitiven Erklärung des Verhaltens von Speicherhierarchien. Die Ursachen für Speicherzugriffsfehler (Cache- oder Seitenfehler) lassen sich hinsichtlich dreier Ursachen klassifizieren: (1) Compulsory misses : Fehler bei erstem Zugriffs auf einen Block, der noch nie im Cache war ( Kaltstart -Fehler) (2) Capacity misses : Fehltreffer, weil der Speicher wegen Größenbeschränkung nicht alle vom Programm verwendeten Seiten aufnehmen kann. Blöcke werden ausgelagert und später wieder angefordert. (3) Conflict misses (collision misses): In direkt abgebildeten oder mengen-assoziativen Speichern konkurrieren Blöcke um dieselbe Blockposition. Fachbereich Informatik Prof. Dr. Frederik Armknecht 89

90 Die drei C s 14% Miss rate per type 12% 10% 8% 6% 4% Conflict Reduktion der conflict misses durch Erhöhung der Assoziativität um Preis der möglicherweise langsameren Zugriffszeit Reduktion der capacity misses durch Vergrößerung des Caches um Preis der möglicherweise langsameren Zugriffszeit Reduktion der compulsory misses durch Erhöhung der Blockgröße, dadurch auch erhöhte Fehlstrafzeit 2% 0% Capacity Compulsory Cache size (KB) Fachbereich Informatik Prof. Dr. Frederik Armknecht 90 One-way Two-way Four-way Eight-way

91 Trade-offs beim Speicherentwurf Tendenz: Alle Veränderungen, die die Miss-Rate verbessern, verschlechtern gleichzeitig das Gesamtleitungsverhalten des Speichersystems. Diese Kombination positiver und negativer Effekte geeignet gegeneinander abzuwägen ist die Kunst beim Entwurf von Speicherhierarchien. Fachbereich Informatik Prof. Dr. Frederik Armknecht 91

92 Reale, sehr komplizierte Speichersysteme Adressabbildung und TLB-Hardware: secondary level cache chip Intel Pentium Pro Prozessor Caches der ersten Ebene: Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 92

93 Neuere Systeme Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 93

94 Neuere Systeme Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 94

95 Es wird komplizierter! Fachbereich Informatik Fachgebiet Graphisch-Interaktive Systeme (GRIS) Prof. Dr. D. Fellner 95

96 Nicht zu vergessen... Speicher-Prozessor Gap wächst weiter sehr schnell! Umgang mit diesem wachsenden Missverhältnis ist Herausforderung für Rechnerarchitekten: z.b. Prefetching bei Instruktionsabarbeitung? 3-te Cache-Ebene? Speicherdesign?? Fachbereich Informatik Prof. Dr. Frederik Armknecht 96

97 Lessons Learned Design einer Speicherhierarchie: viele Fragen u. Lösungen, die übertragbar sind, u.a. Schließen von Lücken: über Zwischenschritte/Puffer Caches, TLB, Lokalität ausnutzen: Hardware, Software, Anwendungen Virtualisieren: Schaffen einer einfach zu handhabenden Welt Schutzkonzepte transparente Abbildungen in die reale Welt Fachbereich Informatik Prof. Dr. Frederik Armknecht 97

98 Meldungen der Art Itanium Processor Microarchitecture: Speicherhierarchie: L1-Caches (On-chip) sind vierfach assoziativ L1-Daten-Cache arbeitet nur mit Write Through Blockgröße (Cacheline) beträgt 32 Byte L2-Cache ist sechsfach assoziativ mit Write Back Modus und mit Cachelines von 64 Byte TLB ist für Daten zweistufig aufgebaut (T1-TLB, T2-TLB) jeweils voll assoziativ (32 bzw. 96 Einträge). unterstützte Page-Größen: 4 KByte, 4K, 8K, 16K,. Einstufiger, vollassoziativer TLB mit 64 Einträgen für Befehle sollten nach Kapitel 4 etwas besser verstanden werden. Fachbereich Informatik Prof. Dr. Frederik Armknecht 98