CPU. Memory. Highest. Fastest. Smallest. Memory. Biggest. Lowest

Transkript

1 Speed CPU Size Cost ($/bit) Fastest Memory Smallest Highest Memory Slowest Memory Biggest Lowest

2 Processor Data are transferred

3 CPU Levels in the memory hierarchy Level Level 2 Increasing distance from the CPU in access time Level n Size of the memory at each level

4 Die Speicher-Hierarchie funktioniert nur aufgrund der Lokalität von Zugriffen auf die jeweils unterliegende Speicher-Ebene: zeitliche Lokalität: auf den Zugriff auf ein Datum folgt mit hoher Wahrscheinlichkeit bald ein erneuter Zugriff. räumliche Lokalität: auf den Zugriff auf ein Datum folgt mit hoher Wahrscheinlichkeit bald ein Zugriff auf ein benachbartes Datum. Der Nutzen der Speicher-Hierarchie beruht wieder auf einer 90/0-Faustregel: ein Programm verbraucht 90% der Laufzeit in 0% des Codes.

5 X4 X Xn 2 X4 X Xn 2 Xn X2 X3 a. Before the reference to Xn Xn X2 Xn X3 b. After the reference to Xn

6 Cache Memory

7 Hit Tag Address (showing bit positions) Index Byte offset Data Index 0 2 Valid Tag Data

8 direct mapped/-assoziativer cache mit 8 -Wort- Blöcken m m m m m t m t m m t t Adresse mod 8 4 hits Keine räumliche Lokalität! Keine Verdrängungsstrategie!

9 Address (showing bit positions) Hit 6 4 Byte offset Data 6 bits 32 bits Valid Tag Data 6K entries 6 32

10 Address (showing bit positions) Hit Tag Byte offset Index Block offset Data 6 bits 28 bits V Tag Data 4K entries Mux 32

11 direct mapped/-assoziativer cache mit 4 2-Wort- Blöcken (24,25) (6,7) (26,27) 2 (4,5) (4,5) (4,5) 3 (6,7)(4,5) (4,5) (6,7)(4,5) (6,7) (Adresse/2) mod 4 3 hits Keine Verdrängungsstrategie!

12 40% 35% 30% Miss rate 25% 20% 5% 0% 5% 0% Block size (bytes) KB 8 KB 6 KB 64 KB 256 KB

13 CPU CPU CPU Cache Multiplexor Cache Cache Bus Bus Bus Memory Memory bank 0 Memory bank Memory bank 2 Memory bank 3 Memory b. Wide memory organization c. Interleaved memory organization a. One-word-wide memory organization

14 Direct mapped Block # Set associative Set # Fully associative Data Data Data Tag 2 Tag 2 Tag 2 Search Search Search

15 One-way set associative (direct mapped) Block Tag Data Two-way set associative Set Tag Data Tag Data Four-way set associative Set 0 Tag Data Tag Data Tag Data Tag Data Eight-way set associative (fully associative) Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data

16 2-assoziativer cache mit -Wort-Blöcken (2-assoziativ, also 2 Blöcke pro set) set 0 6 set set set m m m m m t t t m m t t Adresse mod 4 5 hits Keine räumliche Lokalität! least recently used, LRU!

17 Address Index V Tag Data V Tag Data V Tag Data V Tag Data to- multiplexor Hit Data

18 2-assoziativer cache mit 2-Wort-Blöcken (2-assoziativ, also 2 Blöcke pro set) set 0 (4,5) (4,5) (4,5) (24,25) (6,7) set (6,7) (6,7) (26,27) (4,5) (4,5) (4,5) (6,7) m m m m s t t t m m t m (Adresse/2) mod 2 5 hits least recently used, LRU!

19 Virtual addresses Address translation Physical addresses Disk addresses

20 Virtual address Virtual page number Page offset Translation Physical page number Page offset Physical address

21 Page table register Virtual address Virtual page number Page offset 20 2 Valid Physical page number Page table If 0 then page is not present in memory Physical page number Page offset Physical address

22 Virtual page number Valid Page table Physical page or disk address Physical memory Disk storage

23 Vergleich cache vs memory H.&P. cache/memory physical/virtual 990 proc cache cache memory hard disk memory block 4-28B 52B-8KB page hit time cycle 0 cycles hit time miss time 8-32 cycles 00K-600K cycles miss time access time 6-0 cycles 00K-500K cycles access time transfer time 2-22 cycles 0K-00K cycles transfer time miss rate miss rate cache size KB 256KB 4MB 2GB memory size SRAM 5 25ns typical access times (997) DRAM 60 20ns Disk 0 20 Mio ns

24 Konsequenzen aus der gigantischen page fault penalty große pages aber Verschnitt und Transfer-Zeit Verringern der page fault rate per optimaler Verdrängungstrategie (fully associative, LRU) handling of page faults per software, i.e. os write back strategy

25 Reduktion des Speicherbedarfs der page tables dynamisch wachsende page tables (eine bzw. zwei pro Prozess, falls Adreß-Raum in eine bzw. zwei Richtungen wächst.) inverted page table / hashing hierarchy of page tables paging the page tables

26 Virtual page number Valid Tag TLB Physical page address 0 Physical memory Page table Physical page Valid or disk address Disk storage

27 designing the translation lookaside buffer (TLB) feature typical size 32 4K entries block size 2 page table entries 4 8B each hit time 0.5 clock cycle miss penalty 0 30 clock cycles miss rate 0.0% % TLB miss und page fault sind zu unterscheiden! entweder kleine, voll-assoziative TLBs oder große TLBs, direct mapped oder mit geringer Assoziativität Reduktion der TLB miss penalty ohne page fault per simpler Verdrängungsstrategie

28 Virtual address Virtual page number Page offset 2 TLB TLB hit Valid Dirty Tag Physical page number 20 Physical page number Page offset Physical address Physical address tag Cache index 6 4 Byte offset 2 Valid Tag Data Cache 32 Cache hit Data

29 Virtual address TLB access TLB miss exception No TLB hit? Yes Physical address No Write? Yes Cache miss stall No Try to read data from cache Cache hit? Yes No Write protection exception Write access bit on? Yes Write data into cache, update the tag, and put the data and the address into the write buffer Deliver data to the CPU

30 DECstation 300: nur 4 Kombinationen von mindestens einem miss bei Zugriff auf TLB, (physically indexed/tagged) cache und page table möglich: page cache TLB table scenario miss hit hit TLB hit, page table irrelevant, cache miss hit miss hit TLB miss, page table hit, cache hit miss miss hit TLB miss, page table hit, cache miss miss miss miss TLB miss, page fault, on retry cache must miss * hit miss translation ok contradicts page not in memory hit miss miss cache hit contradicts page not in memory virtually indexed/tagged caches verwenden virtuelle Adressen!

31 Vorbedingungen für protection mindestens zwei Modi: user/operating system (kernel, supervisor) mode nur im system mode kann das os mit speziellen Instruktionen page table register, TBL usw. schreiben kontrollierter, begrenzter Wechsel von user mode in system mode etwa per system call (exception)

32 5% 2% 9% Miss rate 6% 3% 0% One-way Two-way Four-way Eight-way Associativity KB 2 KB 4 KB 8 KB 6 KB 32 KB 64 KB 28 KB

33 4% 2% 0% Miss rate per type 8% 6% 4% 2% Capacity 0% Cache size (KB) One-way Two-way Four-way Eight-way

34 00 Improvement factor Year CPU (fast) CPU (slow) DRAM

35 memory hierarchies PentiumPro vs PowerPC604 feature Pentium Pro PowerPC 604 virtual addresses 32 bit 52 bit physical addresses 32 bit page size 4KB, 4MB 4KB, 256MB TLB split I-TLB und D-TLB beide 4-ass. beide 2-ass. pseudo LRU LRU 32 I-TLB lines 28 I-TLB lines 64 D-TLB lines 28 D-TLB lines hw handles TLB misses

36 st level caches Pentium Pro vs PowerPC 604 feature Pentium Pro PowerPC 604 organisation split I-cache and D-cache cache sizes 8KB each 6KB each associativity 4-associative replacement pseudo LRU LRU block size 32B write policy write back write back/through 2nd level caches Pentium Pro vs PowerPC 604: 256KB or 52KB instructions and data

37 Anforderung an ein Memory Management address translation: logical physical (virtual memory, relocation) effiziente Nutzung des physikalischen Speichers schneller context switch Protection innerhalb und zwischen Prozessen (code/data, user/system, multiprogramming) sharing memory regions: sharing code (reentrant programs), sharing data (inter-process communication) dynamic allocation of new memory, dynamic sizing of existing memory (heap, stack)

38 Segmentation segments = logical units of programs, individual base address, length, protection etc. in segment descriptor table, e.g. code, data, stack, heap cp. Intel 80x86 segment registers: CS, DS, ES, SS... plus SegReg:Offset addressing, VAX virtual address = segment, offset if (offset>segment.length) protection fault physical address = segment.base address + offset address translation per adder Nutzung des physikalischen Speichers: ohne interne aber mit externer Fragmentierung (splinters, crunching), Segmente sind ganz oder garnicht geladen! schneller context switch Protection: differenziert (f/r/w/e), einfach memory sharing: simpel wie protection dynamic allocation of new memory, dynamic sizing of existing memory: schwierig

39 paging vs segmentation paging -Wort-Adressen HW-orientiert große page table oder hierarchy Seiten fester Größe einfache Blockersetzung schwierige Protection interne Fragmentierung ungenutzter Teile einer Seite Nachteil: thrashing augmentation einfach resizing einfach segmentation 2-Wort-Adressen SW-orientiert kleine segment descriptor table Segmente variabler Größe (code/data) schwierige Blockersetzung einfache Protection externe Fragmentierung ungenutzte Teile des Hauptspeichers Nachteil: splinters, zustzlicher Adder augmentation schwierig resizing schwierig (crunching) context switch?

40 combining paging & segmentation Intel 80x86 segments, paged segments... AT&T,DG,IBM/370,VAX,MC68030,80x86 2-level virtual address = segindex pagindex offset physical address = PT[ST[root+segindex].physpage +pagindex].page+offset + : sharing, non-contiguous PT, growth : große contiguous ST in main memory, dynamic growth schwierig MC level: segment, outer, middle, inner page table + : gut für über den ganzen, großen virtuellen Speicher verteilte Daten, kleine PTs : max 4 memory references, PTs mit hoher interner Fragmentierung IBM RS6000 inverted page table (linked list) + : kleine inverted PT in main memory : Anzahl memory accesses für address translation nicht const.

41 Intel 80x86/Pentium Memory Management unsegmented, unpaged memory: etwa für high performance µ-controllers... unsegmented, paged memory: e.g. Berkeley UNIX segmented, unpaged memory: high granularity protection, segment in memory ST in memory, also absehbare Zugriffszeiten segmented, paged memory: e.g. UNIX System V

42 Intel 80x86/Pentium Memory Management 2 virtual addresses = logical addresses = 6bit segment 32bit offset unsegmented memory: 2 32 B = 4GB segmented memory: (2bit segment für protection) B = 64TB physical address space: 2 32 B = 4GB global virtual memory: 4K segments a 4GB local virtual memory: 4K segments a 4GB

43 Intel 80x86/Pentium Memory Management 3 protection of segments: privilege level (geschützt 0 3 ungeschützt) plus access attributes (data: r/w; code: r/e) Programm mit PL p darf nur auf Daten mit PL d zugreifen, falls p d PL0 für MM, protection, access control PL für OS-Rest PL2 für application security (DBMS) PL3 für application virtual address = 6bit segment selector 32bit offset segment selector = 3bit Index TI RPL TI = bit Table Indicator = local/global RPL = 2bit requested privilege level

44 Intel 80x86/Pentium Memory Management 4 segmentation = address translation: virtual address linear address = 0bit dirindex 0bit pagindex 2bit offset paging = address translation: linear address physical address 2-stufiges table lookup erzeugt physical address: dirindex indiziert das page (table) directory mit max. K Einträgen und damit eine der max. K page tables mit max. K Einträgen für 4K pages. pagindex indiziert in dieser page table den Eintrag eine Seite. physical address = (PT-No.[PTD[dirindex]]) [pagindex]+offset

45 Intel 80x86/Pentium Memory Management 5 segment table, page table directory und page table 32bit entries enthalten Informationen zu Zielgrößen, protection, Verfügbarkeit, write strategy, dirty bit etc. Pentium vefügt über einen TLB mit 32 page table entries. Im Unterschied zu und unterstützt der Pentium zwei Seitengrößen: if page size extension (PSE) == then size=4kb or size=4mb Bei 4MB-Seiten ergibt sich entsprechend nur ein table lookup!