Hyperthreads in Itanium - Prozessoren

Transkript

1 Hyperthreads in Itanium - Prozessoren und wie OpenVMS damit umgeht Thilo Lauer Technical Consultant Account Support Center 2006 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice Intel Itanium Processor Family Roadmap Optimized for Enterprise Itanium 2 Processor (Madison 9M) 1.6 GHz, 9M, faster FSB Montecito Dual core, 24MB, HT Technology Montvale Dual core, HT Technology Tukwila Multi-core Poulson Multi-core Optimized for High Performance Computing Itanium 2 Montecito Processor (Fanwood) HPC 1.6 GHz, 3M, faster FSB Optimized Montvale HPC Optimized Tukwila/ Dimona HPC Optimized Future HPC Optimized Optimized for Low Power/ High Density LV Itanium 2 LV Montecito Processor (LV Fanwood) Low 1.3 GHz, 3M Voltage LV Montvale Low Voltage LV Dimona Low Voltage Future Low Voltage Future New Technologies Dual core Hyper-Threading Technology Intel Virtualization Technology Cache reliability (Pellston) Enhanced data integrity (Lockstep) Multi-core Common platform architecture with Intel Xeon processor MP Enhanced RAS Enhanced virtualization Enhanced I/O & memory All products, dates, comparisons, and information are preliminary and subject to change without notice. 2 2E02 Hyperthread Support in OpenVMS 1

2 Dual Core Itanium 2-Prozessor Memory Addressing System Bus Bandwidth On-die Cache Cores/Socket Threads/Core Pipeline Stages Issue Ports On-die Registers Execution Units Core Frequency Instructions/Clk 1024 TB (50-bit) 8.5 GB/s 2 x 12 MB L Application + 64 Predicate 6 Integer, 2 FP, 2 Load and 3 1 SIMD 2 Store 1.6 GHz 6 Instructions/Cycle Performance via Parallelism * Intel s s EPIC technology includes 64 single-bit predicate registers to accelerate loop unrolling and branch intensive code execution. 3 2E02 Hyperthread Support in OpenVMS Begriffsbestimmung: Sockets, Processors, Cores, CPUs, Threads, Socket: physikalischer Steckplatz auf einer Platine/Motherboard. ES45 hat 4 Sockets. Processor: wird in einen Socket gesteckt. Madison 9M, Montecito, 4004, StrongARM Core: ein physikalisch vollständiges Set von ALUs, Registern, TLBs, führt physikalisch Programme aus Core und CPU sind i.a. Synonyme Thread: ein logisches Set von ALUs, Registern, etc. Threads teilen sich physikalische Ressourcen eines Core Threads führen logisch Programme aus ein Processor kann einen oder mehrere Cores enthalten: Madison 9M enthält 1 Core pro Processor Montecito enthält 2 Cores pro Processor ein physikalischer Core kann mehr als einen logischen Thread enthalten 4 2E02 Hyperthread Support in OpenVMS 2

3 Dual Core Zwei (fast) komplette CPUs auf einem Chip 2 klassische CPUs zusammengepappt Jeder Core hat eigenen Cache eigene Processing Units separaten Status Alle Cores teilen das Bus Interface Alle Cores arbeiten physikalisch gleichzeitig 5 2E02 Hyperthread Support in OpenVMS Die Itanium2-CPU System Interface L1 Inst Cache Prediction Inst TLB Inst TLB B B B M M M M I I F F L3 Cache L2 Data Cache Register Stack Engine / Re-Mapping & Predicates Unit Units Units L1 Data Cache 128 Integer Integer/ MM Unit ALAT 128 Floating Point Floating Point Unit Data TLB Data TLB 6 2E02 Hyperthread Support in OpenVMS 3

4 Block-Diagramm des Montecito-Chips Arbiter/System Interface Core 1 Core 2 L1 Inst Cache Unit Units Units ALAT ALAT Core 1 Inst TLB Inst TLB B B B M M M M I I F F Register Stack Engine / Re-Mapping & Predicates L1 Data Cache Prediction 128 Integer 128 Floating Point Integer/ Floating MM Integer/ Unit Point Unit Integer/ MM Data TLB Data TLB L2 Instruction Cache L2 Data Cache L3 Cache L3 Cache L2 Instruction Cache L2 Data Cache L1 Inst Cache Unit Units Units ALAT ALAT Inst TLB Inst TLB B B B M M M M I I F F Register Stack Engine / Re-Mapping & Predicates L1 Data Cache Prediction 128 Integer Integer/ MM Unit 128 Floating Point Floating Point Unit Data Data TLB TLB 7 2E02 Hyperthread Support in OpenVMS Montecito Micrograph 1MB L2I 2 Way Multi-threading Dualcore Power Management/ Frequency Boost (Foxton) Soft Error Detection/ Correction 8 2E02 Hyperthread Support in OpenVMS 2x12MB L3 caches with Pellston Arbiter 4

5 Hyperthreading (Montecito Multithreading) Hyperthread: Kein Software-multithreading! Idee: Erhöhung des Instruktions-Durchsatzes durch Nutzung von Idle Cycles während Memory Stalls ein Set von Informationen, welche den Status eines Cores beschreiben (User/Control Registers, IP, TLBs, ALAT, BR, etc.) teilt sich core resources mit anderen Hyperthreads Zu jedem Zeitpunkt ist nur exakt ein Hyperthread eines Cores aktiv Core schaltet selbständig zwischen den einzelnen Hyperthreads um 9 2E02 Hyperthread Support in OpenVMS Montecito Multithreading Sequentielle Abarbeitung A i Idle A i+1 B i Idle B i+1 Montecito Multithreaded Execution A i Idle A i+1 B i B i E02 Hyperthread Support in OpenVMS Multithreading reduziert Stalls und erhöht ht den Durchsatz 5

6 Hyperthreading vs. Dual Core Beides sind Features der Montecito Itanium Chips Beide sind unter OpenVMS abstrahiert als CPUs Aber: völlig unterschiedliche Implementation 11 2E02 Hyperthread Support in OpenVMS Hyperthreading vs. Dual Core Ein Core mit zwei Threads KANN eine bessere Performance als ein Core mit einem Thread haben. Ein Core mit zwei Threads wird NIEMALS eine bessere Performance als zwei Cores haben. 12 2E02 Hyperthread Support in OpenVMS 6

7 Hyperthreading vs. Dual Core Montecito Multi-threaded Execution A i A i+1 B i B i+1 Serial Execution A i A i+1 B i B i E02 Hyperthread Support in OpenVMS Hyperthreading vs. Dual Core Montecito Multi-threaded Execution A i A i+1 B i B i+1 Execution auf zwei Cores A i A i+1 B i B i E02 Hyperthread Support in OpenVMS 7

8 Dynamic Thread Switching Optimal: vorausschauendes Feststellen von langen Wartezeiten (Execution Stalls) Praxis: Erahnen von Events, die in langen Wartezeiten resultieren L3 Cache miss Uncached accesses Timeout Events garantieren Fairness ermöglicht Software- Einflussnahme OS hat kein Wissen und keine Kontrolle über den gerade aktiven Hyperthread 15 2E02 Hyperthread Support in OpenVMS Hyperthreading Support in OpenVMS 3 Kategorien des Supports Management/Informations-Abfrage Reduzierung von unnützen Hyperthread Cycles Scheduling 16 2E02 Hyperthread Support in OpenVMS 8

9 Hyperthreading Support in OpenVMS Auffrischung: 1 Processor/Gehäuse/Chip hat 2 Cores 4 Threads Ein Hyperthread wird in OpenVMS als CPU abgebildet CPUs innerhalb des gleichen Cores nennt man CoThread CPUs Cores, die sich im gleichen Processor/Gehäuse/Chip befinden, erfahren keine besondere Behandlung oder Namensgebung. 17 2E02 Hyperthread Support in OpenVMS Hyperthread CPUs in OpenVMS Mapping von Hyperthread zu CPU Erster Thread von allen Cores, dann weitere Threads SHOW CPU/BRIEF und /FULL zeigt Mapping von CPU und CoThread CPU SET CPU/[NO]COTHREAD Stoppt einen CoThreads des Core dieser CPU Accounting Interval Timer Counter (ITC) tickt unabhängig von aktivem Thread Process wird nur mit ½ der CPU-Zeit belastet, wenn der CoThread dieser CPUs aktiv ist 18 2E02 Hyperthread Support in OpenVMS 9

10 Hyperthread CPUs in OpenVMS $ SHOW CPU/BRIEF System: XXXXXX, HP rx4640 (1.40GHz/12.0MB) CPU 0 State: RUN CPUDB: 8202A000 Handle: 00005D70 Owner: C8 Current: C8 Partition 0 Cothd: 8 CPU 1 State: RUN CPUDB: 820FDF80 Handle: 00005E80 Owner: C8 Current: C8 Partition 0 Cothd: 9 CPU 2 State: RUN CPUDB: 820FFC80 Handle: 00005F90 Owner: C8 Current: C8 Partition 0 Cothd: 10 CPU 3 State: RUN CPUDB: 82101A80 Handle: A0 Owner: C8 Current: C8 Partition 0 Cothd: 11 CPU 4-7 CoThd E02 Hyperthread Support in OpenVMS Hyperthread Management in OpenVMS EFI Command: CPUCONFIG THREADS ON/OFF Erfordert 2 Resets (EFI-Aufruf, Aktivierung des Kommandos) [SYSTEST]HTHREAD.EXE Unsupported, aber nützlich (ähnlich RADCHECK) Check/Modify des Firmware-Status von Hyperthreading $HTHREAD SHOW $HTHREAD ON $HTHREAD OFF Änderung wirksam nach nächstem Reboot (single Reset) 20 2E02 Hyperthread Support in OpenVMS 10

11 Reduzierung von unnützen Hyperthread Cycles Ein Hyperthread im Idle Mode verbraucht Cycles, die sein CoThread sinnvoll nutzen könnte Idle Loop zwischen Busy Checks betrifft nicht Power Save Mode STOP/CPU während des Halt-Zustands Zukünftige Möglichkeiten während Spinlock Waits? weitere Kompromisse, Optimierungen, Annahmen 21 2E02 Hyperthread Support in OpenVMS Änderungen im Scheduler zwei Cores sind immer besser als zwei Hyperthreads auf dem gleichen Core, deshalb: Prozesse auf CPUs ohne aktiven CoThread zuteilen Prozess erhält so automatisch alle Cycles des inaktiven Threads 22 2E02 Hyperthread Support in OpenVMS 11

12 Wer teilt sich einen Core? Threads, die den gleichen Memory Space teilen (Kernel Threads innerhalb eines Prozesses) Evtl. mehr Cache Hits, weniger Cache Fills (Stalls), dadurch bessere Performance Aber weniger Stalls bedeuten auch weniger Thread Switches! Threads, die nichts miteinander zu tun haben Mehr Cache Misses, dadurch größere Thread-Parallelität Dies bedeutet aber auch: schlechtere individuelle Performance! Kompromiss liegt irgendwo dazwischen Aber wie soll dies automatisch ermittelt werden??? 23 2E02 Hyperthread Support in OpenVMS Benchmarks T1 T2 T3 nothreads 2-Hyperthreads ET HET speedup sieve prime sieve ram sieve sieve % 7% 0% sieve: Integer sieve program with 5% L3 cache miss prime: compute-bound program with no cache miss ram: cache-friendly program with 60% L3 cache miss H(ET): (Hyperthread) Execution Time in seconds using gettimeofday() T4 T5 T6 ram prime ram ram prime prime % -4% -4% 24 2E02 Hyperthread Support in OpenVMS 12

13 Empfehlungen Ein Montecito arbeitet sehr gut auch ohne Threads Experimentieren mit der Prozessverteilung CPU Affinity, um Prozesse zu gruppieren, oder CoThreads zu vermeiden Experimentieren mit Fastpath CPUs Besserer Durchsatz bei I/O-Verteilung über alle Threads, oder besser nur ein Thread per Core? 25 2E02 Hyperthread Support in OpenVMS Zusammenfassung Neue Features für das Hyperthread Management SHOW CPU/BRIEF zeigt Thread-Info an SET CPU/NOCOTHREAD [SYSTEST]HTHREAD.EXE Neue Laufzeit-Features Scheduler-Anpassung Accounting Experimentieren mit der eigenen Applikation, um zu sehen, ob und wie Hyperthreads helfen 26 2E02 Hyperthread Support in OpenVMS 13

14 27 2E02 Hyperthread Support in OpenVMS 14