Symmetrischer Multiprozessor (SMP)

Transkript

1 Symmetrischer Multiprozessor (SMP) Motivation: ein globaler Adressraum für mehrere Prozesse P i Prozesse P i haben gemeinsame Daten ( shared variables ) private Daten ( private variables ) gemeinsamen oder individuellen Code privates Stack-Segment Prozeß-Kommunikation über gemeinsame Variablen Prozeß-Synchronisation über atomare Operationen (Test&Set, Semaphore) statt Prozesse auch Threads mit gemeinsamem Adressraum möglich 38 Symmetrischer Multiprozessor (Forts.) Hardware eines SMP: eine oder mehrere Speichermodule M i können auf verschiedene Arten mit mehreren identischen CPU P j gekoppelt werden: Unterschiede in Speicherbandbreite und Skalierbarkeit Symmetrie: Zugriffszeit von P j auf M i ist für alle i und j identisch (daher auch als UMA = Uniform Memory Access Architektur bezeichnet) 39

2 Symmetrischer Multiprozessor (Forts.) großes Problem in SMPs: Kohärenz der Caches Kopien einer Speicherstelle können sich in den lokalen Caches C i mehrerer Prozessoren P i befinden Was passiert, wenn ein Prozessor den Inhalt einer Kopie verändert? Beispiel: SMP mit 4 CPUs und 1 Speichermodul Inkonsistenz zwischen C i und M zudem unterschiedliches Verhalten in Abhängigkeit von Cache-Strategie Write Through (sofortiges Durchschreiben in Hauptspeicher) oder Write Back (Zurückschreiben erst bei Ersetzung der Zeile im Cache) 40 Symmetrischer Multiprozessor (Forts.) Techniken zum Erreichen von Cache-Kohärenz 1) Bus Snooping (bei Write Through Caches) alle Cache-Kontroller hören auf dem Bus mit ( Snooping ), auf welchen Adressen a Schreibvorgänge erfolgen befindet sich Kopie des Inhalts von Adresse a im lokalen Cache, kann der Cache-Controller die Kopie invalidieren oder aktualisieren i.a. für komplette Cache-Zeilen implementiert 2) MESI Bus-Protokoll (bei Write Back Caches) jede Cache-Zeile hat Status-Bits für 4 Zustände: M = Modified (Zeile lokal verändert) E = Exclusive (Zeile unverändert und nur in diesem Cache) S = Shared (Kopien der Zeile auch in anderen Caches) I = Invalid (Zeile ungültig) Schreiben in Zeile mit S=1 nur nach Invalidierung aller Kopien; Lesen einer Zeile erfolgt aus einem Cache mit M=1 bzw. aus Speicher 41

3 Beispiel 1: Intel Quad Pack typischer, früherer SMP zum Einsatz als entry-level Server multiprozessorfähige Pentium Pro CPUs (Hardwareunterstützung für MESI-Protokoll) interner P-Pro Bus mit max. Busbandbreite von 528 MByte/s bis zu 4 CPUs (256 kbyte L2 Cache, P-Pro Bus-Interface) bis zu 4 Speicher- Module 42 Beispiel 2: Sun Fire 6800 typischer SMP zum Einsatz als high-end Server je CPU-Board: 4 UltraSparc III CPUs max. 32 GByte RAM bis zu 6 Boards (max. 24 CPUs und max. 192 GByte RAM) Crossbar-basiertes Fireplane Netzwerk (256-Bit Daten, 41-Bit Adressen, 150 MHz) MOESI-Protokoll (MESI mit zusätzlichem Owned -Zustand) Netzwerk aus Adress-Routern zur schnellen Replikation von Adressen (max. 15 Takte) und Crossbar-Switches zum Transport der Daten 43

4 Beispiel 2: SunFire 6800 (Forts.) Architektur eines CPU-Boards: zwei interne SMPs aus jeweils zwei CPUs mit maximal 8 GByte Speicher Speicherbandbreite von 2.4 GByte/s (128 Bit Daten) Netzwerkbandbreite von 4.8 GByte/s (256 Bit Daten) Speicherzugriffszeit: 200 ns (lokal) 240 ns (remote) 44 Beispiel 2: SunFire 6800 (Forts.) Architektur eines I/O-Boards: PCI-Bus 2 PCI-Controller: drei 33 MHz Slots, ein 66 MHz Slot Netzwerkbandbreite: 2.4 GByte/s Bandbreiten: Fireplane-Netzwerk: max. 9,6 GByte/s (150 Mill. Adressen/s 256 Bit) SunFire 6800: max. Systembandbreite von 67,2 GByte/s SunFire 15000: bis zu 106 Prozessoren, Fireplane-Crossbar und max. Systembandbreite von 172,8 GByte/s 45

5 Beispiel 3: HP Integrity rx Server Architektur: zwei Itanium 2 CPUs auf einem mx2 Modul (mit gemeinsamen 32 MB L4 Cache) bis zu vier mx2 Module möglich MESI-Protokoll (mit ISA Support) max. 64 GByte Speicher zx1 Chipset gestattet 6.4 GByte/s Systembus-Bandbreite 12.8 GByte/s Speicher-Bandbreite in 2 Kanälen 4.0 GByte/s E/A-Bandbreiteauf 6 E/A-Kanälen 46 Distributed Memory Computer (DMC) parallele Systeme mit verteiltem Speicher: jeder Prozessor kann nur auf seinen lokalen Adressraum zugreifen Kopplung mehrerer Prozessoren über E/A-Schnittstellen und Verbindungsnetzwerk, nicht über Speicher Kommunikation zwischen Prozessoren durch Nachrichtenaustausch ( message passing ) zwei elementare Operationen: send(data, target-addr, send-tag) recv(data, src-addr, recv-tag) Kommunikation kommt zustande, wenn Adressen übereinstimmen und zusätzlich send-tag=recv-tag gilt blockierendes / nicht blockierendes Senden möglich weitere Kommunikationsprimitive aus Bibliothek Ziel: skalierbare Systemarchitektur (bzgl. Kosten und Leistung) 47

6 Distributed Memory Computer (Forts.) Transport von Nachrichten erfolgt in Paketen, die aus Header (mit Zieladresse, Länge,... ) und Daten bestehen ein Routing-Algorithmus bestimmt den Pfad vom Sendeknoten zum Zielknoten abhängig von Topologie des Verbindungsnetzwerks sowohl für statische als auch für dynamische (mehrstufige) Netzwerke minimal (bestimmt kürzesten Pfad) oder nichtminimal determinstisch (eindeutiger Pfad) oder adaptiv (lastabhängiger Pfad) Beispiel: dimensionsgeordnetes Routing bei k-dim Gitter, k-dim. Torus und Hyperkubus Probleme: Überlast von Verbindungen oder Knoten, Deadlocks die Routing-Strategie legt fest, wie eine Nachricht auf dem vom Routing-Algorithmus bestimmten Pfad transportiert wird 48 Distributed Memory Computer (Forts.) zwei Routing-Strategien für paketorientierte Übertragung: 1) Store and Forward jeder Zwischenknoten speichert zunächst das gesamte Paket ( Store ), bevor er es weiterleitet ( Forward ) Übertragungszeit bei Paketen mit m Byte und h Knoten im Pfad ( hops ): t = t startup + h t route + h m t transfer mit t startup = Zeit zur Initialisierung, t route = Zeit zur Ermittlung des Folgeknotens und t transfer = Transportzeit je Byte über einen Netzwerkpfad 2) Cut Through pipelineartiger Transport der Bytes eines Paketes durch das Netzwerk: sofortige Weiterleitung nach Empfang und Analyse des Headers Übertragungszeit bei Paketen mit m Byte (davon m H Byte für Header): t = t startup + h (m H t transfer + t route ) + (m m H ) t transfer bei Kollision entweder Zwischenspeicherung in einem Knoten ( Cut Through ) oder Einfrieren der Pipeline ( Wormhole Routing ) 49

7 Distributed Memory Computer (Forts.) DMCs der 1. Generation (1980 bis ca. 1990) Netzwerk-Topologie: Hyperkubus Routing-Strategie Store and Forward Verwendung nachbarschaftserhaltender Abbildungen von Datenfeldern auf die Topologie des Rechners zur Minimierung der Kommunikation i.a. CISC-Prozessoren Beispiele: ncube/2 (1986), Intel ipsc/860 (1989) DMCs der 2. Generation (seit 1990) Netwerktopologien: Gitter, Torus, mehrstufige Netzwerke Routing-Strategie Cut Through Übertragungszeit weitgehend unabhängig von Position des Quell- und des Zielknotens i.a. RISC-Prozessoren und separater Kommunikationsprozessor Beispiele: Cray T3D (1993) und T3E (1996), IBM SP (1995) 50 Beispiel 1: Cray T3E 1996 als Nachfolgemodell für Cray T3D vorgestellt Architektur eines Rechenknoten: 64-Bit RISC Prozessor DEC Alpha mit MHz Router-Chip mit 6 bidirektionalen E/A-Kanälen von 500 MByte/s 64 bis 512 MByte Speicher in 8 Speicherbänken je Board (Spezialentwicklung): 4 Rechenknoten 1 E/A-Knoten mit Verbindung zum GigaRing E/A-Subsystem (bidirektional, 600 MByte/s je Richtung) 51

8 Beispiel 1: Cray T3E (Forts.) Netzwerk-Architektur: 3D-Torus mit 16-Bit Pfaden Systeme von 16 Knoten (4 2 2) bis zu 2048 Knoten ( ) deterministisches, dimensionsgeordnetes Routing Cut Through Routing-Strategie physikalische, logische und virtuelle Indizierung aller Knoten Unterstützung von Reserveknoten und mehreren Partitionen Bandbreite von 500 MByte/s je Dimension und Richtung 52 Beispiel 2: IBM SP Grundidee des IBM SP ( Scalable POWERparallel System ): Erreichen einer hohen Leistung durch Kopplung von Standard-Boards aus IBM Workstations mittels eines skalierbaren Netzwerks Architektur eines Rechenknoten: superskalarer POWER2 (66 MHz, 1995), POWER3 (bis zu 450 MHz, 2001) oder POWER4 (bis zu 1.5 GHz, 2003) RISC-Prozessor (auch SMPs mit bis zu 32 Prozessoren je Knoten möglich) typisch 8 GByte, max. 1 TByte Speicher je Knoten SP Switch Netzwerkkarte mit IBM PowerPC 740 (468 MHz Takt) als Kommunikationsprozessor für DMA, Paket-Routing und Generierung/ Analyse von Paket-Headern Netzwerkarchitektur: mehrstufiges SP Switch Netzwerk mit skalierbarer Bandbreite Systeme von 4 bis 128 Knoten (ggf. auch bis zu max. 512 Knoten) Buffered Wormhole Routing als Routing-Strategie 53

9 Beispiel 2: IBM SP (Forts.) Aufbau eines SP Switches: je 8 Ein- und Ausgänge interner 8 8 Crossbar 8 Bit Datenleitungen (Übertragung erfolgt in 2 Byte Flits, bzw. 4 Byte Flits beim SP Switch2) Bandbreiten: 300 MByte/s (SP Switch, synchron) 1 GByte/s (SP Switch2, asynchron) interne Warteschlange Aufbau eines Switchboards: 8 SP Switches, als bidirektionale 4 4 Schalter genutzt für 16 Knoten vorgesehen 16 freie E/A Ports zum Anschluß weiterer Switchboards 54 Beispiel 2: IBM SP (Forts.) Aufbau eines IBM SP mit 64 Knoten: 4 mögliche Pfade zwischen zwei beliebigen Knoten 55

10 Beispiel 2: IBM SP (Forts.) ASCI White (Lawrence Livermore National Laboratory, 2001): IBM SP System mit 512 Knoten, Leistung von 12.3 TFlop/s 484 Rechenknoten, 16 E/A-Knoten, 8 Debug-Knoten, 4 Login-Knoten je Knoten ein SMP aus 16 POWER3 RISC-Prozessoren (375 MHz) und 8 bis 16 GByte Speicher (insgesamt 8192 CPUs, 6 TByte Speicher) 56