Distributed Memory Computer (DMC)

Größe: px

Ab Seite anzeigen:

Download "Distributed Memory Computer (DMC)"

Friedrich Sommer
vor 6 Jahren
Abrufe

1 Distributed Memory Computer (DMC) verteilter Speicher: jeder Prozessor kann nur auf seinen lokalen Speicher zugreifen Kopplung mehrerer Prozessoren über E/A-Schnittstellen und Verbindungsnetzwerk, nicht über Speicher Kommunikation zwischen Prozessoren durch Nachrichtenaustausch ( message passing ) zwei elementare Operationen: send(data, target-addr, send-tag) recv(data, src-addr, recv-tag) Kommunikation kommt zustande, wenn target-addr=src-addr und send-tag=recv-tag gilt blockierendes / nicht blockierendes Senden möglich weitere Kommunikationsprimitive aus Bibliothek Ziel: skalierbare Systemarchitektur (bzgl. Kosten und Leistung) 41 Distributed Memory Computer (Forts.) der Transport von Nachrichten erfolgt in Paketen, die aus Header (mit Zieladresse, Länge,... ) und Daten bestehen ein Routing-Algorithmus bestimmt den Pfad vom Sendeknoten zum Zielknoten abhängig von Topologie des Verbindungsnetzwerks sowohl für statische als auch für dynamische (mehrstufige) Netzwerke minimal (bestimmt kürzesten Pfad) oder nichtminimal determinstisch (eindeutiger Pfad) oder adaptiv (lastabhängiger Pfad) Beispiel: dimensionsgeordnetes Routing bei k-dim Gitter, k-dim. Torus und Hyperkubus Probleme: Überlast von Verbindungen oder Knoten, Deadlocks die Routing-Strategie legt fest, wie eine Nachricht auf dem vom Routing-Algorithmus bestimmten Pfad transportiert wird 42 1

2 Distributed Memory Computer (Forts.) zwei Routing-Strategien für paketorientierte Übertragung: 1) Store and Forward jeder Zwischenknoten speichert zunächst das gesamte Paket ( Store ), bevor er es weiterleitet ( Forward ) Übertragungszeit bei Paketen mit m Byte und h Knoten im Pfad ( hops ): t = t startup + h t route + h m t transfer mit t startup = Zeit zur Initialisierung, t route = Zeit zur Ermittlung des Folgeknotens und t transfer = Transportzeit je Byte über einen Netzwerkpfad 2) Cut Through pipelineartiger Transport der Bytes eines Paketes durch das Netzwerk: sofortige Weiterleitung nach Empfang und Analyse des Headers Übertragungszeit bei Paketen mit m Byte (davon m H Byte für Header): t = t startup + h (m H t transfer + t route ) + (m m H ) t transfer bei Kollision entweder Zwischenspeicherung in einem Knoten ( Virtual Cut Through ) oder Einfrieren der Pipeline ( Wormhole Routing ) 43 Distributed Memory Computer (Forts.) DMCs der 1. Generation (1980 bis ca. 1990) Netzwerk-Topologie: Hyperkubus Routing-Strategie Store and Forward Verwendung nachbarschaftserhaltender Abbildungen von Datenfeldern auf die Topologie des Rechners zur Minimierung der Kommunikation i.a. CISC-Prozessoren Beispiele: ncube/2 (1986), Intel ipsc/860 (1989) DMCs der 2. Generation (seit 1990) Netwerktopologien: Gitter, Torus, mehrstufige Netzwerke Routing-Strategie Cut Through Übertragungszeit weitgehend unabhängig von Position des Quell- und des Zielknotens i.a. RISC-Prozessoren und separater Kommunikationsprozessor Beispiele: Cray T3D (1993) und T3E (1996), IBM SP (1995) 44 2

Beispiel 1: Cray T3E 1996 als Nachfolgemodell für Cray T3D vorgestellt Architektur eines Rechenknoten: 64-Bit RISC Prozessor DEC Alpha 21164 mit 300-600 MHz Router-Chip mit 6 bidirektionalen

3 Beispiel 1: Cray T3E 1996 als Nachfolgemodell für Cray T3D vorgestellt Architektur eines Rechenknoten: 64-Bit RISC Prozessor DEC Alpha mit MHz Router-Chip mit 6 bidirektionalen E/A-Kanälen von 500 MByte/s 64 bis 512 MByte Speicher in 8 Speicherbänken je Board (Spezialentwicklung): 4 Rechenknoten 1 E/A-Knoten mit Verbindung zum GigaRing E/A-Subsystem (bidirektional, 600 MByte/s je Richtung) 45 Beispiel 1: Cray T3E (Forts.) Netzwerk-Architektur: 3D-Torus mit 16-Bit Pfaden Systeme von 16 Knoten (4 2 2) bis zu 2048 Knoten ( ) deterministisches, dimensionsgeordnetes Routing Cut Through Routing-Strategie physikalische, logische und virtuelle Indizierung aller Knoten Unterstützung von Reserveknoten und mehreren Partitionen Bandbreite von 500 MByte/s je Dimension und Richtung 46 3

4 Beispiel 2: IBM SP Grundidee des IBM SP ( Scalable POWERparallel System ): hohe Leistung durch Kopplung von Standardboards aus IBM RS/6000 Workstations mittels eines skalierbaren Netzwerks Architektur eines Rechenknoten: superskalarer POWER2 (1995) bzw. POWER3 (2001) RISC-Prozessor mit Taktfrequenz von 66 MHz (1995) bis zu 450 MHz (2001) 256 MByte bis 64 GByte Speicher SP Switch Netzwerkkarte mit Intel i860 als Kommunikationsprozessor für DMA, Paket-Routing und Generierung/Analyse von Paket-Headern (später im SP Switch2 ersetzt durch IBM PowerPC 740 mit 480 MHz) Netzwerkarchitektur: mehrstufiges Verbindungsnetzwerk mit skalierbarer Bandbreite Systeme von 4 bis 128 Knoten (ggf. auch bis zu max. 512 Knoten) Wormhole Routing als Routing-Strategie 47 Beispiel 2: IBM SP (Forts.) Aufbau des SP Switches: je 8 Ein- und Ausgänge interner 8 8 Crossbar 8 Bit Datenleitungen 8 Byte Pakete Bandbreiten: 40 MByte/s (SP Switch, synchron) 500 MByte/s (SP Switch2, asynchron) Warteschlange für 128 Pakete Aufbau eines Switchboards: 8 SP Switches, als bidirektionale 4 4 Schalter genutzt für 16 Knoten vorgesehen 16 freie E/A Ports zum Anschluß weiterer Switchboards 48 4

) ASCI White (Lawrence Livermore National Laboratory, 2001): IBM SP System mit 512 Knoten, Leistung von 12.

5 Beispiel 2: IBM SP (Forts.) Aufbau eines IBM SP mit 64 Knoten: 4 mögliche Pfade zwischen zwei beliebigen Knoten! 49 Beispiel 2: IBM SP (Forts.) ASCI White (Lawrence Livermore National Laboratory, 2001): IBM SP System mit 512 Knoten, Leistung von 12.3 TFlop/s 484 Rechenknoten, 16 E/A-Knoten, 8 Debug-Knoten, 4 Login-Knoten je Knoten ein SMP aus 16 POWER3 RISC-Prozessoren (375 MHz) und 8 bis 16 GByte Speicher (insgesamt 8192 CPUs, 6 TByte Speicher) 50 5

Ähnliche Dokumente

Symmetrischer Multiprozessor (SMP)

Symmetrischer Multiprozessor (SMP) Motivation: ein globaler Adressraum für mehrere Prozesse P i Prozesse P i haben gemeinsame Daten ( shared variables ) private Daten ( private variables ) gemeinsamen