Vernetzung von Arbeitsplatzrechnern für Parallelverarbeitung

Transkript

1 Vernetzung von rbeitsplatzrechnern für Parallelverarbeitung Lehreinheit für Rechnertechnik und Rechnerorganisation / Parallelrechnerarchitektur (LRR-TUM) Institut für Informatik Technische Universität München hellwagn@informatik.tu-muenchen.de Inhalt Einführung Herkömmliche lokale Netze und ihre Eignung für Parallelverarbeitung: Ethernet, Fast Ethernet, FDDI, TM nsätze zur Steigerung der Kommunikationsleistung Multiprozessorartige Netze aus Standard-Netzen: CN, FastCN Neue Kommunikationskonzepte und -software auf herkömmlichen Netzen: ctive Messages, U-Net Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten: Myrinet, ParaStation Neue Vernetzungstechniken mit Speicherkopplung der Knoten: MemoryChannel, SCI Fazit

2 Einführung Cluster und Parallelverarbeitung Low Cost Parallel Computing bedeutet hier: Einsatz gekoppelter rbeitsplatzrechner Cluster von Workstations oder PCs Cluster sind hochinteressant für Parallelverarbeitung: Weite Verbreitung, führende Technologie, hohe Rechenleistung, hohe Zuverlässigkeit, ausgereifte lokale Netze, geringer Nutzungsgrad Keine / geringe Zusatzkosten Public-Domain-Software, z.b. PVM Cluster sind ungeeignet für Parallelverarbeitung: Geringe Kommunikationsleistung, insbesondere bzgl. Latenz Einschränkung auf nachrichtenorientierte Programmiermodelle Einführung HP/Convex Exemplar, IBM SP-2, Meiko CS-2, SGI Origin 2000, SGI/Cray T3E,... SMP-Server von DEC, HP, IBM, SGI, SNI, Sun,... Massiv parallele Supercomputer Moderat parallele Multiprozessoren Leistungsfähigkeit??? Workstation-Cluster Workstations PCs nzahl der Installationen

3 Herkömmliche lokale Netze Standard-Kommunikationsarchitektur... für standardisierte lokale Netze wie Ethernet, Fast Ethernet, FDDI, TM Hardware: Software: P C M Prozessor-Speicher-Bus Busbrücke B I/O-Bus Netzwerk- N dapter (Interface) Parallele nwendung Kommunikationsbibliothek (z.b. PVM, MPI) Mehrbenutzer-Mehrprozeß-Betriebssystem Netzwerkprotokolle (TCP/IP, UDP/IP) Netzwerk Netzwerk Herkömmliche lokale Netze Einige Messungen zur Kommunikationsleistung SS 2-Cluster, TM, Fore SB-100 Ns, kein Switch (nach [von Eicken et al / 1]): Kommunikation Latenz (einfach) [ms] Durchsatz [MB/s] PVM über TCP/IP Sun RPC BSD TCP/IP Sockets Fore L 5 PI CM-5 ctive Messages SS 2&10-Cluster, TM 100 Mb/s, Fore SB-200, SX-100 Switch ([Zhou&Geist 1995]): Kommunikation Latenz (einfach) [ms] Durchsatz [MB/s] PVM über Ethernet (direkte Route) PVM über TM (direkte Route) Fore L 3/ Fore L

4 Herkömmliche lokale Netze Digital lphaserver 8400 Speicherzugriffs- und Kommunikationscharakteristika, mit Nachrichtentransfer mittels TCP/IP über FDDI (nach [Gillett 1996]): Register L1-Cache L2-Cache L3-Cache Gem. Speicher FDDI- (512 B) (16 KB) (96 KB) (4 MB) (14 GB) Netzwerk Durchsatz [MB/s] Latenz [ns] Overhead [ns] Eignung herkömmlicher lokaler Netze für Parallelverarbeitung + Durchsatz: maximal erreichbare Datenübertragungsrate Beispiel: ~ 10 MB/s Erwünscht: ~ 100 MB/s (i.s. balancierter Kommunikationsleistung) Latenz: Zeit vom bsenden bis zum Empfangen einer Nachricht (User-Ebene) Beispiel: > 250 µs (für 32-Byte-Nachricht) Kommunikation in parallelen nwendungen: häufig kurze Nachrichten Latenz vorwiegend bestimmt durch Overhead, d.h. durch Software Erwünscht: < 5 µs (vgl. dedizierte Multiprozessoren) Overhead: Verbrauch an CPU-Zeit pro Kommunkationsoperation (Nachricht) Beispiel: 250 µs Taktzyklen (bei 200 MHz-Prozessor) Gesamtbelastung der Prozessoren für Kommunikation in Cluster: 25% (z.b. Benchmark TPC-C) 75% (z.b. Molekulardynamik-Simulation) Erwünscht: < 100 Prozessorzyklen (wenige Instruktionen) Komm.-Leistung in Clustern i.a. nicht ausreichend für parallele nwendungen, Verbesserung um Faktor erforderlich!

5 Ursachen für hohen Overhead und hohe Latenz Schwergewichtige, geschichtete, auf Internetworking ausgerichtete Protokolle (i.a. TCP/IP, UDP/IP) Kommunikation als Betriebssystemdienst Mehrbenutzer-Mehrprogramm-Betrieb, unkoordiniertes Scheduling auf Knoten Netzwerkanbindung am I/O-Bus Unzuverlässige Übertragung im Netz Parallele nwendung Kommunikationsbibliothek PI-Unterstützung Protokollbearbeitung Netzwerk-Treiber Netzwerk-Hardware Ursachen für hohen Overhead und hohe Latenz Vielfältige ufgaben von Standard-Kommunikationssoftware: Betriebssystem-ufruf (Kontextwechsel) Schutz der Benutzer voreinander Kopieren der Daten Pufferverwaltung CPU nwendung BS dreßübersetzung N Multiplexen mehrerer Verbindungen über das Netz Segmentierung, Reassemblierung von Nachrichten Numerierung, Überwachung, Sortierung von Paketen Prüfsummen-/CRC-Berechnung in Software DM-Programmierung und Verwaltung bzw. Datenübertragung zum/vom Netzwerk-dapter Kontrollfluß im Netz Speicher Netzwerk Interrupt, Interrupt-Behandlung, Demultiplexen, Benachrichtigung bei Empfang von Paketen

6 nsätze zur Steigerung der Kommunikationsleistung Sicherung der Datenübertragung und Flußkontrolle in Hardware Engere nbindung des Netzwerks an das System, z.b. an Prozessor-Speicher-Bus Intelligentere Netzwerk-dapter: HW-Unterstützung z.b. für DM, Pufferverwaltung, Kopieroperationen, Protokollbearbeitung Zugriff auf das Netzwerk-Interface von User-Modus aus, unter Erhaltung von Schutzmechanismen Neue, auf HW abgestimmte Kommunikationskonzepte und -protokolle Speicherkopplung über Knotengrenzen hinweg (DSM in Hardware) Vielfach daption MPP-spezifischer Lösungen Multiprozessorartige Netze aus Standard-Netzen CN (Concurrent Network rchitecture, Univ. Rostock) Strukturierte nordnung und paralleler Betrieb mehrerer Standard-Netzwerke Beispiel: 2 Ethernet-nschlüsse pro Knoten Vorteile: + Parallele Kommunikationsvorgänge + Erhöhter Durchsatz Nachteil: Erhöhte Latenz durch zusätzliches Routing möglich Y 3 Y 2 WS 1 WS 4 WS 2 WS 5 WS 3 WS 6 Erforderliche Software-npassung: Balancierung der Netzlast durch modifizierte Kommunikationsbibliothek (PVM) oder Betriebssystem Ähnliches Projekt: Beowulf (NS) Y 1 WS 7 X 1 WS 8 X 2 WS 9 X3

7 Multiprozessorartige Netze aus Standard-Netzen FastCN (Concurrent Network rchitecture auf Basis von Fast Ethernet) 16 PCs mit 100 Base-TX-Karten mit je 4 duplexfähigen Ports (d.h. 200 Mb/s je Port): Mit Switches und Hubs vielfältige Topologien und Steigerung der aggregierten Bandbreite möglich Netzlast-Balancierung schwieriger Erforderliche Software-npassung: zusätzliche Routing-Schicht im Betriebssystem (CN-Schicht zwischen MC- und IP-Schicht) WS 1 WS 2... : : : Hub 1 Hub 2 Hub 3 Noch keine Leistungsmessungen WS 16 : Hub 4 Gesamtbandbreite: 400 Mb/s Bandbreite je WS: 4*100 Mb/s bidir. Neue Kommunikationskonzepte und -software auf Standard-Netzen ctive Messages (M, UC Berkeley) Grundlegende Idee: Nachricht: Daten + Zeiger zu sog. Message Handler Message Handler: nicht blockierende Funktion im User-Modus Empfang einer Nachricht: ufruf des Message Handlers, der die Nachricht aus dem Netz nimmt und in nwendungsadreßraum überträgt Merkmale: Primitiver, aber effizienter Komm.-Mechanismus; integriert mit Berechnung; angepaßt an HW Datenpufferung nur, soweit für Transport durch das Netzwerk erforderlich Minimale Protokollbearbeitung Beste Leistung bei Netzwerkzugriff im User-Modus; dann keine BS-Intervention, keine Interrupts (stattdessen Polling) Schutzmechanismen und Netzzugriffe durch mehrere Prozesse durch Kommunikations-Endpoints und Endpoint Bundles (M 2.0)

8 Neue Kommunikationskonzepte und -software auf Standard-Netzen U-Net (User-Level Network rchitecture, Cornell University) Ziele: Geringe Latenz und hoher Durchsatz schon mit kleinen Nachrichten usschließliche Verwendung von Standard-Netzkomponenten Netzwerkzugriff im User-Modus Bereitstellung von Schutzmechanismen Unterstützung höherer Kommunikationsprotokolle Grundlegende Idee: Kommunikation über prozeßspezifische, gekennzeichnete Endpoints im nwendungsadreßraum: - Einrichtung durch das Betriebssystem - Enthalten Nachrichtenpuffer, Kommandostrukturen, Queues,... - Verwaltung durch Benutzerprozesse möglich - Überprüfung der Zugriffsrechte durch dünne Protokollschicht Modifikation des Netzwerk-dapters so, daß er als einfacher (De-)Multiplexer von/zu Endpoints wirkt Neue Kommunikationskonzepte und -software auf Standard-Netzen U-Net Unterschied zu Standard-Kommunikationsarchitektur: Herkömmliche Komm.-rchitektur Knoten 1 Knoten 2 BS N N BS... nwendungsprozeß BS... Betriebssystem N... Netzwerk-dapter U-Net-rchitektur N N BS BS

9 Neue Kommunikationskonzepte und -software auf Standard-Netzen U-Net Leistungsdaten: SS 10/20-Cluster, TM, Fore SB-200 Ns, 140 Mb/s (nach [von Eicken et al / 2]) Kommunikation Latenz (einfach) [µs] Durchsatz [MB/s] U-Net U-Net TCP ~ Fore TCP 620 ~ 9 Diskussion: Ähnliche Leistungsdaten auf Fast Ethernet (1997) Sehr geringer CPU-Overhead (TM: 1.5 µs; Fast Ethernet: 4.2 µs pro Sendeoperation) Interessant als Implementierungsbasis für höhere Komm.-Bibliotheken und parallele Sprachen TM-Cluster (8 Knoten) vergleichbar in Leistung mit CM-5 und CS-2, aber nicht in Charakteristik Forschungsprojekt Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten Myrinet (Myricom, rcadia, C) Neues LN und SN auf der Basis von MPP-Technologie (Caltech Mosaic) Netzwerk: Vollduplex-Links mit hohen Datenraten: - SN: 1.28 Gb/s je Link je Richtung bis 3 m - LN: 1.28 Gb/s je Link je Richtung bis 10 m - LN: 640 Mb/s je Link je Richtung bis 25 m - In Kürze: Glasfaserkabel Gleiche Paketformate und Protokolle Variable Paketlängen Fehlerüberwachung und Flußkontrolle auf jedem Link Cut-Through-Schalter (4 und 8 Ports) Beliebige Topologien, skalierbar Intelligente Netzwerk-dapter N Knoten 4 Knoten 1 N Knoten 2 N Schalter N Knoten 5 Knoten 3 N Schalter.....

10 Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten Myrinet Netzwerk-dapter: Für PCI und SBus Führt Myrinet Control Program (MCP) aus: - Interaktion mit Rechnerknoten - Senden, Empfangen, Puffern von Paketen - Netzwerküberwachung, dreßabbildung Ermöglicht Kommunikation ohne BS-Intervention Schnelles SRM Software: MCP MCP Schnelles Myrinet PI: 0-Copy-Protokoll, User-Modus TCP/IP PVM, MPI PD-Software: ctive Messages, Fast Messages,... Unterstützte Betriebssysteme: einige Unix es, NT ab 2Q97 Host I/O-Bus Brücke Host- DM 32-Bit- RISC Paket- DM Netzwerk- Interface LNai Chip Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten Myrinet Leistungsdaten von Dritten (Myricom Homepage): Maschine Kommunikation Latenz (einfach) [µs] Durchsatz [MB/s] 200 MHz Pentium Pro BIP/LHPC MHz Pentium Fast Messages UltraSPRC 1 ctives Messages lphastation 500/266 TCP, Digital Unix MHz UltraSPRC 1 TCP, Solaris MHz Pentium Pro TCP, Linux Preise (Okt. 1996): LN PCI Interface: $1400; 4- u. 8-Port LN Switch: $1200 bzw. $2400 Einsatz (Nov. 1996): 111 Installationen, Großteil akademische Projekte (NOW, WWT, FM, Orca, MOSIX, RWCP,...)

11 Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten ParaStation (Universität Karlsruhe) Clustering-Projekt (HW und SW) für Parallelverarbeitung Kommunikations-Hardware: Netzwerk-dapter: PCI-Karte mit Komm.-Prozessor und 4 Komm.-Kanälen Netzwerk: bidirektionaler Ring oder 2D-Torus Netzwerkeigenschaften: Tabellengesteuerte Paketvermittlung (Virtual Cut Through) Flußkontrolle und Fehlerüberwachung (Parity) auf Link-Ebene Keine Paketverluste Variable Paketgröße (4 508 Bytes) Reihenfolge der Pakete bleibt erhalten! Barrierensynchronisation in HW! Verzögerung pro Routing-Schritt: 250 ns Durchsatz: 20 MB/s Neue Vernetzungstechniken mit Nachrichtenkopplung der Knoten Kommunikations-Software: Ziel: geringer Overhead Keine BS-Intervention, keine Interrupts Zugriff auf Netzwerk im Benutzer-Modus durch Kommunikationsbibliothek (ParaStation System Library) Leistungsdaten: 275 MHz lpha ParaStation Mehrere Komm.-Ports, Benutzer, Programme Dir. HW-Zugriff (S/E Paket) Raw Data Port PS-PVM Socket- Emulation Ports Hardware Interface Kommunikation Latenz (einfach) [µs] Durchsatz [MB/s] Hardware Interface Raw Data Port Ports Sockets PVM

12 Neue Vernetzungstechniken mit Speicherkopplung der Knoten Memory Channel (MC) for PCI (Digital Equipment Corp.) Nutzung von Distributed Shared Memory (DSM) für effiziente Cluster-Kommunikation: Virtueller dreßraum V to P MC-Fenster (I/O-R) Write only B Direct map with disable C Direct map with disable MC-Fenster (I/O-R) Write only G V to P Virtueller dreßraum F J Read Write I DM map Direct map with disable H Direct map with disable DM map Read Write D E Lok. phys. dreßraum Lok. phys. dreßraum Knoten 1 MC-Netzwerk-dreßraum Knoten 2 (64 K Seiten a 8 KB) Neue Vernetzungstechniken mit Speicherkopplung der Knoten Memory Channel (MC) Konzept: Basis: Encore Computer s Reflective Memory Einblenden des Netzwerks in virtuellen dreßraum der Prozesse: - Granularität: Seiten - Netzwerkzugriff im Benutzer-Modus - Schutzmechanismen des virtuellen Speichers wirksam Schreiben auf Netzwerkadresse: Weiterleiten an alle angeschlossenen Knoten Punkt-zu-Punkt-, Multicast- und Broadcast-Kommunikationsbeziehungen Implementierung: PCI-dapterkarte, einstufiger Crossbar-Schalter (Hub) bei 3 8 Knoten Fehlererkennung und Flußkontrolle in HW Einhaltung der Reihenfolge der Zugriffe! Hardware-Synchronisationstransaktion und Überwachung der Nachrichtenzustellung 32-Byte-Schreiboperationen

13 Neue Vernetzungstechniken mit Speicherkopplung der Knoten Memory Channel (MC) Software: Kommunikation im Benutzer-Modus Basis: Memory Channel Services, Raw Message Passing Universal Message-Passing Layer (UMP) PVM, MPI, HPF Leistungsdaten (nach [Gillett&Kaufmann 1997]): Kommunikation Overhead [µs] Latenz (einfach) [µs] Durchsatz [MB/s] Raw MP (1 copy) 2.9 ~ 62 UMP (1 copy) ~ 62 HPF 5.8 ~ 61 MPI 6.9 ~ 61 PVM 8 ~ 43 Neue Vernetzungstechniken mit Speicherkopplung der Knoten Scalable Coherent Interface (SCI) Standard for very high-speed multiprocessor interconnect with bus-like services and scalability, coherence, and open interface characteristics SCI Basic Concepts Support of computer bus-like services in a fully distributed manner Fast unidirectional point-to-point links (1 Gb/s 1 GB/s) DSM with up to 64k nodes in an SCI system Basic topological element: ring (ringlet) Structured specification: Logical layer: addressing, transactions, protocols, formats Physical layer: 3 physical link models; electrical, mechanical, thermal characteristics Cache coherence layer: optional coherence mechanisms Global ddress Space SCI Interconnect

14 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SCI: Basic Ringlet Workstation Memory P & C SCI Ring SCI-VME Bridge SCI-TM Converter SCI: Sample Topologies Switch Neue Vernetzungstechniken mit Speicherkopplung der Knoten Standard SCI Node Interface Structure Responder Requester pplication logic (node) (Time-out) Interface clock domain Transmit queues Responses Requests Responses Requests Receive queues (My echo) Input clock domain Output link Encode Insert (CRC) MUX Bypass FIFO Saved Idle Stripper (CRC) Elastic Buffer Input link

15 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SCI Basic Concepts (cont d) Split transactions, up to 64 outstanding per node pipelined operation Transaction types: (Remote) Memory reads and writes, with/without caching Lock transactions (swap, compare&swap, fetch&add,...) Move operations and broadcasts: fast messaging Event transactions: global clock synchronization (time-of-day) 64-bit addressing model: 16 MSBs: node address; 48 LSBs: address offset within node Basic error detection and containment in hardware: CRC protection, hardware timeouts, ring clean-up,... Fair protocols for ring bandwidth allocation and queue reservation Implementation over parallel or serial transmission lines, short or long distances, copper or fiber optics Neue Vernetzungstechniken mit Speicherkopplung der Knoten Some SCI pplications Tightly coupled multiprocessors, e.g. HP/Convex Exemplar, Sequent NUM-Q, Data General ccnum Workstation clusters, e.g. Dolphin SBus/SCI and PCI/SCI adapter boards, adopted by Sun P P P P P P P P P P P P P P P P M I/O SCI M I/O SCI M I/O SCI M I/O SCI SPRCstation SPRCstation I/O subsystems, e.g. SGI/Cray GigaRing, SNI scalable I/O system MBus P M MBus/SBus P M MBus/SBus Data acquisition systems, e.g. CERN LHC experiments SBus SBus/SCI SBus/SCI

16 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SCI Cluster Products Dolphin Interconnect Solutions (Oslo): SBus/SCI adapter boards (throughput: 25 MB/s; one-way latency: 4 µs) PCI/SCI adapter boards (throughput: ~ 75 MB/s; one-way latency: 2.7 µs) 4-port switch Software: Dolphin Interconnect Resource Manager (IRM), prototype MPI SCLI (Oslo): Turnkey clusters of SMPs interconnected by SCI links (Dolphin SBus-2 adapters) Software: MPI, parallelizing compilers, KP preprocessor Sun Microsystems: Ultra Enterprise Parallel Database Cluster, with Sun Cluster Channel (based on SCI) Ultra HPC Servers Neue Vernetzungstechniken mit Speicherkopplung der Knoten The SMiLE Project at LRR-TUM (Shared Memory in a LN-like Environment) Objectives and Developments: Hardware developments to set up a PC cluster with DSM using SCI: PCI/SCI adapter card Global ddress Space PC daption and optimization of parallel PIs for the SCI cluster: PVM direct data transfers, Unix SVM Low-level SCI PI ctive Messages, SCI sockets library Distributed Pthreads, PVM Concepts, programming models, and tools for the efficient use of a DSM cluster: Hardware for monitoring remote memory accesses (Par. C++) SCI Interconnect Parallel pplication POSIX Threads PVM SCI PI SCI Device Driver (Linux, NT) SCI Cluster Hardware Socket Library ctive Msgs.

17 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE PCI/SCI dapter Card: Features Interface between PC s PCI bus and SCI network: Translation of PCI transactions to SCI transactions and vice versa ddress translations required for DSM SCI protocol processing PCI PCI Unit Handshake Bus DPR D D SCI Unit SCI Out SCI In Transactions: 1 outstanding read transaction (readsb) 16 outstanding write transactions (writesb) 16 outstanding messaging transactions (nwrite64) 1 read-modify-write transaction (locksb) Pre-fabricated in the DPR; others constructed by SW Buffer space for 64 incoming SCI packets No caching of remote memory contents NUM Observation on SCI Testbed Memory operation Local Remote (via SCI) Read 0.2 µs 5.5 µs Write 0.4 µs 0.4 µs Buffered Write Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE PCI/SCI dapter Card: Two-stage ddress Translation Scheme Process 1 Node 2 Process 2 Node 3 Node 4 Node 1 SCI ddress Window SCI ddress Space Physical (PCI) ddress Space Processes Virtual (DSM) (Node 1) ddress Spaces (on Node 1)

18 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE PCI/SCI dapter: rchitecture PCI Unit Dual-Ported RM SCI Unit Local Clock FPG#1 CNTRL FPG#2 CNTRL (SUPER_MN) (BT_MN) 12 BLINK CNTRL PCI PCI9060 D 32 TC RM 8Kx24 D BLINK D DPR D LC Kx32 2Kx64 SCI-IN SCI-OUT EEPROM BUF IO IO SCI-Clock Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE PCI/SCI dapter: Initial Latency Results Remote write latency over SCI (loopback mode, 18 MHz): 3.1 µs PCI-FRME i960-ds BLink-FRME Write to SCI 400ns ca. 7T 550ns 10T 900ns (LC, SCI) PCI-FRME i960-ds BLink-FRME Write to Mem 400ns ca. 7T 825ns 15T Incoming-Flag PCI: 33MHz i960/b-link: 18MHz SCI: 50MHz 550ns 10T 275ns 5T

19 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE PCI/SCI dapter: Initial Throughput Results DM-based data transfers over SCI (loopback mode, 12 MHz) Mbytes/s Data transfer size [bytes] Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE ctive Messages (M): Concepts Basic idea: Message: data + pointer to so-called message handler Receipt of a message: message handler is called in order to remove the message from the network and deposit it in the application s address space Message handler: user-level, non-blocking function No buffering other than for network transport, minimal protocol processing Primitive, but efficient communication mechanism; best with user-level access to the network M 1.1: No protection mechanisms, SPMD-style of computation M 2.0: Communication endpoints and endpoint bundles Provides for protection and shared access to the network

20 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE M Components M daemon node #1 M daemon node #2 M daemons: One per node Initialize and export SCI shared memory segments for send and receive pools of endpoints M library: Implements the M PI Performs data transfers using buffered writes node #2 s transmit area recv/read buffers (local) send/write buffers (rem.) node #3 s transmit area recv/read buffers (local) send/write buffers (rem.)... node #n s transmit area recv/read buffers (local) send/write buffers (rem.) node #1 s transmit area recv/read buffers (local) send/write buffers (rem.) node #3 s transmit area recv/read buffers (local) send/write buffers (rem.)... node #n s transmit area recv/read buffers (local) send/write buffers (rem.) node # s 3... n... (remote) write access Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE M Performance Figures Performance characteristics of different M implementations: Platform / M Version One-way Latency [µs] * not optimized Throughput (M Store) [Mbytes/s] UCSB SCI NOW / M 2.0 (LRR-TUM) UCSB SCI NOW / M 1.1 (UCSB)* Myrinet NOW Meiko CS SCI M measurements on an SCI cluster of 8 UltraSPRC workstations at the University of California at Santa Barbara (UCSB): SBus-2 adapters, 4 ringlets interconnected by an SCI switch

21 Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE SCI Sockets Library (SSLib): Features Sockets: Standard interface to TCP/UDP/IP suite of protocols, for communication in distributed systems Used by e.g. PVM and MPI implementations in clusters SSLib: Implements socket communication at user level Restricted to SCI network Handles all intricate details of establishing connections, exec() and fork() calls,... Isolates high-level functions from underlying communication mechanisms via low-level SS PI Transparently switches between (D)SM-based and message-based data transfer mechanisms whatever more efficient (for small and large data volumes, respectively) Neue Vernetzungstechniken mit Speicherkopplung der Knoten SMiLE SSLib: DSM-based Communication Using Buffered Writes pplication 1 pplication 2 send() recv() Read Pointer of pp. 2 SSLib SSLib Write Pointer of pp. 1 Header Buffer SMiLE SSLib: Preliminary Performance Results 8.5 µs one-way latency on UCSB cluster (cf. M), 25 MB/s throughput

22 Fazit Weitere interessante Projekte und Produkte: Tandem ServerNet Princeton SHRIMP Wisconsin Wind Tunnel Project Virtual Interface rchitecture?! Noch fehlt es an Stabilität, Software-Basis, nwendungen, Volumen, Preis; noch gibt es eine Reihe offener Fragen und Forschungsbedarf. ber: Cluster können mit neuen Netzen zu leistungsfähigen parallelen Systemen ausgebaut werden und die Lücke zu Hochleistungssystemen schließen! Weitere Informationen Tagungen und Workshops Hot Interconnects Symposium on High-Performance Interconnects, jährlich im ugust; Stanford University. Second NOW/Cluster Workshop: Building Systems of Systems, SPLOS, Oct. 1996; Workshop on Comm. and rchitectural Support for Network-based Parallel Computing, HPC-3, Feb. 1997; LNCS 1199, Springer-Verlag Wichtige Beiträge in: - International Symposium on Computer rchitecture (ISC) - International Symposium on High Performance Computer rchitecture (HPC) - Int l. Symposium on rchitectural Support of Programming Languages and Operating Systems (SPLOS) - Supercomputing (SC) - SCIzzL-Workshops - ITG/GI-Fachtagung rchitektur von Rechensystemen (RCS) - ITG/GI-Fachtagung rbeitsplatz-rechensysteme (PS)

23 Weitere Informationen WWW: Übersichten WWW Computer rchitecture Home Page: Second SPLOS NOW/Cluster Workshop Projects: SCIzzL (SCI ssociation): WWW: Firmen Digital, Scali, Sun, Tandem: Dolphin Interconnect Solutions: Mryicom: Weitere Informationen WWW: Projekte Beowulf: (Fast)CN (Concurrent Network rch.), Univ. Rostock: NOW (Network of Workstations), UC Berkeley: ParaStation, Univ. Karlsruhe: SHRIMP (Scalable, High-Performance, Really Inexpensive Multi-Processor), Princeton University: SMiLE (Shared Memory in a LN Environment), TU München: U-Net (User Net): Virtual Interface (VI) rchitecture: ftp://ftp.compaq.com/pub/supportinformation/papers/508a0597_a4.pdf Wisconsin Wind Tunnel (WWT) Project:

24 Weitere Informationen Literatur zu den Produkten und Projekten T.E. nderson, D.E. Culler, D.. Patterson, and the NOW team: Case for NOW (Networks of Workstations), IEEE MICRO, Feb M.. Blumrich, C. Dubnicki, E.W. Felten, K. Li, M.R. Mesarina: Virtual-Memory-Mapped Network Interfaces, IEEE MICRO, Feb N.J. Boden, D. Cohen, R.E. Felderman,.E. Kulawik, C.L. Seitz, J.N. Seizovic, W.-K. Su: Myrinet: Gigabit-per- Second Local rea Network, IEEE MICRO, Feb S.N. Damianakis,. Bias, C. Dubnicki, E.W. Felten: Client-Server Computing on Shrimp, IEEE MICRO, Feb T. v. Eicken, D.E. Culler, S.C. Goldstein, K.E. Schauser: ctive Messages: a Mechanism for Integrated Communication and Computation, Proc. 19th Int l. Symp. on Computer rchitecture, May T. v. Eicken,. Basu, V. Buch: Low-Latency Communication over TM Networks Using ctive Messages, IEEE MICRO, Feb T. v. Eicken,. Basu, V. Buch, W. Vogels: U-Net: User-Level Network Interface for Parallel and Distributed Computing, Proc. 15th CM Symp. on Operating Systems Principles, Dec R.B. Gillett: Memory Channel Network for PCI, IEEE MICRO, Feb R.B. Gillett, R. Kaufmann: Using the Memory Channel Network, IEEE MICRO, Feb Weitere Informationen Literatur (Fortsetzung) G. Hipper, F. Burchert, M. Mofaddel, D. Tavangarian: FastCN - Die Realisierung eines Workstation-Clusters mit Netzwerklast-Balancierung auf Basis von FastEthernet, Tagungsband 4. ITG/GI-Fachtagung rbeitsplatz- Rechensysteme, Mai R.W. Horst: TNet: Reliable System rea Network, IEEE MICRO, Feb D. Tavangarian, G. Hipper: Parallele Datenverarbeitung in Workstation-Clustern: Entwicklungsstand und architektonische Konzepte, 1. G-II-Symposium Stand und nwendung digitaler Kommunikationsnetze, Bochum T.M. Warschko, J.M. Blum, W.F. Tichy: The ParaStation Project: Using Workstations as Building Blocks for Parallel Computing, Proc. Int l. Conf. on Parallel and Distributed Processing, Techniques and pplications (PDPT 96), ug M. Wejsh,. Basu, T. v. Eicken: TM and Fast Ethernet Network Interfaces for User-level Communication, Proc. 3rd Int l. Symp. on High Performance Computer rchitecture, Feb H. Zhou,. Geist: Faster Message Passing in PVM, Proc. CM Conf. on High Speed Networks, 1995.