Universität Karlsruhe (TH)

Transkript

1 Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Netzwerke Prof. Dr. Walter F. Tichy Dr. Victor Pankratius Ali Jannesari

2 Vorlesung Rechnerbündel Architektur von Rechnerbündeln Hochgeschwindigkeitsnetzwerke Netztopologie Vermittlungstechnik Myrinet Infiniband SCI Hochgeschwindigkeitskommunikation 2

3 Myrinet-2000 ANSI/VITA Standard Übertragungsleistung 2+2 Gbit/s, voll duplex 2.6µs-3.2µs Latenz auf MPI-Ebene Topologie beliebig, CBB-Netz bevorzugt Paketvermittlung, Wormhole, Source Routing Kupfer (8+1 Bit parallel) oder Glasfaserverkabelung Flusskontrolle auf jeder Verbindung Adapterkarten frei programmierbarer RISC-Prozessor 333 MHz, PCI und PCI-X Anschluss, bis zu 133 MHz, 64-Bit, 8 Gb/s Bandbreite über PCI-X Bus unidrektional 2 MB Speicher, Offener Zugang zur Technik 3

4 Myrinet CBB-Netz (128 Knoten) 16x16 Kreuzschiene 4

5 Myrinet PCI-Bus-Adapter Netz- DMA Netzwerk- Kabel Netz schnittstelle Host- DMA 2 MB SRAM PCI-Brücke LanAI CPU 2MB SRAM PCI (-X)-Brücke, 64 Bit, MHz LanAI RISC, 333 MHz 2 LWL-Anschlüsse, beide duplex 5

6 Myrinet 16x16 Kreuzschiene 8 Rechner werden vorne angeschlossen (je 2 Kanäle) Hinten 8 Ausgänge (2 Kanäle) zur nächsten Ebene des CBB-Netzes. Auch 32x32 Kreuzschiene erhältlich. 6

7 128-Knoten CBB- Vermittlungsnetz Baustein von vorhin An der Hinterwand liegt eine Platine, die die Bausteine untereinander verbindet (vertikal, 2. Ebene) 7

8 Myrinet CBB-Netz Vermittlungsnetz mit Bisektionsbreite 256 Vorne 265 Anschlüsse für Rechner Hinten 256 Anschlüsse für andere Vermittlungseinheiten (z.b. nächste Ebene im CBB-Netz) 8

9 CBB-Netze mit voller Bisektionsbreite 64 Knoten 32 Knoten 9

10 Myrinet: Paketvermittlung Abstand Pfad Paketkopf Daten (beliebiger Länge) CRC & Endemark. Pfad wird vom Sender vorbestimmt und von den durchlaufenen Vermittlungsstufen auf dem Weg schrittweise entfernt (source routing) Paketkopf ermöglicht unterschiedliche Protokolle (Administrationsdaten, Bestätigungs-Pakete, Datenpakete, Adressierung des Empfängerprozesses, Absenderangaben) Pakete unterliegen keiner Längenbeschränkung Paket-Endesignal: Prüfsumme und Endemarkierung Paketauslieferung reihenfolgetreu 10

11 Myrinet: Datenfluss Anwendung Anwendung Copy Copy Kern / DMA Memory Copy Copy Kern / DMA Memory DMA DMA Myrinet SRAM DMA Netz DMA Sender, Netz und Empfänger operieren als Fließband Copy = PIO oder DMA oder Kombination (s.u.) Myrinet SRAM 11

12 Myrinet: Software Anwendung OS Kern TCP UDP Myrinet-API (GM) Ethernet IP Myrinet mmap Eigene Protokolle, z.b. ParaStation Ethernet GM Myrinet 12

13 Vorlesung Rechnerbündel Architektur von Rechnerbündeln Hochgeschwindigkeitsnetzwerke Netztopologie Vermittlungstechnik Myrinet Infiniband SCI Hochgeschwindigkeitskommunikation 13

14 InfiniBand: Übersicht InfiniBand Architecture (IBA) ist ein Industriestandard für ein Hochgeschwindigkeitsnetzwerk Paketvermittlung verbindet Rechenknoten und E/A-Geräte untereinander Anspruch: alle E/A-Aufgaben können mit InfiniBand realisiert werden Infiniband: Wortspiel Infinite Bandwidth Besondere Eigenschaften hohe Bandbreite (bis zu 30 Gb/s insgesamt) geringe Latenz (ca. 7.5µsec auf MPI-Ebene) Zero-Copy Data Transfers : Daten werden aus dem Speicher einer Anwendung in den Speicher einer anderen Anwendung transportiert ohne Kopien im Hauptspeicher der beteiligten Rechenknoten. Remote DMA (RDMA): Direktzugriff auf entfernten Speicher Bündelung mehrerer virtueller Kanäle durch die Hardware Informationen z.b. auf 14

15 InfiniBand: Hardware CPU Mem Cntlr HCA Link CPU Mem Cntlr HCA Link Focus f. Rechnerbündel Storage Target TCA Link Switch xca Router Link Link Netzwerkkomponenten: Host Channel Adaper (HCA) verbinden Prozessoren mit dem Netzwerk über PCI-X, PCI-Express Target Channel Adapter (TCA) verbinden E/A-Kontroller mit dem Netzwerk, z.b. Fibre Channel, Ethernet, SCSI Switches (Vermittlungsknoten) Router verbinden Subnetze Leitungsebene Datenrate: 2.5 Gb/s pro Link Kupfer bis 17m Glasfaser 100m 10km höhere Bandbreiten erreichbar durch Bündelung von Kanälen (mehrere Netzanschlüsse pro HCA) 2.5, 10, 30 Gb/s (1x, 4x, 12x) aktuell erhältliche Hardware ist für 4x ausgelegt Verbindungen sind duplex fähig. 15

16 Infiniband: Hardware Topologie geschaltetes Netz (Punkt-zu-Punkt-Verbindungen, kein Bus) ~ 64k Knoten pro Subnetz Subnetze können über Router verbunden werden Zuverlässigkeit Unterstützung für redundante Netzwerkverbindungen automatische Umkonfigurierung im Fehlerfall QoS (unterschiedliche Qualitätsstufen) 16 virtuelle Verbindungen mit zugesicherter Bandbreite und getrennter Flusskontrolle pro Verknüpfung (Knoten -> Knoten, Knoten -> Switch/Router, ) 16

17 Infiniband: Software IB Access Interface (user level) HCA Verbs Interface (user level) IB Access Interface (kernel) HCA Verbs Interface (kernel) Mgmt Apps Mgmt APIs IB Access HCA Library SRP, IPoIB, SDP IB Access HCA Driver IB HCA Socket APIs kdapl User Apps udapl (RDMA Transport) OS User Infrastructure OS Kernel Infrastructure Other Interconnects Es gibt eine Vielzahl von Schnittstellen, auf verschiedenen Ebenen, um den Anforderungen der verwendeten Protokolle gerecht zu werden. Insbesondere gibt es die IB (Infiniband) Access Schnittstelle und DAPL Schnittstelle (RDMA) sowohl privilegiert (im Kern), als auch unprivilegiert (als Bibliothek). k/u DAPL: Direct Acess Provider ist eine API für RDMA (entfernter Speicherzugriff) Gemeinsame Eigenschaften: Vermeidung von Kopieroperationen Verwendung von RDMA jeweils nur noch wenige Protokollschichten/Treiber beteiligt 17

18 Infiniband: Verbs API IB Nutzer kommuniziert mit dem Host Channel Adapter über Nachrichtenschlangen. Consumer Work Queue WQE Work Queue Work Request WQE WQE WQE Hardware Completion Queue Work Compl. CQE CQE CQE Es gibt getrennte Schlangen für Sende- und Empfangsaufträge. RDMA-Aufträge kommen ohne korrespondierenden Auftrag auf der anderen Seite aus. 18

19 InfiniBand: Adressierung GID: Globale Identifikationsnummern 128bit, IPv6-kompatibel mindestens eine GID für jeden HCA-, Switch- und Router-Port besteht aus einer 64bit Identifikation und einem 64bit Präfix LID: Lokale Identifikationsnummer adressiert einen Port im Subnetz wird von dem jeweiligen Subnetz-Manager vergeben 16bit, aber von den möglichen Adressen sind einige reserviert, z.b. als Multicast-Adressen Aufbau eines Paketes Local Routing Header Global Routing Header Transport Header Ext. Transport Header Daten inv. CRC var. CRC 19

20 Infiniband: aktuelle Hardware Die aktuell erhältlichen Host- Channel-Adapter sind als PCI (X) Einsteckkarten ausgeführt. Links eine Karte der Firma JNI Zwei 10Gb/s (4x) Ports PCI (2.2) bzw. PCI-X (1.0) 64bit, MHz DDR-Speicher aufsteckbar Integration in Hauptplatine wünschenswert, denn die Übertragungsrate des PCI Busses ist beschränkt (8 Gb/s) unidirektional für PCI-X) 20

21 Vorlesung Rechnerbündel Architektur von Rechnerbündeln Hochgeschwindigkeitsnetzwerke Netztopologie Vermittlungstechnik Myrinet Infiniband SCI Hochgeschwindigkeitskommunikation 21

22 SCI Scalable Coherent Interface IEEE Standard ( ) Schnelle unidirektionale Punkt-zu-Punkt-Kanäle Bandbreite ~ 1GB/s 500MHz über 16 parallele Kanäle Latenzen <2 μs möglich (über MPI) Topologien: Ring, 2D-Torus, 3D-Torus Paketvermittlung, feste Paketlänge (bis zu 256bytes) Speicherkoppelndes Verbindungsnetz eigener 64bit Adressraum in Hardware Fernlese-, Fernschreib-, Fernsperroperationen DMA-Nachrichtentransfers Optional: Cache-Kohärenz Proprietär 22

23 SCI: Einsatzgebiete Cache-kohärente Multiprozessoren HP: HP Exemplar X (früher Convex), erstes SCI-System (1995) IBM: Sequent NUMA-Q Data General/EMC: AV NUMA Cluster Dolphin/Scali SCI-Adapter ohne Cache-Kohärenz verwendet z.b. von Scali in Intel/Sparc-Clustern, von Siemens in HPCline Intel SMP Clustern I/O Subsysteme Mittelweg zwischen enger und loser Kopplung: Knoten sind einerseits unabhängig (eigenes BS), andererseits gekoppelt, weil sie gemeinsam auf verteilten Speicher zugreifen können. 23

24 SCI: Adressraumabbildung Knoten A Prozess 1 Knoten B Prozess 2 Virtueller Adressraum Prozess 1 Virtueller Adressraum Prozess 2 MMAP (MMU) MMAP (MMU) PCI Adressraum auf A. Zugriff hier Löst eine Komm. mit B aus. IMPORT SCI-ATT (Address Translation Table) EXPORT Lokaler physikalischer Speicher auf B (hier sind die Daten) SCI Adressraum 24

25 SCI: Schnittstellen Gemeinsamer Speicher Zugriff auf nicht kohärenten Speicher SMI: Shared Memory Interface (RWTH Aachen) Replikation möglich (benutzergesteuerte Konsistenz) Synchronisationsmechanismen: Barrieren, Semaphore, publizierte Programmzähler YASMIN (Paderborn) DSM: Kohärenz wird durch Software sichergestellt SCI-VM (München) SISCI-Pthreads: Schnittstelle ähnlich der Pthreads-Bibliothek Nachrichtentausch über Schreiben in gem. Adressraum ScaMPI (Scali, Norwegen), kommerziell 76MB/s, 9.4µs (2001) SCI-MPICH (Aachen): 73MB/s, 7µs (2001) Active Messages Low-Level-APIs: SISCI 25

26 SCI mit Cache-Kohärenz P P P P P P P P P P P P P P P P M I/O SCI M I/O SCI M I/O SCI M I/O SCI SCI-Controller am Speicherbus überwacht alle Bustransaktionen und ist somit in der Lage, die Cache- Kohärenz aller angeschlossenen Module zu gewährleisten. 26

27 SCI mit Cache-Kohärenz Greift ein Prozessor auf eine entfernte Speicherstelle zu, gibt es in der Regel einen Cache-Aussetzer". Cache-Steuerung holt über SCI die erforderlichen Daten. SCI lauscht Speicherzugriffen und kann daher Schreibzugriffe entdecken, die Cache-Einträge anderer SCI-Module ungültig machen könnten. 27

28 SCI ohne Cache-Kohärenz P P M P P M I/O PCI- Brücke I/O PCI- Brücke SCI NIC SCI NIC PCI-Brücke zwischen Speicherbus und PCI-Bus verhindert das Überwachen der Speicheroperationen durch den SCI-Controller. Damit ist Cache- Kohärenz nicht mehr möglich. Dolphin-Karten ohne Cache-Kontrolleinheit, aber mit Speicherabbildung. 28

29 Dolphin-Karten SCI link controller (LC-1) SCI-link in (200 Mbyte/s) SCI-link out (200 Mbyte/s) 32-bit PCI bus (133 Mbyte/s) PCI-SCI bridge controller Adapterkarte für 3D Torus (6 Anschlüsse) 29

30 Hochgeschwindigkeitsnetze: Ausblick PCI-Bus für doppelte und höhere Bandbreite bereits standardisiert (PCI-X) PCI-Bus-Kopplung einfach, aber auf Dauer zu langsam direkter Anschluss an Speicherbus notwendig Probleme der externen Anschlüsse Kabel/Steckverbindungen sind Fehlerquellen und ernsthafter Kostenfaktor Wandlung für LWL teuer Forschung optische E/A über Chip-Fläche (optische Modulatoren oder Glasfaseranschlüsse oder planare Optiken) elektromagnetische (kapazitive) Kopplung 30