9 Netzwerke in Cluster-Rechnern

Transkript

1 entscheidend für Effizienz eines Cluster- Rechners Kommunikation, d.h. Netzwerk spezielle Netzwerke für Cluster-Rechner Myrinet Nachrichten-Kopplung SCI Speicher-Kopplung Einsatz schneller Standard-Netzwerke Gigabit-Ethernet 1

2 2 9 Netzwerke in Cluster-Rechnern 9.1 Myrinet Myrinet entwickelt von Fa. Myricom, Arcadia aus Supercomputer-Technik abgeleitetes schnelles SAN/LAN-Netzwerk für Cluster universitären Ursprung Mosaic-Projekt Caltech MPP-Technologie Atomic LAN-Projekt von USC/ISI 1994 Markteinführung 150 Installationen in den ersten drei Jahren Mittlerweile große Anzahl von Installationen mitentscheidend für den Erfolg Hardware und Software-Spezifikation öffentlich zugänglich

3 3 9 Netzwerke in Cluster-Rechnern 9.1 Myrinet ANSI-Standard ANSI/VITA Physikalische und Datenverbindungs-Ebene Basis Nachrichten-Austausch zwischen Knoten behandeln im Folgenden Komponenten eines Myrinet-Netzwerks Schnittstellen Schalter (Switches) Kabel Software Beispiel Übertragung per DMA Benchmarks Vor- und Nachteile

4 9.1 Myrinet Komponenten eines Myrinet-Clusters Schnittstellen Myrinet/PCI,SBus, Desktop Hosts In-Cabinet Clusters 4 Link-Cables SAN (to 3m) LAN (to 25m) FIBER (to 500) Software Host Interface Cut-Through Switches VME Single-Board- Computer Clusters beliebige Netzwerk Topologie

5 9.1 Myrinet Netzwerk Vollduplex-Verbindungen mit hohen Datenraten SAN: 1,28 Gbit/s je Verbindung und Richtung bis 3 m LAN: 1,28 Gbit/s je Verbindung und Richtung bis 10 m 640 Mbit/s je Verbindung und Richtung bis 18 m 5 Glasfaser: 1 Gbit/s bis 550 m (Multimode-Faser) bis 10 km (Monomode-Faser) aktuell: Myrinet-2000 und (Juni 2006) Myri-10G 2+2 Gbit/s Durchsatz (Myrinet 2000, duplex) bzw. 10 Gbit/s Durchsatz (Myri-10G) MPI-Latenzzeit: µs (Myrinet-2000) bzw. 2 µs (Myri-10G)

6 9.1 Myrinet Paketvermittlung Fehlerüberwachung und Flusskontrolle auf jeder Verbindung Cut-Through-Schalter (4,8, und 16 Ports) beliebige und skalierbare Topologien Netzwerk-Adapterkarten programmierbar LANai-Prozessor-Familie 6

7 9.1 Myrinet Myrinet Netzwerkadapter-Schnittstelle One-Port / Two-Port- Variante ~490 bis ~800 MB/s Bandbreite 2.6 bis 3.5 µs Latenzzeit MPI-Latenz (zwischen 2 Dual-Opterons Knoten und einem Switch-Durchgang) Preis (Stand 2005) zw. 500 $ und 800 $ 7

8 9.1 Myrinet Programmierbarer Netzwerk-Adapter CPU MCP Speicher 500 MB/s SAN port Netzwerk Schnittstelle 1067 oder 1600 MB/s Netzwerk DMA LANai 9 chip MCP Fast SRAM 32-Bit RISC DMA- Kontroller PCI DMA chip Bridge OS-Host-Bus 533 MB/s 8

9 9.1 Myrinet geeignet für PCI-32, PCI-64, PCI-X frühere Versionen auch SUNs SBus auch mehrere Myrinet-Karten gleichzeitig in einem Host-Rechner einsetzbar RISC-Prozessor LANai 225 MHz bzw. 333 MHz führt MCP (Myrinet Control Program) aus Interaktion mit Treibern im Host-Rechner und Benutzer- Bibliothek durch Jobs-Warteschlange Senden, Empfangen, Puffern von Paketen Verwaltung der Adresstabellen, Routing Netzwerküberwachung 9

10 9.1 Myrinet ermöglicht Kommunikation ohne BS Benutzer-Ebenen-Kommunikation schneller SRAM-Speicher 2 MByte enthält MCP Zwischenspeicher für ein- und ausgehende Pakete Sende- und Empfangs-Deskriptoren (s. Kap. 8; VIA) Zugriff von DMA-Einheiten oder durch den Host per PIO bzw. DMA-Transfer 10

11 9.1 Myrinet Myrinet-Schalter (Switch) Technologie: cut-through-routing nicht wie häufig üblich store-and-forward Strategie: keine Zwischenspeicherung Datenpaket wird am Beginn blockiert wenn Empfang besetzt ist wenn nicht, anhand des Datenpaket-Kopfes Ausgang bestimmen und Datenstrom sofort weiterleiten 11

12 9.1 Myrinet Basiseinheit sog. Line Cards mit je 8 Ports Myrinet-Schalter aus Basiseinheiten modular zusammensteckbar Myrinet2000-Switch Kosten zwischen $ bis $ 12

13 9.1 Myrinet Schalter mit 128 Anschlüssen und Überwachungs- Einrichtungen über Ethernet und SNMP (simple network message protocol) erkennt automatisch Abwesenheit einer Verbindung 13

14 9.1 Myrinet verschiedene Topologien realisierbar durch Verbindung zwischen verschiedenen Schaltern Topologie wird nach Einschalten automatisch erkannt 14

15 9.1 Myrinet Myrinet-Software im Gesamtüberblick Anwendungen Versch. Protokolle MPI VIA Middleware Host BS UDP Ethernet IP TCP Myrinet BS Umgehungs- APIs (mehrere Benutzer Prozesse) Gigabit/s user-to-user Myrinet Kontroll-Programm ausgeführt in Myrinet-Schnittstelle Message Passing Interface Virtual Interface Architecture 15

16 9.1 Myrinet Myrinet-Software besteht aus zwei Teilen Myrinet Kontroll-Programm (MCP) ausgeführt auf LANai Treiber im BS des Host-Rechners realisiert Einbindung ins BS MCP durch Treiber beim Booten in SRAM geladen durch Treiber-Reset-Signal gestartet arbeitet danach mit Host-Rechner und dem Netz zusammen erwartet Befehle entweder über API seitens Anwender bzw. über Treiber seitens Host-BS 16

17 9.1 Myrinet Ablauf einer Kommunikation in Myrinet [Bhoedjang/Rühl/Bal, Vrije Universiteit Amsterdam, User-Level Network Interface Protocols, IEEE Computer, Nov. 1998] Beispiel für einfaches Protokoll Ablauf in 8 Schritten 17

18 9.1 Myrinet 1. Host A kopiert Daten in DMA-Bereich 2. Auftrag an LANai für Senden durch Schreiben eines sog. Deskriptors in Sende-Ring 3. Übernahme des Auftrags durch Lesen Deskriptor durch LANai 4. Daten über DMA-Transfer aus Hauptspeicher in SRAM kopieren 5. DMA aus SRAM vom Sender über Netzwerk in SRAM Empfänger übertragen 6. Identifikation eines nicht-leeren Empfangspuffers durch LANai 7. Daten über DMA-Transfer aus SRAM in Hauptspeicher kopieren 8. Kopieren der Daten in Benutzerdatenstruktur 18

19 9.1 Myrinet DMA versus PIO mit Myrinet 1.Blick: eindeutig DMA jedoch Initialisierungs-Kosten beachten bis 1 KByte PIO überlegen 19

20 9.2.1 SCI Einleitung Entwicklung Ende der 80er Jahre Ziel "Superbus" speziell mit Unterstützung für Multiprocessing 1987 Standard für 'Futurebus' Projekt (IEEE 896) auf drängen der US Navy bis 1991 zum 'Futurebus+' weiterentwickelt (mehr Prioritätslevels, höhere Performance ) in Anlehnung an die Konzepte vom gleichzeitig entwickelten 'SerialBus' (IEEE 1394; 'FireWire' o. 'ilink') wird 1992 der SCI-Standard IEEE 1596 festgeschrieben 20

21 9.2.1 SCI Einleitung Bus-Technologie jedoch nicht geeignet: Bus wird schnell zum Flaschenhals Busgeschwindigkeit erreicht schnell Limits Bus-Architektur komplex / teuer; nur kurze Buslängen möglich 21 Ausweg: SCI Standard 1992 (IEEE 1596) nur Punkt-zu-Punkt Verbindungen verteilter gemeinsamer Speicher (Distributed Shared Memory Architektur; DSM) bietet optionale Cache-Kohärenz spezifiziert Transaktionen für Zugriff auf gemeinsamen Speicher in Hardware

22 9.2.1 SCI Einleitung Hardware-gestützes kohärentes Speichersystem Cachekonzept ist wichtig für Performance (gerade bei schnelleren Mikroprozessoren) evtl. viele lokale Kopien eines Datums Mechanismen für Cache-Kohärenz nötig Gewährleistung der Kohärenz in Hardware nötig für Performance Cache-Kohärenz wird jedoch aufgrund der Komplexität meist bei SCI-Implementierungen nicht mitimplementiert 22

23 9.2.2 SCI Verbindungen SCI definiert nur Punkt-zu-Punkt Verbindungen (unidirektional; 2 Stück pro Link) parallele Datentransfers im Gegensatz zu Bussystemen keine Signalprobleme, wie bei Bussystemen (z.b. kapazitive Lasten etc ) Anzahl der Links wächst mit Anzahl der Knoten (Gesamtbandbreite skaliert mit) Geschwindigkeit der Links wächst mit Technologie 23

24 9.2.2 SCI Verbindungen parallele (kurze Distanzen) und serielle (längere Distanzen) Übertragung möglich (basiert auf denselben Protokollen) heute sind parallele Links bis zu einigen Metern üblich Paket-orientierte Kommunikation 24 Trennung der Transaktionen in request und response Phase Request: Anforderung stellen (read or write) Response: Antwort (Lesen oder Schreiben durchführen)

25 9.2.3 SCI DSM Nachbildung gemeinsamen Speichers Verteilung auf lokalen Speicher der Knoten (Distributed Shared Memory) im Knoten wird festgelegt, welcher Teil des Speichers nur lokal und welcher für das DSM verwendet wird Adressierung durch 64-Bit-Adressschema 16 Bit Node-ID und 48 Bit Speicheradresse DSM-Unterstützung implementiert in SCI- Hardware keine OS-Unterstützung nötig 25

26 9.2.3 SCI DSM Hardware-basierter verteilter gemeinsamer Speicher (Distributed Shared Memory (DSM)) Speicherzugriff kann z.b. per DMA-Transfer realisiert werden (kaum CPU-Last) transparent für Prozessoren (nur simple load / store Operation) 26 von SCI unterstützte Eigenschaften für Hardware-DSM: read, write, lock memory Message Passing globale Zeit Synchronisation Interrupts senden an andere Knoten Broadcasts

27 9.2.3 SCI DSM 64-Bit Adress-Schema Unterteilung in zwei Teile: 16 Bit Node-ID (64k Knoten) 48 Bit Adressraum innerhalb eines Knotens 27 Übersetzung der 48-Bit-Adressen in heute übliche 32-Bit-Adressen mittels Adress Translation Tables (ATT) System 0 (Node ID 0) Physical Address Space Adapter Address Range 0 I/O to SCI Address Mapping xgb Address Translation Page Table ID=1 ID=2 ID=3 OAddr OAddr OAddr Address Mapping Generates 64-bit SCI Address SCI access address protection System 1 (Node ID 1) System 2 (Node ID 2) System 3 (Node ID 3) Address space shared with System 0 (and possibly other systems) Private Memory Shared Memory

28 9.3 Gigabit-Ethernet Verwendung eines Hochleistungs-Standard- Netzwerks Ethernet ist weit verbreiteter Standard Skizze Ur-Ethernet 28 Gigabit-Ethernet (GBit-Ethernet) bringt hohe Leistung

29 9.3.1 Gigabit-Ethernet - Einführung eigentliches Haupteinsatz-Gebiet Backbone-Netz 100 MBit/s 100 MBit/s 1 GBit/s 1 GBit/s 10 MBit/s 100 MBit/s 100 MBit/s 29

30 9.3.1 Gigabit-Ethernet - Einführung GBit-Ethernet in Clustern warum? Kosten (Verkabelung) CAT5 bzw. 62,5 µm M(ulti-)M(ode) Lichtwellenleiter Marktakzeptanz speziell Ethernet Ende 1997 waren ca. 85% (ca. 118 Millionen) aller installierten Netze Ethernet-Netze 1998: 48 Millionen verkaufte Ethernet Netzwerkkarten 90% des Gesamtmarktes Der Rest besteht vorwiegend aus: Token Ring FDDI (Fiber Distributed Data Innterface) ATM (Asynchonous Transfer Mode) andere 30

31 9.3.1 Gigabit-Ethernet - Einführung Unterstützung alle wichtigen Betriebssysteme unterstützenbereits Ethernet Protokolle -> teuere Neuimplementierung entfällt Skalierbarkeit Ethernet-Komponenten abwärtskompatibel Komponenten verschiedener Geschwindigkeiten in einem Netz einsetzbar Verfügbarkeit von Software z.b. Netzwerkmanagement und Problemsuche für vorherige Ethernet-Versionen verfügbar damit leichter anpassbar an Gigabit-Ethernet 31

32 9.3.2 Überblick Standards Standard Bezeichnung Jahr Mbit/s Topologie Max. Segmentlänge Kabeltyp Base-5 Ethernet Bus 500 m RG 8 Koaxialkabel Base-2 Cheapernet Bus 200 m RG 58 Koaxialkabel Base-T Bus 100 m Cat 3 Twisted Pair Base-F Bus 500 m / 2 km Glasfaser 62,5 µm 50 µm 85 µm 100 µm Base-T Fast- Ethernet Logisch: Bus Physikalisch: Stern 100 m Cat 5 Twisted Pair UTP/STP 802.3u 100Base-F Stern 2 km Glasfaser 62,5 µm 32

33 9.3.2 Überblick Standards Standard Bezeichnung Jahr Mbit/s Topologie Max. Segmentlänge Kabeltyp 802.3z 1000Base SX Stern 220 m 275 m 500 m 550 m 62 µm MM Faser Bandbreite: 160 oder 200 [ MHz*km] 50 µm MM-Faser Bandbreite: 400 oder 500 [MHz*km] 802.3z 1000Base LX Stern 550 m 5 km 62 µm MM Faser Bandbreite: 500 [MHz*km] 50 µm MM-Faser Bandbreite: 400 oder 500 [MHz*km] 10 µm SM-Faser 802.3z 1000Base CX 802.3ab 1000Base- T Stern 25 m Stern 100 m Twinax Kupferkabel Cat 5, Cat 5e, Cat 6 1, Cat7 1 33

34 9.3.3 Ethernet-Komponenten Bitübertragungsschicht Physikalische Eigenschaften 10 Mbit Ethernet-Segment Koaxkabel mit 50 Ohm mit bis zu 500 m Länge Segmente werden angezapft über Taps mit mindestens 2,5 m Abstand Transceiver (Transmitter + Receiver) an Tap angeschlossen erkennt ungenutzte Leitung und steuert Übertragung der Signale leitet ankommende Signale weiter 34

35 9.3.4 Schichten Ethernet allgemeines Schichtenmodell für Netzwerke ISO/OSI-Referenzmodell Anwendung Anwendungsprotokoll Anwendung Darstellung Darstellungsprotokoll Darstellung Sitzung Sitzungsprotokoll Sitzung Transport Transportprotokoll Transport Vermittlung Vermittlung Vermittlung Vermittlung Sicherung Sicherung Sicherung Sicherung Bitübertragung Bitübertragung Bitübertragung Bitübertragung 35 Subnetzumgebung

36 9.3.4 Schichten Ethernet Schichtenaufbau Ethernet LAN CSMA/CD Schichten Anwendung Darstellung Sitzung Transport Vermittlung Sicherung Bitübertragung OSI Referenzmodell AUI MDI GMII MAU LLC - Logical-Link-Control MAC Control (optional) MAC - Media Access Control PLS Reconciliation Reconciliation Reconciliation MII MII GMII PLS PCS PCS AUI AUI PMA PMA PMA PMA PMD PMD MDI MDI MDI MDI Medium Medium Medium Medium 1 Mbps 10 Mbps 10 Mbps 100 Mbps 1000 Mbps = Attachment Unit Interface = Medium Dependent Interface = Gigabit Media Independent Interface = Medium Attac hment Unit PLS PCS PHY PMD = Physical Layer Signaling = Physical Coding Sublayer = Physical Layer Device = Physical Medium Dependent 36

37 9.3.5 Datensicherungs-Schicht aufgeteilt in drei Unterschichten LLC (Logical Link Control) realisiert fehlerfreie, verbindungslose und bestätigungslose Punkt-zu-Punkt-Übertragung MAC Control optionale Flusskontrolle, d.h. kann Empfänger mit der Sendegeschwindigkeit mithalten MAC (Medium Access Control) regelt den Zugriff mehrerer Kommunikationspartner auf ein gemeinsam genutztes Broadcast-Medium MAC Adressierung Kollisionserkennung 37

38 9.3.5 Datensicherungs-Schicht MAC Kollisionserkennung Back-Off-Algorithmus i-te Kollision: Zufallszahl x aus i -1 wählen x * 51,2 µs warten Sendeversuch Medium frei? Ja Daten senden und Medium abhören Nein Meldet MAU Kollision? Ja JAM-Signal senden Warten gemäß Bac koff-algorithmus Nein 38

39 9.3.5 Datensicherungs-Schicht MAC Kollisionserkennung minimale Ethernet-Rahmenlänge: 64 Byte + 64 Bits Rahmenpause τ A B 10 Mbit/s 100 Mbit/s 1000 Mbit/s l τ v = 2 57, s 2,0 10 m s C Mbps = 5760 max 10 = l l τ v = 2 5, s 2,0 10 m s C Mbps = 576 max 100 = τ v = 2 0, s 2, m s C Mbps = 57, 6 max 1000 = 2 8 m m m 39

40 40 9 Netzwerke in Cluster-Rechnern Datensicherungs-Schicht 20 m für GBit-Ethernet zu gering (für Cluster evtl. ausreichend) Rahmen mit 512 Byte l τ v 2 4, schlecht bei kleinen Paketen 6 s 2,0 10 m s C Mbps = = 416 max 1000 = Bsp.: 46 Byte Nutzdaten bei 64 bzw. 512 Byte minimale Rahmenlänge O 64 Byte = Framelänge + Kollisionspause Nutzdaten = 64 Byte + 8 Byte 46 Byte = 26 Byte O 64 Byte 40 % O 512 Byte = Framelänge + Kollisionspause Nutzdaten = 512 Byte + 8 Byte 46 Byte = 474 Byte O 512 Byte 92 % 2 8 m

41 9.3.5 Datensicherungs-Schicht Burst-Rahmen: Bündeln von MAC-Rahmen Obergrenze: 8 Kbyte Damit wird bei 46 Byte Nutzdaten pro Frame eine Ausnutzung von 65,11 % erreicht andere Lösung P2P-Übertragung mit Switch keine Kollision auf Netz 41