Seminar Cluster Interconnects. Infiniband. Holger Fröning Lehrstuhl für Rechnerarchitektur Universität Mannheim

Transkript

1 Seminar Cluster Interconnects Infiniband Holger Fröning Lehrstuhl für Rechnerarchitektur Universität Mannheim

2 Motivation - I/O Subsystem Evolution PCI: 1993 (Peripheral Component Interconnect) 33,3 MHz x 32 Bit = 133 MB/s 66,7 MHz x 64 Bit = 533 MB/s PCI hat Bus-Architektur, kann mit der Bandbreite von Endgeräten und Memory-Bus nicht mehr mithalten 2

3 Motivation - I/O Subsystem Evolution PCI-X: ,3 MHz x 64 Bit = 1066 MB/s => wahrscheinlich zu wenig zu spät, ist heute up-to-date aber noch nicht verbreitet, immer noch Bus-Architektur 3

4 I/O Subsystem Future Next Generation I/O (NGIO): Intel, Microsoft and Sun Future I/O: Compaq, IBM and Hewlett-Packard haben sich zusammengeschlossen zur Infiniband Trade Association Steering committee: Compaq, Dell, IBM, HP, Intel, Microsoft, Sun 80+ Mitglieder definieren den Standard von Infiniband 4

5 I/O Subsystem Future Infiniband: MHz x 1-12 Bit = 2.5 GB/s - 30 GB/s keine Bus-Architektur mehr ausreichende Kapazität auch für die Zukunft auch Adapter für PCI/PCI-X vorgesehen Netzwerkstruktur gleich mit vorgesehen 5

6 Grundlagen - Netzwerke Die Performance eines Netzwerks wird im wesentlichen durch die folgenden Parameter festgelegt: Funktionalität: Data-Routing, Interrupt-Handling, Synchronization, Request/Message- Combining, Coherence Latenz: Worst-case time delay für eine Nachricht durch das Network Bandbreite: Maximale Datentransferrate Komplexität der Hardware: Kosten für Implementationen der Verbindungen, Switches, Routers, NIC Skalierbarkeit: Möglichkeit das Network modular zu erweitern, so daß die Performance möglichst proportional mitwächst Netzwerke werden auch folgendermassen eingeteilt: Direkte Netzwerke: Jeder Knoten hat eine direkte, nicht geschaltete Verbindung zu einer Teilmenge der restlichen Knoten, genannt Nachbarknoten. Indirekte Netzwerke: Die Knoten sind untereinander über Schaltelemente verbunden (Switches, Routers). 6

7 Grundlagen - Netzwerke Netzwerke können auch anhand der Lokalisation des NIC charakterisiert werden: 1. NI-1: NIC im Prozessor mit implementiert, beste Einbindung in das System, NIC sehr systemabhänig, Cache-Kohärenz bleibt erhalten, hohe Bandbreite, spezielle Maschinenbefehle für Kommunikation 2. NI-2: NIC am Systembus angeschlossen, Cache-Kohärenz bleibt erhalten, Implementierung der NIC systemabhängig 3. NI-3: NIC am I/O-Bus angeschlossen, latenzbehaftet, Cache-Kohärenz geht verloren, Bandbreite eingeschränkt, aber einfacher modularer Aufbau, NIC nicht systemabhängig Wobei NI-1 am besten, NI-3 am schlechtesten für die Performance ist. 7

8 Grundlagen - Netzwerke(Switching) 1. Circuit switching: Aufbau eines Pfades von Sender zu Empfänger, für diese Nachricht reserviert. + Nachricht kann nicht blockiert werden + Puffer in den Knoten ist nicht notwendig - Overhead wegen Verbindungsauf- und abbau - Verringert Netzwerk-Performance wegen Blockierungen ohne Datenübertragung - Interleaven mehrerer Nachrichten nicht möglich => veraltet, wird eigentlich nicht mehr verwendet 8

9 Grundlagen - Netzwerke(Switching) 2. Packet switching: (Store-and-Foreward) Nachricht wird in Pakete aufgeteilt, welche unabhängig voneinander zum Empfänger geroutet werden, Pakete werden in Knoten zwischengespeichert + Ressource (Verbindung) wird nur belegt, wenn auch benötigt + Alternative Wegewahl ist möglich - Benötigte Zeit zum Übertragen ist proportional zur Anzahl der Hops - Puffer in den Knoten notwendig => nicht mehr zeitgemäß, aber noch oft anzutreffen 9

10 Grundlagen - Netzwerke(Switching) 3. Virtual cut-through: Erweiterung des packet switching, Paket wird nur im Knoten zwischengespeichert, wenn Verbindung belegt ist, + Latenz im Idealfall unabhängig von der Anzahl Hops - Puffer muss ausreichen für alle Pakete auf einem Weg, die Grösse des Puffers beschränkt die Effizienz von Virtual cut-through. => Wirksame Verbesserung von Paket switching, wird aber durch die Grösse des Puffers, welcher teuer ist, beschränkt 10

11 Grundlagen - Netzwerke(Switching) 4. Wormhole switching: Erweiterung von Virtual cut-through, Pakete werden in Form von flits (Flow units) versendet, der Header-flit enthält die Routing- Information und die anderen flits die Daten. Die flits werden in der Art einer Pipeline durch das Netz gesendet, alle nachfolgenden folgen dem Header-flit. + Keine großen Puffer mehr benötigt + Latenz unabhängig von der Anzahl Hops - Zwei Nachrichten können nicht auf einer Verbindung verschränkt werden - Hohes Blockierungspotential => Erhöhung der Deadlock-Gefahr => beste Strategie, aber Deadlockerkennung sollte beachtet werden 11

12 Vergleich Latenz: Grundlagen - Netzwerke(Switching) => Wormhole switching ist schneller als Paket switching 12

13 Grundlagen - Netzwerke(Switching) Deadlocks bei Wormhole switching: Bei dem Wormhole switching besteht eine erhöhte Deadlock-Gefahr, da durch eine Nachricht ganze Pfade durch das Netzwerk belegt werden und es aufgrund fehlender Routing-Information in den einzelnen Flits keine Möglichkeit des Interleaving von mehreren Paketen gibt. Lösungsansätze: Mehrdimensionale Topologien (Torus) Dimension order routing Mehrere virtual channels pro physical channel Vermeidung durch Torus Vermeidung durch Deadlock Dimension order routing 13

14 Routing Strategien: Grundlagen - Netzwerke(Routing) Source Path hat den Vorteil, daß die Logik in den Knoten klein und schnell gehalten werden kann, Sender entscheidet Routing. Besser für Cluster-Interconnects Table-Based hat den Vorteil, daß der Knoten über die Topologie besser informiert ist als der Sender, abgehende unterbrochene Verbindungen werden sofort erkannt, es können Alternativen gewählt werden, wobei sonst hier dann Flusskontrolle notwendig wäre. Besser für normale Rechnernetze. 14

15 Motivation - High-Speed-Networks Typ MBit/s Switching Routing Ethernet NI packet table-based Fibre Channel NI packet table-based ATM NI packet table-based Myrinet NI wormhole source-path ServerNet II NI wormhole table-based Memory Channel NI packet table-based Synfinity NI wormhole source-path SCI NI packet table-based HIPPI NI packet table-based Infiniband NI packet table-based Packet-Switching nicht mehr zeitgemäß. Table-Based- oder Source-Path-Routing von der Anwendung abhängig. 15

16 Infiniband - Überblick Das Infiniband-Netzwerk besteht aus folgenden Komponenten: 1. Host Channel Adapter (HCA): Verwendet in Server/Workstations 2. Target Channel Adapter (TCA):Verwendet in Geräten wie RAID-Subsystem, Storage-Subsystem, Hard-Drives 3. Switches: Endknoten werden innerhalb eines Subnetworks über Switches verbunden 4. Router: Verbindet Switches mehrer Subnetworks 5. Repeater: Signalregeneration 6. Links: Verbindungen zwischen oben genannten (über Kupferkabel, Glasfaser oder printed circuit) => Der System-Bus wird erweitert in der Form, daß Geräte physikalisch eigenständig und über serielle Verbindungen angeschlossen sind. IP Version 6 wird als Adressierungsart unterstützt. (128 bit) 16

17 Physikalisch: 2.5 GHz Infiniband - Verbindungen 8b/10b-Codierung => 2 GBit/s Punkt-zu-Punkt und unidirektional Bidirektionale Verbindungen werden über zwei physikalische implementiert. Durch Bündelung meherer physikalischer Verbindungen: 4-fach: 10 GBit/s (effektiv 8 GBit/s) Verbindung 12-fach: 30 GBit/s (effektiv 24 GBit/s) Verbindung mehr in Vorbereitung, auch höhere Bandbreiten pro physikalischer Verbindung in Vorbereitung Verbindungen sind definiert über: Kupferkabel: bis 17m Printed Circuit: bis 60 cm Glasfaser: Monomode bis nm (nur für 1-fache Verbindung) Mulitmode: 50/125 bis 250m, 62.5/125 bis Injection-Rate-Control: sorgt für verlustfreien Übergang von schnellere auf langsamere Verbindungen: Zwischen zwei Pakete wird ein IPD (Inter-Packet-Delay eingefügt). 17

18 Infiniband - Topologie Subnetwork Network Verbindungen können redundant ausgelegt werden, sind auch ohne Switches möglich als direkte Verbindungen zwischen zwei Channel Adapters. 18

19 Infiniband - Channel Adapter Channel Adapter besteht aus: Global Unique Identifier (GUID): Zugewiesen vom Hersteller Ports: Mehrere pro CA möglich, jeder Port hat folgende Elemente: Local Identifier (LID): im Subnetwork eindeutig (16 Bit) Global Unique Identifier (GUID): vom Hersteller zugewiesen (64 Bit) Global Identifier (GID): enspricht der IPv6-Adresse, mehrere möglich (128 Bit) Send/Receive Buffer: Simultanes Arbeiten der Ports möglich Memory and Translation Mechanism (MTP):Konvertierung der virtuellen zur physikalischen Adresse sowie Überprüfung der Zugriffsrechte Subnet Management Agent (SMA): bestimmt über den Subnet Manager die LIDs der Ports Queue Pairs: Jede stellt eine Instanz für den Consumer dar, max. Anzahl 2 24 Virtual Lanes (VL): Mehrere über eine physikalische Verbindung möglich 19

20 Queue-Prinzip: Infiniband - Queues Grundlage von Infiniband sind die Queue Pairs (QP), bestehen jeweils aus einer Send- und einer Receive-Queue. In einer Queue werden Instruktionen für den Channel Adapter als Work- Requests gespeichert. Normalerweise enthält die Send-Queue Instruktionen für den Datentransfer und die Receive- Queue wo Daten abzuspeichern sind, die von einem anderen Knoten stammen. Jeder Send- und Receive-Queue wird eine Completion Queue zugeordnet, wo der Channel Adapter abgearbeitete Work Requests abspeichert 20

21 Infiniband - Virtual Lanes Jede Verbindung ist in Virtual Lanes (VL) eingeteilt. Es existieren 2 bis 16 VLs pro Verbindung, VL15 ist für Management reserviert. Es muss mindestens eine Daten-VL (VL0) existieren. VL werden nur zwischen Ports definiert. Jedes Paket spezifiert zu welcher VL es gehört. Jeder Port stellt über seine VL seperaten Flow Control bereit, d.h. eine blockierte VL blockiert keine anderen. Wenn zwei physikalisch verbundene Ports eine unterschiedliche Anzahl von VLs bereitstellen, einigen sie sich auf die kleinere von beiden. => Sicherstellung von QoS, Vermeiden von Deadlocks 21

22 Infiniband - Keys Keys sind in Nachrichten enthalten und stellen Protection und Isolation im Netzwerk sicher. Die Keys selbst sind aber nicht sicher, d.h. können abgehört werden. Arten von Keys: Management Key (M-Key): Wird jedem Port und jedem Switch vom Subnet-Manager zugewiesen, kann für jeden Port verschieden sein. Der Port wird alle Management-Pakete verwerfen, bei denen der Key nicht mit dem beim Initialisieren zugewiesenen übereinstimmt. Kann nicht gelesen werden und verfällt nach einem bestimmten Time-out. Baseboard Management Key (B-Key): Analog M-Key, nur für den Baseboard-Manager des Subnets. Partition Key (P-Key): Jeder CA und Switch hat Tabelle mit P-Keys, die Zugehörigkeit zu bestimmten Partitions darstellen. Vollzugriff, Nur-Lesen und kein Zugriff möglich. Kontrolliert durch den Partition-Manager des Subnets. Queue Key (Q-Key): Durch den CA verwaltet, wird bei der Initialisation von Datagramm- Servicen zwischen zwei CAs ausgetauscht. Pakete mit falschen Q-Key werden verworfen. Memory Keys (L-Key und R-Key): Durch sie sind virtuelle Adressen und Zugriffsrechte auf diese definiert. Werden auch durch den CA vergeben. Der Consumer registriert durch den CA einen Speicherbereich und erhält einen L- und R-Key. Der L-Key wird in Work Request verwendet um Speicherbereiche zu beschreiben und der R-Key wird dem Remote Consumer mitgeteilt, um darauf zuzugreifen. R-Key stellt also bei einem RDMA-Zugriff die Zugriffsrechte und den Speicherbereich dar. 22

23 Infiniband - Management Der Subnet-Manager stellt folgende Funktionen bereit: Initialisierung und Konfiguration der einzelenen Elemente des Subnets Aufbau von Pfaden durch das Subnet Bei Änderungen der Topologie obiges überprüfen Schutz vor nicht authorisierten Subnet-Managern Sicherheit durch M-Keys Subnet-Management-Packets (SMP) werden auf einer eigenen VL versandt, d.h. sind nicht von Blockierungen des Netzwerks betroffen. Bei der Initialisierung des Netzwerks können SMP mit Source-Path-Routing versandt werden, da ja die Topologie noch nicht bekannt ist. Switches werden so auch nach ihrer Konfiguration (Anzahl Ports, etc.) gefragt. 23

24 Infiniband - Operationen Klassen von Work Queue Operationen: 1. Send: Work Queue Element (WQE ) spezifiert Speicherbereich der gesendet werden soll, sowie Zieladresse 2. RDMA-Write: WQE spezifiert Speicherbereich des Senders und Empfängers sowie Zieladresse, bereits generiertes WQE in der Receive Queue des Empfängers spezifiert Speicherort. 3. RDMA-Read: WQE spezifiert Speicherbereich des Senders und Empfängers sowie Zieladresse, WQE in der Receive Queue des Empfängers nicht benötigt 4. ATOMIC: Spezifiert 64-bit Speicheradresse des Empfängers, die gelesen, modifiziert zurückgeschrieben und zurückgesendet werden soll. Zwei Arten sind definiert: Fetch-and-Add: Request enthält Adresse, R-Key, Add-Data. Wert wird gelesen, Data addiert und zurückgeschrieben. Endian-Formate bleiben erhalten. Compare-and-Swap: Request enthält Adresse, R-Key, Write(Swap)- Data und Compare-Data. Wert wird gelesen, wenn gleich mit Compare-Data wird Write-Data zurückgeschrieben. In beiden Fällen wird der originale, gelesene Wert zurückgeliefert und die Endian-Formate bleiben auch erhalten (auf der Leitung immer Big-Endian). 5. MEMORY BINDING: Freigabe von Speicherbereichen an andere Endknoten, Zugriffsrechte werden über R_KEYS implementiert, über die dann andere mittels RDMA auf den Speicher zugreifen können. 24

25 Datentransfer Methoden: Reliable Connection Unreliable Connection Reliable Datagramm Unreliable Datagramm Mulitcast (optional) Raw Datagramm (optional) Infiniband - Datentransfer Beim verbindungsorientierten Dienst wird jedem QP genau ein Empfänger zugeordnet. Beim Datagramm-Dienst wird der Empfänger jeweils in dem WQE spezifiziert. Reliable bedeutet, daß die Sequenznummern überprüft werden, doppelte Pakete verworfen werden, verlorengegangene Pakete erneut gesendet werden sowie Bestätigungen and den Sender zurück gesendet werden. 25

26 Infiniband - Comparison of Transport Services 26

27 Infiniband - Verbs Stellt Software-Schnittstelle zwischen Consumer und Host Channel Adapter dar. Definiert Funktionen für Konfiguration, Management und Nutzung des HCA. Nicht definiert für TCA. Verbs stellen keine API dar, sie sind vielmehr eine Vorschrift für die verschiedenen Hersteller, wie eine API zu implementieren ist, so daß die Vorteile verschiedener Architekturen am besten ausgenutzt werden können. 27

28 Infiniband - Switches Im Gegensatz zu den Channel Adapters erzeugen/verbrauchen die Switches keine Messages (ausser zu Management-Zwecken). So sind sie auch transparent zu den Endknoten, können also nicht direkt adressiert werden (ausser zu Management-Zwecken). Der Destination-LID stellt für den Switch einen Weg durch das Netzwerk dar, mittels Forwarding-Tables wird ein einkommendes Packet auf einen Ausgangs-Port gelegt. Die Forwarding-Tables werden vom Subnet-Manager konfiguriert. Er entscheidet auch über Alternativ-Pfade. Explizite Pfadwahl ist für Management-Packets über Source Path Routing möglich. Forwarding Tables: Linear: Tabelle mit LID als Index und Destination Port als einzige Spalte Random: Analog linear, nur existieren in der Tabelle nicht für alle LIDs ein Eintrag, der Switch kann die Anzahl LIDs pro Port auf einen LID limitieren. Es muss aber ein Default- Port angegeben sein. Ein Random-Forwarding-Table kann so viel kleiner als ein Linear- Forwarding-Table sein. Multicast-Relay (optional): Implementiert über einen Mulicast-Forwarding-Table, Multicast-LID als Index und Spalten mit Destination Ports. Sind für eine Multicast-LID mehere Ports angegeben, muss das Packet repliziert werden. 28

29 Infiniband - Routers Stellen Verbindungspunkte zwischen SubNets dar. Router implizieren: Skalierbarkeit Wiederverwendbarkeit des lokalen Adressraums: LIDs müssen nur innerhalb eines SubNets eindeutig sein Einschränkung der Subnet-Manager auf ein SubNet Funktionalität: Forwarden Pakete anhand des Global Route Headers (GRH), also der GID, modifizieren den Local Route Header (LRH). Zwischen-Router setzen die LID des nächsten Routers im SubNet ein, der letze Router die LID des Empfängers. Router sind adressierbar, d.h. nicht transparent (Gateway-Funktionalität), Pakete für andere Subnetze müssen den LID des Routers des Subnets vom Sender sowie die GID des Empfängers enthalten. 29

30 Infiniband - Communications Stack 30

31 Infiniband - Transaction Flow Beispiel: Versendung einer Nachricht 1. Consumer will Message versenden 2. WQE wird durch Verbs(=API) erzeugt, in der Send-Queue plaziert 3. CA interpretiert und überprüft WQE, virtuelle Adressen werden nach physikalischen umgewandet 4. Daten werden gesammelt, evtl. in einzelne Pakete verteilt 5. Packete werden Header versehen, sowie den ICRC und VCRC 6. Packete werden durch das Subnet geroutet 6a. Switches können die VL ändern, dadurch auch den VCRC 6b. Router müssen die LID ändern, dadurch auch den VCRC 7. Bei der Ankunft beim Empfänger werden die CRC geprüft 8. Target-QP wird ermittelt und Paket an diese Receive-Queue weitergeleitet 9. Mittels Informationen der Receive-Queue nochmalige Überprüfung (Sender, Sequenznummer) sowie Feststellung der vorgesehenen virtuellen Adresse 10.Translation virtuelle nach physikalische Adresse, Speicherung 11. Versendung von ACK (Reliable Services können auch NACKs versenden) 12. Sender empfängt ACK und erzeugt Element in der Completion Queue 31

32 Infiniband - Packet Format Beispiele 32

33 Infiniband - Flow Control Ziel: Verlust von Paketen durch Buffer-Overrun in den Knoten vermeiden Basiert auf Credit-based Flow-Control, d.h. Endknoten darf nur senden wenn er entsprechende Anzahl von Credits hat. Jede VL hat eigenen Flow Control FCTBS: Flow Control Total Blocks Sent (von der Send-Logik generiert, 12 Bit) Initialisiert mit Null, jedes Senden eines Flow-Control-Packets setzt FCTBS gleich der Anzahl gesendeter Blöcke. FCCL: Flow Control Credit Limit (von der Receive-Logik generiert, 12 Bit) Adjusted-Blocks-Received Feld (ABR) : 12 Bit Eingehendes Flow-Control-Packet: ABR = FCTBS Eingehendes Daten-Packet: ABR = (ABR + Grösse) % 4096 Senden eines Flow-Control-Packets: Buffergröße Empfänger >= 2048:FCCL = (ABR ) % 4096 Buffergröße Empfänger < 2048: FCCL = (ABR + BufferEmpfänger) % 4096 Senden von Daten-Paketen: CR = FCTBS + (PaketGröße % 4096) % 4096 CL = letztes empfangenes FCCL (CL - CR) modulo 4096 <= 2048 => Paket darf gesendet werden Pakete der VL15 (Management, Flow Control) sind hiervon nicht betroffen 33

34 Infiniband - System Area Network Abschließendes Beispiel für ein SAN: 34

35 Infiniband - Bewertung + Gut skalierbare Lösung, die den ständig steigenden Anforderungen gerecht wird + Bandbreite einer Verbindung ist einfach zu erhöhen + Wegen RDMA ist Kommunikation zwischen Endgeräten ohne Eingriff(=Belastung) des Hosts möglich + QoS sichergestellt + Kompatibel mit IPv6 + Einbindung direkt an den System-Bus => kleine Latenzen - Keine revolutionären Neuerungen, eher veraltete Konzepte mit hohem Aufwand (2.5 GBit/s) verarbeitet. - One fits all : Zu universiell für spezielle, hochoptimierte Anwendungen wie Cluster Interconnects. - Einbindungen direkt an den System-Bus => Für jedes System eigene Entwicklung nötig 35

36 Agilent: SerDes (2.5 GBit/s) Physical Layer Tester Protocoll Analyser Traffic Generator PCI-Bridges Fibre Optics Eye Opener Lucent: SerDes (3.125 GBit/s) Infiniband - Hersteller LSI: SerDes (2.5 GBit/s), Network Processors(2.5 GBit/s, future: 40 GBit/s) for CA & Switches Mellanox: Network Processors: for TCA, HCA 36