Messbare Parameter von Netzwerken (1)

Transkript

1 Messbare Parameter von Netzwerken (1) Minimale Latenzzeit Verzögerung einer Kommunikation Zeit zwischen Absenden und Ankunft des Packet-Headers Einheit: Zeit, meistens in µs Vorgehen bei Messung: Ping-Pong Benchmark mit Austausch leerer Nachricht 0-Byte Vorheriges Warm-Up zugelassen Für exakte Zeitmessung mehrere Iterationen durchführen Latenzzeit = Ping-Pong-Zeit / Iter / 2 Wenn mehr als ein Prozessorpaar gleichzeitig Ping-Pong durchführen, dann steigt in Netzen mit kleiner Bisektionsbreite die gemessene Latenz (network congestion). J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 1 > Messbare Parameter von Netzwerken (2) Maximale Bandbreite Bestenfalls übertragbare Anzahl an Daten Einheit: Byte pro Sekunde Problem: Overhead nur bei Verwendung großer Datenpakete vernachlässigbar (O(MByte)) Oftmals durch Protokoll bedingt nur kleine Datenpakete fester Größe möglich Vorgehen bei Messung: Senden von großen Datenpaketen ohne dessen Zurücksenden Ping-Ping Benchmark mit Senden einer Eingangsbestätigung Bei mehreren Kommunikationspaaren gleichzeitig ist die Bandbreite abhängig von der Bisektionsbreite J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 2 > 1

2 Messbare Parameter von Netzwerken (3) Übertragungszeit Übertragungszeit V ist abhängig von Größe der Nachricht Einheit: Zeit, meistens in µs Problem: Übertragungszeit nicht unbedingt proportional zu der Größe des Datenpakets Treppenfunktion, falls Pufferung und Fragmentierung der Nachrichten durchgeführt wird Vorgehen bei Messung: Ping-Ping Benchmark mit Senden einer Eingangsbestätigung Verschiedene Größen an Datenpaketen messen J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 3 > Messbare Parameter von Netzwerken (4) Durchsatz Bandbreite bei bestimmter Größe eines Datenpakets Einheit: Byte pro Sekunde Vorgehen bei Messung: siehe Übertragungszeit Üblicherweise Diagramm (Durchsatz/Paketgröße) erstellen Half-Power-Point : Bei welcher Paketgröße wird die Hälfte der Bandbreite erreicht? J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 4 > 2

3 Vermittlungstechnik Bestimmung eines Kommunikationspfades zwischen zwei Knoten, falls keine Punkt-zu-Punkt-Verbindung vorhanden Leitungsvermittlung (circuit switching) versus Paketvermittlung (paket switching) Begriffe Routing = Wegebestimmung Switching = Art und Weise des Datentransfers innerhalb eines Vermittlungsknotens J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 5 > Leitungsvermittlung Zuerst werden Adressierungsdaten gesendet Im Zuge der Adressdekodierung bauen die Vermittlungsknoten einen Weg vom Sender zum Empfänder auf Wenn der Weg steht, dann folgen die Nutzdaten Während der nachfolgenden Nutzdatenübertragung ist kein weiterer Vermittlungs- oder Wegfindungsaufwand notwendig Expliziter Verbindungsabbau ist notwendig J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 6 > 3

4 Paketvermittlung Nutzdaten werden in Pakete eingeteilt. Jedes Paket wird mit Adressinformationen versehen (Paketkopf) und separat verschickt Verfahren berücksichtigt, dass Pakete verloren gehen oder in veränderter Reihenfolge ankommen können J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 7 > Paketvermittlung: Store&Forward Paket wird vollständig im Vermittlungsknoten aufgenommen (store), dann analysiert, dann über den ausgewählten Ausgang weitergeleitet (forward) Paket ist zu einer Zeit auf höchstens zwei Knoten und eine Verbindungsleitung verteilt Blockierungsgefahr ist gering Vermittlungsknoten benötigen ausreichende Pufferkapazität Mittlere Übertragungszeit ist proportional zu Paketgröße und Durchmesser des Netzwerks J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 8 > 4

5 Paketvermittlung: Wormhole Sobald Paketkopf angekommen ist, wird entschieden, über welchen Ausgang das ganze Paket weitergegeben wird Ist Ausgang belegt, wird Paketrest nicht angenommen Adresse (evtl. verkürzt/aktualisiert) verlässt ggf. den Switch noch ehe der Paketrest empfangen worden ist Paket ist ggf. über viele Knoten und Leitungen verteilt In jedem Vermittlungsknoten fallen nur die kleinen Zeiten für Adressdekodierung an Übertragungszeit ist damit unbedeutend vom Durchmesser des Netzwerks abhängig J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 9 > Blockierung beim Worm-Hole Routing Blaue Pfeile: Pakete die im Netz unterwegs sind Roter Pfeil: Paket kann nicht weiter vermittelt werden, weil Ausgang belegt ist J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 10 > 5

6 Paketvermittlung: Virtual Cut-Through Im Unterschied zum Wormhole-Routing wird hierbei im Blockierungsfall der Paketrest empfangen und zwischengespeichert. Das führt tendenziell dazu, dass Blockierungen lokalen Charakter haben und sich wieder auflösen, statt zu Verklemmungen zu führen J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 11 > Paketvermittlung: Vergleich Worm-Hole Virtual-Cut-Through J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 12 > 6

7 Tabellenbasiertes Routing Statisches Routingverfahren: für alle Zieladressen ist die Route vorberechnet Mit der dekodierten Adresse greift der Vermittlungsknoten in eine Tabelle und liest dort den für die Adresse zu verwendenden Ausgang Größe der Routing-Tabelle ist proportional zur Anzahl an Knoten im Netzwerk Id port Id port J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 13 > Source-Routing Der komplette Pfad wird vom Sender (Source) bestimmt Jedes Packet führt die Nummern der zu verwendenden Ausgänge der Reihe nach mit Die verwendete Ausgangsnummer wird an den nächsten Knoten nicht mehr mitgeschickt Id port 1 1,1 2 1, Id port , Id port ,0 J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 14 > 7

8 Weitere Kriterien an Verbindungsnetzwerke Erweiterbarkeit Netzwerk für beliebige Anzahl an Rechenknoten nutzbar Pro Knoten beliebige Anzahl an Verbindungen ins Netzwerk Kosten Annähernd konstante Kosten pro Rechenknoten, unabhängig von der Anzahl an Knoten Zuverlässigkeit Redundanz (Wege, Schalter, Interfaces) Zusätzliche Funktionalitäten Verschiedene Nachrichtentransporte (Synchron, Asynchron) Optimierungen für Gruppenkommunikation Remote-Direct-Memory-Access (RDMA) Dynamisch/adpative Wegewahl J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 15 > Generisches Verbindungsnetzwerk skalierbares Verbindungsnetzwerk CA CA Mem P Mem P Communication-Assistent (CA) initiiert Netzwerktransaktion J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 16 > 8

9 Komponenten eines Kommunikationsnetzwerks Netzwerkschnittstelle (Network Interface, NI) an Prozessorknoten angeschlossen treibt einen oder mehrere Ein-/Ausgabekanäle einpacken und auspacken der Nachrichten in Pakete Verbindung (Links) ein Bündel von Leitungen oder Fasern Träger des physikalischen Signals Schalter (Switches) Mehrere Anschlüsse für Ein- und Ausgabekanäle (Ports) Anschluss von NICs und/oder weiteren Schaltern über Links J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 17 > Cluster-Kommunikationsnetzwerke J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 18 > 9

10 Erste Generation Hochgeschwindigkeitsnetzwerk: MyriNet Hersteller: Myricom Inc. PCI-x / PCI-e Netzwerkkarte mit Kommunikationsprozessor Skalierbares Kommunikationsnetzwerk Unterstützung von TCP/IP und MPI Kommunikationssoftware ist Open Source Kommunikationsleistung unter MPI MyriNet 1.2 Gbit/s (1995) MyriNet 2Gbit/s (2001, ANSI Standard 1998) Latenzzeit: 6 µs bidir. Bandbreite: 489 MByte/s MyriNet 10Gbit/s (Markteinführung 2005) Latenzzeit: 2,67 µs Bidirektionale Bandbreite: 2120 MByte/s J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 19 > MyriNet: Protokoll Wormhole Routing Source-based Routing Neuberechung des CRC an jedem Knoten Overhead 1 Byte Nachricht (10 Hops) => Paketgröße 17 Byte 4 kbyte Nachricht (10 Hops) => Paketgröße 4112 Byte Flusskontrolle: STOP/GO Bitübertragung (MyriNet 10G) 8bit / 10bit Kodierung 1,25 GHz, IB4X-Kabel (8 Aderpaare) Keine atomare Operationen J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 20 > 10

11 MyriNet 2G - NIC Technologie 64 bit, 66 MHz PCI-Bus Karte 133 MHz oder 200 MHz LANai 9 RISC Prozessor DMA-Controller (Listen an DMA-Transfers) 2 MByte lokales SRAM Intelligente Network-Interface-Card MyriNet-Control-Program als C-Code vorliegend 64/32 bit, 66/33 MHz, 3.3 / 5V PCI Bus PCI Bridge DMA Controller PCI-DMA chip Host Interface local SRAM 64bit data RISC LANai 9 Packet Interface MyriNet SAN Link SAN/serial conversion MyriNet2000 Serial Link J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 21 > MyriNet 2G - NIC PCI-Bus-Interface 64/32bit und 66/33MHz mit bis zu 528 MByte/s Bus-Transfer unterstützt alle Burst-Modi, write-invalidate und Master bzw. Slave 64bit Base-Addresse-Register (BAR) DMA-Controller DMA-Transfers können im lokalem Speicher in mehreren Listen abgelegt sein auch abhängige DMA-Transfers möglich Blöcke mit beliebigen Größen und Speicheradressen unterstützt Doorbell Signalisierungsmechanismus Interface Prozessor frei programmierbarer RISC Prozessor 1.6 GByte/s Speicherbandbreite auf lokalem Speicher MyriNet-2000 serieller Port bidirektionaler Kanal mit 2.0 GBit/s je Richtung Fiber-Kabel J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 22 > 11

12 MyriNet 2G - Switch Board 16-wege Kreuzschienenschalter Line-Card mit 8 Front-Panel Ports und 8 Backplane Ports Front-Panel Ports mit Fiber-Link Backplane Ports mit Kupfer-Link Einbaubar in ein Switch-Chassis mit integrierter Backplane J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 23 > MyriNet 2G Switch Ports Basiskomponente ist der 16-wege Schalter Switch-Chassis mit aktiver Backplane Maximal 16 Switch-Boards à 8 Host-Anschlüsse J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 24 > 12

13 MyriNet Clos Ports für nächste Ebene 64 Ports für Hosts 16 Basis-Switches Volle Bisektionsbreite Basiskomponente für größere Switches J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 25 > MyriNet: 512 Ports 512 Rechenknoten, 160 Basisschalter Volle Bisektionsbreite (128 GByte/s Bisektionsbandbreite) J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 26 > 13

14 MyriNet-10G PCIe Karte 10 GBit/s Links X-Bar mit 32 Ports Switches: 512 Ports, 256 Ports, 128 Ports J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 27 > Hochgeschwindigkeitsnetzwerk: QsNet Manufacturer: Quadrics Ltd. Establishment of the company in : 6 from the Top10 of HPC systems were equipped with QsNet Company closed in Port Switch Chassis Network Adapter 16 Port Switch Card J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 28 > 14

15 Quadrics - NIC 100MHz IO processor 8Kbytes on board cache MMU with hardware tablewalk and 16 entry TLB DMA engine 400Mhz byte wide LVDS link 64 bit 66MHz PCI interface 64Mbytes local ECC SDRAM 0.5Mbytes flash memory J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 29 > Quadrics - Topologie 128 Rechenknoten, 80 Basisschalter Volle Bisektionsbreite J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 30 > 15

16 QsNet III NIC 2 x 25 Gbit/s Links, PCIe 2.0 Copper or optical links 128 MByte of local memory Switch-Fabric X-Bar with 32 Ports 4 x 6.25 Gbit/s (2.5 GByte/s) Fabric Up to 512 Ports Fat-Tree or 2d grid Broadcast and barrier support J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 31 > InfiniBand NIC: InfiniBand 4x QDR 40 GBit/s, PCIe2.0 8x InfiniBand 4x FDR 56 Gbit/s, PCIe3 8x InfiniBand 4x, EDR 100 Gbit/s, PCIe3 16x Switch Fabrics X-Bar 36 Ports (QDR, FDR) Virtual Cut Through mit Service-Levels und Virtual-Lanes Table-based routing Credit-based Flusskontrolle Fabrics bis zu 864 Ports (QDR) Multistage Clos-Netzwerk J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 32 > 16

17 InfiniBand: Protokoll Paketformat Local Route Header 8 Byte Global Route Header 40 Byte [optional] Base Transport Header 12 Byte Payload: bis zu 4096 Byte CRC: 4 Byte + 2 Byte Overhead 1 Byte Nachricht => Paketgröße 27 Byte 4 kbyte Nachricht => Paketgröße 4122 Byte Übertragung 8bit / 10bit Kodierung (SDR bis QDR), 64/66 encoding (FDR) Basiert auf 1 Gbit/s Ethernet (802.3z), aber mit 2,5 Gbit/s (SDR) J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 33 > InfiniBand: Paketformat Local Route Header 8 Byte Virtual Lane: 4 bit Link Version: 4 bit Service Level: 4 bit Reserved: 4 bit LNH: 2 bit LID: 16 bit Reserved: 5 bit Packet Length: 11 bit SLID: 16 bit Base Transport Header Opcode: 8 bit Solicited Event: 1 bit MigReq: 1bit PCount: 2 bit Transport Header: 4 bit PKEY: 16 bit Reserved: 8 bit DQP: 24 bit Acknowledge: 1 bit Reserved: 7 bit PSQ: 24 bit J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 34 > 17

18 InfiniBand Eigenschaften RDMA-read und RDMA-write Operation Atomare Operationen Speicherzugriffsrechte durch Remote-Host geregelt nur Lesen Lesen / Schreiben Umsetzung von virtuelle in physikalische Adressen Zugriff auf das Netzwerk ohne Wechsel zwischen BS und Benutzerkontext J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 35 > 10 GBit/s Ethernet 10GE Standards Glasfaserkabel (IEEE 802.3ae) Multimode-Fasern mit Reichenweiten bis 300m Single-Mode Fasern und 1310nm Wellenlänge bis 10km Kupferkabel (IEEE 802.3ak und IEEE 802.3an) Doppelt-twinaxiale Kupferkabel mit Reichenweiten bis 15m Vier Twisten-Pair, bei CAT6a/7 bis 100m NICs Derzeit noch relativ teuer, hauptsächlich in zentralen Servern eingesetzt Switches Switch ebenfalls noch teuer Siehe auch MyiNet, InfiniBand J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 36 > 18

19 Intel Omni-Path PCI-e Host Fabric Interface (HFI) Communication Network integrated in Xeon PHI processors Next Xeon Server processors Omni-Path Architecture (OPA) OPA 100 with 100 Gbit/s 25.8 Gbit/s per lane (4x lanes) CRC with 14 bit Enforcement of high priority messages Link transfer layer 1.5 with Forward Error Correction (16 flits) 48 port switch chips J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 37 > Interconnect Overview Cluster Interconnects Ethernet GbE, 1 Gbit/s; 10GE, 10 Gbite/s MyriNet MyriNet 10G, 10 Gbit/s Quadrics QsNet III, 25 Gbit/s InfiniBand QDR 4x, 40 Gbit/s; FDR 4x, 56 Gbit/s, EDR 4x, 100Gbit/s Omni-Path OPA-1, 100 Gbit/s bi. BW [MByte/s] Latency [µs] Local memory [MByte] Switch GbE ~80 ~ On-board 10 GE 1, Single switches PCIe MyriNet 10G 2, Clos network PCI-e 8x QsNet III 4, Fat-tree network PCI-e 16x InfiniBand QDR 4x 6, Clos network PCIe2.0 8x InfiniBand FDR 4x 11, Clos network PCIe3.0 16x, 8x InfiniBand EDR 4x 23,000 <1.0 Clos network PCIe3.0 16x, 8x OPA-1 100Gbit/s 22,000 < 1.0 Fat tree PCIe3.0 16x, 8x NIC J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 38 > 19

20 Kommunikationsprotokolle J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 39 > Allgemeines über Protokolle Protokolle sind formale Regeln zum Handeln (Funktionsvorschriften). Protokolle koordinieren die Kommunikation zwischen Kommunikationspartnern. Protokolle liefern Adressierung des Kommunikationsendpunkts Kontrolle des Datenflusses Verlässlichkeit des Services (Datentransfer) Kommunikation kennt zwei Arten an Protokollen 1. verbindungsorientierte Leitungsvermittlung 2. verbindungslose Paketvermittlung J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 40 > 20

21 Protokolle Applikation Applikation idealisiertes Netzwerk verbindungsorientierte Leitungsvermittlung, z.b. öffentliches Telefonnetz: Teilnehmer wird ein Übertragungskanal und dessen Bandbreite zur alleinigen Nutzung zur Verfügung gestellt Verbindungsaufbau, Datenübertragung, Verbindungsabbruch Merkmale: kurze Verweilzeiten der Nachrichten im Netz, ungenutzte Übertragungskapazitäten verbindungslose Paketvermittlung, z.b. Internet: Nachrichtenzerlegung in individuell adressierte Paketen Datenpakete werden in Netzknoten zwischen gespeichert (store&forward) Verzögerungen möglich, aber eine bessere Ausnützung der Übertragungskanäle/ Netzzugänge Quittung an den Sender für jedes korrekt empfangene Paket J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 41 > Netzwerkmodelle OSI Referenzmodell application presentation session transport network data link physical Anwendungsprotokoll Darstellungsprotokoll Kommunikationsprotokoll Transportprotokoll Vermittlungsschicht Sicherungsschicht Bit-Übertragungsschicht physical medium application presentation session transport network data link physical im OSI-Modell ist ein Netz in sieben Schichten aufgeteilt jede Schicht kommuniziert nur mit seiner oben und unten benachbarten Schicht J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 42 > 21

22 Internet Referenzmodell Rechner A Rechner B application transport network Switch Router network application transport network telnet, HTTP, etc. TCP, UDP IP, ICMP, IGMP data link data link data link data link device driver, NIC physical layer physical layer physical layer Ethernet, ISDN, UDP verbindungsloser, ungesicherter Datentransport Keine Garantie ob Daten in der richtigen Reihenfolge oder überhaupt ankommen TCP verbindungsorientierter, gesicherter Datentransport Verbindungsaufbau, Sortierung und automatische Wiederholung bei fehlerhafter Übertragung J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 43 > TCP/IP-Protokoll TCP/IP ist eine Menge an Protokollen die kooperierenden Computern netzwerkweit existierende Ressourcen gemeinsam nutzbar machen Gesamtmenge an Protokollen wird als Internet Protocol Suite bezeichnet TCP (Transmission Control Protocol) und IP (Internet Protocol) sind die bekanntesten Protokolle dieser Suite TCP/IP wurde durch eine Gruppe Wissenschaftlern für das ARPAnet entwickelt (ab 1973) IP mit Packetgrößen < 1500 Byte bzw. < 9000 Byte (Jumbo Frames, limitiert durch 32-bit CRC) J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 44 > 22

23 UNIX Netzwerk-Stack Struktur des BSD Netzwerk-Stacks function call function call to start output interface queues process socket layer protocol layer (TCP, UDP, IP, ) interface layer system calls socket queue protocol queue J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 45 > IP-Packete Preambl e Destination Source Frame Type 8 Bytes 6 Bytes 6 Bytes 2 Bytes Data Checksum Bytes 4 Bytes Erweiterungen Gigabit-Ethernet Jumbo-Frames: Packetgrößen bis zu 9000 Bytes (limitiert durch 32-Bit CRC) IPv6 Destination-, Source-Adressen: je 16 Bytes (Beispiel: 2001:0db8:85a3:08d3:1319:8a2e:0370:7344) J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 46 > 23

24 IP Protokoll im Cluster Das Internet-Protokoll (IP) ist weltweit Standard für Netzwerke (best-effort Ansatz) Transmission Control Protocol (TCP) meistens eingesetzt Internet-Protokolle haben Nachteile für Cluster: Overhead durch das Betriebssystem Durch die Strukturierung des TCP/IP in mehrere Schichten => zwangsläufig mehrfaches kopieren im Speicher Durch Schichtenstruktur schlechte Programmlokalität Die Flusskontrollmechanismen des TCP J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 47 > Konventionelles LAN Network Interface (NIC) Host Memory NIC trncv NIC Controller Data TX RX addr len DMA Addr Len Status Next Addr Len Status Next mem bus IO Bus Addr Len Status Next Addr Len Status Next Proc Addr Len Status Next Addr Len Status Next J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 48 > 24

25 Kommunikationsprotokoll für Cluster Spezialisierung auf Message-Passing Leichtgewichtige Kommunikationsprotokolle Unterstützung großer Pakete Schnelle Synchronisation Gruppenkommunikationen Sichere Netzwerkübertragung Fehlerbehandlungen ist absolute Ausnahme Einfache Switches Optimierte Paketierung Einfaches Routing (schnelle Wegewahl) Keine Umsetzung zwischen Protokollen Mehr Unterstützung durch die Hardware im NIC Beschleunigung der Protokollbearbeitung in den Komponenten Netzwerkinterface (NIC) und Switch J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 49 > Nachrichtentransport ohne Hardwareunterstützung Netzwerk dest Mem Mem NI NI P M P P M P User System User System (dedizierter) Prozessor bearbeitet Nachrichtenausgabe auf Systemebene und interpretiert einkommende Nachrichten auf Systemebene User-Prozessor Msg-Prozessor (MP) via Shared-Memory Msg-Prozessor Msg-Prozessor via Netzwerktransaktion J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 50 > 25

26 Nachrichtenaustausch im Cluster Network dest Mem Mem NI NI P M P M P P Benutzer System Benutzer-Prozessor speichert Cmd/Msg/Data in Ausgabe-Queue Test ob Queue bereits voll (oder elastischer Bereich) Kommunikationsassistent (Proz.) führt Transaktion aus Checks, Transaktion, Scheduling, Transport, Interpretation Flusskontrolle auf mehreren Protokollebenen J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 51 > Message Passing Interface: MPIch Design MPI - Message Passing Interface Standardisiert (MPI-1, MPI-2) Open Source Implementierung MPIch MPIch Argonne National Lab Aufteilung in Kommunikationsnetzwerk unabhängigen und abhängigen (ADI) Teil Optimierung für verschiedene Kommunikationsprotokolle J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 52 > 26

27 Message-Passing vs. Shared-Memory Zeit (µs) Message-Passing Shared-Memory 0 5 OS Aufruf, Protection check, program DMA DMA zum Netz Latenz des Netzes DMA vom Netz zum Systempuffer schreibt auf gemeinsamen Puffer und setzt Flagge Latenz des Netzes erkennt Flagge als gesetzt und liest Nachricht aus entfernten Speicher 10 OS Interrupt und Nachrichtendekodieru ng OS Kopie vom Systempuffer in Benutzerpuffer 15 Re-Schedule des Benutzerprozesse J. Simon - Architecture of Parallel Computer Systems SoSe 2017 < 53 > Quelle: Lenosky/Weber95 Benutzer liest Nachricht vom lokalen Speicher 27