Theorie und Einsatz von Verbindungseinrichtungen in parallelen Rechnersystemen

Transkript

1 Center for Information Services and High Performance Computing (ZIH) Theorie und Einsatz von Verbindungseinrichtungen in parallelen Rechnersystemen Hochgeschwindigkeitskommunikationen 13. Juli 2012 Andy Georgi INF 1046 Nöthnitzer Straße Dresden

2 Foliensatz Verfügbarkeit der Folien Vorlesungswebseite: zih/lehre/ss2012/tevpr 2/23

3 Agenda 1 Kommunikationsleistung konventioneller VNW 2 Kommunikationsablauf 3 Datentransfer 4 Adressverwaltung 3/23

4 Agenda 1 Kommunikationsleistung konventioneller VNW 4/23

5 Leistungskennwerte konventioneller VNW Fast Ethernet: Maximale Datenrate: 100 Mbit/s Gemessener Datendurchsatz: 80 Mbit/s Gemessene Latenz: 80 µs CPU-Auslastung: 20% Gigabit-Ethernet: Maximale Datenrate: 1000 Mbit/s Gemessener Datendurchsatz: 680 Mbit/s Gemessene Latenz: 80 µs CPU-Auslastung: 65% 5/23

6 Bewertung der Kennwerte für GbE Datendurchsatz: Latenz: Erreichter Durchsatz liegt 32% unter dem Maximalwert Lediglich 6% des Durchsatzes werden durch Protokolldaten sowie den Ethernet-Header beansprucht Bei einer einzelnen Kommunikation bleiben 80 µs vom Nutzer unbemerkt ABER: Overhead: Prozessor mit einer Taktrate von 2 GHz Taktzyklen Nutzung von CPU s Taktzyklen... CPU-Auslastung bei kleinen Nachrichten kaum relevant Bei Übertragung großer Datenmengen verbleiben der Anwendung lediglich 35% der Prozessorleistung 6/23

7 Fazit Kommunikationsleistung konventioneller Verbindungsnetzwerke in HPC- und Cluster-Systemen i.a. nicht ausreichend! 7/23

8 Ursachen für geringe Kommunikationsleistung I Software: Protokolle sind vorrangig auf heterogene, instabile und unsichere Netzwerke ausgerichtet Implementierung der Kommunikation als Betriebssystemdienst Bewältigung einer Vielzahl von Aufgaben durch die CPU, wie bspw. Adressumsetzung Schutz der Adressräume Verwaltung von Sende- und Empfangspuffer Segmentierung bzw. Zusammensetzung von Nachrichten... 8/23

9 Ursachen für geringe Kommunikationsleistung II Hardware: Unzuverlässige Übertragung, wodurch die Sicherheitsmechanismen gerechtfertigt sind Anbindung der Netzwerkschnittstelle erfolgt i.d.r. über den I/O-Bus (potenzieller Engpass) Zugriff auf die HW ausschließlich über das Betriebssystem Intel Xeon Intel Xeon Intel Xeon Intel Xeon Prozessor Prozessor Prozessor Prozessor FSB (8,3 GByte/s) SAN Network Controller 4 GByte/s Memory PCIe x8 Controller Hub (MCH) DDR2 SAN 5,3 GByte/s DMI (2 GByte/s) 60 MByte/s I/O 2 GByte/s USB Controller PCIe x4 Hub 1066 MByte/s SATA 375 MByte/s PCIx MByte/s 132 MByte/s PATA PCI 32/33 9/23

10 Agenda 2 Kommunikationsablauf 10/23

11 Konventioneller Kommunikationsablauf I Socket-Aufrufe System Call Verarbeitung des Transportprotokolls Verarbeitung des Vermittlungsprotokolls Auswahl des Netzwerks und ansprechen der Hardware 11/23

12 Konventioneller Kommunikationsablauf II Pro: Contra: Sicherer Zugriff auf die Kommunikationsgeräte im Multiuser- und Multiprogramming-Betrieb Erhöhung der Verzögerungszeiten durch Kontextwechsel CPU steht der Anwendung während der Verarbeitung der Kommunikation nicht zur Verfügung Zusätzlicher Overhead durch Sicherheitsmechanismen 12/23

13 OS Bypass I Speicher der Netzwerkkarte kann von der Anwendung unter Umgehung des Betriebssystems direkt angesprochen werden Abbildung des Adressraumes in den User-Space 13/23

14 OS Bypass II Pro: Reduzierung der Verzögerungszeiten Nutzung der CPU während der Kommunikation weiterhin möglich Alle Kommunikationsschichten vom Nutzer programmierbar Contra: Fehlende Ressourcenverwaltung zwischen konkurrierenden Prozessen Keine standardisierten Kommunikationsschnittstellen Wegfall der Steuerfunktionalität der Kommunikationsprotokolle 14/23

15 OS Bypass III Lösungsansätze: Standardisierte Kommunikationsschnittstellen werden von Kommunikationsbibliotheken bereitgestellt Verlagerung der Funktionalitäten des Betriebssystems und der Kommunikationsprotokolle auf die Netzwerkkarte 15/23

16 Agenda 3 Datentransfer 16/23

17 Programmed I/O (PIO) I Datenübertragung mittels Load-/Store-Operationen durch den Prozessor Überprüfung auf Ankunft neuer Nachrichten erfolgt periodisch durch Abfrage der,,doorbell-region Doorbell-Region PIO Senden Empfangen 17/23

18 Programmed I/O (PIO) II Pro: Vergleichsweise geringer Programmieraufwand Definierter Kommunikationsverlauf Kleine Nachrichten können mit geringem Overhead übertragen werden Contra: Hohe CPU-Belastung bei großen Datenmengen Doorbell-Region im Adressbereich der Netzwerkkarte Nach erfolgreicher Abfrage müssen Daten noch gelesen werden 18/23

19 Direct Memory Access (DMA) I Datentransfer zwischen physischen Speicheradressen erfolgt über einen DMA-Controller Allgemein notwendige Schritte: Adressumsetzung Allokierung von DMA-Puffern notwendig Übergabe der Adressen an den DMA-Controller DMA-Controller führt Datentransfer aus DMA-Varianten: Copy DMA Direct DMA Virtual to Physical DMA Page Exchange DMA... 19/23

20 Direct Memory Access (DMA) II Copy-DMA: DMA PIO Senden Empfangen Copy Direct-DMA: DMA PIO Senden Empfangen MMAP 20/23

21 Remote Direct Memory Access (RDMA) Erweiterung des lokalen DMA-Ansatzes auf entfernte Rechner Ermöglicht das Schreiben in (RDMA Write) bzw. das Lesen aus (RDMA Read) entferntem Speicher Datentransfer erfolgt direkt über den Netzwerkadapter und ohne Einbeziehung des Betriebssystems Erfordert vorherige Reservierung eines Speicherbereichs (Initialisierung) 21/23

22 Agenda 4 Adressverwaltung 22/23

23 Adressverwaltung Nutzung virtueller Adressen im Userspace - DMA-Einheiten verwenden hingegen physische Adressen Auf Systemaufrufe kann demzufolge nicht vollständig verzichtet werden Ziel: Minimierung der Anzahl der Systemaufrufe Umsetzung: Kooperation zwischen Netzwerkkarte und Betriebssystem 23/23