Foliensatz. Theorie und Einsatz von Verbindungseinrichtungen in parallelen Rechnersystemen

Transkript

1 Foliensatz Center for Information Services and High Performance Computing (ZIH) Theorie und Einsatz von Verbindungseinrichtungen in parallelen Rechnersystemen Hochgeschwindigkeitskommunikationen 13. Juli 2012 Verfügbarkeit der Folien Vorlesungswebseite: zih/lehre/ss2012/tevpr Andy Georgi INF 1046 Nöthnitzer Straße Dresden /23 1 Kommunikationsleistung konventioneller VNW m2 Kommunikationsablauf 1 Kommunikationsleistung konventioneller VNW 3 Datentransfer 4 Adressverwaltung 3/23 4/23

2 Leistungskennwerte konventioneller VNW Bewertung der Kennwerte für GbE Fast Ethernet: Maximale Datenrate: 100 Mbit/s Gemessener Datendurchsatz: 80 Mbit/s Gemessene Latenz: 80 µs CPU-Auslastung: 20% Gigabit-Ethernet: Maximale Datenrate: 1000 Mbit/s Gemessener Datendurchsatz: 680 Mbit/s Gemessene Latenz: 80 µs CPU-Auslastung: 65% Datendurchsatz: Latenz: Erreichter Durchsatz liegt 32% unter dem Maximalwert Lediglich 6% des Durchsatzes werden durch Protokolldaten sowie den Ethernet-Header beansprucht Bei einer einzelnen Kommunikation bleiben 80 µs vom Nutzer unbemerkt ABER: Overhead: Prozessor mit einer Taktrate von 2 GHz Taktzyklen Nutzung von CPU s Taktzyklen... CPU-Auslastung bei kleinen Nachrichten kaum relevant Bei Übertragung großer Datenmengen verbleiben der Anwendung lediglich 35% der Prozessorleistung 5/23 6/23 Fazit Ursachen für geringe Kommunikationsleistung I Kommunikationsleistung konventioneller Verbindungsnetzwerke in HPC- und Cluster-Systemen i.a. nicht ausreichend! Software: Protokolle sind vorrangig auf heterogene, instabile und unsichere Netzwerke ausgerichtet Implementierung der Kommunikation als Betriebssystemdienst Bewältigung einer Vielzahl von Aufgaben durch die CPU, wie bspw. Adressumsetzung Schutz der Adressräume Verwaltung von Sende- und Empfangspuffer Segmentierung bzw. Zusammensetzung von Nachrichten... 7/23 8/23

3 Ursachen für geringe Kommunikationsleistung II Hardware: Unzuverlässige Übertragung, wodurch die Sicherheitsmechanismen gerechtfertigt sind Anbindung der Netzwerkschnittstelle erfolgt i.d.r. über den I/O-Bus (potenzieller Engpass) Zugriff auf die HW ausschließlich über das Betriebssystem Intel Xeon Intel Xeon Intel Xeon Intel Xeon Prozessor Prozessor Prozessor Prozessor FSB (8,3 GByte/s) SAN Network Controller 4 GByte/s Memory PCIe x8 Controller Hub (MCH) DDR2 SAN 5,3 GByte/s DMI (2 GByte/s) 60 MByte/s I/O 2 GByte/s USB Controller PCIe x4 Hub 1066 MByte/s SATA 375 MByte/s PCIx MByte/s 132 MByte/s PATA PCI 32/33 2 Kommunikationsablauf 9/23 10/23 Konventioneller Kommunikationsablauf I Konventioneller Kommunikationsablauf II Verarbeitung des Transportprotokolls Socket-Aufrufe System Call Verarbeitung des Vermittlungsprotokolls Auswahl des Netzwerks und ansprechen der Hardware Pro: Contra: Sicherer Zugriff auf die Kommunikationsgeräte im Multiuser- und Multiprogramming-Betrieb Erhöhung der Verzögerungszeiten durch Kontextwechsel CPU steht der Anwendung während der Verarbeitung der Kommunikation nicht zur Verfügung Zusätzlicher Overhead durch Sicherheitsmechanismen 11/23 12/23

4 OS Bypass I OS Bypass II Pro: Speicher der Netzwerkkarte kann von der Anwendung unter Umgehung des Betriebssystems direkt angesprochen werden Abbildung des Adressraumes in den User-Space Reduzierung der Verzögerungszeiten Nutzung der CPU während der Kommunikation weiterhin möglich Alle Kommunikationsschichten vom Nutzer programmierbar Contra: Fehlende Ressourcenverwaltung zwischen konkurrierenden Prozessen Keine standardisierten Kommunikationsschnittstellen Wegfall der Steuerfunktionalität der Kommunikationsprotokolle 13/23 14/23 OS Bypass III Lösungsansätze: Standardisierte Kommunikationsschnittstellen werden von Kommunikationsbibliotheken bereitgestellt Verlagerung der Funktionalitäten des Betriebssystems und der Kommunikationsprotokolle auf die Netzwerkkarte 3 Datentransfer 15/23 16/23

5 Programmed I/O (PIO) I Programmed I/O (PIO) II Datenübertragung mittels Load-/Store-Operationen durch den Prozessor Überprüfung auf Ankunft neuer Nachrichten erfolgt periodisch durch Abfrage der,,doorbell-region PIO Doorbell-Region Senden Empfangen Pro: Vergleichsweise geringer Programmieraufwand Definierter Kommunikationsverlauf Kleine Nachrichten können mit geringem Overhead übertragen werden Contra: Hohe CPU-Belastung bei großen Datenmengen Doorbell-Region im Adressbereich der Netzwerkkarte Nach erfolgreicher Abfrage müssen Daten noch gelesen werden 17/23 18/23 Direct Memory Access (DMA) I Direct Memory Access (DMA) II Copy-DMA: Datentransfer zwischen physischen Speicheradressen erfolgt über einen DMA-Controller Allgemein notwendige Schritte: DMA PIO Senden Empfangen Adressumsetzung Allokierung von DMA-Puffern notwendig Übergabe der Adressen an den DMA-Controller DMA-Controller führt Datentransfer aus Copy DMA-Varianten: Direct-DMA: Copy DMA Direct DMA Virtual to Physical DMA Page Exchange DMA... DMA PIO Senden Empfangen MMAP 19/23 20/23

6 Remote Direct Memory Access (RDMA) Erweiterung des lokalen DMA-Ansatzes auf entfernte Rechner Ermöglicht das Schreiben in (RDMA Write) bzw. das Lesen aus (RDMA Read) entferntem Speicher Datentransfer erfolgt direkt über den Netzwerkadapter und ohne Einbeziehung des Betriebssystems Erfordert vorherige Reservierung eines Speicherbereichs (Initialisierung) 4 Adressverwaltung 21/23 22/23 Adressverwaltung Nutzung virtueller Adressen im Userspace - DMA-Einheiten verwenden hingegen physische Adressen Auf Systemaufrufe kann demzufolge nicht vollständig verzichtet werden Ziel: Minimierung der Anzahl der Systemaufrufe Umsetzung: Kooperation zwischen Netzwerkkarte und Betriebssystem 23/23