Testbed 100G durch den Atlantik

Größe: px

Ab Seite anzeigen:

Download "Testbed 100G durch den Atlantik"

Irma Kaiser
vor 8 Jahren
Abrufe

1 Testbed 100G durch den Atlantik Nils Neumann, RWTH Aachen, IT Center 60. DFN-Betriebstagung IT Center der RWTH Aachen University

2 Advanced North Atlantic 100G Pilot (ANA-100G) Contains information from " which is made available here under the Open Database License (ODbL) " Verbindung zwischen Indiana University und RWTH Aachen RWTH Aachen -> Frankfurt (DFN) Frankfurt -> Amsterdam (GÉANT) Amsterdam -> Stratford -> Highbridge -> New Jersey (Tata Global Network) New Jersey -> New York -> Indiana University (Internet2 / ESnet) 2

3 Advanced North Atlantic 100G Pilot (ANA-100G) Es gibt kein SLA und in der Vergangenheit war die Strecke bereits für mehrere Wochen nicht verfügbar! Bereitstellung 100G-Technik durch den DFN an den Standorten TU Dresden, KIT, RWTH Aachen Abstimmung zwischen allen Beteiligten erforderlich => ein Nutzer pro Zeitslot Leitung zwischen New York und Indiana University steht nicht exklusiv zur Verfügung 3

4 Netzwerkequipment RWTH Seite 100G LR4 Optik N7K-M202XP-23L Nexus Server 1x 4x10G 2x 3x10G 2x M1-Karte für Server (2x 8x10G Ports) Uplink 100G mit LR4 Optik (M2-Linecard) 4

5 Nexus 7000 M2-Linecard VQI = Virtual Queuing Index Weg durch die Crossbar M2 40G/100G Karte VQI = 10G Zuordnung via 5-Tupel flow hash source / destination IP address source / destination port number IP protocol field für 100G: ~30-40 Flows nötig. Author: Tim Stevenson, Cisco Systems. Used with permission 5

6 Nexus 7000 F3-Linecard Beschränkung von 10G wurde aufgehoben Server mit min. 40G- Netzwerkkarten erforderlich Diverse passende Hardware war / ist noch nicht verfügbar Author: Tim Stevenson, Cisco Systems. Used with permission 6

7 Testaufbau RWTH Aachen: 10x10G, M1-Karte in non-blocking Modus Indiana University: 4x40G 7

8 100G: Durchgeführte Tests Testdaten je Interface: iperf i 10 t w 80M P2 c x abweichende TCP window size verschlechtert den Durchsatz Anzahl der parallelen Streams im Testzeitraum zwischen 2 bis 8 variiert psdns ps = pseudo-spectral / DNS = Direct Numerical Simulation Programm zur Simulation von Verbrennungsvorgängen Parallele Schreibvorgänge auf ein remote Lustre-Dateisystem 8

9 Auslastung Server Interfaces 9

10 100G: 24 Stunden Test 10

11 100G Interface Ethernet7/1 is up admin state is up, Dedicated Interface Hardware: 40000/ Ethernet, address: d867.d90d.bb50 (bia d867.d90d.bb50) Description: ANA-100G MTU 9216 bytes, BW Kbit, DLY 10 usec full-duplex, 100 Gb/s, media type is 100G Load-Interval #1: 30 seconds 30 seconds input rate bits/sec, packets/sec 30 seconds output rate bits/sec, packets/sec Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate bits/sec, packets/sec 300 seconds output rate bits/sec, packets/sec RX unicast packets 97 multicast packets 3964 broadcast packets input packets bytes jumbo packets 0 storm suppression packets 119 runts 120 giants 166 CRC/FCS 0 no buffer 286 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX unicast packets multicast packets 2181 broadcast packets output packets bytes (= 641 Terabyte) jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause 11

12 psdns from ITV at RWTH Aachen Univ. HPC application to compute fine-scale turbulent flows by means of pseudo-spectral Direct Numerical Simulation: scales from typical x86-based HPC clusters to IBM BlueGene/Q parallel-i/o with HDF5 file format all MPI processes write simultaneously Benchmark used in this project: HDF5 I/O-part without simulation Lessons learned: remote (long-distance) Lustre mount was successful, application was stable at least two MPI processes per host card necessary to deliver bandwidth HDF5 chunking has to be enabled and aligned with Lustre configuration 12 ITV: Institut für Technische Verbrennung

13 Ergebnisse Netzwerk 100G Ports sowie zugehörige Linecards stabil kein Ausfall der Netzwerk-Konnektivität einzige Abweichung von den Standard-Einstellung: MTU 9000 stabile RTT 113ms Server viele Parameteranpassungen an den Servern erforderlich congestion_control, rmem, wmem, window_size, nicht alle Server waren trotz gleicher Konfiguration gleich schnell anfangs: Instabile Kartentreiber / Instabile Systeme 13

14 Vielen Dank! Christian Grimm (DFN Verein) Karsten Leipold (DFN Verein) Stefan Piger (DFN Verein) Thilo Scholpp (DFN Verein) Murat Goekdemir (Cisco Systems) Stefan Decker (Cisco Systems) 14

15 Fragen? 15

16 Tuning-Parameter Optimierung für 10G Tests: net.core.optmem_max = net.core.netdev_max_backlog = net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_sack = 1 net.ipv4.tcp_low_latency = 0 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_moderate_rcvbuf = 1 net.ipv4.route.flush = 1 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.ib0.arp_ignore = 1 net.ipv4.conf.ib1.arp_ignore = 1 net.ipv4.route.gc_thresh = net.ipv4.route.max_size = net.ipv4.tcp_congestion_control = bic net.ipv4.tcp_ecn = 2 vm.dirty_ratio = 20 net.ipv4.tcp_rmem = net.ipv4.tcp_wmem = net.core.rmem_max = net.core.wmem_max = Optimierung Lustre-Performance: #!/bin/bash # from 40 to 60 echo 60 >/proc/sys/vm/dirty_ratio # from 10 to 40 echo 60 >/proc/sys/vm/dirty_background_ratio # from 4MB to 2G writeback echo $[64*1024] > /proc/sys/vm/max_writeback_pages # writeback interval from 5 sec to 10 echo 899 >/proc/sys/vm/dirty_writeback_centisecs # from 128 to 256 echo $[256*1024] > /proc/sys/lustre/max_dirty_mb MAX_RPC_IN_FLIGHT=64 MAX_DIRTY_MB=256 #default ra = 40, ra per file 40 dirty=32 checksum =1 lctl set_param osc.*.checksums=0 lctl set_param osc.*.max_dirty_mb=$max_dirty_mb lctl set_param osc.*.max_rpcs_in_flight=$max_rpc_in_flight lctl set_param llite.*.max_read_ahead_mb=512 lctl set_param llite.*.max_read_ahead_per_file_mb=64 16

17 Hardware Verwendete Netzwerkkarten PCIe V2/x8 (5GT/s) Modell: Intel Ethernet Server Adapter X520-SR2 Treiber: ixgbe k 17

Ähnliche Dokumente

Übung Anzeigen der MAC-Adressen von Netzwerkgeräten

Übung Anzeigen der MAC-Adressen von Netzwerkgeräten Topologie Adressierungstabelle Lernziele Gerät Schnittstelle IP-Adresse Subnetzmaske Default Gateway R1 G0/1 192.168.1.1 255.255.255.0 k. A. S1 VLAN 1 k. A. k. A. k. A. PC-A Netzwerkkarte 192.168.1.3 255.255.255.0