Testbed 100G durch den Atlantik Nils Neumann, RWTH Aachen, IT Center 60. DFN-Betriebstagung IT Center der RWTH Aachen University
Advanced North Atlantic 100G Pilot (ANA-100G) Contains information from "http://www.openstreetmap.org", which is made available here under the Open Database License (ODbL) "http://opendatacommons.org/licenses/odbl/1.0/" Verbindung zwischen Indiana University und RWTH Aachen RWTH Aachen -> Frankfurt (DFN) Frankfurt -> Amsterdam (GÉANT) Amsterdam -> Stratford -> Highbridge -> New Jersey (Tata Global Network) New Jersey -> New York -> Indiana University (Internet2 / ESnet) 2
Advanced North Atlantic 100G Pilot (ANA-100G) Es gibt kein SLA und in der Vergangenheit war die Strecke bereits für mehrere Wochen nicht verfügbar! Bereitstellung 100G-Technik durch den DFN an den Standorten TU Dresden, KIT, RWTH Aachen Abstimmung zwischen allen Beteiligten erforderlich => ein Nutzer pro Zeitslot Leitung zwischen New York und Indiana University steht nicht exklusiv zur Verfügung 3
Netzwerkequipment RWTH Seite 100G LR4 Optik N7K-M202XP-23L Nexus 7010 3 Server 1x 4x10G 2x 3x10G 2x M1-Karte für Server (2x 8x10G Ports) Uplink 100G mit LR4 Optik (M2-Linecard) 4
Nexus 7000 M2-Linecard VQI = Virtual Queuing Index Weg durch die Crossbar M2 40G/100G Karte VQI = 10G Zuordnung via 5-Tupel flow hash source / destination IP address source / destination port number IP protocol field für 100G: ~30-40 Flows nötig. Author: Tim Stevenson, Cisco Systems. Used with permission 5
Nexus 7000 F3-Linecard Beschränkung von 10G wurde aufgehoben Server mit min. 40G- Netzwerkkarten erforderlich Diverse passende Hardware war / ist noch nicht verfügbar Author: Tim Stevenson, Cisco Systems. Used with permission 6
Testaufbau RWTH Aachen: 10x10G, M1-Karte in non-blocking Modus Indiana University: 4x40G 7
100G: Durchgeführte Tests Testdaten je Interface: iperf i 10 t 86400 w 80M P2 c 10.0.99.x abweichende TCP window size verschlechtert den Durchsatz Anzahl der parallelen Streams im Testzeitraum zwischen 2 bis 8 variiert psdns ps = pseudo-spectral / DNS = Direct Numerical Simulation Programm zur Simulation von Verbrennungsvorgängen Parallele Schreibvorgänge auf ein remote Lustre-Dateisystem 8
Auslastung Server Interfaces 9
100G: 24 Stunden Test 10
100G Interface Ethernet7/1 is up admin state is up, Dedicated Interface Hardware: 40000/100000 Ethernet, address: d867.d90d.bb50 (bia d867.d90d.bb50) Description: ANA-100G MTU 9216 bytes, BW 100000000 Kbit, DLY 10 usec full-duplex, 100 Gb/s, media type is 100G Load-Interval #1: 30 seconds 30 seconds input rate 216328248 bits/sec, 396868 packets/sec 30 seconds output rate 59922233568 bits/sec, 829977 packets/sec Load-Interval #2: 5 minute (300 seconds) 300 seconds input rate 194588728 bits/sec, 357022 packets/sec 300 seconds output rate 54034957384 bits/sec, 750259 packets/sec RX 33243875310 unicast packets 97 multicast packets 3964 broadcast packets 33243877218 input packets 2607961770540 bytes 36827126 jumbo packets 0 storm suppression packets 119 runts 120 giants 166 CRC/FCS 0 no buffer 286 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause TX 71143961923 unicast packets 916923 multicast packets 2181 broadcast packets 71144874014 output packets 641702774168459 bytes (= 641 Terabyte) 71126034855 jumbo packets 0 output error 0 collision 0 deferred 0 late collision 0 lost carrier 0 no carrier 0 babble 0 output discard 0 Tx pause 11
psdns from ITV at RWTH Aachen Univ. HPC application to compute fine-scale turbulent flows by means of pseudo-spectral Direct Numerical Simulation: scales from typical x86-based HPC clusters to IBM BlueGene/Q parallel-i/o with HDF5 file format all MPI processes write simultaneously Benchmark used in this project: HDF5 I/O-part without simulation Lessons learned: remote (long-distance) Lustre mount was successful, application was stable at least two MPI processes per host card necessary to deliver bandwidth HDF5 chunking has to be enabled and aligned with Lustre configuration 12 ITV: Institut für Technische Verbrennung www.itv.rwth-aachen.de
Ergebnisse Netzwerk 100G Ports sowie zugehörige Linecards stabil kein Ausfall der Netzwerk-Konnektivität einzige Abweichung von den Standard-Einstellung: MTU 9000 stabile RTT 113ms Server viele Parameteranpassungen an den Servern erforderlich congestion_control, rmem, wmem, window_size, nicht alle Server waren trotz gleicher Konfiguration gleich schnell anfangs: Instabile Kartentreiber / Instabile Systeme 13
Vielen Dank! Christian Grimm (DFN Verein) Karsten Leipold (DFN Verein) Stefan Piger (DFN Verein) Thilo Scholpp (DFN Verein) Murat Goekdemir (Cisco Systems) Stefan Decker (Cisco Systems) 14
Fragen? 15
Tuning-Parameter Optimierung für 10G Tests: net.core.optmem_max = 524287 net.core.netdev_max_backlog = 250000 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_sack = 1 net.ipv4.tcp_low_latency = 0 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_moderate_rcvbuf = 1 net.ipv4.route.flush = 1 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.ib0.arp_ignore = 1 net.ipv4.conf.ib1.arp_ignore = 1 net.ipv4.route.gc_thresh = 524288 net.ipv4.route.max_size = 8388608 net.ipv4.tcp_congestion_control = bic net.ipv4.tcp_ecn = 2 vm.dirty_ratio = 20 net.ipv4.tcp_rmem = 4096 87380 348966092 net.ipv4.tcp_wmem = 4096 87380 348966092 net.core.rmem_max = 348966092 net.core.wmem_max = 348966092 Optimierung Lustre-Performance: #!/bin/bash # from 40 to 60 echo 60 >/proc/sys/vm/dirty_ratio # from 10 to 40 echo 60 >/proc/sys/vm/dirty_background_ratio # from 4MB to 2G writeback echo $[64*1024] > /proc/sys/vm/max_writeback_pages # writeback interval from 5 sec to 10 echo 899 >/proc/sys/vm/dirty_writeback_centisecs # from 128 to 256 echo $[256*1024] > /proc/sys/lustre/max_dirty_mb MAX_RPC_IN_FLIGHT=64 MAX_DIRTY_MB=256 #default ra = 40, ra per file 40 dirty=32 checksum =1 lctl set_param osc.*.checksums=0 lctl set_param osc.*.max_dirty_mb=$max_dirty_mb lctl set_param osc.*.max_rpcs_in_flight=$max_rpc_in_flight lctl set_param llite.*.max_read_ahead_mb=512 lctl set_param llite.*.max_read_ahead_per_file_mb=64 16
Hardware Verwendete Netzwerkkarten PCIe V2/x8 (5GT/s) Modell: Intel Ethernet Server Adapter X520-SR2 Treiber: ixgbe 3.9.15-k 17