RDMA oder: Wie ich lernte, 100 Gb/s Netzwerke zu lieben

Transkript

1 RDMA oder: Wie ich lernte, 100 Gb/s Netzwerke zu lieben

2 Jan Kappen Microsoft MVP Cloud and Datacenter Management IT Consultant bei Rachfahl IT-Solutions Trainer Buch Autor Blogger Blog: hyper-v-server.de Mail:

3 Agenda Aktuelle Situation Technische Ausprägungen Funktionsweisen Anwendungsgebiete Hands On Lessons learned Preise und Hardware

4 Aktuelle Situation

5 Aktuelle Situation Immer mehr und mehr Daten Steigender Bedarf an Bandbreite Aktuelle CPUs schaffen 4 6 Gbps pro Core Bisherige Optimierungen Mehr CPU Ressourcen Receive Side Scaling (RSS) Virtual Machine Queue (VMQ) Screenshot Source:

6 Was ist RDMA Remote Direct Memory Access Extrem geringe Latenzen < 600 ns möglich Beispiel Licht: Luft: Fiber Optic: 30 cm pro Nanosekunde 20 cm pro Nanosekunde Sehr geringe CPU Belastung Screenshot Source:

7 Ausprägungen

8 iwarp Hersteller Chelsio Intel Bandbreiten 1 / 10 / 25 / 40 / 50 / 100 Gbps Besonderheiten Keine spezielle Switch-Hardware benötigt Routing-fähig

9 RoCE Hersteller Mellanox Qlogic Cisco Emulex Besonderheiten Priority Flow Control (PFC) benötigt Spezielle Switch-Hardware benötigt Version 1 und Version 2 verfügbar Bandbreiten 1 / 10 / 25 / 40 / 50 / 100 / 200 Gbps 400 Gbps angekündigt

10 Infiniband Hersteller Mellanox Bandbreiten 1 / 10 / 25 / 40 / 50 / 100 / 200 Gbps Besonderheiten Eigenes Protokoll spezielle Switch-Hardware benötigt Primär im Linux/Unix-Umfeld im Einsatz Unter Windows Server nur eingeschränkt unterstützt

11 Funktionsweisen

12 Funktionsweise iwarp Erweiterung zum TCP/IP-Standard iwarp umgeht das Betriebssystem Direkter Kontakt mit der iwarp NIC TCP/IP Offload von der CPU zur iwarp NIC Hohe Last auf der NIC -> Kühlung beachten

13 Funktionsweise RoCE Version 1: Kein Routing möglich Kommunikation nur in einer Ethernet Broadcast Domain Version 2: Routing möglich Technisch wird das RoCE Paket erweitert Screenshot Source:

14 Voraussetzung RoCE VLAN-Nutzung ist Pflicht (Tagged) Nutzung von Data Center Bridging (DCB) Priority Flow Control (PFC) Enhanced Transmission Selection (ETS) Data Center Bridging Capabilities Exchange Protocol (DCBX) Congestion Notification (CN)

15 Priority Flow Control (PFC) Acht Prioritätsklassen Definition von QoS Policies Verwendung von Pause-Frames Grundfunktion: Keine Daten dürfen verloren gehen, da kein TCP/IP!

16 PowerShell-Konfiguration im Windows Server 2016 Install-WindowsFeature Data-Center-Bridging New-NetQosPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 5 Enable-NetQosFlowControl -Priority 5 Disable-NetQosFlowControl -Priority 0,1,2,3,4,6,7 Enable-NetAdapterQos -Name SMB#1, SMB#2 New-NetQosTrafficClass "SMB" -Priority 5 -BandwidthPercentage 60 -Algorithm ETS

17 Switch-Konfiguration Dell N4000 Series Conf t interface range tengigabitethernet 1/0/13,ten1/0/14,ten1/0/15,ten1/0/16,ten2/0/13 classofservice traffic-class-group 0 1 classofservice traffic-class-group 1 1 [ ] classofservice traffic-class-group 5 0 [ ] classofservice traffic-class-group 7 1 traffic-class-group max-bandwidth traffic-class-group min-bandwidth traffic-class-group weight datacenter-bridging priority-flow-control mode on priority-flow-control priority 5 no-drop

18 Switch-Konfiguration HPE FlexFabric 5700 system-view lldp global enable interface ten-gigabitethernet 1/0/1 lldp enable lldp tlv-enable dot1-tlv dcbx quit acl number 4000 rule permit type 8906 ffff rule permit type 8914 ffff quit traffic classifier app_c operator or if-match acl 4000 quit [ ]

19 Switch-Konfiguration HPE FlexFabric 5700 [ ] traffic behavior app_b remark dot1p 5 quit qos policy plcy classifier app_c behavior app_b mode dcbx quit interface ten-gigabitethernet 1/0/1 qos apply policy plcy outbound quit qos map-table dot1p-lp import 5 export 5 quit [ ]

20 Switch-Konfiguration HPE FlexFabric 5700 [ ] interface ten-gigabitethernet 1/0/1 qos trust dot1p qos wrr byte-count qos wrr 5 group sp priority-flow-control auto priority-flow-control no-drop dot1p 5

21 Switch-Konfiguration configure terminal interface ethernet 5/5 priority-flow-control mode on switch(config)# class-map type qos c1 switch(config-cmap-qos)# match cos 5 switch(config-cmap-qos)# exit switch(config)# policy-map type qos p1 switch(config-pmap-qos)# class type qos c1 switch(config-pmap-c-qos)# set qos-group 5 switch(config-pmap-c-qos)# exit switch(config-pmap-qos)# exit switch(config)# class-map type network-qos match-any c1 switch(config-cmap-nqos)# match qos-group 5 switch(config-cmap-nqos)# exit [ ] Cisco Nexus NX-OS

22 [ ] Switch-Konfiguration Cisco Nexus NX-OS switch(config)# policy-map type network-qos p1 switch(config-pmap-nqos)# class type network-qos c-nq1 switch(config-pmap-nqos-c)# pause buffer-size pause-threshold 100 resumethreshold 1000 pfc-cos 5 switch(config-pmap-nqos-c)# exit switch(config-pmap-nqos)# exit switch(config)# system qos switch(config-sys-qos)# service-policy type network-qos p1 exit

23 Switch-Konfiguration Mellanox SN2100 configure terminal priority-flow-control priority dcb priority-flow-control 5 enable interface ethernet 1/1 dcb priority-flow-control mode on dcb ets tc bandwidth

24 Anwendungsgebiete

25 Anwendungsgebiete Große Firmen. Richtig große Firmen. Service Provider (Amazon, Google, Microsoft, ) Rechenzentrum-Betreiber Standort-Vernetzung Systeme mit Bedarf an hoher Bandbreite Storage Datenbanken

26 Anwendungsgebiete Microsoft Storage Spaces Direct Screenshot Source:

27 Aktuelle NVMes und SSDs Intel P3700 2TB NVMe Sequential Read (up to) 2800 MB/s Sequential Write (up to) 1900 MB/s Random Read (100% Span) IOPS Random Write (100% Span) IOPS

28 Aktuelle NVMes und SSDs Intel P4500 2TB NVMe Sequential Read (up to) 3290 MB/s Sequential Write (up to) 1140 MB/s Random Read (100% Span) IOPS Random Write (100% Span) IOPS

29 Aktuelle NVMes und SSDs Intel P4600 2TB NVMe Sequential Read (up to) 3290 MB/s Sequential Write (up to) 1650 MB/s Random Read (100% Span) IOPS Random Write (100% Span) IOPS

30 Anwendungsgebiete Microsoft Storage Spaces Direct Screenshot Source:

31 Hands On

32 Hands On Screenshot Source:

33 Hands On 115,2 Hyper-V Gbps Livemigration == 14,4 GB/s Screenshot Source:

34 Hands On Screenshot Source:

35 Lessons learned

36 Lessons learned Nach Möglichkeit keine branded -Hardware UEFI statt BIOS Aktuell halten (Firmware/Treiber) Durchgängige PFC-Konfiguration VLAN Tagging konfigurieren

37 Preise und Hardware

38 Preise und Hardware Screenshot Source:

39 Preise und Hardware Screenshot Source:

40 Preise und Hardware Screenshot Source:

41 Preise und Hardware 1x 100 GbE -> 1x 100 GbE 1x 100 GbE -> 2x 50 GbE 1x 100 GbE -> 4x 25 GbE Screenshot Source:

42 Preise und Hardware Screenshot Source:

43 Preise und Hardware Screenshot Source:

44 Q & A Vielen Dank für die Aufmerksamkeit

45