DATACENTER SWITCHING Network Competence Day magellan netzwerke GmbH

Transkript

1 DATACENTER SWITCHING Network Competence Day 2012 Referent

2 2 Evolution Vom Serverraum zum Datacenter Re-zentralisierung Terminal-Server Desktop-Virtualisierung Thin-Clients BladeCenter Shared Storage / SAN Server-Virtualisierung

3 3 Status Quo Server-Virtualisierung Hochverfügbar Automatische Lastverteilung Flexibel Skalierbarkeit RZ-Redundanz 10GE-Server PCI-Express Multi-Core Multi-CPU

4 4 Status Quo Schichtenmodell Core, Aggregation, EoR Chassis-basierte Switche Uplinks n*1ge oder 10GE Server-Access / ToR Fixed-Size Uplinks n*1ge oder 10GE Access-Ports noch meist 1GE

5 5 Status Quo Mehr Blech & Leitungen Fibre Channel Eigene Fasern Eigene Switche Eigene Controller Backup-LAN? iscsi-lan? VMotion-LAN?

6 6 Status Quo Herausforderungen Flexibilität / Automatisierung Skalierbarkeit mithalten mit Server-Virtualisierung Mehraufwand pro neuem VM-Host? Performance Überbuchung bei Server-Server-Kommunikation 10GE-Access Viele Schichten - viele Switche

7 7 Status Quo Zahlenbeispiel Core Top of Rack BladeCenter Hypervisor Kein Aggregation-Layer, 1 vswitch pro Hypervisor S M L 3 Racks 1 BladeCenter pro Rack 4 VM-Hosts pro BC 6 Racks 1 BladeCenter pro Rack 4 VM-Hosts pro BC 12 Racks 2 BladeCenter pro Rack 4 VM-Hosts pro BC Core Top of Rack BladeCenter vswitches Summe Größe

8 8 Status Quo Redundanzprotokolle Spanning Tree IEEE-Standard Hierarchische Topologie n-1 Pfade inaktiv Skalierbarkeit Konvergenzzeit Ring Trunks / LAGs

9 9 Status Quo Redundanzprotokolle Spanning Tree Traffic Flow?! Überbuchung Hop Count Ring Trunks / LAGs

10 10 Status Quo Redundanzprotokolle Spanning Tree Ring >2 Core-Geräte Umschaltzeiten Skalierbarkeit Ein Link inaktiv Trunks / LAGs

11 11 Status Quo Redundanzprotokolle Spanning Tree Ring Extreme: EAPS Brocade: MRP & EPS Cisco: REP Juniper: EPS (nur MX) Trunks / LAGs

12 12 Status Quo Redundanzprotokolle Spanning Tree Ring Trunks / LAGs Link Aggregation Loadbalancing meist 4-8 Links 802.3ad, statisch, proprietär Flächendeckend verfügbar Zwischen zwei Geräten Wege-Redundanz

13 13 Status Quo Flow Control IEEE 802.3x Wirkbereich: pro Link Receive Buffer voll PAUSE-Frame Link stoppt für Zeit t Alternative: Pakete verwerfen

14 PAUSE? 14 Status Quo Flow Control

15 15 Status Quo Quality of Service Implementierung Layer 1: Switchport ingress/egress Layer 2: 802.1p Class of Service (CoS) 8 Klassen Layer 3: Type of Service (ToS) / Differentiated Services 64 Klassen Traffic Shaping Rate-Limit

16 16 Status Quo Probleme Flow Control nicht zeitgemäß wachsende Anzahl Switche Verwaltung / Flexibilität Topologie Hops / Überbuchung Physisch getrennte Netze

17 17 NextConverged GenerationEnhanced Ethernet (CEE) Data Center Bridging (DCB) Data Center Bridging (DCB) Converged Enhanced Ethernet (CEE)

18 18 CoE F A C F N P C TRILL DC VEPA BX ETS SPB CN

19 19 Priority Based Flow Control (PFC) 802.1Qbb PAUSE-Frames pro CoS-Klasse

20 20 Priority Based Flow Control (PFC) Mehrere Hosts nutzen die gleiche Queue! Rückstau-Problem wie bei 802.3x

21 21 Congestion Notification (CN) 802.1Qau End-to-End Flow Control (Layer 2) Puffer füllt sich Warnung an Sender

22 22 Enhanced Transmission Selection (ETS) Ergänzung von 802.1p um Gruppen 802.1Qaz Priorities (Pri) 3-bit PCP-Feld im 802.1Q-Header (0-7) Priority Groups (PG) / Priority Group ID (PGID) Gruppe von Pris mit gleichem Bedarf 4-bit Gruppen-Bezeichner (0-7, 15) PGID 15: no limit (PGID 8-14: reserved) Bandwith Allocation pro PGID (PG%)

23 23 Enhanced Transmission Selection (ETS) Gruppiert Pris in PGs, mappt PGs auf PG% Pri PGID PGID Name PG% Name 0 1 Data 0 50 Storage 1 1 Data 1 45 Data 2 0 Storage 2 5 Voice 3 0 Storage 15 - IPC 4 1 Data 5 2 Voice 6 1 Data 7 15 IPC

24 24 Lossless Ethernet PFC + CN + ETS = \o/ Obligatorisch für FCoE Nütztlich für alle iscsi, NFS, CIFS Voice & Video

25 25 Topologie Topologie

26 26 Multi-Switch-Trunks (und Stacks) LAGs über mehrere Endpunkte Richtung Außenwelt: normaler Trunk/LAG Terminiert auf unterschiedlichen (Core-) Switchen Geräte-Redundanz Loadbalancing Proprietäre Protokolle im Backend

27 27

28 28 Multi-Switch-Trunks Multi-Chassis Trunking NetIron-Serie FastIron SX (bald)

29 29 Multi-Switch-Trunks Multi-Chassis Trunking Cluster Communication Protocol MCT Session VLAN BPDU-Forwarding MRP-Integration VRRP-E active/active

30 30 Multi-Switch-Trunks Stacking 8 Nodes pro Stack FastIron ICX 40GE-Ports (4x QSFP+) 1m bis 5m FastIron FCX/-S 64Gbps Backplane 1m bis 5m oder 10GE-Ports

31 31 Multi-Switch-Trunks Virtual Chassis EX-Serie 1GE, 10GE Chassis Eher Stack als MST VC-Ports oder SFP+ 2 bis 10 Geräte pro VC

32 32 Multi-Switch-Trunks Redundante Controller Rest: Linecards 1, 3, 5m Kabel SFP+ SR/LR Linecard 2 Routing Engine 0 Routing Engine 1 Linecard 4 Linecard 3

33 33 Beispiel: EX XRE EX4200

34 34

35 35 Multi-Switch-Trunks Virtual Switching System (VSS) Catalyst 6500 Stack mit 2 Chassis Control Plane in Standby Sup1 Active Sup2 Standby

36 36 Multi-Switch-Trunks Virtual Port Channel (vpc) Nexus-Serie (N7k M1-Module) FHRP aware (local routing) Dedizierter Heartbeat-Link

37 37 Multi-Switch-Trunks Multi-Switch LAG (M-LAG) Alle XOS-Geräte Edge bis Core Interconnect als LAG Control-VLAN (IPs) Bis XOS 12.5 kein LACP

38 38 Multi-Switch-Trunks SummitStack 40, 80, 128, 160, 256, 512 Gbps Stack-Module Modelle mischbar (z.b. 5x X x X650) Stacking-Kabel bis 5m (mehr mit Q/SFP+) SummitX480 + VIM2-10G4X 48x Gigabit + 4x 10GE 448 Gbps / 131 Mpps, CAM- & ARP-Entries Stacking über 40GE QSFP+ (SummitStack-V80) SummitX670V + VIM4-40G4X 48x 10GE + 4x 40GE oder 64x 10GE 1.28Tbps / 952 Mpps, MACs, Routen Stacking über 2x 40GE möglich (SummitStack-V160)

39 39 Beispiel

40 40 Merging Layers Topologie

41 41 Schichten reduzieren #1 BladeCenter-Switche Fremdhersteller außer Cisco Integration/Management Features Überbuchung im Uplink Pass-thru-Module

42 42 Schichten reduzieren #2 vswitch im Hypervisor Software! Features? Verwaltung? Leistung?

43 43 Schichten reduzieren #2 Switching auf den Switchen! Hardware! Features? Verwaltung? Leistung?

44 44 Virtual Ethernet Port Aggregation (VEPA) oder Edge Virtual Bridging / 802.1Qbg Hypervisor schickt alle Frames zum Switch Simplicity! Switch reflektiert Host-lokale Frames Multichannel-Mode mit Q-in-Q Auto-Konfiguration VLANs

45 45 VEPA / EVB / 802.1Qbg Brocade VDX Juniper QFX und EX Extreme XOS VN-Tag / 802.1Qbh Cisco UCS Palo-NIC Fabric Extender Hypervisor-Support noch mager Open vswitch (Xen Server, VirtualBox, KVM)

46 46 VM-Migration vs. Port-Konfig pro Host VLANs QoS ACLs pro VM QoS ACLs

47 47 VM-Migration vs. Port-Konfig VM = MAC-Adresse

48 48 VM-Migration vs. Port-Konfig Extreme Network Virtualization (XNV) Ridgeline Management-Tool für Extreme-Netze Windows, Linux, Solaris Lesezugriff Hypervisor-Management Inventory (wer & wo) VM-Tracking (wann & wo) 1. Auf VM-Uplinkports aktivieren 2. Virtual Port Profile (VPPs) erstellen und VMs zuweisen 3. Policies (ACLs) erstellen und an VPP binden

49 49 VM-Migration vs. Port-Konfig Automatic Migration of Port Profiles (AMPP) Brocade Network Advisor (BNA) Windows & Linux Anbindung an VM-Manager und andere Orchestration-Tools (MS, EMC, ) Gleicher Ansatz: Profile: QoS, VLANs, ACLs, etc Mapping VM Profil

50 50 VM-Migration vs. Port-Konfig Junos Space Virtual Control Ab Junos Space 1.4 Gleicher Ansatz vswitch Profiles VM locator, Audit Logs, Integration via APIs

51 51 VMotion vs. Port-Konfig Nexus 1000V vswitch für VMware VEM: virtueller Switch VSM: Supervisor-Engine Virtuelle Maschine Redundanz möglich Verwaltet VEMs als Linecards

52 52 VMotion vs. Port-Konfig

53 53 VMotion vs. Port-Konfig Nexus 1000V vswitch bleibt Port-Profile VM Kein VEPA dafür VN-Tag

54 54 Schichten reduzieren S M L 3 Racks 1 BladeCenter pro Rack 4 VM-Hosts pro BC 6 Racks 1 BladeCenter pro Rack 4 VM-Hosts pro BC 12 Racks 2 BladeCenter pro Rack 4 VM-Hosts pro BC Core Top of Rack BladeCenter vswitches Vorher Größe Nachher

55 55 Weiterdenken... Weiterdenken

56 56

57 57

58 58 Fabric Ethernet Fabric

59 59 Fabric Multipathing Self -form ing Co nv e rg ed Lossless Ethernet Fabric

60 60 Buzzwords Converged Alle Daten nutzen eine Infrastruktur Ethernet, FCoE, FibreChannel Lossless Multipathing Data Center Bridging TRILL, SPB,... Self-forming DCBX,...

61 61 DCB Capability Exchange Protocol (DCBX) Teil von 802.1Qaz Erweiterung von LLDP (Link Layer Discovery Protocol) Triplett aus Type, Length, Value (TLV) Austausch von Informationen Neighbor Discovery (wer bist du?) Capability Exchange (was kannst du?) Einfach erweiterbar Software... Willing Mode für CNAs

62 62 Layer 2 Multipathing Transparent Interconnect of Lots of Links TRILL IETF RFC 5556 Ursprünglich von HP Shortest Path Bridging SPB IEEE 802.1aq Getrieben von Nortel

63 63 Transparent Interconnect of Lots of Links (TRILL) Alle Pfade aktiv Link State Routing Protocol Intermediate System to Intermediate System (IS-IS) Jeder Switch kennt die ganze Topologie Equal Cost Multipathing (ECMP) Loop Prevention via TTL

64 64 Transparent Interconnect of Lots of Links (TRILL) TRILL-Switch: RBridge Routing Routing-Protocol L2-Encapsulation Bridging Broadcast-Domain MAC-based

65 65 Transparent Interconnect of Lots of Links (TRILL) Frame Format Outer MAC Header Destination & Source MAC Outer 802.1Q-Tag Ethertype = 0x22F3 (TRILL) TRILL Header Ethernet Frame Outer MAC Header TRILL Header Ethernet Frame 18 Bytes 8 Bytes 1522 Bytes

66 66 Transparent Interconnect of Lots of Links (TRILL) Frame Format Outer MAC Header TRILL Header Ingress-/Egress RBridge-IDs Hop Count Multidestination-Flag Ethernet Frame Outer MAC Header TRILL Header Ethernet Frame 18 Bytes 8 Bytes 1522 Bytes

67 67 Shortest Path Bridging IEEE 802.1aq MAC-in-MAC-Kapselung Provider Backbone Bridging (802.1ah) Mehrere Distribution Trees Standard-ASICs Kein Hop Count

68 68 Virtual Cluster Switching VDX-Switche N-OS (kein Foundry) 10GE-Ports FibreChannel-Ports 1.28 Tbps 0,6-1,2µs Latenz pro Switch Ethernet Name Service (ens) MAC-Learning & Distribution DCBX-Erweiterungen Layer 2 (Layer 3: Ende 2012)

69 69 Virtual Cluster Switching Aktuell 24 Nodes Fabric Shortest Path First (FSPF) Konfiguration RBridge-ID pro Node VCS-ID pro Fabric 10GE ISLs CNA-Integration FCoE & FibreChannel Management via BNA

70 70 QFabric QF/Node (QFX3500) 1.28 Tbps, 96k MACs 48x SFP+, 4x QSPF+ FC: Combo-Ports QF/Interconnect (QFX3008) 21HE Chassis, Tbps max. 128x 40GE QF/Director (QFX3100) Control-/Management-Plane (x86) Redundant, bitte

71 71 QFabric Single Switch 1µs Latenz pro Node 5µs gesamte Fabric 48k FIP-Sessions 128k bis 1,5m MACs 1536 FCoE-Ports 16k Routen (BGP, OSPF,...) Proprietär, kein TRILL

72 72 FabricPath Nexus-Serie N7000: F2-Module N5500 IS-IS als Routing-Protokoll MAC-in-MAC Kapselung 16 Byte Header Destination (SwitchID, PortID) TRILL-Erweiterungen

73 73 FabricPath VLAN-pruning Broadcasts nur an relevante Bridges Spanning Tree: Root Bridge Multihoming nur über vpc+ vpc-cluter innerhalb der Fabric Redundante Anbindung in die Fabric HSRP active/active

74 74 Fazit Brocade Fabric bis zum Server (CNA) Unterschiedliche Betriebssysteme Fabric-Pionier Cisco Schichten-Reduktion uninteressant Features stark Modul-abhängig Skalierung durch Fabric Extender Extreme Starkes Stacking Einheitliches OS & L2-/L3-Featureset Keine Fabric-Architektur Juniper Stacking sogar mit Chassis aber externe Routing Engines Fabric mit Routing-Features

75 75 Fazit Evolution statt Revolution

76 76 Dankeschön!