40 Gigabit-Ethernet und mehr: Auswahl zukunftssicherer Schnittstellen und optimale Verkabelung. Hartmut Kell,

Transkript

1 40 Gigabit-Ethernet und mehr: Auswahl zukunftssicherer Schnittstellen und optimale Verkabelung Hartmut Kell,

2 Übersicht Situation Wechsel von 10GE auf 40/100GE: Technologie-Betrachtung (Glasfaser) Probleme der Abkehr von 2-faserigen Übertragungstechniken Die Schnittstelle am aktiven Gerät und deren Einfluss auf die Verkabelung Erneuter Siegeszug von Twisted-Pair? Allgemeiner Ausblick bzw. Einfluss der hohen Datenraten auf die strukturierte Verkabelung 1

3 Situation Bis Einführung von 40 GBASE: Seit mehr als 20 Jahren weitestgehend einheitliche Verkabelungssystematik bei Glasfaser Alle Glasfaserqualitäten mehr oder weniger nutzbar IEEE bemüht auch ältere Fasertypen zu berücksichtigen, Beispiele: 10GBASE-LX4: 62,5µm-Faser bis 300 Meter 10GBASE-LRM: OM1-Faser bis 220 Meter Nutzbarkeit wird nur eingeschränkt durch Reichweiten der Multimodefasern Alle Links lassen sich mit 2 Fasern aufbauen (Jede Faser steht für eine Übertragungsrichtung) Alle bisherigen LWL-Stecker an den Rangierfeldern lassen sich verwenden, häufig Adapterkabel zum Anschluss an GBICs oder SFP notwendig. 2

4 Einführung von 40 GE und 100 GE (IEEE802.3ba) Verfügbare Medien / Fasern: OM3/OM4 und SMF Abkehr von der 2-Faserigkeit 40GBASE-SR4: 40 Gigabit benötigt 8 Fasern pro Link 100GBASE-SR10: 100 Gigabit benötigt 20 Fasern pro Link Abkehr von Duplex-Steckertechnologie Einführung eines neuen Steckers: MPO (Multi Path Outlet) 12 oder 24 Fasern im Stecker möglich Nicht alle Fasern im MPO werden belegt (Meist eingesetzte Version heißt MTP, voll kompatibel) Rx Tx Rx Tx 3

5 Physikalische Anforderungen bei 40/100GBase-SR: Optische Werte Identische Anforderungen für 40 GE und 100 GE Extrem strenges Dämpfungsbudget Interessant: OM4 erhöht die Anforderungen an das Dämpfungsbudget (Im Prinzip ist 1 Steckverbindung weniger im Link möglich als bei OM3) IEEE802.3ba: Seite 306 4

6 Physikalische Anforderungen bei 40/100GBase-LR: Optische Werte bei SMF IEEE802.3ba: Seite 310 und Gigabit 40 Gigabit 5

7 Kompatibilitätsproblem 40 GE <-> 100 GE Rangierfeld Switch-Port Rx Tx Inkompatibilität von MPO-Verbindern mit 12 und 24 Fasern (die Reihen stehen sich nicht gegenüber) Migration von 40 Gbit/s auf 100 Gbit/s erfordert Wechsel der Anschlusstechnik Austausch der MPO Adaptierung von 2 x 12er-MPO auf 1 x 24er-MPO Völlige Verunsicherung der Planer: Welchen MPO nehme ich den jetzt? 6

8 Bessere Skalierbarkeit durch neuen Standard Reaktion auf diese schlechte Lösung: Neuer Standard seit März 2015 (IEEE802.3bm 100GBASE-SR4) Vorteile 100GBASE-SR4 8 Fasern werden pro Link gebraucht Damit identische Faseranzahl wie bei 40GBASE-SR4 identische Steckertechnik Switch-Interface (SFP) ist kleiner (dazu später mehr) Nachteil: weitere Längenrestriktionen Verfahren OM3 OM4 100GBASE-SR m 150 m 100GBASE-SR4 70 m 100 m 7

9 Unvermeidbar bei Nutzung von 40/100 GE über Multimodefaser: MPO/MTP Führungsstifte (=PINs) unterscheiden Male und Female PINs werden nicht in erster Linie zur Unterscheidung vorgesehen, sondern zur besseren Kontaktierung Gut: Male / Female Nicht so gut: Female / Female Ganz schlecht: Male / Male Kodierungsnase (Key) Kann wahlweise nach oben oder unten in Kupplung oder SFP-Buchse eingesteckt werden Weißer Punkt: Kennzeichnet die Lage der Faser 1 Weißer Punkt Bildquelle: US Connec Key Stift 8

10 Grundprinzip: Transmit und Receive Switch-Port Server-Port Beispielhaft für 1 Faser Drehen erfolgt bei Duplex-Technik sehr einfach Drehen benötigt bei MPO-Technik Einsatz von unterschiedlich gedrehten Patch- oder Installationskabeln unterschiedlichen Kupplungen Verschiedene Dreh-Modelle spezifiziert in der EIA 568-C und EN

11 Drehung in der Kupplung Ein festinstalliertes Kabel und ein Patchkabel werden über eine spezielle Kupplung miteinander verbunden Faser Beispiel 1: Einsatz von KeyUp/KeyUp-Kupplung Position 1 Position 12 Kodierung oben Kodierung oben Position 1 Position 12 Faser Beispiel 2: Einsatz von KeyUp/KeyDown-Kupplung Kodierung oben in der Kupplung Faser Position 1 Position 12 Kodierung oben Kodierung unten Position 12 Position 1 Faser

12 Verschiedene Methoden der Belegung von Kabeln mit MPO-Stecker (nach TIA-568-C) Standard der meisten Hersteller Vorschlag der EN

13 Zunahme der Komplexität bei der Beschaltung von Glasfaserverbindungen Szenario: Man baut eine Strecke auf über mehrere Durchrangierungen mit unterschiedlichen Kupplungen mit unterschiedlich gedrehten Installationskabeln mit unterschiedlichen gedrehten Patchkabeln extrem komplexe Ermittlung der richtigen Polarität Bisher geringe Akzeptanz dieser Technik bei den Anwendern 12

14 Alternative(n) zu MPO-Übertragungstechnik IEEE-Standard EEE802.3ba und bm: 40 Gigabit- und 100 Gigabit-Ethernet brauchen mehr als 2 Fasern bei Multimodeübertragung Alternative: nichtstandardisierte proprietäre Herstellerlösungen erscheinen auf dem Markt Beispiel Cisco mit dem QSFP BiDi-Transceiver für 40 GE Prinzip: Auf beide Fasern wird in beide Richtungen mit Hilfe von verschiedenen optischen Wellenlängen übertragen (832 bis 868 nm bzw. 882 bis 918 nm) Beibehaltung von durchgängiger LC-Duplex-Technik Deutliche Kosteneinsparung durch Verzicht auf teuere MPO-Verkabelung Verwendung von kostengünstigeren BiDi-Transeiver (ca. 1/3 des Preises für normalen 40GABSE-SFP) Aber: Keine kompatible Lösung für 100GE verfügbar 13

15 Veränderungen der Anforderungen an Verkabelung bei Zwei-Faser-Technik von Cisco Erzielbare Reichweiten (nach Datenblatt) 32 m mit OM2, 100 m mit OM3, 125 m mit OM4, 150 m mit OM4+ Unter Annahme dass, bessere LWL-Stecker verwendet werden (max. 0,5 db / Steckverbindung) bei dem nicht standardisierten OM4+-Fasertyp eine bestimmte Panduit-Faser als Referenz herangezogen wird Wegfall des Drehens von Transmit Receive Alle Verkabelungen mit gedrehten Festverkabelungen müssen andere Patch-Schnüre verwenden 14

16 Modularität der Anschlußports: Physik endet nicht am Stecker. sondern setzt sich am Anschluss im Switch fort Seit Einführung von GBIC-Technologie Unterschiedliche Zugangsverfahren lassen sich mit unterschiedlichen Medien und unterschiedlichen Steckern beliebig einsetzen 1000 BASE-SX und 1000BASE-LX nutzen den selben Slot Heute LWL morgen Kupfer Ganz selbstverständliche Erwartungshaltung bei Switches mit modularen Ports: Das gilt auch für die neuen Zugangsverfahren Ist das tatsächlich so? 15

17 Verdeutlichung der Unterschiede am Beispiel der 100GE-Varianten (Quelle: Alcatel-Lucent) Erkennbar: Skalierbarkeit und Flexibilität wie bei 1 GE oder 10 GE ist nicht mehr so einfach sichergestellt 16

18 SFP war gestern, jetzt kommt der QSFP Traditionell für Datenraten bis 10 Gbit/s: Small Form-factor Pluggable (SFP) Anschluss über 2 Fasern LC-Anschlusstechnik Mit Einführung der Datenraten ab 40 Gbit/s: Quad Small Form-factor Pluggable (QSFP) Möglichkeit 1: Verwendung von speziellen Steckern mit mehr als 2 Fasern Klassisch: Jeder (siehe vorausgegangene Folien) Port ein Stecker Möglichkeit 2: Aufteilung des Anschlusses durch spezielle Kabel Beispiel rechts Switch mit einem QSFP-Port für 40 GE Anschluss an vier Server mit je 10 GE Konsequenzen Mit wenig Switch-Ports können viele Server angeschlossen werden Die Vier spielt eine große Rolle Neu: 4 Ports ein Stecker Bildquelle: Ethernet-Alliance 17

19 Beispiel Cisco: 40 Gigabit über Multimode mit Hilfe von 40GBASE-CSR4 Standardkonform: 40 Gigabit über Multimode mit Hilfe von 40GBASE-SR 8 Fasern über MPO-SFP MPO-Technik auch am Rangierfeld Anschlussschnüre MPO/MPO notwendig Längenrestriktion: 100 m nur über OM3 und 150 m über OM4 Proprietär: Cisco QSFP-40G-CSR4 8 Fasern über MPO-SFP am Switch 4 normale LC-Duplex am Rangierfeld möglich Einsatz von Hydra-Kabel möglich Längenrestriktion: 300 m über OM3 bzw. 400 m OM4 (da 4 Kanäle a 10Gbit/s mit Standard 10GBASE-SR genutzt werden und für 10GBASE-SR 300 m gelten) Vorteile der Lösung 40 Gbit/s können auch über größere Strecken genutzt werden Die vorhandene LC-Duplex-Infrastruktur kann genutzt werden Mit einem Switch-Port können vier Server a 10 GE angeschlossen werden 18

20 QSFP28, was muss man sich darunter vorstellen Grundsätzlich: (Q)SFP beschreibt den Anschluss im Switch-Slot (weitere Möglichkeiten siehe Bild rechts) SFP: Bis 1 GE SFP+: Bis 10 GE SFP28: Neu für 25 GE QSFP+: Bis 40 GE (und 4 x 10 GE) QSFP28: Bis 100 GE (und 4x 25 GE) QSFP28 mit gleicher Aufschaltelektronik wie QSFP+ QSFP28 hat das gleiche Abmaß wie QSFP+ 40GE-Slots und 100GE-Slots sind identisch Kabelanschluss erfolgt über MPO/MTP für Multimode LC-Duplex für Singlemode Spezielle Kupferkabel-QSFPs (100GBASE-CR) CFP wird z.b. von Cisco bei 100GBASE-SR10 verwendet Beispiel Juniper 19

21 Also Achtung bei der Planung Begriff des Lane, vereinfacht: Elektronischer Kanal (Trc+Rcv), wie eine Fahrspur im Verkehr Es gibt SFPs/QSFPs mit 1 oder 4 oder 10 Lanes = 1 oder 4 oder 10 Kanälen/Fahrspuren Schöne einfache Welt bis zur Einführung von Datenraten jenseits der 10 GE, nur SFPs mit einem Lane Bei Datenraten mit 40 oder 100 GE gibt es Module für 4 oder 10 Lanes Konsequenzen, unterschiedliche (Q)SFP-Ports und nicht jedes Modul funktioniert in jedem Slot, auch wenn es passen würde, Beispiele: 10GBASE-SR mit 1 Lane 25GBASE mit 1 Lane 40GBASE-SR4 mit 4 Lanes 100GBASE-SR10 mit 10 Lanes 100GBASE-SR4 mit 4 Lanes 100GBASE-LR4 mit 4 Lanes Direkt erkennbar: SR10 inkompatibel zum Rest 20

22 Achtung: Modulvielfalt ist herstellerabhängig, Beispiel Cisco Verschiedene Module für die selbe Übertragungstechnik 21

23 Vorteil der magischen Vier bei 100 Gigabit-Ethernet Nächste Generation der Server benötigt mehr als 10 Gigabit/s Möglichkeit: 40 GE Zu viel? 8 Fasern, unbeliebt? Möglichkeit: Zwischenschritt mit 25 GE, Vorteile 100 GE gibt es bereits (100GBASE-SR4 und 100GBASE-LR4) Durch vierteln der Datenrate am Switch- Port könnten also 4 Server über einen 100 GE-Port mit je 25 GE angebunden werden oder der Port kann als 100GE- Port genutzt werden Beispiel: Ein ToR-Switch mit 36 QSFP- Ports benötigt 1 HE und kann bis zu 144 Server anschließen 22

24 Planungserleichterung bei HD-Server-Racks Beispiel: Switch mit 36 QSFP28-Slots Möglich: 36 x 100 GE Statt Einbau von GE- QSFPs kommen 36 QSFPs für 4x25 GE rein 144 bzw. 124 Server können an den MoR-Switch angeschlossen werden Achtung: Server müssen SFP+-Ports haben Kein ToR mehr notwendig Beispiel: 42 HE-Schränke ToR-Switch 124 Servers 40 Servers 42 Servers 42 Servers Alternative: aus 36 x 40 GE macht man 144 x 10 GE 23

25 Wichtige Frage: Wie weit ist der Standard für 25 GE? Noch kein Standard, entstehen soll ein Standard: IEEE P802.3by Erste Prognosen Einsatz von Twinax (wenige Meter) Einsatz von MMF (Reichweiten ähnlich zu 100GBASE-SR4) Einsatz von Twisted-Pair mit ähnlichen Anforderungen wie 40GBASE-T SFP28 als Schnittstelle im Switch (Achtung: da gibt es derzeit mehrere Typen) Verabschiedung 2016 Aktuelle Fachkreis-Diskussionen: Sinn von 40GE wenn 25GE kommt Vorteile 25 GE: Durch Multiplikation n x 25 lassen sich einfacher höhere Datenraten entwickeln und in identischen Slots einstecken leichtere Skalierbarkeit 100 GE = 4 x 25 GE bereits vorhanden (100GBASE-LR4) 50 GE = 2 x 25 GE bereits in Entwicklung 200 GE = 8 x 25 GE denkbar 400 GE = 16 x 25 GE denkbar Beabsichtigt wird auch 25GBASE-T zusammen mit 40GBASE-T zu normieren (gleiche PHY) 24

26 Übersicht der Varianten und Anschlusstechniken (LWL) Norm Verfahren Medium IEEE802.3ba 40GBASE-SR4 OM3 MMF OM4 MMF Faseranzahl 8 Maximale Länge 100 m 150 m Stecker am Switch MPO (12 Fasern) Lane-Anzahl 4 lanes IEEE802.3ba 40GBASE-LR4 OS1 / OS2 (SMF) 2 2 m bis zu 10 km LC-Duplex 4 lanes (CWDM) IEEE802.3ba 40GBASE-ER4 OS1 / OS2 (SMF) 2 IEEE802.3ba IEEE802.3bm 100GBASE-SR10 100GBASE-SR4 OM3 MMF OM4 MMF OM3 MMF OM4 MMF m bis zu 30 km 2 m bis zu 40 km 100 m 150 m bis zu 70 m bis zu 100 m Interface im Switch* CFP oder QSFP+ CFP oder QSFP+ LC-Duplex 4 lanes (CWDM) QSFP+ MPO (24 Fasern) MPO (12 Fasern) 10 lanes 4 lanes IEEE802.3ba 100GBASE-LR4 OS1 / OS2 (SMF) 2 2 m bis zu 10 km LC-Duplex 4 lanes (CWDM) IEEE802.3ba 100GBASE-ER4 OS1 / OS2 (SMF) 2 2 m bis zu 30 km 2 m bis zu 40 km QSFP28, CFP2, CFP4 oder CXP QSFP28, CFP2, CFP4 CFP, CFP2, CFP4, QSFP28 LC-Duplex 4 lanes (CWDM) CFP, CFP2 *: Herstellerabhängige Vielfalt 25

27 Übersicht der Varianten und Mediumvoraussetzungen (Kupfer) Stand heute: Kein Twisted Pair In der Regel bei Twinax als Direct Attached Cable-Technik ausgeführt Beispiel Leoni Norm Verfahren Medium Maximale Länge Stecker am Switch Lane-Anzahl Interface im Switch* IEEE802.3ba 40GBASE-KR4 Backplane 1 m lanes --- IEEE802.3ba 40GBASE-CR4 Copper Twinax bis zu 7 m Twinax (festverbunden) 4 lanes QSFP+ IEEE802.3bj 100GBASE-KR4 Backplane PMD lanes --- IEEE802.3bj 100GBASE-KP4 Backplane PMA lanes --- IEEE802.3bj 100GBASE-CR4 Copper Twinax bis zu 5 m IEEE802.3ba 100GBASE-CR10 Copper Twinax bis zu 7 m Twinax (festverbunden) Twinax (festverbunden) 4 lanes QSFP28 oder CFP 10 lanes CXP *: Herstellerabhängige Vielfalt 26

28 Mehr als 10 Gigabit über Twisted Pair Macht es Sinn? Wird es kommen? Wann? Mit welchen Konsequenzen? Bisherige Erfahrungen: Twisted Pair hat sich als Medium bei kurzen Strecken und vor allem bei hoher Portanzahl IMMER durchgesetzt, wegen des Preises Prognosen der IEEE (entnommen Netzwerk-Insider Jan 2015) 2016 werden mehr als 70% aller Serveranschlüsse in Kupfer ausgelegt sein! 2017 werden über die Hälfte aller Server-Ports 40 GE brauchen! Aber sind die Prognosen realistisch? Es gibt auch andere Prognosen, siehe nächste Folie 27

29 Weitere Prognose zur Entwicklung der Ethernet-Ports Quelle: Hier: 2017 immer noch 70% der Ports in 1 oder 10 GE Aussage eines Mitglieds der Standardisierung (Sommer 2014): Die Anzahl an realisierte 10GE-Ports war deutlich niedriger als prognostiziert Quelle rechts: Dell Oro Group

30 Ecksteine der zu erwartenden Technik bei 40/25GBASE-T Unterstützung von Autonegotiation zu 1000BASE-T und 10GBASE-T Anforderungen an die Verkabelung 1) Höhere Bandbreite als 1000 MHz UTP ist definitiv am Ende! Planung einer Verkabelung im RZ der Klasse F oder Klasse F A, mit dem Ziel mehr als 10 Gigabit/s möglich zu machen war sinnlos 2) Nur 2 Steckverbindungen im Link 3) Kürzere Reichweiten als 100 m (max. 30 m) TP-Verkabelungen im RZ mit sternförmiger Topologie, ausgehend von einem Sternmittelpunkt, waren in größeren RZs sinnlos 4) Völlig neue TP-Qualitätsklassen werden spezifiziert Was wird es werden: Kategorie 8? Class I? Class II? Fertiger IEEE-Standard erwartet für 2016 Achtung: In der Regel zieht der Standard für die dazu notwendige Verkabelung dann mit zum Teil erheblicher Verzögerung nach (2-3 Jahre) In jedem Falle erkennbar: Wenig belastbares um Entscheidungen zu treffen, außer einer: Abwarten! 29

31 Ausblick zur strukturierten Verkabelung (Tertiärbereich) Anforderungen Weiterhin: 1 Gbit/s ausreichend für die nächsten Jahre Ausnahme: Anbindung von IEEE802.11ac-Access Points Reichen da 1 Gbit/s aus? Kann 10GBASE-T dazu genutzt werden (Problem: kein PoE spezifiziert) Definitionsfrage: Ist das noch Tertiärverkabelung? Link-Längen von min. 90 Meter müssen möglich sein Empfehlungen Weiterhin Aufbau von Tertiärstrecken der Klasse E A Hinterfragung: Was bringen Installationskabel der Kategorie 7 (oder besser), wenn sowohl Klasse F wie auch Klasse F A ohne Nutzen sind 30

32 Ausblick zur strukturierten Verkabelung (Primär- und Sekundärbereich) Anforderungen Alle derzeit absehbaren Datenraten müssen möglich sein Aber keine zwingende Vorgabe der Übertragungstechnik Beibehaltung der Duplex-Technologie (kein MPO) Eine Durchpatchung sollte möglich sein Empfehlungen Sinnvolle Topologie (keinen Ring!) SV Abkehr von Multimodefaser als Medium des Primärbereiches Singlemodetechnik bevorzugt Vorteile 1. GV GV Höheres Dämpfungsbudget Leitungslängen im km-bereich möglich MPO kann vermieden werden Nachteil: Höhere Kosten bei den Switches EV EV EV 31

33 Ausblick zur strukturierten Verkabelung (Rechenzentrum / Serverraum) Anforderungen Hohe Datenraten müssen einfach und schnell bereitgestellt werden können Prognose: 25/40GBASE-T wird als Serveranschluss wichtig werden Verkabelungsaufwand muss minimiert werden Wenn möglich: Verzicht auf MPO-Technik Empfehlungen Zentral aufgebaute Bereichsverteilungsverkabelungen sind out, es lebe die dezentrale Topologie (ToR, EoR, MoR) Umfangreiche Twisted-Pair-Verkabelungen im Serverraum sind out (weg mit den Kabelmengen aus dem Doppelboden) Die Verkabelung innerhalb von Schrankreihen oder innerhalb eines Schrankes muss einfach und schnell installiert und angepasst werden können Genau hier bietet sich Twisted-Pair an Reichweiten sind unkritisch Gegebenenfalls Verzicht auf strukturierte Verkabelung 32

34 Gemeinsame Ziele verbinden ComConsult Beratung und Planung GmbH Pascalstraße 27, Aachen, Deutschland Telefon: Fax: Web: ComConsult Beratung und Planung GmbH, 4. April 2016