infoline Das Kundenmagazin der spezial: Netzwerke Alle Artikel zu unseren Fokusthemen finden Sie unter comlineag.de/infocenter
Netzwerke die Erfolgsspuren in Unternehmen. Wer darf was in welchem Ausmaß an welcher Stelle? Das Netzwerk als Lebensgrundlage einer Unternehmens-IT ist vergleichbar mit dem Blutkreislauf und Nervensystem eines menschlichen Körpers. Über das Netzwerk fließen die Informationen, die zwischen Servern, Clients, Anwendungen und Nutzern ausgetauscht werden und die Daten, die von den Nutzern und den Systemen benötigt werden, um sinnvolle Arbeit zu verrichten. In den letzten Jahren wurde durch die Entwicklungstendenzen * over IP und * over Ethernet das Netzwerk noch wichtiger, weil jetzt nicht nur Datenverbindungen zwischen Clients und Servern hergestellt werden, sondern auch die Verbindungen zwischen Servern und ihren Speichersystemen oder das Telefonieren über das Netzwerk realisiert werden. In der Konsequenz dieser Entwicklungen bedeutet heute ein Ausfall von zentralen Netzwerk-Elementen nicht mehr nur eine Unterbrechung bei einzelnen Services, sondern oft einen Totalausfall kompletter IT-Umgebungen, da Serverfarmen ihr Storage nicht mehr erreichen (NFS, iscsi, FCoE) oder im gesamten Unternehmen kann nicht mehr telefoniert werden. Beide Szenarien sind für die meisten Unternehmen heute mit Umsatzeinbußen verbunden, was auf jeden Fall zu einem Nachdenken über die Verbesserung der Verfügbarkeit des Basisdienstes Ethernet führt. Im Folgenden wollen wir uns mit den Möglichkeiten beschäftigen, die für die Ethernet-Ebene des Netzwerkes bereits zur Verfügung stehen, um die Verfügbarkeit von IT-Netzwerken zu verbessern. Dazu werden die Techniken zunächst allgemein beschrieben und dann ihre Umsetzung unter drei führenden Herstellern von Ethernet Switches verglichen. Dabei werden wir die wesentlichen Begriffe und Technologien erklären und ihre Umsetzung in den Produkten von Cisco Systems, Hewlett Packard und Juniper Networks betrachten. Des Weiteren werden wir die Technologien mit Anwendungsbeispielen aus COMLINE Projekten erläutern. Begriffe Spanning Tree Eine Ethernet-Struktur reagiert ausgesprochen verschnupft auf Schleifen oder Loops. Als Loop bezeichnet man z.b. eine Verbindung zwischen zwei Ethernet-Switches mit zwei Netzwerk-Kabeln. Das führt im Allgemeinen zum Erliegen des Netzwerk-Verkehrs auf den betroffenen Elementen und ist entweder ein Versehen bei der Verkabelung oder ein Akt der Sabotage. Spanning Tree ist eine Technologie, mit der diesem Ausfall vorgebeugt werden kann, indem beim Erkennen eines Loops durch die Ethernet-Switches alle Verbindungen zwischen den betroffenen Switches bis auf eine einzige deaktiviert werden. Vorhandene Loops werden so unterbrochen. Der Einsatz von Spanning Tree ist eine klassische Variante, redundante Kabel-Verbindungen zwischen Switches herzustellen und einem Ausfall von Kabelverbindungen oder einzelnen Ethernet-Ports vorzubeugen. Wenn mit diesem Konzept ein komplettes Netzwerk redundant verkabelt aufgebaut werden soll, sind hier eine solide Planung und eine sorgfältige Konfiguration des eingesetzten Spanning 02 infoline spezial
Über das Netzwerk fließen die Informationen, die zwischen Servern, Clients, Anwendungen und Nutzern ausgetauscht werden. Tree-Protokolls notwendig. Nachteilig ist hier vor allem, dass redundante Wege verkabelt und damit Ethernet-Ports verbraucht werden, die redundanten Wege jedoch durch das Protokoll deaktiviert werden und sich der Durchsatz des Netzwerkes durch die zusätzlich belegten Ports nicht verbessert. Es werden also Ressourcen verbraucht, die ausschließlich im Fehlerfall benutzt werden und während des Normalbetriebs nichts Sinnvolles leisten. Durch aktuelle Technologien wird Spanning Tree nicht ganz überflüssig, eine Konfiguration ist hier nach wie vor sinnvoll. Als alleiniger Mechanismus zur Verbesserung der Netzwerk-Verfügbarkeit ist diese Technik jedoch überholt. Link Aggregation Die Zusammenfassung mehrerer physikalischer Verbindungen zu einer logischen Verbindung wird im Ethernet als Link Aggregation bezeichnet. In der praktischen Ausführung werden mehrere Netzwerk- Kabel z.b. von einem Switch zu einem zweiten Switch verbunden, und über alle angeschlossenen Ports auf jedem der Switches wird ein sog. Port Channel (Cisco), Aggregated Interface (Juniper) oder Trunk (HP) konfiguriert. Mit dieser Konstruktion können alle physikalischen Verbindungen der beiden Switches bis auf eine ausfallen, ohne dass die Datenverbindung zwischen den beiden Switches unterbrochen wird. Alle Leitungen und alle beteiligten Ethernet-Anschlüsse transportieren Daten. Die Verbindung hat also nicht nur eine höhere Verfügbarkeit, sondern auch einen höheren Datendurchsatz. Die gleiche Technik kann natürlich auch verwendet werden, um Server mit mehreren Netzwerk-Ports an das Netzwerk anzuschließen, sodass die Verfügbarkeit und der Durchsatz für diese Server verbessert werden. Eine Bedingung für die Realisierung von Link Aggregation ist die Verbindung aller einzelnen Leitungen zu einer einzigen Switch Fabric, also auf ein und denselben Switch. Switch Stacks Viele Ethernet-Switches erlauben die Bildung von Stapeln aus mehreren physikalischen Switches zu einem größeren Switch, einem Stack. Das Stacking wird meistens durch spezielle Module, Anschlüsse und Spezialkabel realisiert, mit denen die einzelnen Mitglieder des Stacks (Stack Members) untereinander verbunden werden. Der gesamte Verbund aus einzelnen Geräten (Chassis) wird dann technisch als eine Einheit betrachtet (Fabric), die, obwohl sie aus mehreren physikalischen Einzelswitches besteht, über eine einzige Adresse verwaltet wird. Eine Verbesserung der Verfügbarkeit resultiert unter anderem daraus, dass jedes Mitglied seine eigene Stromversorgung hat. Beim Ausfall eines Switch-Netzteils ist also nur ein einzelnes Chassis betroffen, der gesamte Stack bleibt jedoch online. Zusammen mit der bereits beschriebenen Link Aggregation können hochverfügbare Verbindungen realisiert werden, indem die einzelnen Ports für die Channels/Trunks/Aggregated Interfaces über die verschiedenen Mitglieder des Stacks verteilt werden. Ein Stack kann allerdings in den meisten Fällen nur mittels einer engen räumlichen Zusammenlegung der einzelnen Stack Mem- ber aufgebaut werden, da die Verkabelung der Stack Member untereinander meistens nur mit relativ kurzen Kabeln erfolgt (wenige Meter). Diese Einschränkung kann durch die Konfigu- ration von Virtual Stacks überwunden werden, die bei einigen Herstellern über normale Ethernet-Verbindungen realisiert wer- den können. Cluster Kann eine HA-Anforderung an einen Ethernet-Switch nicht mit einem Stack erfüllt werden, bleibt als nächster Schritt der Switch-Cluster. Bei einem Cluster werden mindestens zwei intelligente Switches zu einem Verbund zusammengefasst. Die Cluster-Konzepte unterscheiden sich bei den Herstellern im Detail. Mit Cluster-Konfigurationen können auch größere Entfernungen zwischen den Cluster-Members überbrückt werden, die bis in den zweistelligen Kilometerbereich reichen. Diese Variante ist z.b. die erste Wahl für die Realisierung hochverfügbarer Ethernet-Switching-Plattformen über verschiedene Band-Abschnitte. Die Cisco Varianten Link Aggregation Die typische Link Aggregation trägt bei Cisco den Namen Port Channel. Manchmal wird auch der Begriff EtherChannel benutzt. Cisco beherrscht hier drei Modi zum Bilden der Link Aggregation: statisch das standardisierte LACP (Link Aggregation Control Protocol) das proprietäre PAgP (Port Aggregation Protocol) infoline spezial 03
Abb. 1 Stacking Das Stacking von Switches ist bei Cisco ausschließlich über Stacking- Module auf der Rückseite des Gerätes möglich. Diese Module sind nur bei bestimmten Modellen der Cisco-Catalyst-Serie vorhanden. Hier werden auch spezielle Stacking-Kabel benötigt, wodurch die maximal mögliche Entfernung der beteiligten Geräte bei unter zehn Metern liegt. Die Konfiguration ist sehr simpel, denn sobald die Switches über die Stacking-Kabel verbunden werden, funktionieren sie als ein logisches Gerät. Alle Access-Geräte können nun an Ports auf verschiedenen Chassis angeschlossen werden und sind so bei einem Ausfall eines Chassis im Stack weiterhin erreichbar. Man kann die Anzahl der beteiligten Chassis auch im laufenden Betrieb erhöhen. Maximal sind neun Geräte in einem Stack möglich. Cluster mit VSS Um Hochverfügbarkeit im Core-Bereich des Netzwerkes herzustellen, kann bei Cisco die Technologie VSS (Virtual Switching System) verwendet werden. VSS wird aktuell auf den Cisco Catalyst 4500-X, 6500, und 6800 unterstützt. In diesem Konstrukt werden zwei physikalische Switches zu einem logischen Switch vereint. Es gibt somit nur ein zu verwaltendes Gerät, welches nur über eine Adresse im Netzwerk erreichbar ist. In diesem Verbund können alle Access-Geräte redundant über sogenannte MEC (Multichassis EtherChannel) an den Switch-Cluster angebunden werden und sehen trotz zweier physikalischer Endpunkte nur einen einzigen Switch. Zur Kommunikation zwischen den beiden VSS-Members wird der VSL (Virtual Switch Link) konfiguriert. Er besteht aus mindestens zwei 10 GBit/s LWL-Ports und wird benötigt, um die Konfigurationen auf beiden Switches synchron zu halten. Bei einem Ausfall eines Switches wickelt der verbleibende Switch den kompletten Datenverkehr ab. Die Umschaltzeit hierfür liegt bei unter 200ms. In einem VSS-Verbund gibt es einen Master, auf dem die aktive Control Plane läuft. Er stellt die Intelligenz in diesem System dar und ist der aktive Part für Layer- 3-Verbindungen. Die Data Plane ist auf beiden Geräten aktiv. Dadurch wird im Layer- 2-Bereich der doppelte Datendurchsatz erreicht. Bei einem Ausfall des VSL-Links ändert sich aus Sicherheitsgründen nichts an dieser Aufteilung. Hierdurch wird verhindert, dass beide Switches die Master-Rolle übernehmen. Dieses Szenario nennt man Split Brain. Die Portdichte in einem VSS kann zusätzlich über weitere Instant-Access-Switches erweitert werden. Dies sind Switches der Serie Catalyst 6800ia, die einen Cisco 6800 VSS Core auf die Access-Ebene erweitern. Der Vorteil bei dieser Konfiguration ist eine zentrale Verwaltung mit großem Funktionsumfang. (Siehe Abb. 1) Cluster mit vpc Die zweite Cluster-Technologie des Herstellers Cisco nennt sich vpc (virtual Port Channel) und wird auf verschiedenen Switches der Nexus-Produkt-Familie unterstützt. Im Gegensatz zur VSS-Technologie, werden die teilnehmenden Switches nicht komplett logisch zusammengefasst. Beide Switches behalten ihre eigenständigen Konfigurationen und Identitäten. Lediglich die Layer-2-Kommunikation wird auf beiden Switches vereint, sodass Port Channel über mehrere Geräte gebildet werden können. Hierzu werden die Switches in eine einheitliche vpc-domain gelegt und zwischen den beiden Geräten wird ein Peer-Link konfiguriert. 04 infoline spezial
Abb. 2 Das Failover-Verhalten entspricht dem von VSS. Der einzige Unterschied liegt in der Vermeidung eines Split-Brain-Szenarios. Hier gibt es zusätzlich einen vpc Peer Keepalive Link, der entweder über eine zusätzliche Verbindung oder einen Access-Switch konfiguriert werden kann. Auch bei vpc ist die Erweiterung der Portdichte über sogenannte Fabric Extender (FEX) möglich. Das Prinzip entspricht der Instant- Access-Funktion beim VSS. (Siehe Abb. 2) HP High-Availability-Netzwerktechnologien Die High-Availability-Konzepte bei HP reichen wie bei den Konkurrenzherstellern von Zusammenschlüssen von Ports (Link Aggregation) zu den Verknüpfungen verschiedener Switches und kompletten Chassis (Stacking/IRF). Ziel dieser Technologien ist es, möglichst kurze Umschaltzeiten (IRF Failover unter 50 ms) in Ausfallsituationen zu erreichen. Ein weiterer Vorteil ist, dass langjährig eingesetzte Technologien wie VRRP oder Spanning Tree weitgehend vermieden werden können, da diese längere, heute in Datencentern unzureichende Umschaltzeiten haben und teilweise Links blocken. Trunks In der HP-Welt wird eine Link Aggregation als Trunk bezeichnet. Unterschieden wird in diesem Zusammenhang zwischen den folgenden Typen: statische Trunks LACP-Trunks Üblicherweise können Trunks nur auf einem physikalischen oder virtuellen Chassis terminiert werden. Einige HP-Switches bieten darüber hinaus die Möglichkeit der Konfiguration so genannter Distributed- Trunks. Diese Technologie ermöglicht die Konfiguration von Trunks über zwei autark arbeitende Chassis, die über einen sogenannten ISC-Link (Inter-Switch-Connect) verbunden werden. Stacking Stacking ist eine Technologie die eher bei Switches aus dem Access- Segment genutzt wird. Es werden dedizierte Ports genutzt, die meistens an der Rückseite der Switches in Erweiterungsmodulen angebracht sind. Durch die Verbindung und gemeinsame Nutzung der Backplane der Switches wird ein logisches Gerät gebildet und eine Erhöhung der Portdichte und einfacheres Management werden erreicht. Da auch Uplinks zu anderen Switches, wie z.b. die Verbindung zwischen Coreund Access-Bereich, auf verschiedenen Chassis angeschlossen werden können, wird so eine Verbesserung der Ausfallsicherheit bewerkstelligt. Cluster mit IRF IRF (Intelligent Resilient Framework) wurde von der Firma 3Com (später H3C) entwickelt und nach der Übernahme von H3C durch HP in das HP-Portfolio aufgenommen. IRF ist von der Technologie her am ehesten mit VSS von Cisco zu vergleichen. Die Anzahl der Switches, die dadurch verbunden werden können variiert jedoch bei den verschiedenen Switch-Modellen zwi- infoline spezial 05
Abb. 3 schen mindestens zwei und maximal neun Members pro Cluster. Teilweise können auch unterschiedliche Versionen von Switch-Modellen in einem Cluster verbunden werden, wie HP A5800 und A5820. Im Gegensatz zum Stacking werden keine dedizierten Stacking Ports verwendet, sondern normale 1GBit/s- oder 10GBit/s-Ports. Diese Ports werden zu logischen IRF-Ports zusammengefasst, um die Verbindung der Switches untereinander aufzubauen. Die so verbundenen Switches werden als ein logisches Device angesehen, was das Management erleichtert, den Durchsatz erhöht und die Abhängigkeit von Spanning Tree- und Routing-Redundanz-Protokollen verringert oder vollständig vermeidet. Zur Vermeidung der bei Clustern zu befürchtenden Split-Brain-Szenarien werden das MAD-Protokoll (Multi-Active-Detection) und ein Keepalive-Mechanismus verwendet. Diese Methode ist mit der Cisco vpc-technologie vergleichbar. High Availability bei Juniper Networks Link Aggregation Juniper verwendet den Begriff LAG (Link Aggregation Group) zur Bezeichnung eines logischen Interfaces aus mehreren zusammengefassten physikalischen Ethernet-Ports. Es lassen sich in der Regel bis zu acht Ports zu einem LAG zusammenschalten, bei den Modellen ab der EX8200-Serie sind es bis zu zwölf Ports. Es lassen sich sowohl statische LAGs bilden, als auch solche mit LACP (Link Aggregation Control Protocol) als Aushandlungsprotokoll. Stacking und Cluster mit Virtual Chassis Die Virtual Chassis (VC)-Technologie von Juniper ergänzt das klassische Switch-Stacking, welches spezielle Stacking-Module voraussetzt, um die Möglichkeit, Stacks und Cluster mit normalen Ethernet-Ports zu bilden. Damit können diverse HA-Features auch über längere Strecken ohne spezielle Stacking-Hardware eingesetzt werden. So unterstützt die EX-Switch-Serie ab dem kleinsten Switch das Virtual Stacking über jeden Ethernet-Port am Switch (ab Software-Version JunOS 12.3). Bei einem Zusammenschluss werden die Geräte zu einer logischen Fabric vereint. Dabei lassen sich die einzelnen Chassis auch in verschiedenen Räumen oder Rechenzentren unterbringen. Hierzu werden an den Geräten sogenannte Virtual Chassis Ports (VCP) definiert, die dann als Point-to-Point-Verbindung agieren und die Daten des Virtual Chassis Control Protocol (VCCP) übertragen. Dabei ist darauf zu achten, dass die VC-Ports die Daten unverschlüsselt und ohne Authentifizierung übertragen. Das Virtual Chassis Control Protocol startet automatisch durch die Konfiguration eines VC-Ports. Die VC-Technologie ermittelt nach der Bildung einer Fabric die Rollen der Master-, Backup- und Line-Card-Geräte, wobei der Master die aktuelle Konfiguration verwaltet, das Backup-Gerät unmittelbarer Nachfolger des Masters bei einem Ausfall wird und die Line-Card-Geräte als Backup einspringen können, wenn Ausfälle erkannt werden. Diese Technologie erlaubt auch das Bilden von Link Aggregationen über verschiedene Chassis hinweg (Multichassis Link Aggregation Groups, kurz MC-LAG). High-Availability-Mechanismen bei Einsatz der Virtual-Chassis-Technologie Alle Modelle der EX-Switch-Serie beherrschen zwar die VC-Technologie, es ist jedoch zu beachten, dass bei einem Ausfall eines VC- Members oder eines Links beim Einsatz von MC-LAGs alle Daten der Protokolle neu berechnet werden müssen und dass in dieser Zeit kein Traffic weitergeleitet werden kann. Diese Ausfallzeiten variieren mit der Leistungsfähigkeit der eingesetzten Switch-Modelle und können unter Umständen bis zu mehreren Minuten dauern. Die Switches ab der EX4200-Serie bieten die Möglichkeit, HA-Mechanismen wie Nonstop Bridging (NSB) für unterstützte Protokolle einzusetzen, die das verlustfreie Umschalten bei OSI-Layer-2-Protokollen wie LACP oder Spanning Tree erlauben. Die Erweiterung auf OSI- Layer-3 nennt sich Nonstop active Routing (NSR) und ist verlustfrei 06 infoline spezial
verfügbar für IS-IS, OSPF, RIP und BGP. Eine ähnliche Funktionsweise bietet das Graceful Protocol Restart Feature (GPR), welches verlustfrei bestimmte Protokolle neu starten kann. (Siehe Abb. 3) Designansatz zum Einbinden von Juniper HA-Mechanismen In diesem Designansatz sind zwei Switches zu einem logischen Switch mittels der VC-Ports verbunden worden. Damit ist der Einsatz von Multichassis Link Aggregation Groups möglich. Der untere Switch sieht nur einen Switch auf der Gegenseite und somit können alle Links ohne den Einsatz von Spanning Tree als Link Aggregation aktiv genutzt werden. Bei entsprechender Konfiguration führt ein Ausfall eines der oberen Geräte nun nicht mehr zum Stillstand des Netzwerks. Einsatz bei den COMMUNDO Tagungshotels Die Vorzüge der Virtual-Chassis-Technologie konnte COMLINE bereits bei den COMMUNDO Tagungshotels etablieren. Dort wurden an allen acht Standorten Core- und Access-Komponenten durch Hardware von Juniper Networks ersetzt. Durch den Einsatz von Link Aggregationen im Zusammenspiel mit der Virtual-Chassis-Technologie konnten das Management sowie der Traffic Flow optimiert und gegen Ausfälle sicherer gemacht werden. Christoph Sanders Teamleiter Netzwerk E-Mail: christoph.sanders@comlineag.de Dennis Ermisch Datacenter Consultant E-Mail: dennis.ermisch@comlineag.de Daniel Kemper Datacenter Consultant E-Mail: daniel.kemper@comlineag.de Markus Kratzer Datacenter Consultant E-Mail: markus.kratzer@comlineag.de Tim Wolff Datacenter Consultant E-Mail: tim.wolff@comlineag.de infoline spezial 07
infoline spezial Weitere interessante Themen aus unserem Kundenmagazin infoline können auch als infolinespezial nachgelesen werden: Diese finden Sie unter www.comlineag.de/infocenter COMLINE Computer + Softwarelösungen AG Leverkusenstr. 54 22761 Hamburg Tel.: +49 (0)40 / 5 11 21-0 Fax: +49 (0)40 / 5 11 21-111 E-Mail: info@comlineag.de www.comlineag.de Die mit Hauptsitz in Hamburg ist Innovationspartner für IT-gestützte Prozesse und Technologien. COMLINE verbindet Welten: IT-Technologie-Kompetenz mit Verständnis für Geschäftsprozesse und Individualität mit Standards. Als strategischer Beratungspartner schaffen wir für Ihr Unternehmen passgenaue Lösungen mit messbarem Nutzen in Effizienz und Qualität. 08 infoline spezial