Best Practices für den Netzwerkbetrieb

Transkript

1 Best Practices für den Netzwerkbetrieb mit VMware vsphere 4 auf Dell PowerEdge Blade-Servern Juli 2009 Virtualisierungslösungen von Dell

2 Die Angaben in diesem Dokument können ohne Vorankündigung geändert werden. Copyright 2009 Dell Inc. Alle Rechte vorbehalten. Jegliche Vervielfältigung ist ohne schriftliche Zustimmung von Dell Inc. streng verboten. Dieses Whitepaper dient ausschließlich Informationszwecken und enthält möglicherweise Druckfehler und technische Ungenauigkeiten. Alle Angaben wurden sorgfältig zusammengestellt, dennoch kann keinerlei ausdrückliche oder stillschweigende Haftung übernommen werden. Dell, das Dell Logo, EqualLogic, PowerEdge und OpenManage sind Marken von Dell Inc.; Citrix ist eine eingetragene Marke von Citrix in den Vereinigten Staaten und anderen Ländern; Microsoft ist eine eingetragene Marke der Microsoft Corporation; VMware, vcenter und VMotion sind eingetragene Marken oder Marken (die "Marken") von VMware, Inc. in den Vereinigten Staaten bzw. anderen Ländern. Alle anderen in diesem Dokument genannten Marken und Handelsbezeichnungen stehen entweder für den jeweiligen Eigentümer oder für dessen Produkte. Dell erhebt keinerlei Anspruch auf Eigentumsrechte an den Marken und Handelsbezeichnungen Dritter. Seite 2

3 Inhalt 1 Einführung Überblick Fabrics E/A-Module Zuordnung zwischen Blade-Server und E/A-Modulen im Gehäuse Zuordnung zwischen physischer ESX Adapter-Enumeration und E/A-Modulen Netzwerkarchitektur Entwurfsprinzipien Empfohlene Konfigurationen Lokales Netzwerk (LAN) Isolierung des Datenverkehrs mit VLANs Lastausgleich und Failover Externe Konnektivität iscsi-san-speichersystem Lastausgleich Empfehlungen zum Storage-Array-Netzwerkbetrieb Empfehlungen zum Anschluss von Storage-Arrays Referenzen...16 Abbildungsverzeichnis Abbildung 1: Blade-Fabric-Layout...4 Abbildung 2: Adapter- und E/A-Modul-Verbindung im Gehäuse für Blades mit halber Höhe...6 Abbildung 3: Adapter- und E/A-Modul-Verbindung im Gehäuse für Blades mit voller Höhe...7 Abbildung 4: Verbindungen des virtuellen Switches für das LAN in Blade-Servern mit halber Höhe...9 Abbildung 5: Verbindungen des virtuellen Switches für das LAN in Blade-Servern mit voller Höhe...10 Abbildung 6: Virtueller Switch für SAN in Blade-Servern mit halber Höhe...11 Abbildung 7: Virtueller Switch für SAN in Blade-Servern mit voller Höhe...12 Abbildung 8: Multipathing mit Round Robin...12 Abbildung 9: Direkter Anschluss des Storage-Arrays an die E/A-Module...14 Abbildung 10: Skalierbare Massenspeicherkonfiguration mit externen 48-Port-Switches...15 Abbildung 11: Skalierbare Massenspeicherkonfiguration mit externen 48-Port-Switches und 10-Gigabit-Verbindungen...15 Seite 3

4 1 Einführung Dieses Whitepaper bietet einen Überblick über die Netzwerkarchitektur für VMware vsphere 4 auf Dell PowerEdge Blade-Servern. Es stellt Best Practices für die Bereitstellung und die Konfiguration Ihres Netzwerks in der VMware Umgebung vor. Darüber hinaus wird auf schrittweise Anleitungen in anderen Handbüchern verwiesen. Das Zielpublikum dieses Whitepapers sind Systemadministratoren, die die Virtualisierung von VMware auf Dell PowerEdge Blade-Servern mit iscsi-massenspeicher einsetzen wollen. Der Schwerpunkt der in diesem Whitepaper besprochenen Netzwerkarchitektur liegt auf dem iscsi-san. Best Practices für Fibre Channel-SANs werden in diesem Dokument nicht vorgestellt. 2. Überblick Das PowerEdge M1000e ist ein energieeffizientes Blade-Gehäuse mit hoher Dichte. Es unterstützt bis zu 16 Blade-Server mit halber Höhe oder acht Blade-Server mit voller Höhe und drei E/A-Fabric-Layer (A, B und C), wobei Sie aus Kombinationen mit Ethernet, InfiniBand und Fibre Channel-Modulen wählen können. Sie können im Gehäuse bis zu sechs Hot-Swap-fähige E/A-Module installieren, einschließlich Fibre Channel-Switch-, Fibre Channel-Pass-Through-, InfiniBand-Switch-, Ethernet-Switch- und Ethernet-Pass-Through-Modul-E/A-Module. Der integrierte Chassis Management Controller sorgt für eine einfache Verwaltung der E/A-Module über eine einzige sichere Schnittstelle. 2.1 Fabrics Das PowerEdge M1000e System besteht aus drei E/A-Fabrics: Fabric A, B und C. Jedes Fabric umfasst zwei E/A-Module. Die Module sind: A1, A2, B1, B2, C1, C2. Die folgende Abbildung zeigt die unterschiedlichen E/A-Module, die vom Gehäuse unterstützt werden. Abbildung 1: Blade-Fabric-Layout Seite 4

5 Fabric A ist ein redundantes 1GbE-Fabric, das die E/A-Modulsteckplätze A1 und A2 unterstützt. Durch die integrierten Ethernet-Controller in jedem Blade wird Fabric A zu einem reinen Ethernet-Fabric. Fabric B ist ein redundantes Fabric mit zwei Ports und ein bis zehn Gbit/s, das die E/A-Modulsteckplätze B1 und B2 unterstützt. Fabric B unterstützt derzeit 1/10GbE-, InfiniBand und Fibre Channel-Module. Um mit einem E/A-Modul in den Steckplätzen von Fabric B zu kommunizieren, muss ein Blade-Server mindestens eine passende Zusatzkarte in einem Zusatzkartensteckplatz von Fabric B installiert haben. Fabric C ist ein redundantes Fabric mit zwei Ports und ein bis zehn Gbit/s, das die E/A-Modulsteckplätze C1 und C2 unterstützt. Fabric C unterstützt derzeit 1/10GbE-, InfiniBand und Fibre Channel-Module. Um mit einem E/A-Modul in den Steckplätzen von Fabric C zu kommunizieren, muss ein Blade-Server mindestens eine passende Zusatzkarte in einem Zusatzkartensteckplatz von Fabric C installiert haben. 2.2 E/A-Module In diesem Unterabschnitt werden die E/A-Module aufgeführt, die vom PowerEdge M1000e Gehäuse unterstützt werden. Seit Veröffentlichung dieses Dokuments können neue E/A-Module hinzugekommen sein. Die neuesten Informationen und detaillierte Spezifikationen finden Sie auf PowerConnect M6220 Ethernet-Switch: Umfasst 16 interne 1GbE-Server-Ports, vier feste 10/100/1000-Mbit-Ethernet-Kupfer-Uplinks und zwei der folgenden optionalen Module: o 48 Gbit (Vollduplex) Stacking-Modul o Zwei optische 10-Gbit-Uplinks (XFP-SR/LR) o Zwei 10-Gbit-Kupfer-CX4-Uplinks Zu den Standardmerkmalen gehören: o Layer 3-Routing (OSPF, RIP, VRRP) o Layer 2/3-QoS PowerConnect M8024 Ethernet-Switch (10-Gbit-Modul): Umfasst 16 interne 1/10GbE-Server-Ports, bis zu acht externe 10GbE-Ports via bis zu zwei wählbare Uplink-Module, vier SFP-Ports plus ein 10GbE-Modul und CX-4-10GbE-Kupfer-Module mit drei Ports. Zu den Standardmerkmalen gehören: o Layer 3-Routing (OSPF, RIP, VRRP) o Layer 2/3-QoS Cisco Catalyst Blade-Switch M 3032: Umfasst 16 interne 1GbE-Server-Ports, vier feste 10/100/1000-Mbit-Ethernet-Kupfer-Uplinks plus zwei optionale Modulschächte, die entweder zwei Kupfer- oder optische SFPs mit 1 Gbit unterstützen. Zu den Standardmerkmalen gehören: o Base Layer 3-Routing (statische Routen, RIP) o Layer 2/3-QoS Cisco Catalyst Blade-Switch M 3130G: Umfasst 16 interne 1GbE-Server-Ports, vier feste 10/100/1000-Mbit-Ethernet-Kupfer-Uplinks plus zwei optionale Modulschächte, die entweder zwei Kupfer- oder optische SFPs mit 1 Gbit unterstützen. Zu den Standardmerkmalen gehören: o Base Layer 3-Routing (statische Routen, RIP) o Layer 2/3-QoS o Die VBS-Technologie (Virtual Blade Switch) stellt eine Verbindung mit hoher Bandbreite zwischen acht CBS 3130 Switches bereit. Sie können die Switches als einen logischen Switch konfigurieren und verwalten. Dies vereinfacht erheblich die Verwaltung und der Datenverkehr von Server zu Server bleibt innerhalb der VBS-Domäne. So wird das Hauptnetzwerk nicht belastet und die externe Verkabelung kann erheblich konsolidiert werden. o Optionale Softwarelizenzschlüssel-Upgrades für IP-Services (Advanced L3 Protocol Support) und Advanced-IP-Services (IPv6) Seite 5

6 Cisco Catalyst Blade-Switch M 3130X (unterstützt 10-Gbit-Module): Umfasst 16 interne 1GbE-Server-Ports, vier feste 10/100/1000-Mbit-Ethernet-Kupfer-Uplinks, zwei Stacking-Ports und die Unterstützung von zwei X2-Modulen, die mit bis zu vier SFP-Ports konfiguriert sein können, oder zwei 10Gbit-CX4- oder SR/LRM-Uplinks. Zu den Standardmerkmalen gehören: o Base Layer 3-Routing (statische Routen, RIP) o Layer 2/3-QoS o Die VBS-Technologie stellt eine Verbindung mit hoher Bandbreite zwischen bis zu acht CBS 3130 Switches bereit, sodass diese als ein logischer Switch konfiguriert und verwaltet werden können. Die Verwaltung wird dadurch drastisch vereinfacht und der Datenverkehr von Server zu Server bleibt innerhalb der VBS-Domäne. So wird das Hauptnetzwerk nicht belastet und die externe Verkabelung kann erheblich konsolidiert werden. o Optionale Softwarelizenzschlüssel-Upgrades für IP-Services (Advanced L3 Protocol Support) und Advanced-IP-Services (IPv6) Dell Ethernet Pass-Through-Modul: Unterstützt 16 10/100/1000-Mbit-RJ-45-Kupferanschlüsse. Dies ist das einzige auf dem Markt erhältliche Ethernet-Pass-Through-Modul, das das gesamte Spektrum des 10/100/1000-Mbit-Betriebs unterstützt. Hinweis: Das PowerEdge M1000e Gehäuse unterstützt zudem noch andere E/A-Module: Brocade M5424 SAN-E/A-Module, Brocade M4424 SAN-E/A-Module, 4-Gbit-Fibre Channel-Pass-Through-Module und InfiniBand. Weitere Informationen zu den Fabrics, E/A-Modulen, Zusatzkarten und der Zuordnung zwischen den Zusatzkarten und E/A-Modulen finden Sie im Hardware-Eigentümerhandbuch Ihres Blade-Servermodells im Abschnitt About Your System (Über Ihr System) auf Zuordnung zwischen Blade-Server und E/A-Modulen im Gehäuse In diesem Abschnitt wird beschrieben, wie die integrierten Netzwerkadapter und Add-In-Zusatzkarten den E/A-Modulen im Gehäuse zugeordnet sind. Jeder Blade-Server mit halber Höhe verfügt über einen integrierten Netzwerkadapter mit zwei Ports und zwei optionale E/A-Zusatzkarten mit zwei Ports. Die eine E/A-Zusatzkarte ist für Fabric B und die andere für Fabric C. In der folgenden Abbildung sehen Sie, wie diese Adapter mit den E/A-Modulen im Gehäuse verbunden sind. Abbildung 2: Adapter- und E/A-Modul-Verbindung im Gehäuse für Blades mit halber Höhe Seite 6

7 Jeder Blade-Server mit voller Höhe verfügt über zwei integrierte Netzwerkadapter mit zwei Ports und vier optionale E/A-Zusatzkarten mit zwei Ports. Zwei E/A-Zusatzkarten sind für Fabric B und die anderen beiden für Fabric C. In der folgenden Abbildung sehen Sie, wie diese Netzwerkadapter in einem Blade mit voller Höhe mit den E/A-Modulen verbunden sind. In der folgenden Abbildung sehen Sie, wie diese Netzwerkadapter in einem Blade mit voller Höhe mit den E/A-Modulen verbunden sind. Abbildung 3: Adapter- und E/A-Modul-Verbindung im Gehäuse für Blades mit voller Höhe Weitere Informationen zur Portzuweisung finden Sie im Hardware-Eigentümerhandbuch für Ihr Blade-Servermodell auf Zuordnung zwischen physischer ESX Adapter-Enumeration und E/A-Modulen Die folgende Tabelle zeigt, wie die ESX/ESXi 4.0 Server die physischen Adapter enumerieren und mit welchen E/A-Modulen sie verbunden werden. Diese Enumeration gilt nur für Blade-Server, bei denen alle E/A-Zusatzkarten mit Netzwerkadaptern mit zwei Ports bestückt sind. Bei Servern, die nicht vollständig bestückt sind, sollte sich die Reihenfolge nicht ändern. Tabelle 1: Physische ESX/ESXi Adapter-Enumeration ESX/ESXi Netzwerkadapter-Enumeration Verbindung bei Blade mit voller Höhe (M710, M805, M905) Verbindung bei Blade mit halber Höhe (M600, M605, M610) vmnic0 E/A-Modul A1 (Port n) E/A-Modul A1 (Port n) vmnic1 E/A-Modul A2 (Port n) E/A-Modul A2 (Port n) vmnic2 E/A-Modul A1 (Port n+8) E/A-Modul B1 (Port n) vmnic3 E/A-Modul A2 (Port n+8) E/A-Modul B2 (Port n) vmnic4 E/A-Modul C1 (Port n) E/A-Modul C1 (Port n) vmnic5 E/A-Modul C2 (Port n) E/A-Modul C2 (Port n) vmnic6 E/A-Modul B1 (Port n) k. A. vmnic7 E/A-Modul B2 (Port n) k. A. vmnic8 E/A-Modul C1 (Port n+8) k. A. vmnic9 E/A-Modul C2 (Port n+8) k. A. vmnic10 E/A-Modul B1 (Port n+8) k. A. vmnic11 E/A-Modul B2 (Port n+8) k. A. Seite 7

8 In der Tabelle oben bezieht sich Port n auf den Port im E/A-Modul, mit dem der physische Adapter verbunden ist, wobei n für den Steckplatz steht, in dem der Blade installiert ist. Zum Beispiel ist vmnic0 eines PowerEdge M710 Blades im Steckplatz 3 mit dem E/A-Modul A1 an Port 3 verbunden. vmnic3 desselben Servers ist mit dem E/A-Modul A2 an Port 11 verbunden. 3 Netzwerkarchitektur Der Netzwerkdatenverkehr kann in zwei primäre Typen unterteilt werden: lokales Netzwerk (LAN) und iscsi-san-speichersystem. Der LAN-Datenverkehr umfasst den Datenverkehr von virtuellen Maschinen, der ESX/ESXi Verwaltung (Servicekonsole für ESX) und von VMotion. Der iscsi-san-datenverkehr umfasst den iscsi-massenspeichernetzwerkdatenverkehr. Sie können ein iscsi-netzwerk durch ein Fibre Channel-SAN ersetzen, indem Sie die Netzwerkadapter durch Fibre Channel und die Netzwerk-Switches durch Fibre Channel-Switches ersetzen. In diesem Abschnitt werden ausschließlich die Best Practices für das iscsi-san behandelt. 3.1 Entwurfsprinzipien Die folgenden Entwurfsprinzipien werden zur Entwicklung der Netzwerkarchitektur verwendet: Redundanz: Sowohl das LAN als auch das iscsi-san verfügen über redundante E/A-Module. Die Redundanz der Netzwerkadapter wird durch NIC-Zusammenfassung am virtuellen Switch erreicht. Vereinfachte Verwaltung durch Stacking: Sie können Switches, die denselben Datenverkehrstyp bedienen, in logischen Fabrics zusammenfassen, indem Sie die Hochgeschwindigkeits-Stacking-Ports auf den Switches verwenden. Physische Trennung des iscsi-san: Sie sollten das iscsi-san-netzwerk vom LAN-Netzwerk physisch trennen. Der iscsi-datenverkehr ist normalerweise netzwerklastig und kann einen überproportionalen Anteil der Switch-Ressourcen belegen, falls ein gemeinsamer Switch mit dem LAN-Datenverkehr geteilt wird. Logische Isolierung von VMotion mittels VLAN: Der VMotion Datenverkehr ist unverschlüsselt. Es ist wichtig, den VMotion Datenverkehr mittels VLAN logisch zu isolieren. Optimale Leistung: Es wird Lastausgleich verwendet, um den höchstmöglichen Durchsatz zu erzielen. 3.2 Empfohlene Konfigurationen Basierend auf den Bandbreitenanforderungen von LAN und iscsi-san gibt es unterschiedliche Möglichkeiten, die E/A-Module zu konfigurieren. Die unterschiedlichen Konfigurationen finden Sie unten in der Tabelle. Sie entsprechen den oben genannten Entwurfsprinzipien. Tabelle 2: Bandbreitenkonfigurationen für LAN und iscsi-san Minimale Konfiguration Hohe LAN- Bandbreite Ausgeglichen Hohe iscsi- Bandbreite Isoliertes Fabric E/A-Modul A1 LAN LAN LAN LAN LAN E/A-Modul B1 iscsi-san iscsi-san iscsi-san iscsi-san iscsi-san E/A-Modul C1 Unbestückt LAN LAN iscsi-san Isoliertes Fabric E/A-Modul C2 Unbestückt LAN iscsi-san iscsi-san Isoliertes Fabric E/A-Modul B2 iscsi-san iscsi-san iscsi-san iscsi-san iscsi-san E/A-Modul A2 LAN LAN LAN LAN LAN Seite 8

9 Minimale Konfiguration: Dies ist die einfachste Konfiguration und verfügt über die minimale Anzahl an E/A-Modulen. Es gibt zwei dedizierte E/A-Module für das LAN und zwei für das iscsi-san. Zwei Module sind unbestückt und Sie können Sie jederzeit bestücken, um steigende Bandbreitenanforderungen zu erfüllen. Hohe LAN-Bandbreite: In dieser Konfiguration gibt es vier dedizierte E/A-Module für das LAN und zwei für das iscsi-san. Diese Konfiguration ist nützlich in Umgebungen mit hohen LAN-Bandbreitenanforderungen. Mit dieser Konfiguration werden die Anforderungen der meisten Umgebungen erfüllt. Im Rest dieses Whitepapers wird diese Konfiguration verwendet, um die Best Practices weiter zu erläutern. Sie können die Best Practices auch einfach auf andere Konfigurationen anwenden. Ausgeglichen: In dieser Konfiguration gibt es drei dedizierte E/A-Module für sowohl das LAN als auch das iscsi-san. Beiden Fabrics ist dieselbe Menge an Bandbreite zugewiesen. Diese Konfiguration ist nützlich in Umgebungen mit hohen Backend-SAN-Anforderungen, wie z. B. Datenbankumgebungen. Hohe iscsi-san-bandbreite: In dieser Konfiguration gibt es zwei dedizierte E/A-Module für das LAN und vier für das iscsi-san. Diese Konfiguration ist nützlich in Umgebungen mit hohen Backend-SAN-Anforderungen, wie z. B. Datenbankumgebungen, und niedrigen LAN-Bandbreitenanforderungen. Isoliertes Fabric: Bestimmte Umgebungen erfordern physisch isolierte Netzwerke einer bestimmten Klasse von virtuellen Maschinen (zum Beispiel Kreditkartentransaktionen). Für diese virtuellen Maschinen können wir zwei dedizierte redundante E/A-Module verwenden. Die zwei zusätzlichen Switches werden zu einem dritten, fehlertoleranten logischen Switch kombiniert. Im folgenden Abschnitt werden die Best Practices zur Konfiguration des LAN- und iscsi-san-netzwerks beschrieben. Die Konfiguration Hohe LAN-Bandbreite wird als Anschauungsbeispiel verwendet. 3.3 Lokales Netzwerk (LAN) Der LAN-Datenverkehr umfasst den Datenverkehr, der von virtuellen Maschinen, der ESX Verwaltung und von VMotion erzeugt wird. In diesem Abschnitt werden die Best Practices für die LAN-Konfiguration, die Isolierung des Datenverkehrs mit VLANs, der Lastausgleich und die externe Konnektivität über Uplinks beschrieben. Siehe Abbildung 4 und 5 unten. Basierend auf Tabelle 2 sind die vier E/A-Module für das LAN dediziert. Alle E/A-Module sind zu einem einzigen Virtual Blade Switch kombiniert, um die Bereitstellung und Verwaltung zu vereinfachen und die Lastausgleichsfähigkeiten der Lösung zu steigern. Der virtuelle Switch, vswitch0, ist über die physischen Adapter mit dem Virtual Blade Switch verbunden. Abbildung 4: Verbindungen des virtuellen Switches für das LAN in Blade-Servern mit halber Höhe Seite 9

10 Abbildung 5: Verbindungen des virtuellen Switches für das LAN in Blade-Servern mit voller Höhe Isolierung des Datenverkehrs mit VLANs Mit VLANs erreicht man eine Isolierung verschiedener Datenverkehrstypen, einschließlich VMotion Datenverkehr. Die vier Netzwerkadapter bieten genügend Bandbreite für alle Datenverkehrstypen. Der Datenverkehr auf dem LAN-Netzwerk ist in drei VLANs unterteilt: jeweils ein VLAN für den Datenverkehr der Verwaltung, von vmotion und den virtuellen Rechnern. Der Netzwerkdatenverkehr wird mit der entsprechenden VLAN-ID des jeweiligen Datenverkehrstyps im virtuellen Switch gekennzeichnet. Dies erfolgt über den VST-Modus (Virtual Switch Tagging; Virtuelle Switch-Kennzeichnung). In diesem Modus wird jeder der drei Anschlussgruppen ein VLAN zugeordnet. Die virtuelle Switch-Anschlussgruppe kennzeichnet alle ausgehenden Frames und entfernt die Kennzeichnungen von allen eingehenden Frames. Zum Beispiel (für ESX 4.0): Servicekonsole (VLAN 162) vmotion (VLAN 163) Allgemeiner Datenverkehr virtueller Maschinen (VLAN 172) Spezieller Datenverkehr virtueller Maschinen #1 (VLAN 173) Spezieller Datenverkehr virtueller Maschinen #2 (VLAN 174) Trunking muss verwendet werden, damit alle VLANs dieselbe physische Verbindung nutzen können, und die Konfiguration des physischen Switches muss mit der Konfiguration des virtuellen Switches übereinstimmen. Dafür müssen alle internen Ports in den Cisco E/A-Modulen für den Trunking-Modus konfiguriert werden Lastausgleich und Failover Der virtuelle Switch bietet Fehlertoleranz und Lastausgleich, indem er mehrere physische Netzwerkkarten (NICs) mit einem einzigen Switch verbindet. Die Stacking-Verbindung zwischen den (für das LAN verwendeten) E/A-Modulen erstellt einen einzigen virtuellen Switch, der Failover und Lastausgleich zwischen den physischen NICs bietet, die mit den verschiedenen E/A-Modulen verbunden sind. Der virtuelle Switch von VMware verfügt über drei Optionen zur Konfiguration des Lastausgleichs: Route auf Grundlage der Port-ID des virtuellen Switches, von dem der Datenverkehr ausgeht (Standardkonfiguration): Der physische Adapter für die Übertragung wird auf Grundlage des Hash des virtuellen Ports ausgewählt. Dies bedeutet, dass ein bestimmter virtueller Netzwerkadapter zu jedem beliebigen Zeitpunkt zur Übertragung von Netzwerkdatenpaketen immer nur einen physischen Netzwerkadapter verwendet. Pakete werden auf demselben physischen Netzwerkadapter empfangen. Route auf Grundlage des Quell-MAC-Hash: Hier wird der physische Adapter für die Übertragung auf Grundlage des Hash der Quell-MAC-Adresse ausgewählt. Dies bedeutet, dass ein bestimmter virtueller Netzwerkadapter zu jedem beliebigen Zeitpunkt zur Übertragung von Netzwerkdatenpaketen immer nur einen physischen Netzwerkadapter verwendet. Pakete werden auf demselben physischen Netzwerkadapter empfangen. Seite 10

11 Route auf Grundlage des IP-Hash: Hier wird der physische Adapter für die Übertragung auf Grundlage des Hash der IP-Ausgangs- und IP-Zieladresse ausgewählt. Da Sie unterschiedliche Adapter basierend auf der Ziel-IP wählen können, müssen Sie sowohl die virtuellen Switches als auch die physischen Switches so konfigurieren, dass sie diese Methode unterstützen. Der physische Switch bündelt mithilfe von EtherChannel die Verbindungen zu den verschiedenen NICs zu einer einzigen logischen Verbindung, und der für den Switch gewählte Lastausgleichsalgorithmus bestimmt, welcher physische Adapter die Pakete empfängt. Hinweis: Beachten Sie dabei, dass die Hash-Algorithmen der virtuellen und physischen Switches unabhängig voneinander funktionieren. Wenn die Verbindung zu einem physischen Netzwerkadapter unterbrochen wird, führen alle virtuellen Netzwerkadapter, die aktuell den physischen Kanal verwenden, einen Failover auf einen anderen physischen Adapter durch, und der physische Switch wird darüber informiert, dass die MAC-Adresse auf einen anderen Kanal gewechselt ist Externe Konnektivität Es gibt verschiedene Möglichkeiten, um das Blade-Gehäuse an ein vorhandenes LAN anzuschließen. Sie können das Pass-Through-Modul verwenden, um jeden Blade-Server direkt an ein vorhandenes Netzwerk anzuschließen. Dies ist die einfachste Lösung für den Anschluss an eine vorhandene Infrastruktur, sie kann aber ggf. viele Kabel erfordern. Wenn Sie Switch-Module verwenden, verfügt jeder Ethernet-Switch über vier integrierte 1-Gbit-Uplink-Ports, außerdem gibt es verschiedene Optionen für das Hinzufügen zusätzlicher 1/10GbE-Ports. Die Konfiguration dieser Uplink-Ports muss ggf. geändert werden, um zur vorhandenen Infrastruktur zu passen. Wenn Sie mehrere Ethernet-Ports verwenden, sollten Sie sie in einem einzigen EtherChannel bündeln und gleichmäßig auf die physischen Switches in einem Switch-Stack verteilten, um für Redundanz zu sorgen. Sie können auch mehrere Blade-Gehäuse miteinander verbinden. Wenn die Gesamtzahl der Front-End-Switches kleiner als acht (Cisco) oder zwölf (Dell PowerConnect) ist, können Sie alle Switches in einem einzigen Virtual Blade Switch kombinieren. Mehrere Virtual Blade Switches können über zwei EtherChannel linear miteinander verkabelt werden. 3.4 iscsi-san-speichersystem Der iscsi-san-datenverkehr umfasst den Datenverkehr, der zwischen den ESX Servern und Storage-Arrays generiert wird. In diesem Abschnitt werden die Best Practices für die iscsi-san-konfiguration, die Anschlussmöglichkeiten für Massenspeicher, der Lastausgleich und die externe Konnektivität über Uplinks beschrieben. Die folgende Abbildung veranschaulicht die virtuelle Switch-Konfiguration mit Anschlussgruppen sowie die Verbindung des virtuellen Switches mit den physischen Netzwerkadaptern und deren Verbindung mit den E/A-Modulen. Abbildung 5 basiert auf ESX. Wenn Sie ESXi verwenden, brauchen Sie die Port-Gruppe der Servicekonsole nicht für iscsi konfigurieren. Abbildung 6: Virtueller Switch für SAN in Blade-Servern mit halber Höhe Seite 11

12 Abbildung 7: Virtueller Switch für SAN in Blade-Servern mit voller Höhe Lastausgleich Beim Multipathing handelt es sich um eine Methode, bei der mehr als ein physischer Pfad für die Datenübertragung zwischen einem Host und einem externen Massenspeichergerät verwendet wird. In Version 4.0 von ESXi stellt VMware das VMware Native Multipathing-Plug-In zur Verfügung. Mit diesem Plug-In werden drei Pfadauswahloptionen unterstützt: Most Recently Used (MRU), Fixed und Round Robin (RR). Eine ausführliche Erläuterung der iscsi-verbindungen finden Sie im VMware ESX/ESXi 4.0 iscsi-san-konfigurationshandbuch. Wenn Sie mehrere Pfade verwenden möchten, müssen Sie mehrere VMKernel Ports für iscsi erstellen. Abbildung 8 zeigt zwei iscsi VMkernel Ports und mehrere Pfade zum Massenspeicher. Jeder VMkernel Port ist mit einem dedizierten physischen NIC verbunden. Abbildung 8: Multipathing mit Round Robin Empfehlungen zum Storage-Array-Netzwerkbetrieb Diese Empfehlungen gelten speziell für Dell EqualLogic Storage-Arrays; die meisten dieser Empfehlungen gelten generell aber auch für alle iscsi-storage-arrays. Weitere Informationen finden Sie in der Dokumentation für Ihr spezielles Array. Es sind keine speziellen Netzwerk-Switch-Konfigurationen erforderlich, damit das Dell EqualLogic SAN automatisch die iscsi-verbindungen zwischen den verfügbaren Netzwerkschnittstellen in jedem Controller oder die Volumen zwischen den verschiedenen Massenspeichergeräten im Massenspeicherpool automatisch verteilt. EqualLogic gibt spezifische Empfehlungen für den Anschluss der Arrays der PS Serie an das Netzwerk. Wir haben einige der wichtigsten Empfehlungen hervorgehoben. Weitere Informationen finden Sie im Dell EqualLogic PS Quick Start Guide unter (unter Umständen ist zum Anzeigen der Kurzanleitung ein Benutzerkonto erforderlich). Verwenden Sie auf Switch-Ports, die Endknoten miteinander verbinden (iscsi-initiatoren oder Array-Netzwerkschnittstellen), nicht das Spanning Tree Protocol (STP). Wenn Sie jedoch STP oder RSTP (besser geeignet als STP) verwenden möchten, sollten Sie die Port-Einstellungen, mit denen der jeweilige Port bei der Verbindungsherstellung ohne Verzögerung in den STP-Forwarding-Modus wechseln kann, auf jenen Switches aktivieren, auf denen diese Optionen zur Verfügung stehen (Port Fast). Mit dieser Funktion können Netzwerkausfälle beim Neustart von Geräten reduziert werden. Sie sollte jedoch nur auf Switch-Ports aktiviert werden, die Endknoten miteinander verbinden. Seite 12

13 Hinweis: Die Verwendung von Spanning Tree für eine Verbindung zwischen Switches mit nur einem Kabel oder die Verwendung von Trunking für Verbindungen zwischen Switches mit mehreren Kabeln wird empfohlen. Aktivieren Sie die Funktion für die Datenflusskontrolle auf allen Switch-Ports und NICs, die für den iscsi-datenverkehr verwendet werden. Die Arrays der PS Serie reagieren korrekt auf die Datenflusskontrolle. Deaktivieren Sie die Unicast-Storm-Kontrolle auf allen Switches, die für den iscsi-datenverkehr verwendet werden, wenn der Switch über diese Funktion verfügt. Die Storm-Kontrolle für Broadcast und Multicast wird jedoch für Switches empfohlen. Aktivieren Sie Jumbo Frames auf allen physischen Netzwerk-Switches. Erstellen Sie virtuelle Switches und VMkernel Schnittstellen, die Jumbo Frames unterstützen Empfehlungen zum Anschluss von Storage-Arrays Dieser Abschnitt enthält allgemeine Empfehlungen zum Anschließen von Storage-Arrays an das Dell Blade-Gehäuse. In den folgenden Beispielen wird ein Dell EqualLogic PS 6000XV als Referenz-Array verwendet, die Empfehlungen gelten aber für die meisten iscsi-arrays. Wenn Sie die Ethernet-E/A-Module direkt mit dem Storage-Array verbinden, stellen Sie sicher, dass die E/A-Module über genügend physische Ports für alle Aktiv-aktiv- oder Aktiv-passiv-Verbindungen vom Array verfügen. Wenn Sie z. B. zwei Cisco 3130G E/A-Module verwenden (je acht externe Ports, 16 insgesamt), können Sie maximal zwei EqualLogic PS 6000 anschließen (je acht Ports, 16 insgesamt). Sie können die Anzahl direkt angeschlossener Arrays durch Stacking zusätzlicher E/A-Module erhöhen. Um beim direkten Anschließen die Konfiguration für mehrere Gehäuse zu erweitern, sollten Sie Stacking-Anschlüsse verwenden, um die E/A-Module zwischen den Gehäusen zu verbinden. Dell PowerConnect E/A-Module unterstützen maximal zwölf E/A-Module, während Cisco E/A-Module maximal acht E/A-Module in einer Stacking-Konfiguration unterstützen. Um über die Einschränkungen der Stacking-Anschlüsse oder der Anzahl an verfügbaren Ports für den direkten Anschluss an die Storage-Arrays hinauszugehen, werden externe Switches empfohlen. o Wenn Sie externe Switches verwenden, stapeln Sie die direkt an die Arrays angeschlossenen Switches, um Kommunikation innerhalb des Arrays zu ermöglichen. o Wenn sowohl die internen E/A-Module als auch die externen Switches gestapelt sind, kann nur eine Port-Channel-Verbindung zwischen den zwei virtuellen Switches aktiv sein. Um mehr Bandbreite zu erhalten, sollten die internen E/A-Module nicht gestapelt werden und jedes E/A-Modul sollte über einen separaten Port-Channel für den Anschluss an den externen virtuellen Switch verfügen. (Siehe Abbildung 9.) Beim Einrichten einer skalierbaren Konfiguration ist es wichtig, die Gesamtbandbreite zwischen dem Gehäuse und den externen Switches und zwischen den externen Switches und den Storage-Arrays zu berücksichtigen. Wenn eine höhere Bandbreite zwischen den internen E/A-Modulen und den externen Switches benötigt wird, können Sie die Verwendung von 10-Gbit-Uplinks zwischen den internen E/A-Modulen und den externen Switches in Erwägung ziehen. Siehe Abbildung 10. Jeder Switch in dem Beispiel kann bis zu zwei 10-Gbit-Module (Cisco) oder vier 10-Gbit-Module (Dell PowerConnect) haben. Seite 13

14 Abbildung 9: Direkter Anschluss des Storage-Arrays an die E/A-Module Seite 14

15 Abbildung 10: Skalierbare Massenspeicherkonfiguration mit externen 48-Port-Switches Abbildung 11: Skalierbare Massenspeicherkonfiguration mit externen 48-Port-Switches und 10-Gigabit-Verbindungen Seite 15

16 4 Referenzen iscsi-überblick: A "Multivendor Post" to help our mutual iscsi customers using VMware (Post verschiedener Anbieter für Benutzer von VMware) -vmware.html Integrating Blade Solutions with EqualLogic SANs (Integration von Blade-Lösungen in EqualLogic-SANs) Cisco Produkte Cisco 3130 Produktseite VMware Infrastructure 3 in a Cisco Network Environment (VMware Infrastructure 3 in einer Cisco Netzwerkumgebung) Cisco Catalyst 3750 and 2970 Switches: Using Switches with a PS Series Group (Cisco Catalyst 3750 und 2970 Switches: Verwenden von Switches in einer Gruppe der PS Serie) Seite 16