Distributed FCF Distributed FCoE Forwarder Autor: Prof. Dr.-Ing. Anatol Badach Auszug aus dem Werk: Herausgeber: Heinz Schulte WEKA-Verlag ISBN 978-3-8276-9142-2 In klassischen Ethernet-basierten LANs 1 mit dem Internet Protocol (IP) wurden noch bis vor Kurzem oftmals verschiedene, in Datacentern installierte Speichersysteme miteinander über ein auf der Technik Fibre Channel (FC) basierendes Storage Area Network (SAN), über das sog. FC SAN, vernetzt und an ein LAN angebunden. Eine solche Systemlösung wies jedoch einen Nachteil auf. Und zwar benötigte man für jeden Server im Netzwerk einen Gigabit Ethernet Adapter für dessen Anbindung an das LAN und zusätzlich einen Host Bus Adapter (HBA) für dessen Anbindung an das FC SAN, um dort seine Daten auf einem Storage-System sichern zu können. Um diesen Nachteil zu vermeiden und somit Investitions- und Betriebskosten reduzierende Datacenter effizient zu gestalten, werden LANs und FC SANs heutzutage meistens in modernen, zukunftssicheren Netzwerkinfrastrukturen zusammengeführt. Man spricht hierbei von LAN/SAN Convergence. Diese Konvergenz lässt sich dank des Konzeptes Fibre Channel over Ethernet (FCoE) und der Realisierung von FCoE-basierten SANs, von sog. FCoE SANs, verwirklichen. Um die Konvergenz von LAN und SAN auf eine elegante Art und Weise realisieren zu können, wurde das Distributed FCoE Forwarder (Distributed FCF) entwickelt. Es bildet ein verteiltes, hierarchisch organisiertes FC SAN in einem Gigabit Ethernet (GE) mit einer Bitrate von 10, 40 oder 100 GBit/s nach dem Konzept FCoE stellt also ein virtuelles FC SAN in einem Gigabit Ethernet dar. Die Idee des Distributed FCF beruht darauf, die Switching-Funktion bei FCoE zu zentralisieren, sie in einem zentralen, als Controlling FCoE Forwarder (Controlling FCF, C-FCF) bezeichneten, FCoE- Switch zu erbringen und vereinfachte FCoE-Switches, die sog. FCoE Data Forwarders (FDFs), als Extender von Ports des zentralen C-FCF zu verwenden. Dadurch, dass einem zentralen C-FCF in Form einer Baumstruktur mehrere FDFs hierarchisch untergeordnet sind und de facto als Extender für dessen Ports dienen, entsteht der 1 Local Area Network 1
entscheidende Vorteil des Distributed FCF. Auf diesen wird im Weiteren noch detaillierter eingegangen. Ähnliche Ideen d.h. mit der dem Distributed FCF zugrunde liegenden vergleichbare und zur Zentralisierung von Switching führende werden in letzter Zeit sowohl in LANs auf Basis von Gigabit Ethernet als auch in herkömmlichen FC SANs verfolgt. Um eine Zentralisierung des Switching in LANs zu verwirklichen, wurde vom Institute of Electrical and Electronics Engineers (IEEE) der Standard Bridge Port Extension (BPE) 2 entwickelt [3]. Die Zentralisierung von Switching in FC SANs ermöglicht das Konzept Distributed FC-Switch. 3 Die drei Konzepte Bridge Port Extension (BPE), Distributed FC-Switch und Distributed FCoE Forwarder (Distributed FCF) führen zur Zentralisierung der Switching-Funktion entsprechend in LANs, FC SANs und FCoE SANs und ergänzen sich somit gegenseitig auf eine fast ideale Weise. Es sei außerdem hervorgehoben, dass diese Konzepte zu baumartigen, Loop-freien (schleifenlosen) und demzufolge zukunftsorientierten Netzwerkstrukturen führen. Die Realisierung von FCoE und folglich auch von Distributed FCF setzt aber Data Center Bridging (DCB) 4 voraus, d.h. eine Erweiterung von Gigabit Ethernets (mit den Bitraten ab 10 GBit/s) u.a. um die prioritätsbasierte Flusskontrolle PFC (Priority-based Flow Control), die Überlastanzeige CN (Congestion Notification) und eine spezielle als ETS (Enhanced Transmission Selection) bezeichnete Behandlung verschiedener Verkehrsklassen, damit man die Daten in Gigabit Ethernets verlustfrei (lossless) übermitteln kann. Darüber hinaus müssen bei FCoE in Servern spezielle Ethernet- Adapter die sog. Converged Network Adapters (CNAs) eingesetzt werden; d.h. Ethernet-Adapter, mit deren Hilfe ein Server sowohl IP-Pakete als auch FC-Frames in Ethernet Frames über ein 2 IEEE 802.1Qbh, http://www.ieee802.org/1/pages/802.1bh.html 3 Für fundierte Informationen darüber siehe: Distributed FC Switch in [3]. 4 http://www.ieee802.org/1/pages/dcbridges.html 2
verlustfreies Gigabit Ethernet senden und empfangen kann (vgl. hierzu DCB und FCoE in [3]). Das Konzept von Distributed FCF wird vom technischen Komitee T11 des International Committee for Information Technology Standards (INCITS) als Standard spezifiziert (vgl. Abschnitt 7.12 in [FC- BB-6]). 5 Migration von FC zu FCoE Um die Idee des Distributed FCF, im Grunde genommen also eines verteilten FCoE-Switching-Systems, näher darstellen zu können, muss man auf einige, die Konzepte Fibre Channel (FC) und FC over Ethernet (FCoE) betreffende Begriffe zurückgreifen. Diese sollen an dieser Stelle zuerst kurz erläutert werden. Hierfür zeigt Bild 005911 einen Vergleich der beiden Konzepte FC und FCoE. Bild 005911: Vergleich der Konzepte von: a) Fibre Channel (FC) und b) Fibre Channel over Ethernet (FCoE) FC SE: FC_ID: FC Switching Element (realisiert die Switching-Funktion) Fibre Channel Identifier (dient als Adresse im FC SAN) 5 Für [FC-BB-6] siehe ftp://ftp.t11.org/t11/pub/fc/bb-6/13-091v0.pdf 3
FCF: FCN: FCS: GE: SAN: FCoE Forwarder FC_Node (FC-Endsystem: Server oder Speichersystem) FC-Switch (zum Anschluss von FC_Nodes) Gigabit Ethernet Storage Area Network Die Netzwerktechnologie FC wurde entwickelt, um große Datenmengen mit hohen Geschwindigkeiten verlust- und fehlerfrei, eventuell auch noch abhör- und manipulationssicher übermitteln zu können. FC liegt den Speichernetzwerken (SANs) zugrunde und aus diesem Grund spricht man auch von FC SANs. 6 Über ein SAN können sowohl Server an Speichersysteme angebunden als auch Speichersysteme untereinander verbunden werden. Bild 005911a illustriert ein sehr vereinfachtes SAN auf der Basis von nur einem FC-Switch. Server und Speichersysteme als Endsysteme am FC SAN werden FC_Nodes genannt. Der Port im FC_Node zu dessen Anbindung an einen FC-Switch wird als N_Port und der Port im FC-Switch zum Anschluss eines FC_Nodes wird als F_Port bezeichnet. Jedem dieser Ports sowohl dem N_Port als auch dem N_Port wird ein FC-Identifier (FC-ID) zugewiesen, der als Adresse am FC SAN dient. FC ist eine besondere Netzwerktechnologie, denn während einer Datenübermittlung in FC-Frames 7 zwischen zwei Endsystemen z.b. zwischen einem Server und einem Speichersystem garantiert die Technologie bereits auf dem Data Link Layer (DLL), also auch dem Layer 2, Verlust- und Fehlerfreiheit, ohne IP oder TCP 8 nutzen zu müssen. In FC SANs wird daher die Protokollfamilie TCP/IP nicht eingesetzt. Da ein Server typischerweise sowohl an ein LAN als auch an ein FC SAN angebunden wird, benötigt man zu seiner Anbindung zwei verschiedene Netzwerkadapter: Network Interface Controller (NIC) als LAN-Adapter und Host Bus Adapter (HBA) als SAN-Adapter. Dies ist ein großer Nachteil, dem man durch die Zusammenführung 6 Für eine fundierte Darstellung von FC hierzu FC SAN in [3]. 7 Der Funktion nach entspricht ein FC-Frame im SAN weitgehend einem Ethernet Frame im LAN. 8 Transmission Control Protocol 4
von LAN und FC SAN mithilfe von FCoE entgegenwirken kann. Beim Einsatz von FCoE in einem GE-basierten LAN benötigt ein Server nur den bereits angesprochenen konvergierten, als Converged Network Adapter (CNA) bezeichneten Netzwerkadapter, welcher de facto eine FCoE-fähige GE-Adapterkarte darstellt. FCoE stellt jedoch bestimmte Anforderungen an GEs, und zwar setzt er insbesondere ein verlustfreies GE (Lossless GE) voraus. Aus diesem Grund müssen klassische GEs um zusätzliche Funktionen erweitert werden. 9 Alle solche Erweiterungen von GEs, die u.a. dem Zweck dienen, sowohl LAN- als auch SAN-Datenverkehr einheitlich verwirklichen und folglich konvergente, FCoE-basierte Netzwerklösungen aufbauen zu können, nennt man Data Center Bridging (DCB). 10 FCoE als virtuelles FC SAN auf der Basis eines Lossless GE FCoE stellt eine Nachbildung eines FC SAN auf der Basis eines Lossless GE dar; folglich ist ein FCoE-System ein quasi-virtuelles FC SAN in einem Lossless GE. Bei FCoE gibt es eigentlich kein physikalisches FC SAN mehr. Bild 005911b bringt dies zum Ausdruck und illustriert die grundlegende Idee von FCoE. 11 Diese besteht darin, dass die Funktion von FC_Nodes also von Endsystemen am FC SAN in Endsystemen am Lossless GE nachgebildet wird. Somit spricht man auch von virtuellen FC_Nodes. Die Endsysteme mit virtuellen FC_Nodes am Lossless GE nennt man ENodes. Ein Endsystem am Lossless GE, das als FC-Switch fungiert, wird als FCoE Forwarder (FCF) bezeichnet. Die F_Ports herkömmlicher FC-Switches werden im FCF nachgebildet und als VF_Ports bezeichnet. Die Switching-Funktion im FCF wird vom FC Switching Element (FC SE) erbracht, welches auch als virtueller FC-Switch angesehen werden kann. 9 FCoE bedeutet tatsächlich aber FC über Gigabit Ethernets (GEs) und wird insbesondere über GEs mit Bitraten ab 10 GBit/s realisiert also über 10GE, 40GE und 100GE. 10 Für weitere Informationen darüber siehe den Abschnitt über DCB in [3]. 11 Bild 005911b zeigt, dass ein FCF auch herkömmliche FC-Ports sog. F_Ports zum Anschluss herkömmlicher Speichersysteme mit N_Ports an das GE LAN mit FCoE besitzen kann. 5
Es sei hervorgehoben, dass die in Bild 005911a gezeigten, der Anbindung von FC_Nodes an FC-Switches dienenden physikalischen FC-Links (zwischen N_Ports in FC-Nodes und F_Ports im FC- Switch) bei FCoE durch virtuelle FC-Links (zwischen VN_Ports in Servern und VF_Ports im FCF) ersetzt werden. Bild 005911 verdeutlicht dies. Die virtuellen FC-Links zwischen VN_Ports und VF_Ports und die physikalischen FC-Links zwischen N_Ports und F_Ports ermöglichen die Kommunikation zwischen VN_Ports in Servern und N_Ports in Speichersystemen also die Ende-zu-Ende- Kommunikation zwischen zwei als FC_IDs bezeichneten FC- Adressen. Distributed FCF und Zentralisierung von Switching bei FCoE Im Folgenden soll gezeigt werden, dass die Idee von Distributed FCF eng mit Bridge Port Extension (BPE) verwandt ist. Bild 005912 bringt dies zum Ausdruck und verweist außerdem darauf, dass die beiden Konzepte zur Zentralisierung von Switching und somit zu baumartigen Netzwerkstrukturen führen. Bild 005912: Baumartige Netzwerkstrukturen mit den Konzepten: a) Bridge Port Extension (BPE), b) Distributed FCF CEE: FDF: PE: Converged Enhanced Ethernet (Ethernet mit DCB) FCoE Data Forwarder nach [FC-BB-6] Port Extender Zuerst soll an dieser Stelle aber darauf eingegangen werden, warum baumartige Netzwerkstrukturen von großem Vorteil sind. Zu diesem Zweck sei erwähnt, dass Ethernet Frames mit Broadcast-MAC 12 - Adressen sowie IP-Pakete mit Multicast-Adressen in Netzwerken 12 Media Access Control 6
übermittelt werden müssen. Diese Art des Datenverkehrs in hochverfügbaren Netzwerkinfrastrukturen, in denen wichtige Hardwarekomponenten redundant ausgelegt sind, verursacht die Bildung von sog. Loops (von logischen Schleifen), die wiederum verschiedene andere unerwünschte Effekte verursachen können. Um Loops vermeiden zu können, verwendet man in klassischen Netzwerken das Spanning Tree Protocol (STP) 13 bzw. seine neue Version Rapid STP (RSTP) 14. Beim Einsatz dieser Protokolle in einem Netzwerk werden jedoch alle redundanten Hardwarekomponenten durch die Sperrung von Ports in Layer-2-Switches logisch gesehen so abgetrennt, dass die restlichen (nicht redundanten!) Hardwarekomponenten eine logische, das komplette Netzwerk überspannende Baumstruktur bilden, in der keine Loops entstehen können. Die Sperrung intakter, teurer Hardwarekomponenten in Netzwerken bei der Nutzung von STP/RSTP ist aber ein großer Nachteil. Dank des neuen Konzeptes BPE nach IEEE 802.1Qbh besteht nun die Möglichkeit, Netzwerke in Form von Baumstrukturen so einzurichten, dass man weder das STP/RSTP braucht noch intakte Hardwarekomponenten logisch gesperrt werden müssen. Wie Bild 005912 illustriert, führt BPE zur Zentralisierung von Switching in LANs. Der Einsatz des Distributed FCF beruht ebenso auf der Zentralisierung von Switching. Die beiden Konzepte BPE und Distributed FCF sind demzufolge eng verwandt, ermöglichen es, baumartige Netzwerkstrukturen einzurichten und werden dank dieser Eigenschaft zukünftig mit Sicherheit von großer Bedeutung sein. Distributed FCF hat außerdem noch einen anderen großen Vorteil, auf den wir im Weiteren noch eingehen werden. Bezüglich des Bildes 005912 sei noch angemerkt, dass ein Distributed FCF funktionell betrachtet vollkommen mit einer Extended Bridge (EB) 15 bei BPE vergleichbar ist und dass der C-FCF einer 13 IEEE 802.1d, 802.1w, 802.1s, 802.1Q 14 Für weitere RSTP betreffende Informationen siehe den Abschnitt über RSTP in [3]. 15 Ende der 80er-Jahre verwendete man in Ethernet-basierten Netzwerken zur Kopplung mehrerer Ethernet-Segmente die sog. Transparent Bridges kurz Bridges. Der Einsatz mehrerer Prozessoren in Bridges führte später zur Entstehung von L2-Switches. Diese werden oft auch als Ethernet Switches bezeichnet. Somit entspricht eine Multiport Bridge der Funktion nach vollkommen einem Layer-2-Switch also einem Ethernet Switch. 7
Controlling Bridge (CB) und ein FCoE Data Forwarder (FDF) einem Port Extender (PE) entsprechen. Der C-FCF fungiert im Distributed FCF als zentraler FCoE-Switch und die FDFs dienen hauptsächlich als Extender von dessen Ports. Im Gegensatz zum BPE- Konzept können FDFs in einem Distributed FCF auch paarweise miteinander verbunden werden. Migration von FCF zu Distributed FCF Während in Bild 005911 der Übergang von FC zu FCoE dargestellt wurde, zeigt Bild 005913 die Migration von FCF 16 zu Distributed FCF und illustriert hierbei seine logische Struktur. Bild 005913: Migration von a) FCoE Forwarder (FCF) zu b) Distributed FCF C-FCF: FC SE: FC_ID: FDF SE: Controlling FCF (zentraler FC-Switch am Lossless GE) FC Switching Element Fibre Channel Identifier (dient als Adresse in FC SAN) FDF Switching Element (Switching-Instanz in FDF) 16 Es sei hervorgehoben, dass der FCoE Forwarder (FCF) als FCoE-Switch angesehen werden kann. 8
FDF: FCoE Data Forwarder (untergeordneter FC-Switch) Ein Distributed FCF bildet ein verteiltes, hierarchisch organisiertes FCoE-Switching-System, welches in einfacher Ausführung aus einem als C-FCF bezeichneten zentralen FCoE-Switch und mehreren baumartig mit ihm verbundenen und ihm untergeordneten vereinfachten FCoE-Switches den FDFs besteht. Um FDFs virtuell (logisch) an den C-FCF anbinden und auch untereinander paarweise verbinden zu können, verfügen diese Systemkomponenten über spezielle als VA-Ports bezeichnete virtuelle Ports. Die grundlegende Idee von Distributed FCF besteht darin, die Switching-Funktion im FCoE SAN zu zentralisieren und diese im C-FCF zu realisieren. Aus diesem Grund könnte man die baumartig an den C-FCF angebundenen FDFs als Erweiterung der Ports des zentralen C-FCF ansehen. Die FDFs fungieren somit als Extender von Ports des C-FCF. Somit können mehrere, an einen FDF angeschlossene Speichersysteme über ein Lossless GE an einen VA-Port im C-FCF virtuell angebunden werden also auf diesen zugreifen. Es sei noch angemerkt, dass FDFs außerdem paarweise miteinander verbunden werden können. Eine solche Kopplung sollte es beispielsweise ermöglichen, große Datenmengen zwischen zwei Speichersystemen direkt über zwei FDFs zu übermitteln, ohne hierfür den zentralen FC-Switch, d.h. den C-FCF, in Anspruch nehmen zu müssen. Anmerkung: Um das Konzept von Distributed FCF in Bild 005913 anschaulich darstellen zu können, wurde das Lossless Gigabit Ethernet in Form von zwei Wolken dargestellt. Die im Distributed FCF enthaltene GE-Wolke soll lediglich symbolisieren, dass die FDFs mit dem C-FCF über ein Lossless Gigabit Ethernet verbunden sind. Distributed FCF als FCoE SAN im Datacenter Der Einsatz von Distributed FCFs führt zur Vereinfachung der SAN- Struktur in Datacentern. Bild 005914 illustriert, wie ein auf einem Distributed FCF basiertes FCoE SAN eine nach den aktuell geltenden Prinzipien von Networking eingerichtete Ethernet-basierte LAN-Infrastruktur ergänzen kann. Den Kern des hier gezeigten FCoE SAN bilden die zwei C-FCFs. Diese sind mit einem speziellen als Augmented Inter-Switch Link (Augmented ISL, AISL) bezeichneten Link so miteinander verbunden, dass sie sich dem LAN ge- 9
genüber quasi als ein virtueller, hochverfügbarer C-FCF präsentieren, wobei einer von ihnen als Primär-C-FCF und der andere als Sekundär-C-FCF fungiert (vgl. hierzu Bild 005918). Ihre Funktionen werden im Weiteren detaillierter dargestellt. Bild 005914: Einsatz von Distributed FCF im Datacenter Erweiterung eines Ethernet-LAN um ein verteiltes Speichersystem A/C/D/GS: Access/Core/Distribution/Aggregation Switch AISL: Augmented Inter-Switch Link (Augmented ISL 17 ) CEE: Converged Enhanced Ethernet C-FCF: Controlling FCF FCoE: Fibre Channel over Ethernet FDF: FCoE Data Forwarder Es sei angemerkt, dass sich der in Bild 005914 gezeigte Distributed FCF aus zwei C-FCFs und mehreren mit ihnen verbundenen FDFs zusammensetzt. Dabei werden die FDFs an einen C-FCF über verlustfreie GE-Links über die sog. CEE-Links 18 angebunden. Zusätzlich können FDFs, so wie es in Bild 005914 der Fall ist, über CEE-Links auch miteinander paarweise verbunden werden. Diese 17 Es handelt sich hier um einen Inter-Switch Link, auf dem ein spezielles Redundancy Protocol eingesetzt wird, damit die beiden C-FCFs sich als virtueller C-FCF verhalten können. Darauf wird mit dem Buchstaben A in AISL verwiesen. 18 Ein CEE-Link (Converged Enhanced Ethernet) stellt einen verlustfreien GE-Link (Gigabit Ethernet) mit einer Bitrate von zumindest 10 GBit/s dar, d.h. einen GE-Link mit Unterstützung von Data Center Bridging (DCB) für Näheres darüber siehe DCB in [3]. 10
Vernetzung von C-FCFs mit FDFs und von FDFs miteinander kann (theoretisch) auch über eine aus einem bzw. mehreren GE-Switche/s mit DCB-Unterstützung bestehende CEE-Wolke (CEE-Cloud) erfolgen (vgl. hierzu die Bilder 005913 und 005916). Ein FDF ist jedoch ein spezieller FCoE-Switch, und zwar weil ihm kein Domain_Identifier (D_ID) zugewiesen werden muss. Dies hat eine große Bedeutung, auf die später noch detaillierter eingegangen werden soll. Man kann sich in der Praxis zwei verschiedenen Fälle vorstellen; nämlich dass ein FDF sowohl über herkömmliche FC-Schnittstellen zum Anschluss der Speichersysteme über FC-Links als auch über GE-Schnittstellen zum Anschluss der Speichersysteme über CEE-Links verfügen kann. Falls die Speichersysteme an einen FDF über herkömmliche FC- Schnittstellen angeschlossen werden, fungiert er u.a. als Gateway zwischen FC und FCoE. Somit entsteht die Möglichkeit, dass mehrere mit dem Gateway über herkömmliche FC-Schnittstellen verbundene Speichersysteme über ein FCoE SAN sowohl mit Servern am LAN als auch miteinander kommunizieren können. Für die Fortsetzung siehe: Fachkompendium Protokolle und Dienste der Informationstechnologie, WEKA-Verlag, ISBN: 978-3-8276-9142-2 http://shop.weka.de/webapp/wcs/stores/servlet/product2s_protokolle -und-dienste-der-informationstechnologieonline_10203_10053_10635_-3_10061_10010_10010 11