ISCSI / SAN Dell iscsi AX100i as a sample product

ISCSI / SAN Dell iscsi AX100i as a sample product Seminararbeit von Bühler, Thomas, I6m Fachhochschule Nordwestschweiz Departement Technik Studiengang I Betreuender Dozent: Prof. H. O. Oser Windisch, 14/ Juli 2006 1 / 22

Inhaltsverzeichnis Einleitung 3 Geschichtliches zu iscsi 3 Fibre Channel 3 iscsi 4 Überblick 4 Unterstützte Betriebssysteme 4 iscsi Hardware 4 Das iscsi Protokoll 5 iscsi Naming und Adressierung 6 iscsi Session Management 7 Internt Storage Name Service 8 ISCSI Aministration 9 iscsi Fehlerbehandlung 9 iscsi Sicherheit 9 Getrennte Speicher- und Datennetze 10 Redundanz bei Hardware 10 Performance 11 Bandbreite und Durchsatz 11 Latenzzeit 11 Flow Control 12 Verfügbarkeit von iscsi Netzwerken 13 iscsi vs Fibre Channel 13 Kosten 14 Beispiele 15 Beispiel iscsi Storage Area Network 15 Beispiel iscsi Storage Device EMC/DELL AX-150i 16 Zusammenfassung 18 Quellen 19 Demonstration 19 2 / 22

1 Einleitung ISCSI ist ein eine Storage Area Nework Lösung,welche auf das IP und SCSI Protkoll zurückgreift. Beide Protokolle sind mittlerweile einige Jahrzehnte im Einsatz. In der Kombination iscsi treten sie gegen die junge SAN Lösung Fibre Channel an. Im folgenden Bericht werde ich iscsi geanuer vorstellen und versuchen die Unterschiede zu Fibre Channel aufzuzeigen. 2 Geschichtliches zu iscsi Das Protokoll iscsi wurde im Frühjahr 2003 von der Internet Engeneering Task Force definiert. Es verwendet die beiden Protokolle IP und SCSI um ein SAN zu bilden. SCSI existiert nun schon seit 1986. In diesem Jahr wurde das Protokoll SCSI-1 veröffentlicht. Dieses unterstützte Übertragungsraten von 5MB/s und es konnten maximal 8 Geräte bedient werden. In den folgenden 20 Jahren wurde das Protokoll laufend verbessert. So folgte 1991 Fast Wide SCSI mit einer Übertragungsrate von 20 MB/s. Als nächstes folgte 1996 Ulra- SCSI mit einer Übertragungsrate von 40 MB/s. Die neuste SCSI Standards sind SCSI 160 und SCSI 320 mit 160 MB/s bzw 320 MB/s Übertragungsrate. Die Anzahl der maximal bedienbaren Geräte stieg im Laufe der Zeit auf 16 an. Es gilt anzumerken, dass die Übertragungsrate mit zunehmender Länge des Bus abnimmt. SCSI Systeme verfügen über sogenannte Targets und Initiatoren. Ein Target hat mehrere Initiatoren. Jeder dieser Initiatoren erhält eine Nummer (Logical Unit Number LUN). Jedes Kommando, dass ein Initiator einem Target sendet, wird in einem Command Discriptor Block (CDB) verpackt. Eine zentrale Aufgabe von iscsi besteht nun darin, diese CDBs zuverlässig zwischen Initiator und Target zu übertragen. 3 Fibre Channel Für das bessere Verständnis will ich nun zunächst die SAN Lösung Fibre Channel etwas genauer vorstellen. Fibre Channel ist eine heute sehr weit verbreitete Lösung um Storage Area Netzwerke zu implementieren. Die maximale Übertragungsrate liegt bei 800 MB/s im Vollduplexmodus. Der Fiber Channel Standard wurde 1995 definiert. Für de Verkabelung wird häufig Glasfaser gewählt. Es kann aber genauso gut Kupfer eingesetzt werden. Jedes Gerät in einem Fibre Channel Netzwerk wird über einen so genannten World Wide Name (kurz WWN) identifiziert. Die WWN ist ene 64-bit Hexadezimalzahl. Jedes Gerät verfügt zusätzlich über ein oder mehrere Ports. Diese werden über den World Wide Port Name (kurzwwpn) identifiziert. Die Geräte, welche die Kommunikation mit dem Fibre Channel Netzwerk ermöglichen, werden als Host Bus Adapter bezeichnet. Es werden drei Arten von Fiber Channel unterschieden: Fiber Channel Point to-point: Es werden nur zwei Geräte miteinander verbunden. I der Regel wird ein Server mit einem Fiber Channel Controller verbunden. Fiber Channel Arbitrated Loop: Hier können bis zu 127 Geräte miteinander verbunden werden. Dies kann entweder Stern- oder Ringförmig erfolgen. Die Bandbreite beträgt maximal 2 GB/s. FC-AL wird dazu verwendet um mehrere Host mit einem zentralen Massenspeicher zu verbinden. Fiber Channel Switched Fabric FC-SF ist wesentlich flexibler und leistungsfähiger als die anderen beiden FC Protokolle, da jedes Gerät über 256 adressierbare Ports verfügt. 3 / 22

Zentrales Gerät eines Switched Fabric SAN ist ein so genannter Director. Mit dessen Hilfe können beliebige Point-to-Point Verbindungen zwischen zwei Geräten aufgebaut werden. Es können auch mehrere Directors zum Einsatz kommen. Diese sind in der Lage voneinander zu lernen. So können sie eine Karte der SAN Topologie erstellen. Falls zwei Endgeräte über mehrere Pfade miteinander verbunden sind, kann Multi- Pathing eingesetzt werden. Dadurch ist eine höhere Bandbreite und Ausfallsicherheit gewährleistet. Mit Hilfe von Switched Fabric Fiber Channel kann eine Distanz von bis zu 100km überbrückt werden. Dabei müssen keine Durchsatz Einbussen in Kauf genommen werden. Grössere Distanzen, bis 1000km und mehr, können mit ifcp überwunden werden. Bei dieser Fiber Channel Variante werden die FC Frames über ein IP Netzwerk transferiert. 4 iscsi 4.1 Überblick Die Fiber Channel Technologie ist äusserst komplex und kostenaufwendig. Somit scheidet sie als SAN Lösung für KMU aus. Der Administrations-aufwand und die Kosten sind meisstens zu hoch. ISCSI hingegen verwendet bekannte und meist auch vorhandene Technologien für das SAN. Es können herkömmliche LAN Geräte, wie z.b. Switches eingestzt werden. Es kann also auf zusätzliche und teuere Hardware verzichtet werden. Die Administration des SAN kann durch die LAN Administartoren abgedeckt werden. Beide Netzwerke LAN und SAN basieren auf der IP Technologie. ISCSI ist somit wesentlich kostengünstiger als Fiber Channel. Ein iscsi Netzwerk besteht aus iscsi Initoren (Server) und iscsi Targets (Disk Arrays). Zwischen den Targets und Inittiatoren werden herkömmliche SCSI Kommandos ausgetauscht. Damit die Initiatoren aktive Targets finden können wird eine Liste benötigt, in der alle IP Adressen der Targets aufgelistet sind. Dies kann entweder mit einer lookup Tabelle oder alternativ via DNS erreicht werden. 4.1.1 Unterstützte Betriebssysteme Folgende Betriebssysteme unterstützen Software iscsi Treiber: HP UX IBM AIX Windows 2000/XP/2003 Suse Linux 4.1.2 iscsi Hardware In einem iscsi-basierten Speichernetzwerken gibt es drei verschiedene Arten von Netzwerk-Schnittstellen: einfache Netzwerkkarten (NICs) TCP/IP Offload Engines (TOEs) iscsi Host Bus Adapter. Einfache NICs sind die preislich günstigste Variante. Der Nachteil ist allerdings, dass das IP Protokoll auf der Rechner CPU verarbeitet wird. Bei einer hohen Lastsituation mit vielen I/O Anfragen wird die CPU dabei unötig stark bealstet. TOE Adapter verfügen dagegen über eine eigene CPU. Der Adapter verarbeitet also 4 / 22

die I/O Anfragen selbst. Die CPU wird so vom gesamten TCP/IP Traffic entlastet und kann sich auf andere Aufgaben konzentrieren. Vorausetzung dafür ist allerdings, dass das Betriebssystem eine Auslagerung des TCP/IP Traffic unterstützt. Zudem muss der iscsi Traffic nach wie vor von der Host CPU übernommen werden. ISCSI HBAs lagern zusätzlich den iscsi Traffic auf das aus. TCP/IP und iscsi laufen dabei als Hardware-Implementierung und die CPU wird komplett entlastet. Nur diese iscsi HBAs sind in Bezug auf die Aspekte der CPU-Belastung und der Latenzzeit mit Fibre Channel HBAs vergleichbar. ISCSI HBAs sind in Ihrer Funktionalität dem Server gegenüber auch mit herkömmlichen SCSI-Adaptern vergleichbar. Bei der Auswahl eines iscsi HBA sollten Funktionalitäten wie Booten und Leistung beachtet werden. Die ersten beiden Varianten verwenden Software Initiatoren. Die folgene Tabelle soll einen Überblick über die drei unterschiedlichen Netzwerkadapter bieten. NIC & iscsi Software Initiator TOE & iscsi Software Initiator ISCSI HBA Applikationen Host CPU Host CPU Host CPU SCSI Host CPU Host CPU Host CPU ISCSI Host CPU Host CPU NIC bzw. HBA Andere Protokolle Host CPU Host CPU entfällt TCP Host CPU NIC bzw. HBA NIC bzw. HBA IP Host CPU NIC bzw. HBA NIC bzw. HBA NIC NIC bzw. HBA NIC bzw. HBA NIC bzw. HBA Abbildung 1: iscsi HBA 4.2 Das iscsi Protokoll Um die Daten zuverlässig über ein unsicheres Netzwerk übertragen zu können, verwendet iscsi das TCP Protokoll. Das iscsi Protokoll ist ein Layerprotokoll. Das Layermodell sieht wie folgt aus: 5 / 22

Abbildung 2: iscsi Layer Modell 4.3 iscsi Naming und Adressierung ISCSI basiert auf einem Client/Server Modell. Wobei die Clients die Initiatoren und die Server die Targets darstellen. Identifiziert werden die Clients und Server über die sogenannte Network Entity, welche gleich ist wie die IP Adresse. Sie beinhaltet jedoch noch weitere Informationen. Abbildung 3: iscsi Adressierung 6 / 22

In einer Network Entitiy können mehrere Einträge abgelegt sein. Ein Eintrag besteht aus dem iscsi Node und der Kombination IP Adresse + Port Nummer. Der iscsi Node bezeichnet ein SCSI Gerät, welches über das Netzwerk ansprechbar ist. Der Node wird über den eindeutigen iscsi Namen identifiziert. Die Name können maximal 255-byte lang sein und unterliegen den selben Konventionen wie auch Internet Domain Namen. Es dürfen als Sonderzeichen also nur '.' und '-' verwendet werden. Die Kombination aus Ip Adresse und Port ermöglicht eine eindeutig identifzierbare Adresse für alle iscsi Geräte. Der iscsi Name ändert sich nicht, wenn das Gerät einen neue IP Adresse bekommt. Dies kann zum Beispiel passieren, wenn das Gerät in einem neuen Subnet untergebracht wird. Zudem verfügt jedes Gerät nur über einen Namen, auch wenn es über mehrere iscsi Geräte mit unterschiedlichen Netzwerk-adressen verfügt. Der iscsi Name wird benötigt um ein iscsi Gerät während eines Login Prozesses, zwischen einem Initiator und einem Target, zu validieren. Für das Übertragen und routen der Daten wird der Name aber nicht verwendet. Dafür ist er schlicht zu lange. Diese Aufgabe wird mit Hilfe der IP Adresse + Port Nummer erledigt. Für das erzeugen einens eindeutigen iscsi Namens gilt es einiges zu Beachten. Der Default Name ist iscsi. Falls nur ein Gerät in einem SAN betrieben wird, kann man den Namen theoretisch so stehen lassen. Es ist aber ratsam den Namen zu ändern. Ein iscsi Name besteht aus drei Teilen: type designator -? naming authority - Domainname unique identifier Gerätename oder Standort Ein Beispiel für ein qualifizierten iscsi Namen wäre folgendes: fqn. ch.fhnw..itsm.4225 type designator naming authority unique identifier Alternativ existiert die Möglichkeit IEEE EUI Namen zu verwenden. Diese sind allerdings nicht besonders Benutzerfreundlich, weil sie in Hexadezimal geschrieben werden. Ein IEEE EUI Name ist wie folgt aufgebaut: eui.06075686df54726e Der Name besteht aus dem String eui und dem Worl Wide Name. Dieser wird normalerweise vom Hersteller des Gerätes vergeben. Ähnlich wie eine MAC Adresse. Jeder Hersteller verfügt über einen bestimmten im zugewiesenen Zahlenraum. Um Administratoren die Arbeit zu erleichtern kann zusätzlich zum iscsi Namen noch ein Alias Name vergeben werden. Sie können ebenfalls maximal 255-byte lang sein und dienen dazu ein Gerät zu identifizieren. Das ist vor allem dann sinnvoll, wenn das SAN von einer Drittfirma eingerichtet wurde und die Namensgebung nicht schlüssig ist. 4.4 iscsi Session Management Eine iscsi Session muss wird immer durch einen iscsi Login Prozess gestartet. Während des Login werden zahlreiche Variablen überprüft(später mehr dazu). Ist der Login erfolgreich, sendet das Target dem Initiator ein Login accept Paket. Ist der Login hingegen nicht erfolgreich wird die TCP Verbindung beendet. Der Login Prozess führt folgende Operationen durch: Anzahl der maximal erlaubten parallelen TVP Verbindungen 7 / 22

Austausch der iscsi Namen Austausch der Alias Namen Typ des Security Protokolls aushandeln Maximaler Datenpayload pro Paket aushandeln Timerwerte synchronisieren Zugriffsrechte prüfen Die Prüfuungen werden mit Hilfe von Text Feldern durchgeführt. Wenn sich zwei Werte unterscheiden, wird der automatisch der kleinere Wert gewählt. Eine iscsi Netzwerk Entität kann sowohl über mehrere Netzwerk Portale wie auch über mehrere Netzwerk Nodes verfügen. Deshlab wir für jede iscsi Session eine Session ID erzeugt. So ist gwährleistet, dass die unterschiedlichen Initiator Target Beziehung eindeutig identifiziert werden können. Sobald die Login Phase erfolgreich abgeschlossen ist, tritt die Full Feature Phase in Kraft. In dieser Phase findet der eigentliche Datentransfer statt. Der Datentransfer wird durch herkömmliche SCSI Befehle gesteuert. Die CDB werden mittels iscsi Protocol Data Units über das Netzwerk übertragen. Das folgende Bild zeigt, wie ein iscsi write Vorgang abläuft. Wenn ein Initiator auf eine Antwort von einem Target wartet, und diese nicht innerhalb einer bestimmten Zeit erhält, so hat er die Möglichkeit ein ping ähnlichs Kommando einzusetzen. So kann der Status des Targets überprüft werden. Erhält auf das hello Paket keine Antwort, wird die Verbindung beendet und anschliessend versucht eine neue Aufzubauen. An das hello Paket können auch Testdaten angehangen werden. Dies ist dann sinnvoll, wenn zwar eine Verbindung besteht, die Daten des Target aber trotzdem Fehlerhaft sind. Normale SCSI Verbindungen werden so gut wie nie getrennt. Dadurch kann eine höhere Performance erreicht werden, weil die Login Phase übersprungen werden kann. Bei iscsi ist das natürlich nicht so einfach Umsetzbar. Das aus folgenden Gründen: begrenzte Anzahl simultaner TCP Verbindungen Verschwendung der verfügbaren Bandbreite Höhere Auslastung der iscsi Geräte Deshlab besteht bei iscsi die Möglichkeit TCP Verbindungen zu trennen. Natürlich können nicht wahllos iscsi Verbindung getrennt werden. Es werden nur solche Ausgewählt, die längere Zeit nicht mehr beansprucht werden. 4.4.1 Internt Storage Name Service Bei isns handelt es sich um eine Art Dictonary, in dem Informationen über alle aktiven iscsi Instanzen abgelegt werden. Standartisierte Services stellen diese Informationen allen iscsi Instanzen zur verfügen. Mit Hilfe des isns können iscsi Initiatoren iscsi Targets finden und überprüfen ob sie (noch) aktiv sind. ISCSI Targets können ihrerseits prüfen ob iscsi Initiatoren aktiv (noch) sind. Es ist auch möglcih mit isns ereignisorientierte Meldungen zu verschicken. Dies geschieht zum Beispiel immer dann, wenn Konfigurationsänderungen im isns Dictonary stattfinden. Clients wird es so ermöglicht neue iscsi Targets sofort zu erkennen. Das isns bildet eine zentrale Informationsbasis für Überwachungs- und Managementwerkzeuge. Wenn sich alle Teilnehmer des iscsi SAN ordnungsgemäss registrieren, dann ist kein weitere Datenbasis notwendig um aktive Targets 8 / 22

und Initiatoren zu registrieren. 4.4.2 ISCSI Administration Wie jedes andere SAN muss iscsi natürlich auch administriert werden. Diese Aufgabe kann von Netzwerkadministratoren übernommen werden, Storage Spezialisten sind nicht notwendig. Der Grund dafür ist, dass ein einfaches Storage Managment völlig ausreichend ist. Es gibt zwei verschiedenen Möglichkeiten iscsi in einem Netzwerk zu Implementieren. Diese sind: iscsi Native: Es besteht eine durchgehende iscsi Verbindung vom Server bis zum Speichersystem iscsi Gateway Funktion: Hier ist der Server mit einem iscsi Gateway im SAN verbunden, das die Umsetzung von iscsi zu Fibre Channel vornimmt. Bei der ersten Variante ist es wichtig, dass eine Anbindung in das vorhandene Netzwerk durch die Management-Funktionen übernommen wird. Die iscsi-gateway-anbindung setzt voraus, dass entsprechende Funktionen auf der iscsi-gateway-seite vorhanden sind, um eine Integration in die Management Umgebung zu ermöglichen. Da aber in aller Regel eine Umsetzung von iscsi auf Fibre Channel im Gateway erfolgt, also IP-Adressen Fibre-Channel-Adressen zugeordnet werden, ist dies für vorhandene Management Systeme transparent. Es ist allerdings wichtig, dass der iscsi-verbindungsteil im Management entsprechend erkennbar und konfigurierbar ist. 4.5 iscsi Fehlerbehandlung Die herkömmliche SCSI Architektur ist relativ Fehlerfrei. Die Anzahl der möglichen Fehlerquellen ist sehr gering. IP basierte Netzwerke hingegen haben eine grosse Anzahl an Fehlerquellen. Die iscsi Spezifikation versucht deshalb so viele Fehler wie möglich zu erkennen und zu verhindern. Um Übertragungsfehler vermeiden und ein eventuell notwendiges Recovery durchführen zu können muss jedes iscsi Gerät über einen Buffer verfügen. Der Buffer muss alle Daten speichern, bis das Gerät ein weiteres R2T erhält. Nur so ist gewährleistet, dass ein fehlerhafter Datentransfer wiederholt werden kann. Ein weitere Problem sind individuelle Datenpakete, die fehlende oder inkonsistente Daten enthalten. Auf so ein Paket reagiert iscsi mit einem Reject PDU. Das Reject PDU zeigt dem Sendegerät in welchem Datenfeld der Fehler aufgetreten ist. Das Feld ist entsprechend markiert. Das iscsi Kommando um eine eneute Übertragung anzufordern ist das SNACK PDU (squence number acknowledgement PDU).Das SNACK zeigt dem Sender wieviele Datenpakete erneut gesendet werden müssen. Um die genaue Menge festzulegen wird die Anzahl der Pakete seit dem letzten gültigen gezählt. Falls zwischen zwei fehlerhaften Datentransfers einige gültige Pakete liegen, werden nur die fehlerhaften neu angefordert. Dies Hauptsächlich aus Perfomancegründen. 4.6 iscsi Sicherheit Da der Datentransfer bei iscsi über IP basierte Netzwerke abgewickelt wird, muss natürlich auch eine gewisse Sicherheit gewährleistet werden. Nicht zuletzt deshalb, weil 9 / 22

sensible Firmendaten über das SAN übertragen werden. Folgende Möglichkeiten, die Daten zu verschlüsseln wurden deshalb in die iscsi Spezifikation mit aufgenommen: IPSec Kerberos Public/Private Key Die Verschlüsselungsmethode, die verwendet werden soll, wird während der Login Phase ausgehandelt. 4.6.1 Getrennte Speicher- und Datennetze Die Versuchung die bestehende Netzwerkinfrastruktur für ein Speichernetzwerk mitzuverwenden ist gross. Vielfach gibt es sogar noch reichlich ungenutzte Kapazitäten. Speichernetzwerke haben jedoch eine riesige Anzahl an I/O Daten. Zusammen mit den normalen LAN Daten kann ein Sytsem schnell an seine Grenzen gebracht werden. Die Folge kann ein Systemabsturz sein. Es ist also davon abzuraten LAN und SAN Daten auf einem Netzwerk zu transportieren. Es muss garantiert werden, dass dem iscsi SAN immer die volle Bandbreite zur Verfügung gestellt wird. Nun wird aber kaum eine Firma eine zweite Netzwerkinfrastruktur einrichten, obwohl auf dem besthehenden noch Kapazitäten verfügbar sind. Eine Lösung dafür sind z.b. Virtuelle LANs. Auf Routern und wenn möglich auch auf Switches muss zudem garantiert werden, dass die iscsi Daten bevorzugt behandelt werden. Die Latenzzeit darf auf keinen Fall zu gross werden. 4.6.2 Redundanz bei Hardware Viele Netzwerke sind nur einfach ausgelegt. Das liegt daran, dass das Netzwerk meist nur eine vermittelnde Wirkung hat. Die Rechner können notfalls auch ohne das Netzwerk einen Teil ihrer Arbeit ausführen. Bei Speichernetzwerken ist es jedoch esentiell, dass das Netzwerk ständig verfügbar ist. Fällt es dennoch aus, kann das SAN sein Ziel nicht mehr verfolgen. Deshalb werden Speichernetzwerke normalerweise doppelt ausgelegt. Also nicht nur redundant. Dadurch können auch Fehler abgefangen werden, die ein komplettes Netzwerk lahmlegen. Bei Systemen mit einer niederigen Priorität (z.b Testsysteme) genügt jedoch oft eine einfache Anbindung. Die Frage, ob eine ein- oder zweifache Anbindung erforderlich ist, stellt sich übrigens unabhängig vom verwendeten Speichernetzwerkprotokoll (FCP oder iscsi). Damit eine doppelte Anbindung möglich ist, muss ein so genannterer Multipathing-Treiber zum Einsatz kommen. Dieser ist erforderlich, weil Betriebssysteme normalerweise nur einen Weg verweden, um an die Daten aus dem Netzwerk zu gelangen. Der Treiber stellt für das Betriebssystem virtuell nur einen Weg zur Verfügung. Tatsächlich werden aber beide Pfade verwendet, um die Last zu verteilen. Im Fehlerfall werden die Datenpakete über den verbleibenden Pfad geleitet. Einige Betriebssysteme bieten heute eine solche Multipathing-Funktionalität bereits ohne zusätzliche Treiber. Es muss jedoch im Einzelfall überprüft werden, ob alle verlangten Funktionen geboten werden. 10 / 22

ISCSI unterstützt mehrere Varianten für eine redundante Auslegung. Die Möglichkeiten hängen von der Art der Implementierung (iscsi-treiber, TOEKarte oder iscsi HBA) ab. Das iscsi-protokoll bietet die Möglichkeit, eine iscsi-session über mehrere IP Verbindungen parallel zu betreiben. Diese Funktion ist aber noch nicht bei allen Anbietern von iscsi-treibern implementiert. Ebenfalls redundant solte die Hardware ausgelegt werden. Redundant bedeut hier allerdings nicht zwangsläufig doppelt. Eine Kompnente sollte vielmehr mindestens einmal mehr Vorhanden, als für eien stabilen Betrieb notwendig. Wenn z.b. ein Router zwei Lüfter im Dauerbetrieb benötigt, sollte er über drei verfügen. 4.7 Performance 4.7.1 Bandbreite und Durchsatz ISCSI kann auf Gigrabit LANs mit einer Bandbreite von 1 bis 10 Gbit/s eingestzt werden. Der Einsatz auf einem 100 Mbit/s LAN ist nur mit Einschränkungen möglich. Die SCSI Kommandos und Daten müssen bei iscsi in TCP/IP eingekapselt werden. Durch diese Einkapselung entseht natürlich ein Transport Overhead. Dieser ist abhängig von der Paketgrösse, d.h. Je grösser ein Paket, desto kleiner der Overhead. Um also einen guten Durchsatz zu erreichen, sollte eine grosse Paketgröße gewählt werden. 4.7.2 Latenzzeit Die Latenzzeit ist die Zeit die ein Datenpaket benötigt um vom Sender zum Empfänger zu gelangen. Diese Zeit ist in SAN eine kritische Größe. Wenn sie zu groß wird, so wird die Übertragung abgebrochen. Das wiederum kann sogar zum Absturz des Servers führen. Folgende Faktoren beeinflussen die Latenzzeit: Verwendete Komponenten (Switches, Router etc.) Anzahl der Komponenten Kabellänge Kabeltyp (z.b. Kupfer- oder Glasfaserkabel) Verwendete Protokolle Verfügbare Bandbreite Im Gegensatz zu einem iscsi SAN spielt in einem herkömmlichen IP Netzwerk die Latenzzeit keine grosse Rolle. Die Latenzzeit muss also so gering wie möglich gehalten werden. Latenzzeit-Probleme können unter anderem ISCSI eignet sich deshalb nicht dafür Speichersysteme über das öffentliche Netz (z.b. Internet) zu verbinden. Hier können die Latenzzeiten, die bei der Datenübertragung auftreten, nicht vorhergesagt werden. In öffentlichen Netzen ist es zudem wahrscheinlich, dass die Datenpakete über unterschiedliche Wege durch das Netz gehen. Bei iscsi ist es aber zwingend notwendig, dass die Datenpakete in der richtigen Reihenfolge am Zielort eintreffen (In-Order-Delivery). ISCSI kann also in der Regel nur in privaten Netzen angewandt werden. Viele der heutzutage verwendeten Netzwerkkomponenten verfügen über ausgeglügelte QoS- und Priorisierungs-Funktionen. Über diese kann den Storagediensten genügend Bandbreite zur Verfügung gestellt werden. Die Latenzzeit 11 / 22

lässt sich so sehr gering halten. Der iscsi Verkehr sollte gegenüber ftp und web Verkehr priorisiert sein. 4.7.3 Flow Control In einem Netzwerk spielen viele Komponenten zusammen. Die Zusammenarbeit untereinander erfolgt durch Protokolle. Es müssen dabei meist mehrere parallel laufende Datenströme verarbeitet werden. Ziel in einem Netzwerk ist eine Optmierung hin zu folgenden Punkten: Kurze Verweilzeiten der Datenpakete eines Datentransfers Möglichst hoher Gesamtdurchsatz Faire Verteilung der verfügbaren Bandbreite Stabilität bei Überlast Schnelle Anpassung an die jeweilige Lastsituation Einfache und effiziente Recovery-Prozesse Die Optmierung sollte nicht statisch sein, sondern sollte sich an der Lastsituation des Netzwerkes orientieren. Der wichtigste Punkt ist jedoch, wie das verwendete Protokoll eine Grenzsituation innerhalb des Netzwerkes behandelt. Es kann zu Beispiel vorkommen, dass von einer Quelle mehr Pakete gesendet werden, als der Empfänger annhemen kann. Das Protokoll uss in einer solchen Situation den Sender dazu veranlassen die Übertragungsgeschwindigkeit zu reduzieren. Dies kann auf unterschiedliche weise erreicht werden. Fibre Channel und iscsi bzw TCP/IP verfolgen hier andere Varianten. Die Methode "Credit-based flow control" ist die meist verbreitetste Methode in Fibre Channel Netzwerken. Der Sender und Empfänger handeln dabei im Vorfeld der eigentlichen Übertragung aus, wieviele Pakete an einem Stück übertragen werden können. Die beteiligten Netzwerkkomponenten müssen darauf hin entsprechend grosse Puffer zu Verfügung stellen. Die grösse und Anzahl der Puffer richtet sich nach der zu überbrückenden Entfernung. Je grösser die Entfernung, desto mehr Puffer wird benötigt. Der grösste Nachteil dabei ist, dass die resservieten Ressourcen nicht von höher prioriserten Übertragungen verwendet werden. Der Speicher für den Puffer ist reserviert und kann nicht mehr vergeben werden. Eine Vergabe der Ressourcen an andere Dienste während einer Lastspitze ist also nicht möglich. In Netzwerken die TCP verwenden kommt die "Window-based flow control" Methode zum Einsatz. Wenn nun die gleiche Situation wie oben beschreiben auftritt müssen bei dieser Methode die Pakete verworfen werden. Der Empfänger hat die Puffer bereits voll und kann sie nicht einfach leeren. Die Pakete müssen erneut angefordert werden. Das kostet zum einen erneut Bandbreite und zum anderen erhöht sich die Verweilzeit des Datentransfers. Umso grösser nun die zu versendende Datenmenge, desto grösser sind auch die Auswirkungen auf das Netzwerk. Es wird also erst erkannt, dass der Puffer nicht ausreicht, wenn es bereits zu Spät ist. Ein weiteres Problem ist, dass sich ein TCP-Netzwerk schlecht auf wechselnde Lastsituationen einstellen kann. Der Wert wie viele Pakete an einem Stück übertragen werden können steht erst nach mehreren Zyklen fest. Ändert sich die Last nun sprunghaft hat dies erheblich längere Verweilzeiten zur Folge. Für iscsi-umgebungen wird daher der Anwendungs-spezifische Aufbauvon 12 / 22

dedizierten switched TCP/IP-Netzwerken mit vergleichbaren Bandbreiten, wie sie in FCNetzwerken gegeben sind, empfohlen. 4.7.4 Verfügbarkeit von iscsi Netzwerken Die Verfügbarkeit ist ein enorm wichtiger Faktor bei Storage Area Networks. Schon eine kurze Unterbrechnung genügt um komplette Systemausfälle zu verursachen. Die fflge sind lange und aufwendige Recovery Massnahmen. Es gilt also einiges zu beachten um eine hohe Verfügbarkeit sicherzustellen 4.7.5 iscsi vs Fibre Channel Der folegende Performancevergleich zeigt die Stärken und Schwächen jedes Protokolls. 13 / 22

Die Testsysteme: Der folgende Entscheidungsbaum zeigt ebenfalls schön die Störken und Schwächen jedes Protokolls. 4.8 Kosten Fibre Channel SAN sind heutzutage immer noch sehr Kostenintensiv, da im Grunde ein zweites Netzwerk aufgebaut werden muss. ISCSI ist hingegen sehr flexibel in Bezug auf die Kosten. Eine Anpassung an die verschiedensten Anforderungen ist mögluch. Benötigt ein Server zum, Beispiel 14 / 22

hoheleistung, muss man auf eine TCP Offload-Engine (TOE), NIC (TNIC) oder einen iscsi HBA zurückgreifen. Diese sind preislich jeoch nicht weit von Fibre Channel HBAs entfernt. Ist die Leistung aber nicht so wichtig, kann man ein iscsi SAN mit einem sehr geringem Kostenaufwand erreichen. iscsi ermöglicht eine problemlose Integration in eine bestehende LAN-Infrastruktur, wenn ausreichend Bandbreite zur Verfügung steht. Die netzwerkseitigen Kosten von IP Ports sind im Augenblick noch wesentlich geringer als die Kosten von FC Ports im SAN. 5 Beispiele Insgesamt ist davon auszugehen, dass die Kosten mit den Anforderungen an Durchsatz, Antwortzeiten und Verfügbarkeit steigen. http://www.speicherguide.de/magazin/iscsi.asp?todo=de&theid=220&lv=30&mtyp= 5.1 Beispiel iscsi Storage Area Network Das folgende kleine Beispiel habe ich aus einem Dokument über Speichernetzwerke von Cisco entnommen ( www.cisco.com/global/de/pdfs/publicsector/speichernetzwerke.pdf ) 15 / 22

Im folgenden Beispiel übernimmt eine Datenzentrale die Datenhaltung angeschlossener Kommunen. Dabei sind die Server der Kommunen mit iscsi-treibern ausgestattet. Die Kommunikation zwischen Kommunen und DZ findet über die bestehende IP- Infrastruktur mittels iscsi-protokoll statt, was eine kostengünstige Implementierung ermöglicht. Der Vorteil dieser Lösung besteht darin, daß die Kommune sich auf ihre Kernkompetenz konzentrieren kann und die Speicherhaltung der Datenzentrale übergibt. Diese hat mit iscsi die Möglichkeit, der Kommune eine sehr preiswerte Lösung zur Verfügung zu stellen optimal ihre Speicherstrukturen auszunutzen. 5.2 Beispiel iscsi Storage Device EMC/DELL AX-150i Als Beispiel für eine Speicherkonsolidierungsplattformen soll das EMC/DELL AX- 150i dienen. Das iscsi AX-100i wird von Dell in Deutschland nicht mehr angeboten. Das AX-150i eignet sich für kleine bis mittle Unternehmen. Es ist relativ Kostengünstig, dazu später mehr. Das Gerät kann über RJ-45 Stecker direkt mit Servern oder Clients verbunden werden. Es kann aber auch ein Standard Ethernet Switch, wie Beispielsweise der Cisco Catalyst 1900, zwischen geschallten werden. Dell empfiehlt ein seperates iscsi Netzwerk 16 / 22

aufzubauen, welches vom normalen LAN getrennt ist. Dell lässt seine Storage Geräte von EMC produzieren. Technischen Daten des AIX 150i: Speicherkapazität: Max. 12 SATA II-Festplatten und 6 TB Bruttospeicherkapazität. Skalierbarkeit : Unterstützung von bis zu 10 hochverfügbaren Servern in einem iscsi-san. Direkte Verbindung von bis zu 4 Servern über iscsi (AX150i) Vier Gigabit Ethernet (AX150i)-Kupfer-anschlüsse PowerPath-Failover- und Load Balancing-Software für Mehrwege-E/A können Benutzer alle vier Anschlüsse gleichzeitig betreiben. Cache 512 MB mit Batteriepuffer für ein Speicherprozessorsystem 1 GB UPS-gesicherter gespiegelter Cache für das Dualspeicherprozessorsystem Unterstützung der Cache-Ausspeicherung des Dualspeicherprozessorsystems RAID-Level RAID 5 und 1/0 Unterstützte Server Dell Server, verschiedene Compaq-, HP- und IBM- Server mit 2 oder mehr Prozessoren Betriebssystemunters tützung Direkt angeschlossene Server Front-End- Anschlussmöglichkeiten Microsoft Windows 2000 Advanced Server SP4 Microsoft Windows Server 2003 (Std, Ent, DataCtr, Web) RedHat AS/ES 3.0, U5.0 SUSE Linux Enterprise Server 8 SP4+, 9 SP2+ Anschluss von bis zu zwei Servern mit einem Speicherprozessor Anschluss von bis zu vier Servern mit Dualspeicherprozessoren Zwei 1 GB-Ethernet RJ45-Anschlüsse pro Speicherprozessor Laufwerksanschluss Ein Hot-Swap-SATA-Schnittstellenanschluss pro Festplatte Verfügbare Laufwerke SATA-Festplatte mit 250GB und 7.200U/min SATA-Festplatte mit 500GB und 7.200U/min Der Preis für das AX-150i in der Grundausstattung liegt bei 5100. Die Installation des AX-150i unter Linux gliedert sich in folgende Schritte: Einbau der NIC oder iscsi HBAs in den Server Installation des NIC oder iscsi HBA Treibers 17 / 22

Treiber entweder in den Kernel laden oder als Modul einbinden Installation der iscsi HBA Initiator Configuration Software Nur auf Servern mit iscsi HBAS notwendig NIC oder HBA eine IP-Adresse zuweisen Werden mehrere NICs/HBAs verwendet sollte sich jede NIC in einem eigenen Subnet befinden Installation von PowerPath PowerPath übernimmt die automatische Lastverteilung, Pfad-Failover und Volume-Management-Funktionen Installation der Navisphere Software NaviSphere ermöglicht das Konfigurieren des AIX-150i über ein Webinterface Uninterrupable Power Supply installieren AX-150i vorbereiten Rückansicht des AX-150: Abbildung 1: Rückansicht DELL / EMC AX-150i Das Storage System installieren Einbau in ein Rack Anschliessen der Stromversorgung Anschliessen der Netzwerkkabel Das AX-150i verfügt über einen 10/100Mbit Management Port. An diesem Port wird ein Management Host angeschlossen. Über diesen kann das Storage System konfiguriert werden. Anschalten und Gerät mit NaviSphere initialisieren Management User Account erstellen Storage System über Webinterface konfigurieren Einrichten der iscsi Initiatoren 6 Zusammenfassung ISCSI ist ein durchaus leistungsfähiges Protokoll für Speichernetzwerke auf Basis des TCP/IP-Standards. Je nach Anwendungsfall ist es eine interessante Alternative zu Fibre Channel. ISCSI eignet sich besonders für den Einsatz im Bereich von Low-Cost-Servern mit geringen I/O-Anforderungen. Ebenfalls positiv zu werten ist die hohe Fehlertoleranz von iscsi. Für Anwendungen mit hohen I/O - und Verfügbarkeitsanforderungen ist Fibre Channel jedoch iscsi vorzuziehen. 7 Quellen Allgemein zu iscis: http://de.wikipedia.org/wiki/iscsi 18 / 22

http://www.speicherguide.de/magazin/iscsi.asp?lv=30 http://en.wikipedia.org/wiki/iscsi http://www.microsoft.com/windowsserver2003/technologies/storage/iscsi/default.mspx Produktdetails AIX 150i: http://www1.euro.dell.com/content/products/productdetails.aspx/pvaul_ax150?c=za&l=en& s=pad http://germany.emc.com/products/systems/clariion/ax150/index.jsp Diverse Whitepaper: http://www.cisco.com/warp/public/cc/pd/rt/5420/prodlit/imdpm_wp.pdf http://www.iscsistorage.com/wp/iscsi_whitepaper.htm 8 Demonstration iscsi-ls Zeigt Details über verfügbare Targets an. Der Paramater -c gibt zusätzliche Informationen aus. hoover8:~ #iscsi-ls ************************************************************************** Cisco iscsi Driver Version... 4.0.188.18 ( 21-May-2004 ) ************************************************************************** TARGET NAME : iqn.1992-04.com.emc:ax.fcnpr053700111.a0 TARGET ALIAS : 0111.a0 HOST NO : 2 BUS NO : 0 TARGET ID : 0 TARGET ADDRESS : 192.168.1.20:3260 SESSION STATUS : ESTABLISHED AT Thu Jul 13 11:17:02 2006 NO. OF PORTALS : 1 PORTAL ADDRESS 1 : 192.168.1.20:3260,1 SESSION ID : ISID 00023d000001 TSID 06 iscsi-device Gibt an ob das Device ein iscsi Device ist. Hoover8:~ # iscsi-device /dev/sdc /dev/sdc: 0 0 0 192.168.1.20 3260 iqn.1992-04.com.emc:ax.fcnpr053700111.a0 Performance Test Ich werde nun Daten von dder iscsi Festplatte /dev/sdc1 lesen und in /dev/null schreiben. Gleichzeitig messe ich mit IOSTAT die Geschwindigkeit in KB/s. Zuerst lasse ich iostat ein paar Sekunden ohne dd Befehl laufen. Dies tue ich um mich zu vergewissern, dass niemand auf den Rechner hoover8 zugreift. 19 / 22

$ Iostat 2 -kt $ dd if=/dev/sdc1 of=/dev/null -bs=64 hoover8:~ # iostat -k -t 2 Linux 2.6.5-7.244-smp (hoover8) 06/22/06 Time: 09:57:48 avg-cpu: %user %nice %sys %iowait %idle 5.22 0.00 3.34 3.49 87.95 Device: tps kb_read/s kb_wrtn/s kb_read kb_wrtn sda 3.09 6.41 38.61 523978 3153640 sdb 0.10 0.89 0.10 72798 7972 sdc 2.98 2.98 0.50 243075 40484 sdd 0.05 0.14 0.00 11106 0 sde 190.02 54.61 571.95 4460984 46722234 fd0 0.00 0.00 0.00 2 0 Time: 09:57:50 avg-cpu: %user %nice %sys %iowait %idle 8.88 0.00 6.00 4.12 81.00 Device: tps kb_read/s kb_wrtn/s kb_read kb_wrtn sda 0.00 0.00 0.00 0 0 sdb 0.00 0.00 0.00 0 0 sdc 3.00 3.00 0.50 6 1 sdd 0.00 0.00 0.00 0 0 sde 200.50 16.00 380.25 32 760 fd0 0.00 0.00 0.00 0 0 Time: 09:57:52 avg-cpu: %user %nice %sys %iowait %idle 8.78 0.00 5.02 6.27 79.92 Device: tps kb_read/s kb_wrtn/s kb_read kb_wrtn sda 64.50 0.00 400.00 0 800 sdb 0.00 0.00 0.00 0 0 sdc 3.00 3.00 0.50 6 1 sdd 0.00 0.00 0.00 0 0 sde 241.50 24.00 884.00 48 1768 fd0 0.00 0.00 0.00 0 0 Mit Lesezugriff via dd: hoover8:~ # iostat -k -t 2 Linux 2.6.5-7.244-smp (hoover8) 06/22/06 Time: 10:04:13 avg-cpu: %user %nice %sys %iowait %idle 6.01 0.00 7.51 25.28 61.20 20 / 22