Lehrveranstaltung Speichersysteme Sommersemester 2009

Transkript

1 Lehrveranstaltung Speichersysteme Sommersemester 2009 Kapitel 10: Speichernetzwerke André Brinkmann

2 Gliederung Direct ADached Storage und Storage Area Networks FibreChannel Topologien Service Klassen iscsi Protokoll Herausforderungen

3 Direct ADached Storage (DAS) Client Fast-Ethernet Ethernet GBit/s Ethernet Server SCSI SCSI-Festplatten/ -RAID

4 Direct ADached Storage (DAS) Verwaltung von DAS Systemen nur schwer skalierbar: Freie Speicherkapazität kann nur schlecht genutzt werden Server kann nicht auf freie Ressourcen eines anderen Rechners zugreifen Typischerweise nur 50% Nutzung der Speicherkapazität Mangelnde Ausfallsicherheit Ausfall eines Servers nur schwer zu kompensieren Daten für den Server können nicht einfach heilem Server zugeordnet werden Physikalische Beschränkung der Speicherkapazität PlaDen pro Rechner Länge der (SCSI )Kabel Management komplex Verteilter Au\au der Systeme über verschiedene Orte Kein physikalischer Schutz der Speichergeräte

5 Storage Area Networks (SANs) Client Server Speicher LAN SAN Dediziertes, zentral verwaltetes Speichernetzwerk ermöglicht Any to Any Kommunika_on zwischen Servern und Speicher konsistente Datenverwaltung zwischen Servern entlastet lokale Netzwerke vom Datenverkehr für Backups,... Basieren zur Zeit auf Fibre Channel Technologie Tendenz: Integra_on von Ethernet/IP iscsi FC over IP FC over Ethernet

6 Kosten Speicherverwaltung

7 Fibre Channel American National Standards Institute National Comittee for Information Technology Standards Technical Comittee T11: I/O Interfaces Fibre Channel Standards X Fibre Channel Physical and Signaling Standard (FC-PH) initial core standard Anwendungen: Speicher Video Netzwerke Real Time Backbone Netzwerkstandard mit besonderer Unterstützung von Anforderungen aus dem Bereich der Speichersysteme Übertragungsrate zur Zeit 1 Gbit/s, 2 GBit/s und 4 GBits/s 10 Gbit/s in Vorbereitung Topologie: Punkt zu Punkt Schleife Hub, Switch beinhaltet verschiedene Service Klassen dedizierte Reservierung von Verbindungen garan_erte Auslieferung von Paketen Unterstützung virtueller Kanäle Isochrone Datenübertragung

8 Fibre Channel Protokoll Stack SCSI HIPPI IP ATM FC-4 Schnittstelle zu höheren Diensten FC-3 Gemeinsame Dienste Nicht Implementiert (z.b. Verschlüsselung, Multipath) FC-2 Rahmenprotokolle Flussprotokolle Haupt Bestandteil von Fibre Channel FC-1 Kodierung Dekodierung / 8B-10B-Kodierung FC MB/s 400 MB/s 800 MB/s

9 Fibre Channel: Topologien I Point to Point (FC P2P): Zwei Geräte (hier ein Server und ein FC Speichersystem) werden direkt miteinander verbunden Arbitrated Loop (FC AL): Alle Geräte werden miteinander zu einem Ring verbunden Fehler eines Gerätes bricht Ring auf Verwendung eines doppelten Rings einige Hubs sind in der Lage, Fehler zu überbrücken Switched Fabric (FC SW): Geräte werden an einen / mehrere Switche angeschlossen Vergleichbar mit Ethernet Switchen

10 Fibre Channel: Topologien II N_Port: Ein Node Port verbindet über eine Punkt zu Punkt Verbindung einen Knoten mit einem anderen N_Port oder mit einem F_Port. N_Ports behandeln die Kreierung, Erkennung, und den Fluss von Nachrichten zwischen verbundenen Systemen. L_Port: Ein Loop Port kann Arbitrated Loop Funk_onen und Protokolle behandeln. NL_Ports und FL_Ports sind Beispiele für Loop fähige Ports. F_Port: Der Fabric Port eines Fibre Channel Switches bildet eine Point to Point Verbindung mit einem einzelnen N_Port. F_Ports sind virtuelle Point to Point Verbindungen zwischen zwei Endpunkten, zum Beispiel von N_Port zu F_Port zu F_Port zu N_Port bei einem einzelnen Fabric Switch. E_Port: Expansion Port zur Verschaltung mehrerer FibreChannel Switche. FL_Ports können als F_Port oder L_Port innerhalb einer Fabric arbeiten NL_Ports können als N_Ports oder L_Ports in einem Knoten fungieren G_Ports können als E_Port und F_Port Funk_onalitäten Definitionen gemäß SNIA

11 Fibre Channel: Topologien III Point-to-Point: Hub FC-AL: Switch FC-SW: L-Port N-Port F-Port

12 Fibre Channel: Service Klassen Class 1: Au\au einer dedizierten Verbindung zwischen Quelle und Ziel durch die Fabric für die Dauer der Übertragung Jeder Frame wird von dem Ziel zur Quelle zurück bestä_gt Pakete werden in rich_ger Reihenfolge empfangen Volle Bandbreite zwischen zwei Geräten Schlechte Ausnutzung der Gesamtbandbreite Class 2: Keine dedizierte Verbindung mehrere Geräte können zeitgleich über Verbindung kommunizieren Verbindungslos Jeder Frame wird von dem Ziel zur Quelle zurück bestä_gt schnelle Fehlererkennung Pakete können verschiedene Wege durch Fabric nehmen keine Reihenfolge Garan_e (wird durch höhere Schichten geregelt) Class 3: Verbindungslos wie Class 2 Services Erhaltene Frames werden nicht bestä_gt. Flusskontrolle basiert auf BB Credit Class 3 auch als datagram connec_onless Service bezeichnet. Höhere Ebenen müssen erhalt aller Pakete und die rich_ge Reihenfolge garan_eren Class 3 wird üblicherweise in FC Netzwerken verwendet Folie basier auf IBM SAN Survival Guide

13 Fibre Channel: Service Klassen Class 4: Verbindungsorien_erter Dienst wie Class 1 Nur Anteil der Bandbreite wird allokiert Virtual Circuits (VCs) werden zwischen N_Ports aufgebaut und garan_eren Quality of Service (QoS) in Bezug auf Bandbreite und Latenz Bis zu 254 Class 4 Circuits zwischen N_Ports Gedacht für Mul_media Applika_onen wie Video und für Enterprise Umgebungen Class 5 Isochronous Service Für Applika_onen, die eine sofor_ge Weiterleitung der Daten ohne Bufferung benö_gen Nicht klar definiert und nicht Bestandteil der FC PH Dokumente. Class 6 Variante von Class 1, die Mul_cast Dienste beinhaltet Ein N_Port kann Class 6 Verbindung für ein oder mehrere Ziele anfordern Nach dem Au\au der Verbindung ist Fabric für QoS verantwortlich Nur Ini_ator kann Daten versenden Entworfen für Audio und Video Bestandteil des FC PH 3 Standards Folie basier auf IBM SAN Survival Guide Klasse 1-3 sind wohldefinierte Standards. Viele Switche unterstützen die Klassen 1 und 2

14 IP Storage Fibre Channel Technologie ist kostspielig Geringe Stückzahlen Administra_on Fibre Channel Technologie ist räumlich begrenzt Speichernetzwerke als Inseln, die nur wenige 10km Durchmesser haben können Verbindung enpernter Standorte nur eingeschränkt möglich Alterna_ve: Storage over IP Möglichkeiten: Speichernetzwerke über IP Integra_on von FC und IP Tunneln von FC durch IP Netzwerke

15 IP Storage iscsi: Internet Small Computer System Interface iscsi ist ein TCP/IP basiertes Protokoll zum Au\au und Management von Verbindungen zwischen IP basierten Speichersystemen, Servern und Client Rechnern ifcp: Internet Fibre Channel Protocol Über ifcp können verschiedene Fibre Channel Geräte bzw. FC SANs über eine IP Infrastruktur miteinander verbunden werden FCIP: Fibre Channel over IP FCIP ist ein Protokoll zum Tunneln von Protokolldaten zwischen verschiedenen FC basierten SANs, die über ein IP Netzwerk verbunden sind. Das Protokoll ist sowohl für FC, als auch für IP transparent FC over Ethernet: Das Fibre Channel Protokoll setzt ohne Zwischenschicht direkt auf Ethernet auf

16 iscsi, ifcp, FCIP, Protokoll Stack Applika_on / Betriebssystem Standard SCSI Kommandos FCP FC 4 iscsi FCP FC 4 FCP FC 4 FC Lower Layers FCP FC 4 FC over Ethenet SRP/iSER FCP FC3 ifcp FCIP FCP FC2 TCP/IP FCP FC1 Ethernet IB

17 Was ist iscsi? iscsi ist ein Transportprotokoll für SCSI Kommandos iscsi ist ein Ende zu Ende Protokoll, das für das zugrunde liegende IP Netzwerk transparent ist neue Anforderungen nur an Clients, Server und Storage Devices, nicht an Switches oder Router iscsi kann mit heu_gen TCP/IP Stacks zusammenarbeiten, kann jedoch auch in Host Bus Adapter ausgelagert werden iscsi enthält Sicherheitskonzepte Konzepte zum ermideln der teilnehmenden Speichersysteme Verfahren zum Booten über iscsi Devices

18 iscsi Internet SCSI SCSI Command Layer TCP/IP Ethernet, ATM, FDDI,... iscsi Mux iscsi TCP/IP iscsi/tcp/ip Server Network Interface Card Direktes Versenden der SCSI Kommandos über TCP/IP Netzwerke ermöglicht den Verzicht auf FC Technologie Integra_on von SAN/LAN/WAN billige Massen Technologien können verwendet werden Inves onen in FC SANs können nicht weiter verwendet werden Zusätzliche Ressourcen Anforderungen an den Server TCP/IP Stack benö_gt hohe Rechenleistung Protokolle können ganz/teilweise in NIC ausgegliedert werden IETF Internet Drau

19 iscsi TCP Pakete Ethernet- Header IP TCP iscsi SCSI Daten CRC TCP/IP Paket erfordert zusätzliche Rechenleistung durch den Prozessor Verbindungen müssen aufgebaut werden Header müssen analysiert und enpernt werden Pakete müssen gegebenenfalls umsor_ert werden Daten müssen umkopiert werden CRC muss überprüu werden iscsi erfordert weitere Kopien: Notwendige Speicherbandbreite (in einfachster Implemen_erung) um Faktor 3+ größer als Bandbreite des Netzwerkes: Nicht akzeptabel für 10GBit/s Ethernet

20 Framing I Erkennen von Nachrichten Grenzen Es gibt keinen Zusammenhang zwischen der Größe eines iscsi Blocks und den Segmenten in TCP TCP hat keinen Mechanismus, um Grenzen eines Blocks innerhalb eines Segmentes anzugeben Problem: Wie kann iscsi Adapter die Grenzen einer Nachrichte erkennen? Lesen des Längen Feldes im iscsi Header Eindeu_ge Festlegung, wann Paket beginnt bzw. endet NIC muss synchron zum Datenstrom bleiben Funk_oniert in einer perfekten Welt! Im wirklichen Leben kommen neue Einflüsse hinzu: IP Pakete können verloren gehen Die Reihenfolge der Pakete kann sich verändern

21 Framing II Was passiert, wenn iscsi Header nicht wie erwartet empfangen wird, weil TCP Paket nicht rechtzei_g ausgeliefert wird? Der Empfänger kann die nachfolgenden Daten nicht verarbeiten, bis der iscsi Header empfangen wird Lösungen: 1. Empfänger löscht alle Nachrichten, bis Header empfangen wird TCP stellt erneute Übertragung der Daten sicher aber: Löschen von Paketen reduziert stark die Übertragungsrate 2. Empfänger speichert Pakete zwischen Speichern der Daten ist teuer und zugehörige NIC Logik komplex

22 Framing III In einem abgeschlossenen SAN treten nega_ve Ereignisse selten auf Ansätze: Einfügen von regelmäßigen Markierungen, die die Länge bis zum nächsten iscsi Header angeben Notwenige Puffergrößen können reduziert werden Einführung von RDMA Techniken in die PaketvermiDelung (WARP, SCTP, iser) Pakete enthalten Adresse und Offset im Hauptspeicher NIC platziert Pakete direkt an die rich_ge Stelle in dem Hauptspeicher Es muss nicht auf den Header gewartet werden, da Ziel bereits bekannt

23 IPSec IP Storage auch über unsichere Netzwerke Bereitstellung verschiedener Security Modelle Keine Sicherheit Authen_fizierung zwischen Teilnehmern Authen_fizierung und Erkennen von Veränderungen Authen_fizierung und Datenverschlüsselung (IPSec) Datenverschlüsselung vorrangig in WANs TCP Offload Engine (TOE) reduzieren notwendige Leistung der CPU für TCP/IP und IPSec

24 LayerN (dann Britestream, dann ncipher): SSL Prozessor

25 Trebia Networks: iscsi TOE IP heute bei Emulex

26 Zugriffsrechte im SAN Typisches SAN beinhaltet viele Server und Speichersysteme Nicht jeder Server soll / darf jedes Speichersystem sehen oder beschreiben Lun Masking: Das Speichersystem legt fest, welche Rechner auf das Speichersystem zugreifen können. Vortäuschen falscher Adressen möglich Zoning: Der Switch teilt das Netz in Zonen ein. Nur die Mitglieder einer Zone können andere Mitglieder einer Zone sehen und ansprechen. Port Zoning Name Zoning