Storage Area Networks. Christoph Biardzki (Mit einigen Erweiterungen von W. D. Schubring) (siehe auch Notizseitenansicht)

Transkript

1 Storage Area Networks Christoph Biardzki (Mit eiige Erweiteruge vo W. D. Schubrig) (siehe auch Notizseiteasicht)

2 Storage Area Networks Was sid Storage Area Networks? Fibre Chael Grudlage Eisatzszearie für SANs Techische Aspekte Forschug ud Etwicklug Ausblicke

3 Herkömmliches WS-Cluster Local Area Network

4 Network Attached Storage NAS Local Area Network NAS NAS

5 Network Attached Storage NAS Local Area Network Network Processor NAS-Server File- & Storage-Processor NAS NAS mit NFS

6 Cliet ud Server NFS Protokoll Stack Cliet Server User Applicatio VFS VFS NFS Cliet NFS Server Local FS XDR RPC Cliet XDR RPC Server Buffer Cache Memory TCP IP TCP IP Memory Storage Device Drivers Network Device Drivers Network Device Drivers Host Adapter Network Adapter Network Adapter

7 Gemeisamer File-Server uter AFS oder DFS Local Area Network AFS- oder DFS- File-Server Directory Service Security Service

8 Storage Area Network Local Area Network SAN Fibre Chael

9 Storage Area Networks Was sid Storage Area Networks? Fibre Chael Grudlage Eisatzszearie für SANs Techische Aspekte Forschug ud Etwicklug Ausblicke

10 Fibre Chael Etwicklug Ede der 80er-Jahre (aus ESCON- Erfahruge) Normiert durch ANSI ud OSI (seit 1994) Serielle Hochgeschwidigkeitsverbidug Trasportiert existierede Protokolle (z.b. SCSI, IP oder ATM) Itelligetes Verbidugsetz ( Fabric ) Flexible Topologie Protokolle i Hardware implemetiert Mischug aus Kaal ud Netzwerk

11 Kaal vs. Netzwerk S o f t w a r Kaal Hardware-itesiv Geriger Overhead Gerige Latezzeite Weige, selte wechselde Teilehmer Kotrollierte Umgebug

12 Fibre Chael Layer FC-4 IPI SCSI HIPPI SBCCS IP ATM FC-3 Gemeisame Dieste FC-2 Rahmeprotokolle - Flusskotrolle FC-1 Kodierug - Dekodierug FC Mb/s Mb/s Mb/s

13 Fibre Chael Hardware Verschiedee Medie verfügbar Moomode Glasfaser: bis 10 km Multimode Glasfaser: eiige 100 m Kupferkabel: 30 m Stecker: SC bei Glasfaser, DB9 oder HSSDC bei Kupferkabel Ope Fibre Cotrol Sicherheitssystem als Schutz vor kotiuierlicher Laserstrahlug a freie Ede eies Glasfaserkabels Host Bus Adapter (HBA)

14 Fibre Chael Layer FC-1 Defiiert Low-Level-Übertragugsprotokoll Balacierte 1,0-Übertragug mit Ruig Disparity u 8b/10b-Codierug u Elektrisch ud thermisch stabiler Zustad Wortorietiert (4 bytes = 40 bits) u Data words (Dateworte) u Ordered Sets (IDLE, SOF, R_RDY...) Bitfehlerrate: 1 Bitfehler auf 1012 bits (siehe IBMs Web ud Fibre Chael Associatio)

15 Fibre Chael Poit-to-Poit Direkte Verbidug zwische geau zwei FC-Geräte: N_Port zu N_Port FC Lik Facility (ASIC) Eifache Iitialisierug, da Übertragug mit voller (duplex) Badbreite

16 Fibre Chael Arbitrated Loop Bis zu 126 Geräte Shared Medium Geräte müsse FC- AL-fähig sei Kei Toke-Passig Blockiere des Rigs möglich Realisierug meist über Hubs

17 Fibre Chael Switched Fabric Geräte werde über Switches a de Fabric ageschlosse Virtuelle Verbiduge Bessere Verfügbarkeit Switch Ebefalls Selfdiscoverig

18 Mischtopologie & Redudaz Rig Switch

19 Fibre Chael Layer FC-2 Rahmeprotokoll, Flusskotrolle ud Logi- Prozess Frame Sequece - Exchage Flusskotrolle basiert auf eiem Credit-System u Seder ket Größe des Empfagspuffers ( Credits ) u Etspreched viele Date werde verschickt, bevor eie Bestätigug ötig ist u Überlauf somit umöglich, gerigere Latezzeite Logi diet der Zuweisug eier Adresse ud dem Austausch vo Credits ud uterstützte Protokolle

20 Frames - Sequeces - Exchage Frame: 4 Bytes: Start of Frame 24 Bytes Header 2112 Bytes Date (oder 64 Byte zusätzl. Header ud 2048 Byte Date) 4 Bytes CRC Error Check 4 Bytes Ed of Frame Mehrere Frames bilde eie Sequece (ummeriert, recovery Greze) Ei oder mehrere (icht kokurrierede) Sequeces ergebe eie Exchage

21 Classes of Service Verschiedee Arte des Datetrasports Uterschiedliche Eigeschafte bezüglich u Badbreite u Latezzeit u Zuverlässigkeit Ählich UDP - TCP Fibre Chael Kompoete müsse icht alle Classes of Service implemetiere Nur i alle beteiligte aktive Kompoete implemetierte CoS köe beutzt werde (siehe Web-Artikel bei Brocade ud Qlogic)

22 Kaskadierug vo Switches i eier Fabric

23 Class 1: Ackowledged Coectio Service Virtuelle Verbidug Garatierte Zustellug i korrekter Reihefolge Beide Geräte werde blockiert Keie optimale Nutzug der Fabric Geeiget für sehr große Datetrasfers, da volle Badbreite verfügbar (z. B. Video) Fabric Gerät C Gerät A Gerät B

24 Class 2: Ackowledged Coectioless Service Verbidugslos Paketorietiert Garatierte zuverlässige Zustellug Frame-Reihefolge icht garatiert Optimale Nutzug der Fabric Ed-to-Ed Flusskotrolle ermöglicht auch Badbreiteapassug (wichtig zur Apassug zuküftiger, schellerer Geräte) Fabric Gerät A Gerät C Gerät B

25 Class 3: Uackowledged Coectioless Service Ählich Class 2 Keie Empfagsbestätigug Wiederholug verloreer Pakete ggfs. durch höherschichtiges Protokoll Multicast möglich Fabric Gerät A Gerät C

26 Weitere Classes of Service Class 4: Fractioal Badwidth Coectio Orieted Service u Virtuelle Verbidug mit garatierter Badbreite ud Zustellug Class 6: Simplex Coectio Service u Wie Class 1, zusätzlich Multicast Itermix u Class 1 mit der Möglichkeit, bei Pause im Datetrasfer zwischedurch Class 2/3 Frames zu übertrage

27 Wahl eier Class of Service Gesichtspukte u Größe der eizele Datetrasfers u Zeitliche Aforderuge u Zuverlässigkeit der Zustellug u Abhägig vom beötigte Layer 4 - Protokoll Beispiele u Class 2 für SCSI u Class 1 oder 4 für Videoübertragug

28 Fibre Chael: Fazit Effizietes Subsystem zur Übertragug großer Datemege Dezetral aufgebaut Skalierbar ud zuverlässig Trasportiert beliebige Protokolle Gerige Belastug des Prozessors ud der Recherbusse

29 Storage Area Networks Was sid Storage Area Networks? Fibre Chael Grudlage Eisatzszearie für SANs Techische Aspekte Forschug ud Etwicklug Zusammefassug

30 Gemeisame Nutzug vo Date LAN-basiertes File-Sharig Netzwerkprotokolle wie NFS oder SMB utze Badbreite icht optimal großer Overhead Großer Teil der Fuktioalität i Software implemetiert hohe CPU-Belastug Server ud Netzwerk schell überlastet trasparete Lastverteilug ist aufwedig Kapazitätserweiterug ud Backup problematisch Uötige Duplikatio vieler Subsysteme Dateredudaz damit sehr teuer

31 Gemeisame Nutzug vo Date Storage Area Network Effizieter durch gerige Overhead Hochleistugs-Speichersubsysteme (RAID) köe gemeisam geutzt werde Zetralisierug vereifacht Maagemet ud Backup Kosteeisparuge bei Persoal ud Hardware Aber: Betriebssystemaspekte der gemeisame Nutzug icht trivial! Aber: eue Aufgabe, mehr Persoal es zu betreue!

32 Disaster Recovery Aforderuge u Große Distaz u Hohe Badbreite u Verteilug trasparet WAN-Gateways sid ebefalls verfügbar BOOM Stadort A Stadort B SAN

33 LAN-free & Server-free Backup SAN

34 Datesicherug Ist-Zustad Explodierede Datemege Immer kürzere Backup-Fester bei 24x7-Betrieb LAN-Techik weig geeiget für Trasfer großer Datemege u 500 GB bei 5 MB/s >> 27 h! u Durchsatz ist bei Etheret lastabhägig, aders etwa bei FDDI Bad- ud Plattesysteme köe aus Kostegrüde oft icht mehrfach vorhade sei

35 Datesicherug Storage Area Network Umgehug der Egpässe CPU, Host-Bus, LAN Direkte Übertragug zwische SAN- Geräte: RAID-Array Tape-Library Etlastug des LAN Backup über größere Distaze möglich

36 Cluster Beispiel: Web-Server-Farm zum Iteret Probleme: Replikatio der Date? Kapazitätserweiterug?

37 Cluster Lösugsasatz mit SAN zum Iteret SAN

38 Storage Area Networks Fibre Chael Grudlage Eisatzszearie für SANs Techische Aspekte Forschug ud Etwicklug Zusammefassug

39 Verteilter Zugriff auf Massespeicher Gemeisame Nutzug eies Massespeichers durch mehrere Recher Asätze u Platteweise u Partitiosweise u Gemeisames Dateisystem 1 2 RAID 1 JBOD 1 2 Filesystem- Sharig

40 Das Sychroisatiosproblem Uklare Sematik beim gleichzeitige Zugriff mehrerer Recher auf ei gemeisames Speichersubsystem Sequetialisierug otwedig (z.b. Alege eier Datei) Verschiedee Asätze u Distributed Lock Maager t Etwa bei verteilte Datebake (Oracle) u Lockig auf Device-Ebee u Gemeisamer Zugriff mit Kollisiosauflösug

41 Device-Level Lockig Beispiel: Global File System GFS Locks auf Geräteebee durch Eiführug eies eue SCSI-Kommados Cachig wege Performace absolut otwedig! u Lock ethält eie steigede ID u Beim Lese-Lock bleibt diese uverädert u Beim Write-Lock wird sie erhöht u Damit eifache Erkeug der Gültigkeit des Recher-Cache

42 Metadata Cotroller LAN-free Backup Metadata SAN

43 Das Sicherheitsproblem So wie AFS ud DFS eie Security Server ud NFS NIS beötigt, so beötigt ma bei jedem Shared Filesystem eie etsprechede Diest. Bisher ist hier och ichts überzeugedes i Sicht!

44 Asätze für Shared File Sytems Sistia: Global File System (GFS) SGI: CXFS (Portierug auf Liux uterwegs) IBM: GPFS (AIX, Liux), SANergy ADIC: Cetra Visio Veritas:??

45 Hersteller großer SAN- Plattesysteme EMC IBM (Shark, ESS) HP/Hitachi Su (ikl. Max. Strategy) Compaq (Zusamme mit IBM) Dell, usw.

46 Eiige Hersteller vo FC-Switches Brocade (kaskadierte Switches, zu 8 ud 16 Ports) Gadzoox Networks (6 bis 32 Ports, güstig) Irage (8, 16, 64 Ports) McData (hohe Verfügbarkeit, 32 Ports) Qlogic (zusamme mit Acor) (grosse Switches, bis 128 Ports) (siehe auch FCA Directory)

47 Vorteile der Zetralisierug des Speicherbereichs Eiheitliche Verwaltug des Plattepools Keie ukoordiierte Plattekäufe Große Ausfallsicherheit (USV, doppelte Ausleguge) Hohe Übertragugsrate Weitgehede Etferugsuabhägigkeit Etlastug des LANs Effiziete Datesicherug (LAN-free Backup jetzt, Serverfree Backup bald)

48 Nachteile der Zetralisierug des Speicherbereichs Abhägigkeit vom Hersteller des große Plattesystems (Speicherplatzkoste: Preisdiktat möglich!) Zusätzliche Maagemetaufgabe für eue Ifrastruktur, die eues Persoal bidet, was ma icht hat! Noch sid es viel mehr Erwartuge ud Hoffuge, weiger reale Möglichkeite (s. shared files). Fehle vo Eiigkeit zwische de Hersteller (Ikompatibilitäte) Fehle vo Etwickler bei de Hersteller Ureife der Systeme

49 Direkter Datetrasfer Beispiel: Plattestapel auf Bad sicher Für optimale Leistug itelligete Edgeräte otwedig usost ur RAW-Trasfer möglich Derzeit och keie Stadardisierug Proprietäre Lösuge sid verfügbar

50 SAN Maagemet Wie bei herkömmliche Netzwerke ist auch bei SANs Maagemet wichtig ud otwedig Übliche Stadards wie SNMP over IP biete sich a Neue Aspekte bei der Zugriffskotrolle u Beispiel: Bei (herkömmliche) Dateisysteme Umgehug der Sicherheit durch direkte Hardware-Zugriff möglich SAN! u Eischräkug des Zugriffs mit Hilfe vo logische Zoe

51 FC ud IP FC mit SCSI ka i IP verpackt werde Übertragug über ATM oder Gigabit- Etheret Nutzug, we über weite Strecke verbude werde muss Negativ: weitere aktive Elemete (keie Platte mit TCP/IP-Aschlüsse verfügbar) Positiv: keie eue WAN-Techologie ud ihr Maagemet otwedig

52 Nutzug vo SAN/FC am LRZ Verbidug mehrerer Magetbad- Laufwerke (i autom. Kassettearchive) a mehrere Backup-Server Schwierigkeit: TSM sieht och keie eiheitliche Steuerug der Archive vor Nutzug eies IBM ESS als sichere Plattepool für eie größere Azahl vo Plattforme: SGI (Visualisierugslab), NT/Novell-Server, ABS (uter TSM), Mail- Store

53 SAN/FC am LRZ (Fortsetzug) Gewüscht wäre: direktes Backup der Platte des Fujitsu VPP ud der Hitachi im LAN-free Backup Verfahre File Sharig zwische Hochleistugsrecher ud Visualisierugsrecher Direkte Archivierug vo Dateie vom Hitachi auf Bäder des TSM-ABS Die Grudtechik ist da, die Implemetierug fehlt!

54 Storage Area Networks Fibre Chael Grudlage Eisatzszearie für SANs Techische Aspekte Forschug ud Etwicklug Ausblicke

55 Zusammefassug Storage Area Networks sid ei eues, vielversprechedes Speicherkozept Die Verwedug vo Fibre Chael ermöglicht Flexibilität ud Skalierbarkeit Die Low-Level-Kompoete sid bereits stadardisiert ud verfügbar Großer Lücke bestehe bei der Softwareuterstützug ud der Iteroperatibilität

56 I der Zukuft? Wird sich Fibre Chael gege SCSI, FireWire ud Gigabit-Etheret durchsetze köe? Etwicklug euer, stadardisierter Dateisysteme? Neuer Asatz beim Network Computig? ucliet - Eiheit besteht ur och aus CPU, RAM ud FC-Aschluss Was tut sich bei Ifiibad

57 Literatur Homepage zum Vortrag Fibre Chael Spezifikatio IBM ud Tivoli Whitepaper über SAN Storage Area Network Associatio: Directory, Beschreibug vo FC, FC Fokus (Magazi) ( (White Papers) (White Papers)