Konzepte moderner Speichersysteme

Transkript

1 Einführung Konzepte moderner Speichersysteme Georg Mey Solution Architect NetApp Deutschland GmbH

2 Speicher ist ein eigenständiges Geschäftsfeld Dieses Geschäftsfeld umfaßt: Zweitgrößter IT Ausgabenposten Wächst 50% jährlich es gibt mehr Hardware-Hersteller als im Server-Markt Speicher 23% Netzwerk 19% Peripherie 9% Servers 27% PCs 22% Storage is 2nd highest percentage of IT spend IDC Perspectives Study, 2008 Storage spend growth is over 50% per year in average Fortune 1000 companies The InfoPro, Wave 11 3 Festplatten Laufwerke Controller (RAID-Controller) Subsysteme Wechsel-Medien Laufwerke Juke-Boxes Magnetbänder Laufwerke Bandbibliotheken Speicher-Netzwerke Fileserver Software

3 Agenda Kleine Markt-Übersicht zu Plattenlaufwerken Einführung Interface Speed Protocol Form Factor RPM Capacity Speicher-Subsysteme Speicher-Netzwerke Speicher-Virtualisierung SATA SATA SATA SAS SAS 3 GB/s 3 Gb/s 3 Gb/s 6 GB/s 6 GB/s ATA ATA ATA SCSI SCSI 2,5 2,5 3,5 2,5 2, GB 500 GB 2 TB 500 GB 300 GB Wo geht die Reise hin? Anhang SAS FC SAS FC 6 GB/s 4 GB/s 6 Gb/s 4 GB/s SCSI SCSI SCSI SCSI 2,5 3,5 3,5 3, GB 600 GB 600 GB 600 GB SAS 6 Gb/s SCSI 3, GB Platten mit reiner SCSI-Schnittstelle heute nahezu bedeutungslos USB-Platten sind immer ATA Laufwerke mit einem Umsetzer

4 Plattentechnologie implementiert in Rechnersystemen Rechner fest eingebaute ATA/SATA Laufwerke Plattentechnologie extern angeschlossen Rechner externe SAS-Laufwerke Ź maximal 2 Laufwerke je IDE Controller Ź PCs mit 1-2 Controllern Rechner externe SCSI-Laufwerke fest eingebaute SCSI/SAS Laufwerke Ź wenige eingebaute Controller Ź wenige Laufwerke je Controller Rechner hot swappable SCSI/SAS/SATA Laufwerke USB USB Hub Hub SCSI Controller Netzteil Ź hot swappable oder- hot pluggable Ź wenige Laufwerke je Controller esata

5 Plattentechnologie extern angeschlossen Limitationen konventioneller Anschluss-Technik Rechner zum nächsten JBOD zum nächsten JBOD JBODs: just a bunch of disks wird bei SAS SAS-Extender genannt zum nächsten JBOD aufwändige Verkabelung störungsanfälliger Aufbau viele externe Gehäuse, Stromversorgungen Begrenzung in der Anzahl Steckplätze im Rechner Erweiterungen und Änderungen können nicht ONLINE gemacht werden eingeschränkte Unterstützung für Cluster (shared disks) große Konfigurationen sind nicht implementierbar controller Laufwerke (Gehäuse in 19 -Technik) alle Plattenlaufwerke erscheinen als Einzellaufwerke für das Betriebsystem keine Unterstützung für Striping (RAID-0) keine Unterstützung für Plattenspiegelung (RAID-1) Performance und Verfügbarkeit hängen vom Betriebsystem ab

6 Take away Die Lösung: RAID-Systeme konventionelle Anschlusstechnik hat viele Limitationen grosse Konfigurationen sind im Prinzip nicht möglich Rechner benötigen ein Speichersubsystem höhere Verdichtung von Kapazitäten (Plattenlaufwerke) intelligente Ansteuerung der Laufwerke Enkopplung von physikalischer und logischer Laufwerksgrösse < 10 TByte bis 100 TByte 100 TByte 1 PByte RAID Controller mit externen SCSI/SAS/SATA Laufwerken oder JBODs externe RAID Systeme (Entry Level) ein oder- zwei Controller meistens SCSI oder SATA Laufwerke zukünftig vermehrt SAS externe RAID Systeme (Midrange) zwei (oder mehr) Controller SCSI, SAS oder Fibre-Channel Laufwerke über 1 PByte externe RAID Systeme (Enterprise) viele Controller heute hauptsächlich Fibre-Channel Laufwerke zukünftig vermehrt SAS und SATA

7 Der Controller das Herzstück (antiquarisches Beispiel) Der Controller Ein-/Ausgabe-Operationen Frontend Backend SCSI Interface PCI Bus SCSI Interface Panel Interface Prozessor Cache Speicher serielles Interface NVRAM Der Controller simuliert physikalische Platten gegenüber dem angeschlossenen Rechner LUNs (= logical unit) vollständige Entkopplung zwischen physichen und logischen Laufwerken der Cache: verwendet einen Index (Block Directory) jeder IO geht durch den Cache Schreib- und Lese-Cache Schreib-Cache kann gespiegelt sein LUN 1 block 1 LUN 1 block 2 LUN 3 block RAID-Gruppe LUN 1 LUN 2 LUN 3

8 Der Controller wozu Cache? Der Controller Ein-/Ausgabe-Operationen SCSI Ctlr Seek SCSI Controller Rotate 10K RPM 15K RPM 7200 RPM 8KB Xfr (Same For F/C Drives) 5400 RPM Ultra-SCSI Bus (1/2 For F/C Bus) Time (ms) Zusammenstellung der Zugriffszeiten bei Festplatten Der Cache beschleunigt alle Schreib-Operationen, solange freier Platz verfügbar ist. Der Cache kann Lese-Operationen dann beschleunigen, wenn die Daten schon vollständig oder teilweise im Cache liegen. typische Antwortzeit für Cache-Operationen: ms typische Antwortzeiten für Plattenlaufwerke: 3 15 ms Cache-Algorithmen können entscheidenden Einfluß auf die Performance haben Lese-Operation: 1. Rechner sendet SCSI-Kommando READ BLOCK 3 FOR LUN 2 2. Prozessor prüft ob der Block im Cache liegt 3. Prozessor liest Blöcke von den Plattenlaufwerken 4. Prozessor sendet Block 3 an den Rechner 1 READ AHEAD LUN 1 block 1 LUN 1 block 2 LUN 3 block P

9 Der Controller Ein-/Ausgabe-Operationen Der Controller Backend-Organisation Schreib-Operation: 1. Rechner sendet SCSI-Kommando WRITE BLOCK 2 FOR LUN 1 Prozessor schreibt den Block in den Cache und sendet READY... Platz wird im Cache benötigt 2. Prozessor prüft ob die Cache-Line im Cache ist (Blöcke 1,3,4) 3. Prozessor liest fehlende Blöcke von den Plattenlaufwerken 4. Prozessor errechnet Parity neu 5. Prozessor schreibt Blöcke auf die Laufwerke P 5 LUN 1 block 1 LUN 1 block 2 LUN 1 block P P 4 RAID-5 RAID-Gruppe LUN 1 LUN 2 LUN 3 RAID-0/1 RAID-Gruppe LUN 4 LUN 5 Funktionalität einfacher Controller: Plattenlaufwerke werden fix zu Raid-Gruppen zusammengefügt je RAID-Gruppe ist der RAID-Level fest eingestellt Raid-Gruppen werden formattiert LUNs werden als Partitionen des freien Speicherplatzes angelegt je nach Controller können die LUNs innerhalb einer RAID-Gruppe unterschiedliche Grössen haben das Anlegen der LUNs wird auch als BINDING bezeichnet zusätzliche Reserve-Platten (Hot Spares) werden bei Bedarf statt einer ausgefallenen Platte automatisch in eine RAID-Gruppe aufgenommen

10 Der Controller Backend-Organisation Der Controller Backend-Organisation Funktionalität moderner Controller: LUNs können innerhalb einer RAID-Gruppe unterschiedliche RAID-Levels haben - der RAID-Level wird auf höhere Ebene implementiert im laufenden Betrieb können Plattenlaufwerke zu RAID-Gruppen hinzugefügt werden (und ggf. auch entfernt werden) die Größe einer LUN kann verändert werden (Vergrösserung & Verkleinern) Funktionalität virtueller Controller: Pointer für LUN 1 Meta Daten (Pointer Tabelle) LUN 1 / RAID-5 LUN 2 / RAID-0/1 frei + LUN 1 / RAID-5 LUN 3 / RAID-0/1 frei LUN 1 LUN 2 / RAID-0/1 LUN 4 / RAID-5 LUN 2 LUN 1 / RAID-5 LUN 3 / RAID-0/1 LUN 3 / RAID-0/1 frei LUN 2 / RAID-0/1 LUN 4 / RAID-5

11 Der Controller Backend-Organisation Der Controller Frontend-Organisation Funktionalität virtueller Controller: RAID-Gruppen können beliebige Größen haben LUNs benutzen immer alle Laufwerke der RAID-Gruppe LUNs können beliebig vergrößert werden, ohne auf eine optimale Verteilung zu verzichten teilweise werden Spare-Disks über Free-Space implementiert LUN 1 LUN 2 + FC Interface PCI Bus FC Interface zum Rechner NVRAM Panel Interface Prozessor Cache Speicher serielles Interface serielles Interface Interconnect Interconnect Panel Interface Prozessor Cache Speicher NVRAM FC Interface PCI Bus FC Interface zum Rechner LUN 1 LUN 2 frei LUN 1 LUN 2

12 Der Controller Frontend-Organisation Take away zusätzlichen Funktionen eines Dual-Controller-Systems: active-active oder active-passive Betrieb LUN-Ownership eines Controllers gegenseitige Überwachung der Controller Takeover bei Ausfall eines Controllers angeschlossene Rechner müssen dies unterstützen shared disks : alle Platten können von beiden Controllern angesprochen werden Cache-Abgleich zwischen den Controllern (Schreib-Cache) Konfigurations-Abgleich zwischen den Controllern Der Controller ein spezialisierter Rechner entkoppelt Frontend und Backend optimiert Zugriffe (Durchsatz) Plattenlaufwerke werden zu LUNs RAID-Gruppen werden in LUNs aufgeteilt RAID-Level und Cache die Intelligenz des Controllers erhöht Verfügbarkeit und Durchsatz

13 Der Controller Frontend-Organisation Der Controller Frontend-Organisation Controller Controller enhanced Midrange RAID-Array mehr Frontend-Ports (SCSI oder FC) Controller sind active-active Plattenlaufwerke sind redundant angeschlossen mehr Cache (mehrere Giga-Byte) mehr Platten im Backend FC/SAS statt SCSI Plattenlaufwerke SATA LAufwerke verschiedene zusätzliche Software-Funktionen Host Controller Disk Controller Host Controller Disk Controller Host Controller Cache Cache Speicher Speicher SVP Enterprise RAID-Array sehr viele Frontend-Ports (SCSI oder FC) Controller sind aufgesplittet: - Frontend-Controller (Host Controller) - Backend-Controller (Disk Controller) globaler, zentraler Cache (Read/Write) sehr schnelle, zentrale, hochverfügbare Kommunikationsinfrastruktur segmentiertes Backend vielfältige Diagnose-Einrichtungen Konfigurationsänderungen (Hardware und Software) im ONLINE-Betrieb

14 Der Controller Zusatzfunktionen: Replikation Der Controller Zusatzfunktionen: Snapshots man unterscheidet prinzipiell 3 verschiedene Arten von Replikationsmechanismen: Snapshots Clones Remote Mirrors Datenreplikation kann in Software (Betriebsystem) oder auf den Speichersystemen (Hardware) implementiert sein. Hardware-Replikation ist das Verfahren zur Erstellung von Duplikaten existierender LUNs man kennt dafür verschiedene Begriffe: Primary Volume Secondary Volume Source Volume Target Volume Original Volume Duplicate Volume Master Volume Slave/Mirror Volume Replikationen haben immer eine Richtung! LUN 1 LUN neuer Block wird geschrieben 1 Host sendet Block alter Block wird zuerst kopiert Snapshot LUN 11 stellt virtuell den eingefrorenen Zustand von LUN 1 dar Snapshot belegt weniger Platz als das Original: Summe aller Blöcke die auf LUN 1 geändert werden solange der Snapshot existiert man unterscheidet grundsätzlich zwei Methoden: Copy on Write die traditionelle Methode (Ablauf ist hier beschrieben) Nachteil: Schreibvorgänge werden langsamer NetApp Snapshot Methode Blöcke werden immer neu geschrieben Vorteil: keinerlei Performance-Einbußen beim Schreiben

15 Der Controller Zusatzfunktionen: Clones Der Controller Zusatzfunktionen: Remote Mirror 2 1 Host sendet Block 2 LUN 1 LUN 11 wenige Meter bis n * 1000 Km 2 neuer Block wird geschrieben 2 2 neuer Block wird kopiert 3 synchroner oder asynchroner Kopiervorgang Remote Mirrors sind ähnlich wie Clones, die eine dauerhafte Beziehung haben Clones können eine dauerhafte Beziehung zum Original haben oder einmalig wie ein Snapshot (bzw. über einen Snapshot) erzeugt werden eine dauerhafte Beziehung erlaubt: man unterscheidet drei Varianten: synchroner Modus asynchroner Modus asynchrone Snapshots SUSPEND SUSPEND/RESYNC SUSPEND/RESTORE remote Mirrors erlauben wie Clones die Operationen SUSPEND, RESYNC und RESTORE

16 Der Controller Zusatzfunktionen: Remote Mirror Der Controller Zusatzfunktionen: Speicher-Effizienz synchroner Modus: Verfahren: Die IO-Operation ist dann für den Rechner abgeschlossen, wenn die Blöcke beim remote Array angekommen sind Vorteil: Primär und sekundär sind immer identisch Nachteil: langsame Schreib-Performance, für große Distanzen ungeeignet asynchroner Modus: Verfahren: Die IO-Operation wird sofort quittiert (Blöcke liegen im Cache), die Übertragung zum remote Array erfolgt zeitverzögert im Hintergrund Warteschlangenbildung Vorteil: auch über große Distanzen implementierbar Nachteil: Bandbreite muß ausreichend dimensioniert sein um alle Änderungen übertragen zu können das Delta zwischen Primär- und Sekundärseite ist nicht deterministisch asynchrone Snapshots: Verfahren: zyklisch werden Zustände von Snapshots übertragen Vorteil: große Distanzen, deutlich geringere Anforderungen an die Bandbreite es müssen nicht alle Änderugnen übertragen werden. Der Zyklus der Snapshots-Erstellung bestimmt das Delta zwischen Primär- und Sekundär-Seite Zielsetzung: möglichst geringe Beschaffungs- und Betriebskosten virtuell mehr Kapazität zur Verfügung stellen als Hardware-seitig vorhanden ist Technologien: space efficient Snapshots und Clones Thin Provisioning: beim Erzeugen einer LUN werden keine Blöcke auf den Platten reserviert Blöcke werden erst beim Schreiben angelegt: Ein zu 50% volles Datei-System belegt nicht 100% einer LUN Deduplication: Identische Blöcke werden nur einmalig vorgehalten Compression: Datenblöcke werden komprimiert abgelegt

17 Agenda wozu Speichernetzwerke - SANs? Einführung Speicher-Subsysteme Speicher-Netzwerke Speicher-Virtualisierung Wo geht die Reise hin? Anhang Überwindung längerer Distanzen gemeinsame Nutzung von Speicher ( sharing ) Vergrösserung Fan-In Vergrösserung Fan-Out grösserer Adressbereich für die Geräte

18 Übersicht zu Schnittstellen heute eingesetzte Anschlusstechnik für Speichersysteme Schnittstelle FireWire Geschwindigk eit 800 Mb/s Anzahl Geräte 16 Kabellänge 4,5 m Bemerkung 16x4,5m = 72m offene Server-Systeme (Windows, Unix,...) Großrechner (IBM Mainframes) Home Bereich USB 1.1 USB 2.0 USB 3.0 SATA-I SATA-II esata-ii SAS SCSI-1 SCSI-2 SCSI-3 12 Mb/s 480 Mb/s 4,8 Gb/s 1,5 Gb/s 3 Gb/s 3 Gb/s 6 Gb/s 40 Mb/s 160 Mb/s 2,56 Gb/s m 5 m 3 m 1 m 1 m 2 m 8 m 25 m 25 m 12 m 6x3m = 18m 6x5m = 30m 6x3m= 18m für externe Geräte 128*128= SCSI parallel bus interface SCSI serial interface host SCSI commands iscsi TCP/UDP IP IEEE 802.x FCP FC-4 FC-3 FC-2 FC-1 FC-0 host ESCON cmds ESCON ULP ESCON serial interface SCSI SSA serial interface USB bus interface SCSI & ATA IEEE 1394 interface FireWire Serial ATA FC 8 Gb/s > 100km Platten derzeit max 4 Gb/s

19 Speichernetzwerke = iscsi, FC, FCoE, FICON/ESCON Fibre Channel - mehr als nur SCSI Fibre Channel SANs hier spielt heute (noch) die Musik! host SCSI commands iscsi TCP/UDP FCP FC-4 host ESCON cmds ESCON ULP Node Ebene ULP FC-4 FC-3 Upper Level Protocols. Protocol Mappings Common Services FCP TCP/IP ESCON... IP IEEE 802.x FC-3 FC-2 FC-1 FC-0 ESCON serial interface Port Ebene FC-2 FC-1 FC-0 Framing Protocol Encode/Decode Physical Datagram Service (Class 2/3) 8B/10B Encoding 24 Byte Header <= 2048 Byte Länge Glasfaser Kupfer

20 Longwave / Shortwave Fibre Channel Transceiver, Kabel und Distanzen Kabel-Aufbau LC Kabel GBIC = GigaBit Interface Converter (1Gb/s) SFP = Small Form-Factor Pluggable (2-8 Gb/s) SC Kabel Shortwave Multi-Mode Fiber 50 / 62,5 µm Kabel 1 Gb/s 2 Gb/s 4 Gb/s 8 Gb/s 10 Gb/s Longwave Mono-Mode Fiber 9 µm 62,5 µm 50 µm 9 µm 300 m 500 m 100 km 90 m 300 m 35 km 50 m 175 m 30 km 21 m 150 m 10 km Noch größere Distanzen: WDM / DWDM = Wave Division Multiplexer Strecken Protokoll-Konvertierung auf IP km

21 Fibre Channel Datenrate Take away Geschwindigkeit 1 Gb/s 2 Gb/s 4 Gb/s 8 Gb/s 10 Gb/s Datenrate 100 MB/s 200 MB/s 400 MB/s 800 MB/s 1 GB/s Speichernetzwerke basieren auf Protokollen Das SCSI-Protokoll ist eine der Kernkomponenten Fibre Channel ist nicht SAN Fibre Channel ist heute die am weitesten verbreitete Technologie Glasfaserleitungen mit 50 µm sind heute das dominierende Medium im SAN-Bereich

22 Zugang zum SAN: der FC HBA Fibre Channel 3 Varianten: Point-to-Point FC HBA = Fibre Channel Host Bus Adapter Storage Node Server Node wirkt wie ein SCSI Adapter jeder Fibre Channel-Port eines Speichersystem stellt sich als SCSI Target dar. Entgegen dem SCSI-3 Standard können mehr als 16 Geräte (15 +1) bedient werden N-Port Senden Empfangen N-Port Je nach Betriebsystem werden 1, 8 oder mehr LUNs je Port unterstützt Senden Die LUNs wirken wie lokale SCSI-Plattenlaufwerke (oder lokale Bandlaufwerke) NL-Port Empfangen NL-Port Untersützt / implementiert alle 5 Function-Layers FC-0... FC-4 (als ASIC und in Firmware)

23 Fibre Channel 3 Varianten: Arbitrated Loop Fibre Channel 3 Varianten: Arbitrated Loop NL-Port NL-Port NL-Port durchgeschleiftes Kabel (gemeinsames Medium) NL-Port NL-Port NL-Port NL-Port 126 NL-Ports bis zu 126 Nodes NL-Port automatische oder feste Zuordnung von Adressen NL-Port NL-Port Prioritäts-gesteuerte Arbitration NL-Port NL-Port FC HBA als NL-Port Gesamtlänge des Kabels insgesamt 500 Meter bei 1 Gigabit Technik der Fibre Channel Hub erzeugt eine Stern-Topology Ports am Hub sind transparent (keine NL-Ports) der Hub isoliert die Ports und hält die Loop immer geschlossen

24 Fibre Channel 3 Varianten: Fabric Fibre Channel 3 Varianten: Fabric N-Port N-Port F-Port NL-Port NL-Port N-Port F-Port FL-Port F-Port F-Port NL-Port N-Port N-Port wo ist der Unterschied? statt des Hubs ein Fibre Channel Switch Switch Node F-Port N-Port FL-Port NL-Port G-Port --- Switches bilden die Basis einer Fabric ein Switch beinhaltet schon alle Funktionen einer Fabric Switch bietet an allen Ports die volle FC Geschwindigkeit kein Aufteilung der Bandbreite Switch-Ports sind physikalisch und auch logisch voneinander isloiert Switches können beliebig kaskadiert werden (selbstlernende Topologien) Switches bieten ein verteiltes Management ohne eigentlichen Master

25 Fibre Channel Fabric Simple Name Server Take away 1 login WWN1 an F-Port login WWN2 an F-Port Name Server Abfrage liefert: Storage WWN1 an F-Port angemeldet Name Server Tabelle WWN WWN Ein Fibre Channel Port hat immer eine WWN = World Wide Name = eine eindeutige 64-Bit-Adresse alle Switches der Fabric führen ihre Name Server Tabellen zusammen es gibt LOGIN and LOGOFF Prozeduren die F-Ports haben 24-Bit Adressen (Domain-ID + Port-Nummer) (aus 24 Bit werden Endgeräte-Adressen) FC Fabrics haben FC Loops abgelöst Skalierbarkeit und Durchsatz sind viel besser Man findet heute FC Loops nach wie vor als Anschlußtechnik im Backend von Speichersubsystemen Das Herz der Fabric ist der FC Switch FC Switches sind sehr intelligent und self managed bedeutend höherer Preis/Port als bei einem LAN Switch FC ist ein Netzwerk-Protokoll das nicht nur Datenblöcke transportieren kann

26 Fibre Channel Fabric Zoning & mehr Fibre Channel Fabrics - Beispiele Zoning: Aufbau virtueller kleiner SANs, ähnlich zu VLANs im LAN-Bereich Trunking: Bündeln von Leitungen zwischen den Switches ähnlich zu Ether-Channels im LAN-Bereich Extended Fabric: Unterstützung für lange Distanzen zwischen Switches (Routing) Virtualisierung: und, und, und SAN Insel #1 SAN Insel #2

27 Fibre Channel Fabrics - Beispiele Cluster mit gespiegelten Platten gemeinsam genutztes Bandlaufwerk Fibre Channel Fabrics - Beispiele sogenanntes Core-Edge Design

28 Alternativen zu Fibre Channel SANs heute eingesetzte Anschlusstechnik für Speichersysteme Infiniband findet man nur im High Performance Computing Bereich offene Server-Systeme (Windows, Unix,...) Großrechner (IBM Mainframes) Home Bereich teuer, da wenig verbreitet iscsi kann bestehende Infrastruktur verwenden WAN-fähig, da IP verwendet wird via 10 GbE und TCOE ausreichend schnell konnte sich im Enterprise-Bereich bislang wenig etablieren FCoE der neue Star im Ring Fibre Channel Protocol über 10 GbE Data Center Ethernet kein IP Protokoll im FCoE-Stack benötigt FCoE Switches und Adapter (CNAs) CNAs können über ein Kabel FCoE und IP-Traffic fahren SCSI parallel bus interface SCSI serial interface host SCSI commands iscsi TCP/UDP IP IEEE 802.x FCP FC-4 FC-3 FC-2 FC-1 FC-0 host ESCON cmds ESCON ULP ESCON serial interface SCSI SSA serial interface USB bus interface SCSI & ATA IEEE 1394 interface FireWire Serial ATA

29 Agenda Wozu / Wo / Wie?C Einführung Speicher-Subsysteme Speicher-Netzwerke Speicher-Virtualisierung Wo geht die Reise hin? Anhang Die Grenzen der Physik einer Festplatte gilt es zu überwinden: Größe Geschwindigkeit Zuverlässigkeit Funktionalität

30 Wo kann man virtualisieren? Virtualisierung auf dem Speichersubsystem 2 auf dem Server das kennen wir jetzt schon oder? auf dem SAN Switch 3 4 auf einer SAN Appliance 1 auf dem Speicher- Subsystem 5 über kaskadierte Speichersysteme

31 Virtualisierung auf dem Server Virtualisierung auf dem SAN Switch in der Regel eine Funktionalität des Betriebsystems: Bsp: Windows Partitions Bsp: Logical Volume Manager Funktionen: statt Plattenlaufwerke logische Volumes beliebiger Größe logische Volumes können vergrößert und verkleinert werden RAID0, RAID1 (und RAID5) Compression / Encryption lokale Snapshots und Remote Spiegel Vorteil(e): funktioniert vom USB-Stick bis zur echten SAN-LUN Nachteil(e): Abhängigkeit vom Betriebsystem (Funktionsumfang und ob verfügbar) Theoretisch die beste Lösung: SAN Switches sind immer im Datenpfad minimalster Performance-Verlust, hohe Verfügbarkeit zentral steuerbar Funktionen: Migration von SAN-LUNs Replikation RAID0, RAID1, Vorteil(e): 100% transparent für den Server Unabhängig von Betriebsystemen und Speicher-Hardware Nachteil(e): derzeit ohne echte Marktbedeutung vielfach nur zur Daten-Migration verwendet nur für SAN Speicher geeignet

32 Virtualisierung auf einer SAN Appliance Virtualisierung über kaskadierte Speichersysteme Theoretisch die zweit-beste Lösung: Appliances werden zentral in die Datenpfade aufgenommen zentral steuerbar Funktionen: Migration von SAN-LUNs Replikation RAID0, RAID1, Vorteil(e): Unabhängig von Betriebsystemen und Speicher-Hardware Nachteil(e): sind nicht transparent (Appliance ist ein Hybrid: Host & Storage) nur für SAN Speicher geeignet hoher Anspruch an die Verfügbarkeit Vergleichbar zu einer SAN Appliance es werden eigene Plattenlaufwerke und LUNs eines kasadierten Speichesystems virtualisiert Funktionen: Migration von SAN-LUNs Replikation RAID0, RAID1, Vorteil(e): Unabhängig von Betriebsystemen (und Speicher-Hardware) hoher Verfügbarkeit Nachteil(e): sind nicht transparent (Speichersystem ist ein Hybrid: Host & Storage) nur für SAN Speicher geeignet hoher Anspruch an die Verfügbarkeit

33 Virtuelle Bandbibliotheken = VTL Take away Hardware-seitig eigentlich ein Speichersubsystem: Controller mit Fibre Channel Ports viele Festplatten (SATA) mit RAID-Schutz Emuliert eine Bandbibliothek nach außen über die Fibre Channel Ports: Bandlaufwerke Roboter Waben mit Band-Medien Vorteile: kein mechanischen Probleme Preisvorteile (auch durch Deduplizierung) Backups sind schneller, wenn das Quell- System langsam ist schneller Restore Virtualisierung geschieht auf verschiedenen Ebenen Man kann gleichzeitig auf verschiedenen Ebene diese Funktionen nutzen Jedes Speichersubsystem virtualisiert Der Grad der Virtualisierung ist unterschiedlich Virtualisierung im SAN Obwohl konzeptionell der beste Ansatz, haben diese Lösungen die geringste Marktdurchdringung

34 Agenda Der Blick in die Kristallkugel Einführung Speicher-Subsysteme Speicher-Netzwerke Speicher-Virtualisierung Wo geht die Reise hin? Anhang

35 Band-Technologie Speichersysteme vom Monolythen zum Scale-Out-Grid Vergleich Quantum LTO-4 versus 1,5 TByte SATA (Seagate Barracuda) Preis / TByte Preis / Laufwerk Transfer-Rate Ultrium4 60, , MB/s 1,5 TByte SATA 87,- Vorteile von Plattenlaufwerken: bessere Auslastung, einfache Reorganisation (partielles Löschen) RAID-Schutz Deduplizierung durch Intelligenz des Controllers schneller, direkter Zugriff bei vergleichbarer Transfer-Rate traditionelle Bandsicherungen oftmals nicht mehr durchführbar Nachteile von Plattenlaufwerken: verbrauchen immer Strom sind nicht transportierbar Band-Technologien werden langfristig nur noch in Nischen verwendet MB/s Preise mit Stand 11/2009 eines namhaften Lieferanten von Computer-Zubehör scale up scale out......

36 Speichersysteme vom Monolythen zum Scale-Out-Grid Plattenlaufwerke werden nur größer, nicht schneller Komponenten: commodity Server Hardware (Intel/AMD) commodity Platten-Technologie (JBODs) high speed low latency Netzwerke zwischen den Komponenten kein SPOF (Single Point of Failure) Software: Cluster-Technology Single Point of Management Software-RAID Technologie & Virtualisierung Multi-Protocol (FCP, iscsi, ) Vorteile: skalierbare Kapazitäten skalierbare Performance Intelligenz liegt in der Software, nicht in ASICs oder CHIPs ASIC = Application Specific Integrated Circuit

37 Plattenlaufwerke werden nur größer, nicht schneller Speicher und Cache Hierarchien Alternativen: höhere Dichte an Platten durch 2,5 Technologie Solid State Disks für die hot spots größere Caches mit noch intelligenteren Algorithmen Einsatz von Flash Memory Data Placement ist die Lösung heute: mehr oder weniger statische Zurodnung Daten Medium morgen: dynamisches LUN Movement übermorgen: Sub-LUN Movement Die Zukunft gehört NV-RAM Race Track Memory, Magnetic Random Access Memory, Phase Change RAM, Ferrorelectric RAM, derzeit noch kein klarer technologischer Trend in Sicht SSD Flash NVRAM 15/20K Disk SATA Disk Zugriffszeit

38 Agenda Speichernetzwerke Ź Mittelfristig/langfristig Ethernet wird das zukünftige Medium: DCE für IP und FCoE nach 10 Gb Ethernet kommt 40, dann 100 Gb bei Fibre Channel wird der 16 Gb Standard kommen Ź Vision NVARM im Server RDMA Zugriff auf das Speicher-Subsystem Einführung Speicher-Subsysteme Speicher-Netzwerke Speicher-Virtualisierung Wo geht die Reise hin? Anhang RDMA NVRAM HSM NVRAM SATA

39 Was ist NAS? Wozu braucht man NAS? NAS ist nicht: das Gegenteil von SAN eine wirklich neue Technologie eine Hardware-Lösung NAS ist: ein auf Netzwerkprotokolle basierender, transparenter Zugriff auf Dateien auf einem anderen Rechner (Server) die älteste Methode für den gemeinsamen Zugriff auf Daten von mehreren Rechnern gleichzeitig (Sharing) die älteste Methode zur Speicherkonsolidierung gemeinsamer, gleichzeitger Zugriff auf Benutzerdateien von Anwenderarbeitsplätzen aus (Office Daten) Verwendung von zentralen Applikations-Programmen und zentralen Applikations-Daten Verteilung von Software und Patches / Fixes zentrale Verwaltung von Desktops Optimierung / Reduktion des lokalen Speicherplatzes zentralisierte Datensicherung von Anwenderdaten über den Fileserver

40 Der Kern von NAS: Protokoll-Funktionen Ein Blick zurück NFS DCE/DFS Transarc TCF for AIX OS/2 LAN Server NetBIOS LAN Manager SMB+ NetBIOS DecNet address resolution and routing reliable data transport basic file IO operations create/rename/delete open/read/write/close basic filesystem operations directory management file attribute management file locking control data access control (ACLs, ) cache management 1983 first version of of NetWare (ShareNet) 1983/84 design of AppleTalk phase NFS was developed by SUN Microsystems 1984 IBM implemented NetBIOS API 1985 NFSv2 officially released 1987 NetBIOS over TCP/IP available 1989 AppleTalk phase 2 introduced (IP) 1993 NFSv3 specification published 1995 NetWare 5 introduced (IP) 2001/02 IETF works on RFC for NFSv4

41 Gängige NAS Protokolle Take away NFS CIFS NetWare AppleTalk NFS client/server RPCs (XDR) NetBIOS NBT SMB APIs SMB NetBIOS NBF NetWare core APIs NCP AppleTalk client/server APIs ATFP ADSP,... NAS reduziert sich heute auf 4 Protokolle ca 95% der Clients sind Windows CIFS NFS gewinnt durch NFSv4 und pnfs wieder an Bedeutung TCP/IP wird heute durchgängig verwendet FC Switches sind sehr intelligent und self managed TCP/UDP TCP/UDP NetBEUI TCP/UDP SPX TCP/UDP ATP IP IP IP IPX IP DDP IEEE 802.x / Ethernet IEEE 802.x / Ethernet

42 NAS ein Multi-Protokoll-System NAS Architektur CIFS NFS FTP HTTP NAS System FCP ADS DNS WINS NIS NDMP Windows Domain Controller Unix NIS Server Netzwerk Client application process read(0,...); API network local A filesystem filesystem layer layer network layer TP PDUs network B file access PDUs A Darstellung von B C Benutzer- und Fileserver Metadaten file server process API local C filesystem layer FC/SCSI user space os kernel space Backup Server

43 Im Vergleich: SAN-Architektur Vergleich SAN - NAS SAN Initiator Node application process read(0,...); API local filesystem layer A FC/SCSI layer FC frame user space os kernel space SCSI Cmd/Block A SAN Target Node A RAID layer FC/SCSI layer A Darstellung von Benutzer- und Metadaten NAS Unit of Work: Dateien & Dateisysteme Meta-Daten werden konvertiert Funktionsverlust in heterogenen Umgebungen Gemeinsamer Zugriff auf Dateien Mechanismen für Zugriffsschutz auf Dateiebene Mechanismen für Locking auf Dateiebene (Byte Range) SAN Unit of Work: Blöcke logischer Platten (LUNs) Meta-Daten bleiben unverändert Keinerlei funktionale Einschränkungen LUNs bieten keine Zugriffskoordination Zugriffschutz nur auf LUN-Ebene Locking Mechanismen nur für LUNs

44 Vergleich SAN - NAS NAS Systeme am Markt NAS Bestehende Netzwerkinfrastruktur kann verwendet werden basiert auf Standard Netzwerk- Protokollen setzt Kompatibilität auf allen Netzwerk-Ebenen voraus ist abhängig vom Betriebsystem der Clients und Server SAN benötigt eigene, teure Netzwerk- Infrastruktur (Fibre Channel) verwendet eigene, optimierte Protokolle (Fibre Channel) setzt kompatibilität für FC und SCSI voraus ist im Prinzip Betriebsystemunabhängig konzeptionelle Unterschiede: NAS Appliances Unified Storage Systeme (SAN &NAS) vorkonfigurierter Standard-Server Server mit Fileserver-Aufgaben Konfigurations-Unterschiede: lokale, dedizierte Platten Platten liegen im SAN Einzelsysteme oder Cluster

45 Take away URLs Standards & Foren NAS ist ein neuer Begriff für eine alte Sache > 20 Jahre Fileserving NAS ist keine Alternativ-Technologie zu SAN NAS und SAN ergänzen sich für beide Techniken gibt es spezifische Einsatzgebiete NAS kann durchaus komplex sein viele verschiedene Protokolle für Security, Backup, Management NAS ist in der Regel preisgünstiger als SAN Speicherkonsolidierung, Nutzung gemeinsamer Daten Stamdards & Associations Foren