The Future of Storage JBOD, Storage Spaces, SMB 3.0 and more

Transkript

1 The Future of Storage JBOD, Storage Spaces, SMB 3.0 and more Carsten Rachfahl MVP Virtual Machine Rachfahl IT-Solutions GmbH & Co. KG Philipp Witschi Partner itnetx gmbh

2 Storage Verbesserungen in WS 2012 Windows Server 2012 Storage Spaces 64-node clusters Virtual Fibre Channel Scale-Out File Server 8,000 VMs per Cluster Offload Data Transfer Dedup Hyper-V Replica Cluster-Aware Updating VM Prioritization ReFS SMB 3.0 iscsi Target Server VM Storage Migration VHDX SM API SMI-S Storage Service NFS 4.1 NTFS Trim / Unmap CSVFS online CHKDSK

3 Infrastructure-as-a-Service Storage Vision Management System Center 2012 R2 Virtualisierung Windows Server 2012 R2 Hyper-V Storage Subsystem Scale-Out Fileserver JBODs mit SAS Festplatten SMB 3.0 Shared JBOD Storage Hyper-V Clusters SMB Scale-Out File Server Clusters Storage Spaces Virtualization and Resiliency Shared JBOD Storage Shared JBOD Storage

4 Infrastructure-as-a-Service Storage Vision Modell erlaubt die Kosten und den Implementationsaufwand drastisch zu reduzieren Trennung von Compute und Storage Mehr Rechenleistung => weiteren Hyper-V Nodes Mehr Storage Kapazität => weiteres JBODs / Platten Mehr Durchsatz => weiteren Scale-Out Cluster Node Industrie Standard Komponenten: Server, Netzwerk und Storage günstigem Netwerkkomponenten (SMB 3.0) Günstige Shared JBODs und SAS Platten / SSDs Eine durchgängige Managementplatform Shared JBOD Storage Hyper-V Clusters SMB Scale-Out File Server Clusters Storage Spaces Virtualization and Resiliency

5 SMB 3.0 Das SMB (Server Messaging Block) Protokoll unterliegt einem stetigen Verbesserungsprozess

6 SMB Multichannel Geschwindigkeit Bandbreiten-Aggregation durch Nutzung mehrere Kanäle Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support) Failover Implementiert Ende-zu-Ende Ausfall Erkennung Benutzung von -Teaming möglich Automatische Konfiguration SMB erkennt und nutzt mehrere Pfade (auch dynamisch) Für einzelne s abschaltbar Single 10GbE RSS-capable SMB Client RSS 10GbE Switch 10GbE 10GbE RSS SMB Server Multiple 1GbE s 1GbE Switch 1GbE 1GbE SMB Client SMB Server 1GbE Switch 1GbE 1GbE

7 Demo Video SMB Multichannel

8 SMB Direct (SMB über RDMA) Schnelle Netzwerkkommunikation aus dem HPC Computing Benutzt RDMA um Daten zwischen Hosts zu übertragen hoher Durchsatz geringer Latenz geringe Prozessor-Belastung alle Möglichkeiten von SMB Multichannel Implementierungen Preis? Infiniband bis 56GBit auf Infiniband Switchen RoCE - 10GBit Ethernet Switche mit DCB Support iwarp - 10GBit Ethernet Switche Client 1 Unchanged API TCP/ IP Application SMB Client 2 SMB Direct NDKPI 3 RDMA Memor y 4 RDMA Ethernet and/or InfiniBand Memory RDMA SMB Server SMB Direct NDKPI File Server TCP/ IP *) Based on Hewlett Packard list prices on 5/

9 SMB 3.0 Performance SMB Multichannel und SMB Direkt kombiniert ergibt fantastische Datenübertragungsraten Beispiel aus Jose Barretos TechEd Talk: Client und Server mit je drei 40GBit Infiniband Karten SMB Server mit multiplen Fusion I/O Karten (=> 10 Stück) Ergebnis Kontinuierliche Datenübertragung von 40Gb IB Switch 40Gb IB 40Gb IB Fusion Fusion IO IO Fusion Fusion IO IO Fusion IO Multiple RDMA s SMB Client 40Gb IB Switch 40Gb IB 40Gb IB SMB Server 40Gb IB Switch 40Gb IB 40Gb IB Fusion IO Fusion IO Fusion IO Fusion IO Fusion IO Quelle:

10 SMB Transparentes Failover Failover ist transparent für die Anwendungen Zero downtime für die Anwendung kurzzeitiger I/O-Delay während das Failovers Unterstützt geplante und ungeplante Failovers Hardware/Software Wartung Hardware/Software Ausfälle Load Balancing / Client Redirection Resilient für Datei- und Verzeichnisoperationen Funktioniert mit beiden Typen des Dateiservers im Cluster: Scale-Out File Server Classic File Server Anforderungen: Windows Server 2012 Failover Cluster SMB Client mit SMB 3.0 Dateifreigaben sind mit Continuously Availability Eigenschaft konfiguriert Normaler Betrieb Fehler tritt auf Verbindung und Handles gehen verloren, Anwendungs-I/O hängt verübergehend Verbindung und Handles werden auto-recovered, Anwendungs-I/O wird fehlerfrei vortgesetzt \\fs1\share Node A Hyper-V Host Datei Server Cluster \\fs1\share Node B

11 Speicherpools Neue Möglichkeit der Festplatten- Abstraktion Speicherpools mehrere physischen Datenträgern werden zusammengefasst Hinzufügen oder Entfernen ist möglich Virtuelle Datenträger werden in Speicherpools kreiert Simple, 2 Wege Mirror und 3 Wege Mirror, oder Parity und doppelte Parity Feste oder Dünne Bereitstellung Volumes werden in Virtuellen Datenträgern kreiert

12 Storage Spaces Storage Tiering Optimierte Pool besteht aus SSDs und HDDs Verschieden Tiers werden pro Virtual Disk angelegt Hot Data (SSDs), Cold Data (HDDs) Sub-File-Level Daten Optimierung Ergänz bar mit dem Write-Back Cache Administratoren können Vorgang beeinflussen Festpinnen von Dateien im Tier möglich Beispiel VDI: Golden Image VHDX im SSD Pool pinnen Hot Data Cold Data

13 Storage Spaces - Write-Back Cache Random Platten Zugriff Vorrangiges Zugriffs Verhalten in Virtualisierten Umgebungen SSDs liefern höhere IOPS für Random Access SSD absorbieren Schreibspitzen Verbesserte Performance für Real- World Workloads SSDs absorbieren Random Writes bei hohen IOPS Natlose Integration und bekanntes Management Hot Data Cold Data

14 Optimiertes Rebalancing des Scale-out File Server Scale-Out File Server Clients werden zum besten Node für den Zugriff umgeleitet das Vermeidet Redirected-I/O im Scale- Out Fileserver SMB Verbindungen werden pro Share hergestellt Maßgebend ist der Besitzer des CSVs Cluster balanciert auch die CSV Besitzer Automatisches Verhalten, kein Administrator eingreifen erforderlich \\SOFS\Share1 \\SOFS\Share2 SMB Share1 Share2 Share1 Share2 Storage Spaces File Server 1 File Server 2

15 Mirror 50TB netto SAS & SSD WFC \\SMB1\VM1

16 \\SMB1\VM1 no SMB3.0 iscsi..:-) no FC.:-)..64 NODE s

17

18

19 We need your feedback! Thank you! Session Feedback Overall Conference Feedback