Storage 3.0 mit Windows Server 2012 (R2): Neue Technologien - Neue Szenarien Carsten Rachfahl, MVP Virtual Machine
Storage Verbesserungen in WS 2012 Windows Server 2012 Storage Spaces 64-node clusters SMB3 Scale-Out File Server 8,000 VMs per Cluster Offload Data Transfer Dedup Hyper-V Replica Virtual Fibre Channel VM Prioritization ReFS Cluster-Aware Updating iscsi Target Server VM Storage Migration VHDX SM API SMI-S Storage Service NFS 4.1 NTFS Trim / Unmap CSVFS online CHKDSK
SMB 3.0
SMB Multichannel Geschwindigkeit Bandbreiten-Aggregation durch Nutzung mehrere Kanäle Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support) Failover Implementiert Ende-zu-Ende Ausfall Erkennung Benutzung von -Teaming möglich Automatische Konfiguration SMB erkennt und nutzt mehrere Pfade (auch dynamisch) Für einzelne s abschaltbar Single 10GbE RSS-capable SMB Client RSS 10GbE Switch 10GbE 10GbE RSS SMB Server Multiple 1GbE s SMB Client 1GbE Switch 1GbE 1GbE 1GbE SMB Server Switch 1GbE 1GbE
Demo Video SMB Multichannel
SMB Direct (SMB über RDMA) Schnelle Netzwerkkommunikation aus dem HPC Computing Benutzt RDMA um Daten zwischen Hosts zu übertragen hoher Durchsatz geringer Latenz geringe Prozessor-Belastung alle Möglichkeiten von SMB Multichannel Implementierungen Infiniband bis 56GBit auf Infiniband Switchen RoCE - 10GBit Ethernet Switche mit DCB Support iwarp - 10GBit Ethernet Switche Preis? Client 1 Unchanged API TCP/ IP Application SMB Client 2 SMB Direct NDKPI 3 RDMA Memory 4 RDMA Ethernet and/or InfiniBand Memory RDMA SMB Server SMB Direct NDKPI File Server TCP/ IP *) Based on Hewlett Packard list prices on 5/15-2012
SMB 3.0 Performance SMB Multichannel und SMB Direkt kombiniert ergibt fantastische Datenübertragungsraten Beispiel aus Jose Barretos TechEd Talk: Client und Server mit je drei 40GBit Infiniband Karten SMB Server mit multiplen Fusion I/O Karten (=> 10 Stück) Ergebnis Kontinuierliche Datenübertragung von 120 GBit/s == 15GByte/s 40Gb IB Switch 40Gb IB 40Gb IB Multiple RDMA s Fusion Fusion IO IO Fusion Fusion IO IO Fusion IO SMB Client 40Gb IB Switch 40Gb IB 40Gb IB SMB Server 40Gb IB Switch 40Gb IB 40Gb IB Fusion IO Fusion IO Fusion IO Fusion IO Fusion IO Quelle: http://smb3.info
SMB Direct Performance Enhancements Performance Efficiency 50% Durchsatz Verbesserung für kleine I/O Workloads mit SMB over RDMA Verbesserung der 8KB I/Os von ~300K IOPS auf ~450K IOPS pro Interface (auf gleicher Hardware) Erhöhung der Effizienz und der Dichte für Hosting Workloads mit kleinen I/O Pattern wie z.b. OLTP Datenbanken in VM Optimiert für 40GBit Ethernet and 56GBit InfiniBand Hyper-V SMB Direct Scale-out File Server VHD
SMB Transparentes Failover Failover ist transparent für die Anwendungen Zero downtime für die Anwendung kurzzeitiger I/O-Delay während das Failovers Unterstützt geplante und ungeplante Failovers Hardware/Software Wartung Hardware/Software Ausfälle Load Balancing / Client Redirection Resilient für Datei- und Verzeichnisoperationen Funktioniert mit beiden Typen des Dateiservers im Cluster: Scale-Out File Server Classic File Server Anforderungen: Windows Server 2012 Failover Cluster SMB Client mit SMB 3.0 Dateifreigaben sind mit Continuously Availability Eigenschaft konfiguriert Hyper-V Host \\fs1\share \\fs1\share Node A Node B Datei Server Cluster
Speicherpools Neue Möglichkeit der Festplatten- Abstraktion Speicherpools mehrere physischen Datenträgern werden zusammengefasst Hinzufügen oder Entfernen ist möglich Virtuelle Datenträger werden in Speicherpools kreiert Simple, 2 Wege Mirror und 3 Wege Mirror, oder Parity und doppelte Parity Feste oder Dünne Bereitstellung Volumes werden in Virtuellen Datenträgern kreiert
Infrastructure-as-a-Service Storage Vision Modell erlaubt es die Kosten und den Implementationsaufwand drastisch zu Reduzieren Trennung von Compute und Storage Mehr Rechenleistung => weiteren Hyper-V Nodes Mehr Storage Kapazität => weiteres JBODs / Platten Mehr Durchsatz => weiteren Scale-Out Cluster Node Industrie Standard Komponenten: Server, Netzwerk und Storage günstige Netwerkkomponenten (SMB 3.0) günstige Shared JBODs und SAS Platten / SSDs Eine durchgängige Managementplatform Hyper-V Clusters SMB Scale-Out File Server Clusters Storage Spaces Virtualization and Resiliency Shared JBOD Storage
Schnelles Wiederherstellen des Space Mirror Spaces Rebuild Paraller Rebuild Prozess Höherer Durchsatz Optimierte Plattenausnutzung Ausnutzung von Reserve Kapazität Bei R2 kein HotSpare Platte mehr notwendig Rebuild Metric Data Rebuilt Time Taken Rebuild Throughput Measurement 2,400 GB 49 min > 800 MB/s
Storage Spaces Storage Tiering Optimierte Daten Platzierung Pool besteht aus SSDs und HDDs Verschieden Tiers werden pro Virtual Disk angelegt Hot Data (SSDs), Cold Data (HDDs) Sub-File-Level Daten Optimierung Ergänz bar mit dem Write-Back Cache Administratoren können Vorgang beeinflussen Festpinnen von Dateien im Tier möglich Beispiel: VDI Pooled VM s VHDX im SSD Pool pinnen Hot Data Cold Data
Storage Spaces - Write-Back Cache Random Platten Zugriff Vorrangiges Zugriffs Verhalten in Virtualisierten Umgebungen SSDs liefern höhere IOPS für Random Access SSD absorbieren Schreibspitzen Verbesserte Performance für Real- World Workloads SSDs absorbieren Random Writes bei hohen IOPS Natlose Integration und bekanntes Management Hot Data Cold Data
Optimiertes Rebalancing des Scale-out File Server Scale-Out File Server Clients werden zum besten Node für den Zugriff umgeleitet das vermeidet Redirected-I/O im Scale-Out Fileserver SMB Verbindungen werden pro Share hergestellt Maßgebend ist der Besitzer des CSVs Cluster balanciert auch die CSV Besitzer Automatisches Verhalten, kein Administrator eingreifen erforderlich \\SOFS\Share1 \\SOFS\Share2 SMB Share1 Share2 Share1 Share2 Storage Spaces File Server 1 File Server 2
CiB (Cluster in a BOX) Zwei Knoten Scale-out File Server als Fertiglösung aus einer Hand Windows Storage Server 2012 Standard Redundant aufgebaut Auf Basis von Storage Spaces oder SAS RAID Kontroller Kompaktes Design (2 bis 4 HE) durch externe Platten-Shelfs erweiterbar Beispiele: HP Store Easy 5000 WiWynn SV330 Quanta CB220 Dell VRTX 10G E or Infiniband Network x8 PCIe x8 PCIe x4 SAS Server A CPU Storage Controller SAS Expander SAS Expander Server Enclosure 1/10G Ethernet cluster connect A port s A ports x4 SAS through x4 SAS midplane through midplane 0 External JBOD 0 1 1 23 23 Additional JBODs B port s B ports Server B SAS Expander SAS Expander 10G E or Infiniband Network CPU x8 PCIe x8 PCIe Storage Controller x4 SAS
Beispiel Scale-Out File Servers Drei 60 Platten JBODs Pro JBOD: 25x 4TB Near-Line SAS Platten 5x 800GB SAS SSDs Insgesamt 4x VDisk um I/O zu verteilen Zwei Fileserver als Scale-Out File Server 2 E6-26xx Prozessoren, 384 GB RAM, 2x 120 GB SSDs, 2x 4fach LSI SAS HBA, 2x 40GB Mellanox SMB Direct Ethernet Karte
Demo Video Transparenter Failover
Neuerungen im iscsi Target Server SCVMM VHDX Support Provisionieren von großen LUNs (bis zu 64TB) Online vergrößern und verkleinern LUNs Bereitstellen von dynamisch erweiterbaren LUNs SMI-S Support Voll mit SMI-S managbarer iscsi Target Server Ermöglicht das volle Ende-zu-Ende Management mit System Center VMM 2012 R2 Standards-based Management iscsi Target Server
NFS in Windows Server 2012 R2 NFSv4.1 Server Implementation Infrastructure Improvements Availability Improvements Identity Mapping Improvements Manageability Enhancements Performance & Interoperability
Quotes NFSv4.1 implementation #2 in 10 best features of Windows Server 2012 Source (http://www.theregister.co.uk/2013/01/10/10_best_server12) NFS Failover & general implementation Source http://www.theregister.co.uk/2012/05/01/microsoft_nfs/
Universal Storage Windows Server 2012 ist mit SMB 3.0, iscsi und NFS jetzt ein Universal Storage System SMB SMB 3.0 Klassischer und Scale-out Datei Server Standard Hardware iscsi Blockstorage Universelles Storage Protokoll z.b. für Hyper-V 2008 R2 NFS UNIX/Linux/Mac + VMWare Support modernste Implementierung
Storage Verbesserungen in WS 2012 Windows Server 2012 Storage Spaces 64-node clusters Virtual Fibre Channel Scale-Out File Server 8,000 VMs per Cluster Offload Data Transfer Dedup Hyper-V Replica Cluster-Aware Updating VM Prioritization ReFS SMB 3.0 iscsi Target Server VM Storage Migration VHDX SM API SMI-S Storage Service NFS 4.1 NTFS Trim / Unmap CSVFS online CHKDSK
Infrastructure-as-a-Service Storage Vision Management System Center 2012 R2 Virtualisierung Windows Server 2012 R2 Hyper-V Storage Subsystem Scale-Out Fileserver JBODs mit SAS Festplatten SMB 3.0 Hyper-V Clusters SMB Scale-Out File Server Clusters Storage Spaces Virtualization and Resiliency Shared JBOD Storage Shared JBOD Storage Shared JBOD Storage
Infrastructure-as-a-Service Storage Vision Modell erlaubt die Kosten und den Implementationsaufwand drastisch zu reduzieren Trennung von Compute und Storage Mehr Rechenleistung => weiteren Hyper-V Nodes Mehr Storage Kapazität => weiteres JBODs / Platten Mehr Durchsatz => weiteren Scale-Out Cluster Node Industrie Standard Komponenten: Server, Netzwerk und Storage günstigem Netwerkkomponenten (SMB 3.0) Günstige Shared JBODs und SAS Platten / SSDs Eine durchgängige Managementplatform Hyper-V Clusters SMB Scale-Out File Server Clusters Storage Spaces Virtualization and Resiliency Shared JBOD Storage
SMB 3.0 Das SMB (Server Messaging Block) Protokoll unterliegt einem stetigen Verbesserungsprozess
SMB Multichannel Geschwindigkeit Bandbreiten-Aggregation durch Nutzung mehrere Kanäle Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support) Failover Implementiert Ende-zu-Ende Ausfall Erkennung Benutzung von -Teaming möglich Automatische Konfiguration SMB erkennt und nutzt mehrere Pfade (auch dynamisch) Für einzelne s abschaltbar Single 10GbE RSS-capable SMB Client RSS 10GbE Switch 10GbE 10GbE RSS SMB Server Multiple 1GbE s SMB Client 1GbE Switch 1GbE 1GbE 1GbE SMB Server Switch 1GbE 1GbE
Demo Video SMB Multichannel
SMB Direct (SMB über RDMA) Schnelle Netzwerkkommunikation aus dem HPC Computing Benutzt RDMA um Daten zwischen Hosts zu übertragen hoher Durchsatz geringer Latenz geringe Prozessor-Belastung alle Möglichkeiten von SMB Multichannel Implementierungen Infiniband bis 56GBit auf Infiniband Switchen RoCE - 10GBit Ethernet Switche mit DCB Support iwarp - 10GBit Ethernet Switche Preis? Client 1 Unchanged API TCP/ IP Application SMB Client 2 SMB Direct NDKPI 3 RDMA Memory 4 RDMA Ethernet and/or InfiniBand Memory RDMA SMB Server SMB Direct NDKPI File Server TCP/ IP *) Based on Hewlett Packard list prices on 5/15-2012
SMB 3.0 Performance SMB Multichannel und SMB Direkt kombiniert ergibt fantastische Datenübertragungsraten Beispiel aus Jose Barretos TechEd Talk: Client und Server mit je drei 40GBit Infiniband Karten SMB Server mit multiplen Fusion I/O Karten (=> 10 Stück) Ergebnis Kontinuierliche Datenübertragung von 40Gb IB Switch 40Gb IB 40Gb IB Multiple RDMA s Fusion Fusion IO IO Fusion Fusion IO IO Fusion IO SMB Client 40Gb IB Switch 40Gb IB 40Gb IB SMB Server 40Gb IB Switch 40Gb IB 40Gb IB Fusion IO Fusion IO Fusion IO Fusion IO Fusion IO Quelle: http://smb3.info
SMB Transparentes Failover Failover ist transparent für die Anwendungen Zero downtime für die Anwendung kurzzeitiger I/O-Delay während das Failovers Unterstützt geplante und ungeplante Failovers Hardware/Software Wartung Hardware/Software Ausfälle Load Balancing / Client Redirection Resilient für Datei- und Verzeichnisoperationen Funktioniert mit beiden Typen des Dateiservers im Cluster: Scale-Out File Server Classic File Server Anforderungen: Windows Server 2012 Failover Cluster SMB Client mit SMB 3.0 Dateifreigaben sind mit Continuously Availability Eigenschaft konfiguriert Normaler Betrieb Fehler tritt auf Verbindung und Handles gehen verloren, Anwendungs-I/O hängt verübergehend Verbindung und Handles werden auto-recovered, Anwendungs-I/O wird fehlerfrei vortgesetzt \\fs1\share Node A Hyper-V Host Datei Server Cluster \\fs1\share Node B
Speicherpools Neue Möglichkeit der Festplatten- Abstraktion Speicherpools mehrere physischen Datenträgern werden zusammengefasst Hinzufügen oder Entfernen ist möglich Virtuelle Datenträger werden in Speicherpools kreiert Simple, 2 Wege Mirror und 3 Wege Mirror, oder Parity und doppelte Parity Feste oder Dünne Bereitstellung Volumes werden in Virtuellen Datenträgern kreiert
Storage Spaces Storage Tiering Optimierte Pool besteht aus SSDs und HDDs Verschieden Tiers werden pro Virtual Disk angelegt Hot Data (SSDs), Cold Data (HDDs) Sub-File-Level Daten Optimierung Ergänz bar mit dem Write-Back Cache Administratoren können Vorgang beeinflussen Festpinnen von Dateien im Tier möglich Beispiel VDI: Golden Image VHDX im SSD Pool pinnen Hot Data Cold Data
Storage Spaces - Write-Back Cache Random Platten Zugriff Vorrangiges Zugriffs Verhalten in Virtualisierten Umgebungen SSDs liefern höhere IOPS für Random Access SSD absorbieren Schreibspitzen Verbesserte Performance für Real- World Workloads SSDs absorbieren Random Writes bei hohen IOPS Natlose Integration und bekanntes Management Hot Data Cold Data
Optimiertes Rebalancing des Scale-out File Server Scale-Out File Server Clients werden zum besten Node für den Zugriff umgeleitet das Vermeidet Redirected-I/O im Scale-Out Fileserver SMB Verbindungen werden pro Share hergestellt Maßgebend ist der Besitzer des CSVs Cluster balanciert auch die CSV Besitzer Automatisches Verhalten, kein Administrator eingreifen erforderlich \\SOFS\Share1 \\SOFS\Share2 SMB Share1 Share2 Share1 Share2 Storage Spaces File Server 1 File Server 2