Software Defined Storage in Windows 2016

Transkript

1 Software Defined Storage in Windows 2016

2 Carsten Rachfahl

3 Distributed Strorage QoS

4 Distributed Storage QoS Virtual Machines Ermöglicht vorhersagbares End-to-End Management der Storage Bandbreite für Hyper-V VMs Storage QoS Monitor identifiziert und beobachtet I/O Verhalten und Nutzung jeder einzelnen VM Klare Policy Regelung wieviel Storage Bandbreite eine VM bekommt Regelung pro Gruppe oder pro VM möglich Bis zu Policys pro Storage Cluster Benötigte Komponenten Hyper-V VMs SMB3 Storage Protokoll mit Scale-Out Fileserver Hyper-V Cluster mit CSV Storage Policy Manager Hyper-V Cluster Rate Limiters Scale-out File Server Cluster I/O Sched Rate Limiters Rate Limiters SMB3 Storage Network Fabric I/O Sched Rate Limiters I/O Sched CSV CSV CSV

5 Storage QoS Bandbreiten Policies Min < Max Min = Max Min Max < = Only Min Only Max Min Only Max Only

6

7 Storage Rebalancing

8 Rebalancing in Storage Spaces Optimierung des Storage Pools Sinnvoll nach: Erweiterung des Pools Austausch von Datenträgern Ausführung per PowerShell Optimize-StoragePool<PoolName> Überprüfung des Status möglich Get-StorageJob? Name eq Optimize

9 Storage Replica

10 Manhattan DC Jersey City DC Manhattan DC Jersey City DC Storage Replica SRV1 Server to Server SRV2 Ein Desaster Recovery Feature, welches aus Enterprise SAN Systemen bekannt ist SR over SMB3 Zielt auf Volumes (eigentlich Partition) Repliziert auf Block Basis NODE1 in HVCLUS Stretch Cluster NODE3 in HVCLUS Dateisystem Agnostische SR over SMB3 Unterstützte Szenarien: Server zu Server NODE2 in HVCLUS NODE4 in HVCLUS Stretched Cluster Cluster zu Cluster

11 Storage Replica Synchrone Replication Funktionsweise Synchrone Replication 1. Anwendung schreibt Block. 2. Block wird in Quellserver Log geschrieben und zeitgleich zum Zielserver mittels SMB3 übertragen. 3. Block wird in Zielserver Log geschrieben. 4. Zielserver bestätigt Quellserver den Schreibvorgang. Anwendung (lokal oder remote) 1 Quellserver Node (SR) Zielserver Node (SR) 5. Quellserver bestätigt Applikation erfolgreichen Schreibvorgang. t 2 t Block wird auf beiden Datenvolumen der Quell- und Zielserver geschrieben. Data Log Data Log Achtung: Laufzeit sollte unter 5ms liegen Logs sollten auf SSDs liegen

12 Storage Replica Asynchrone Replication Funktionsweise Asynchrone Replication 1. Anwendung schreibt Block. 2. Block wird in Quellserver Log geschrieben. 3. Quellserver bestätigt Applikation erfolgreichen Schreibvorgang. 4. Block wird mittels SMB3 zum Zielserver übertragen. 5. Block wird ins Zielserver Log geschrieben. 6. Zielserver bestätigt Quellserver den Schreibvorgang. Anwendung (lokal oder remote) 1 Data Quellserver Node (SR) 3 t 2 Log 4 6 Data Zielserver Node (SR) t 1 5 Log 7. Block wird auf beiden Datenvolumen auf Quell- und Zielserver geschrieben. Achtung: Logs sollten auf SSDs liegen

13

14 Rolling Cluster Upgrade

15 Rolling Cluster Upgrade Cluster Update Herausforderung: Update des Failover Cluster ohne Downtime der Rollen Update innerhalb eines Clusters

16 Rolling Cluster Upgrade Durch Einführen des Mixed Mode lassen sich Knoten mit Windows Server 2012 R2 und Windows Server 2016 gemeinsam betreiben.

17 Rolling Cluster Upgrade Achtung: Mixed OS Modus ist ein Übergangszustand, der nicht länger als einen Monat dauern sollte.

18 Rolling Cluster Upgrade Cluster kann bei Problemen zurückgebaut werden.

19 Rolling Cluster Upgrade Cluster kann komplett auf Windows Server 2016 heraufgestuft werden. Nach Hochstufung stehen neue Funktionen zur Verfügung Rolling Cluster Update ermöglicht das Update der meisten Clustertypen (Hyper-V, SOFS, etc.)

20 Storage Spaces Direct

21 Storage Spaces Direct (S2D) Ermöglicht das Cloud Hardware Design DAS (shared Nothing) SATA, SAS und NVMe Vermutlich Support für ausgewählte OEM Konfigurationen Hyper-V Clusters SMB3 Storage Network Fabric Scale-Out File Server Einfache Erweiterbarkeit Support für Große Pools (in TP2 240 Geräte) Einfache Erweiterbarkeit durch Hinzufügen von weiteren Knoten Rebalancing der Daten über die Knoten hinweg Shared JBOD Storage Management System Center und PowerShell

22 Storage Spaces Direct (S2D) High Availability Failover Cluster Fault Tolerant Disk Enclosure Server Haupt-Szenarien Hyper-V IaaS Storage Storage für Backup Storage für Replikation Hyper-convered Hyper-V Cluster Shared JBOD Storage Hyper-V Clusters SMB3 Storage Network Fabric Scale-Out File Server Hyperconverged Hyper-V Cluster

23 Microsoft and Intel showcase Storage Spaces Direct with NVM Express at IDF 15 Showcase Hardware 16 Intel Server System S2600WT(2U) nodes Dual Intel Xeon processor E v3 Processors 128GB Memory (16GB DDR V DR x4 RDIMM) Storage per Server 4 - Intel SSD DC P3700 Series (800 GB, 2.5 SFF) Boot Drive: 1 Intel SSD DC S3710 Series (200 GB, 2.5 SFF) Network per server 1 Chelsio 10GbE iwarp RDMA Card (CHELT520CRG1P10) Intel Ethernet Server Adapter X540-AT2 for management Load Generator (8 VMs per Compute Node => 128 VMs) 8 virtual cores and 7.5 GB memory DISKSPD with 8 threads and Queue Depth of 20 per thread Load profile Total IOPS IOPS/server 100% 4K Read 4.2M IOPS 268K IOPS 90%/10% 4K Read/Write 3.5M IOPS 218K IOPS 70%/30% 4K Read/Write 2.3M IOPS 143K IOPS

24

25 Shared JBOD

26 Verbesserungen im Shared JBODs Design SOFS CSV Read Cache CSV Read Cache Unterstützung auch im File-Redirected Mode Tiered Spaces mit Heatmap Dedup mehr als 64GB CSV Cache Rebalancing für ausgetauschte Disks für Storage Erweiterungen CSV Read Cache CSV

27 Cluster Verbesserungen

28 Cluster Resiliency VM Compute Resiliency erhöht die Verfügbarkeit der VMs bei Netzwerkproblemen. VM Compute Resiliency Workflows Im Falle eines Fehlers bei der Inter-Cluster- Kommunikation: Knoten wird isoliert Die VMs werden nicht mehr gemonitort SMB-Storage: VMs laufen weiter Block Storage: VMs sind Paused-Critical Kommunikationsprobleme > 4 Minuten Failover der VMs Host wird als Down gekennzeichnet > 3 Isolierungen/h => 2h Quarantäne VMs laufen erstmal weiter wenn der Knoten Isoliert wird Network Fehler?

29 Cluster Resiliency Isolated Mode Knoten ist nicht länger aktives Mitglied des Failover Cluster VMs werden auf dem Knoten weiter betrieben Quarantine Mode Knoten darf dem Cluster nicht mehr beitreten (Standardwert: 2 Stunden) VMs werden auf andere Knoten migriert

30 VM Storage Resiliency (Block Storage) VM läuft Cluster Knoten verliert Verbindung zum Storage VM wechselt in Running Status VM Stack wird über Storage Fehler infomiert Storage Verbindung wird restauriert VM wechselt in PauseCritical Status

31 Block Storage Pfad Fehler Verhalten: CSV Redirected Mode - I/O läuft über anderen Knoten VM läuft weiter VM Storage Resiliency findet nicht statt Storage Verbindungs-Fehler Storage Stack Fehler HBA Fehler Kabel Fehler Switch Port Fehler VHD FC/FCoE/iSCSI/SAS

32 Block Storage Alle Pfade fallen aus Verhalten: VM wechselt in Pause Zustand Redirected Mode macht keinen Sinn da kein Pfad zum Storage vorhanden ist VM bleibt pausiert bis: der Storage wieder verfügbar ist SAN Ausfall betrifft alle Knoten VHD FC/FCoE/iSCSI/SAS 30 Minuten abgelaufen sind - danach wird VM ausgeschaltet und auf anderem Server gestartet

33 File Storage Pfad Fehler Verhalten: Knoten bleibt im Cluster da es Netzwerkkomunikation gibt VM wechselt in Pause Zustand VM bleibt pausiert bis: der Storage wieder verfügbar ist Netzwerk Verbindungs-Fehler NIC Treiber Hardware NIC Ausfall Kabel Fehler Switch Port Fehler VHD SMB 30 Minuten abgelaufen sind - danach wird VM ausgeschaltet und auf anderem Server gestartet

34 Shared VHDX

35 Shared VHDX Verbesserungen im Shared VHDX Umgang Neues Dateiformat VHDS Online Backup Hyper-V Replica Online Resize VHDS

36 Und vieles Mehr

37 Und da ist noch viel mehr Nested Virtualisierung Nano Server mit Fileserver Cluster Hyper-V Backup mit CBT ReFS Verbesserungen Azure Cloud Wittness SMB Cluster Node Fairness Cluster Site Awareness verbessertes Storage Management

38

39 Weiterführende Informationen Entwickler: - News, Ressourcen, Events und Support für Entwickler - MSDN Flash kostenloser Newsletter für Entwickler IT Pros: - News, Ressourcen, Events und Support für IT Profis - TechNet Flash - kostenloser Newsletter für IT Profis Für Devs und IT Pros: - Kostenlose Online-Schulungen für Entwickler und IT Profis - Videoplattform für Entwickler und IT Profis

40 Vielen Dank 2014 Microsoft Corporation. All rights reserved. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.