Flash Technologie bei NetApp

Transkript

1 Flash Technologie bei NetApp

2 Agenda Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

3 Wieso Flash Technologie? Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

4 Weniger Storage Was wäre, wenn Sie weniger Storage für Ihre IO Anforderungen kaufen müssten und dann auch noch Strom- und Kühlungsbedarf des Datacenters senken Platz im Datacenter freigeben Ihre gesamten Applikationen beschleunigt werden komplexes Management zurückfahren können

5 IO Vergleich Performance-Steigerung Flash SAS/FC SATA Relativ geringe Unterschiede zwischen Festplattentypen Flash macht den Unterschied Gleichgewicht zwischen Kosten und Performance als Erfolgsrezept Zeit

6 Latenz in Abhängigkeit zu IO Average Request Response Time vs. IOPS K rpm SATA 10K rpm FC 15K rpm SAS 15K rpm FC SSD 25 milliseconds IOPS per data drive

7 Welche Verwendungsmöglichkeiten gibt es? Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

8 Verwendungsmöglichkeiten Flash im Server Flash im Controller Flashkarte im Server SSD im Server Flash-basierende I/O Beschleunigung Flash Accel Dedizierte Applikationsbeschleunigung Data ONTAP verwaltet die Daten Flash Cache PCIe Karte, Read-Cache Beschleunigt SAS/SATA Festplatten für hohe Lese- Anforderungen SSD im Shelf SATA: groß, langsam, billig FC / SAS: klein, schnell, $$$ SSD: schnellste, $$$$$ Flash Pool Beschleunigt SAS/SATA Festplatten für hohe Lese- Schreib-Anforderungen HA tauglich Reines SSD Shelf SSD: schnellste, $$$$$ SSD Shelves / Flash Pool Flash als permanenten Speicher FAS SSD

9 Enormes Datenwachstum Ein Jahrzehnt mit enormen Datenwachstum* Terabyte Wenn Sie im Jahr TB Online- Daten gespeichert haben, wird sich dieses Volumen voraussichtlich wie folgt entwickeln: 1,1 PB in 2016 (11-fache Menge) 2,5 PB in 2018 (25-fache Menge) 5,8 PB in 2020 (58-fache Menge) *Ausgehend von 50 % Jahreswachstum (Branchendurchschnitt) Prognostizierte Zunahme des Enterprise Workload Weltweiter Storage-Bedarf 25 Exabyte 20 Exabyte 15 Exabyte 10 Exabyte Quelle: IDC Multi-Client Study, Storage Workloads 2011, September 2011

10 VST unser Verständnis von Flash Warum Virtual Storage Tiering? Bessere Performance und bessere Reaktionszeiten Kosten senken und Effizienz steigern Geschäftliche Herausforderungen Die richtigen Daten zum richtigen Preis und zur richtigen Zeit Performance- und Kostenoptimierung Virtual Storage Tiering ist automatisiert datengetrieben in Echtzeit

11 Herausforderung: Datenablage Primärer Storage-Pool: Alle Daten: wichtige und selten genutzte Ziel: Wichtige Daten clever auf dem leistungsstärksten Medium ablegen Wichtige Daten Wichtige Daten sollten schnell verfügbar sein und selten genutzte Daten wenig Kosten verursachen.

12 Die virtuelle Storage-Ebene von NetApp Datengetrieben Echtzeit Automatisiert Virtual Storage Tiering Echtzeit-Datenübertragung Flash-optimiert Performance nach Bedarf Hohe Granularität (4 KB) Hocheffizient (Dedup-Awareness) Physischer Storage

13 Wie funktioniert Flash mit Data ONTAP? Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

14 Was ist FlashCache? Flash Cache Lese-Cache im Controller Ist eine Karte die in den Controller eingebaut wird Ist ein reiner Lese-Cache Eigenschaften von FlashCache: 4KB-Block-Granularität, Echtzeit- Caching Unterstützt Dedup und FlexClone

15 Flash Cache Process Flash Cache 1. Erste Lese-Anforderung wird von den Festplatten gelesen und im Memory gespeichert 123 Memory Flash Cache 1 HDD Block auf der HDD = aktueller Block Block im Memory = Kopie des aktuellen Block Block im SSD Cache = Kopie des aktuellen Block 2. Bevor ein randomly read block aus dem Memory verworfen wird, wird er in der Flash Cache Karte gespeichert 3. Wenn eine Leseanfrage kommt, die im Cache ist, werden die Daten aus diesem in den Memory kopiert 4. Falls Platz für neue Blöcke im Cache benötigt wird, werden die ältesten Daten verworfen

16 Was ist Flash Pool? Flash Pool Lese-Schreib-Cache auf Aggregatebene Besteht aus einer oder mehreren HDD Raid Gruppen sowie einer SSD Raid Gruppe random read und random overwrite Cache Flash Pool Aggregat Eigenschaften von Flash Pool: 4KB-Block-Granularität, Echtzeit- Caching Unterstützt Dedup und FlexClone Einheitliche Performance in allen HA-Situationen

17 Flash Pool Read Caching Process Flash Pool 312 memory NVRAM SSD HDD Block auf der HDD = aktueller Block Block im Memory = Kopie des aktuellen Block Block im SSD Cache = Kopie des aktuellen Block 1. Erste Lese-Anforderung wird von den Festplatten gelesen und im Memory gespeichert 2. Bevor ein randomly read block aus dem Memory verworfen wird, wird er im SSD Cache gespeichert 3. Wenn eine Leseanfrage kommt, die im Cache ist, werden die Daten aus diesem in den Memory kopiert 4. Ein Block wird im Cache vorgehalten, so lange der Speicher nicht von einem anderen, relevanteren Block benötigt wird

18 Flash Pool Read Caching Process Flash Pool read read read 01 Hot Warm Neutral Cold Evict scanner scanner scanner scanner inserted Ein Block wird im Lese-Cache im Zustand Neutral abgelgt Wird der Block aus dem Cache gelesen, ändert sich sein Zustand auf Warm oder Hot Wird der Block nicht aus dem Cache gelesen, ändert sich sein Zustand auf eine niedrigere Stufe, bis er ganz aus dem Cache verworfen wird

19 Flash Pool Write Caching Policies Flash Pool Write Cache Policies None disable write caching random-write random overwrites (updates) 16KB werden auf den SSD Cache geschrieben Sequential writes und random writes gehen direkt auf die HDDs Vorsicht Write Cached Daten werden nur auf den SSDs gespeichert; es gibt keine Kopie auf die Festplatten

20 Flash Pool Write Caching Process Flash Pool 1. Alle ersten Schreibvorgänge gehen auf die HDDs 312 memory 23 X1 3 SSD HDD 2. Wenn ein write update (overwrite) in das System kommt, welches der write insertion policy entspricht, wird es in den SSD Cache geschrieben NVRAM Block auf der HDD = aktueller Block Block im Memory = aktueller Block Block im SSD Cache = aktueller Block Der neue Block verbleibt auf der SSD, der alte Block auf der HDD wird zum überschreiben freigegeben 3. Der Block verbleibt so lange auf der SSD, bis er überschrieben wird oder so alt ist, dass er von der SSD auf die HDD geschrieben wird

21 Flash Pool Write Caching Process Flash Pool Neutral Cold Evict scanner scanner inserted overwrite Ein Block wird im Schreib-Cache im Zustand Neutral abgelgt Nach einer gewissen Zeit bekommt der Block den Zustand Cold Wenn er überschrieben wird, bekommt er wieder den Zustand Neutral, wenn nicht, wird er aus dem Cache verworfen

22 SSD Aggregat Reines SSD Aggregat Alle Daten auf SSD Eigenschaften von SSD Aggregaten : Jeder Zugriff ist sofort schnell Unterstützt alle Effizienzfunktionalitäten von Data ONTAP Einheitliche Performance in allen HA-Situationen Flash Aggregat

23 Aufbau der VST Demo Umgebung Hardware Logisch ESX 1 Gbit Switch cdot FAS *SAS Vol/ LUN 12*SATA 6*SSD P P P P P P SAS SSD Flash Pool

24 Zusammenfassung Flash mit Data ONTAP Reines SSD Aggregat VST beschleunigt vorhandene Installationen Ist sehr effizient Cache in Echtzeit 4kb Blöcke Deduplizierung / FlexClone aware VST ist abhängig von Der Cachebarkeit der Daten (random IO) Der Größe des Workingsets

25 Wie funktioniert Flash Accel? Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

26 Flash Accel Architektur Bestandteile von Flash Accel Flash Accel ESX Host Agent Flash Accel Windows Agent (OS Treiber und Web Service) Flash Accel Virtual Management Appliance and VSC Plug-in Verfügbar in VSC 4.2

27 Allgemeines zu Flash Accel Flash Accel 1.2 Ziel sind virtualisierte Server mit hohem random read Zugriff (SQL, Exchange, usw.) Data ONTAP kohärenter Cache Cache Management auf Ebene der VM oder der VMDK Bis zu 2TB Cache pro Server aufgeteilt auf bis zu 32 VMs Unterstützt Data ONTAP 8.1+, vsphere 5.0, vsphere 5.1 and Windows 2008R2 vmotion / DRS / VMware HA NFS, iscsi, FC, FCoE, iscsi in der VM Unterstützt verschiedene Flash Karten sowie SSDs an einem Raid Controller

28 Daten Kohärenz und Caching Was ist Daten Kohärenz? Konsistenz zwischen Daten im Cache und Daten auf der Platte Physical Server Application Storage Array Warum ist Daten Kohärenz so wichtig? Der Cache weiß nichts von Veränderungen der Daten die auf dem Storage stattfinden (z.b. durch SnapRestore ) Das kann zu korrupten Daten führen Cache Daten Kohärenz

29 Keine Daten Kohärenz Lese- und Schreib- Informationen gelangen in den Cache Snapshot wird für ein Backup erstellt, danach finden weiter Zugriffe statt Der Restore eines Snapshot hinterläßt alte Daten im Cache Weitere Lese- und Schreib- Zugriffe der Applikation erzeugen korrupte Daten Lesen und cachen A Schreiben und cachen B Schreiben und cachen C CORRUPTION! C existiert nicht mehr auf der Platte Applikation Server B C D C ist weiterhin im Cache! A C Restore vom Snapshot Cache A B C D Schreiben und Erstellen des cachen D Snapshot A B

30 Daten Kohärenz mit Flash Accel Lese- und Schreib- Informationen gelangen in den Cache Snapshot wird für ein Backup erstellt, danach finden weiter Zugriffe statt Restore eines Snapshots Cache invalidation von Flash Accel korrigiert die Cache Inhalte, ohne den gesamten Cache zu verwerfen Weitere Lese- und Schreib- Zugriffe der Applikation sind konsistent Applikation B A Server Lesen und cachen A C wird vom Schreiben und Cache entfernt cachen B Schreiben und cachen C C D Restore vom Snapshot Cache A B C D Schreiben Erstellen des und Snapshot cachen D A B

31 Aufbau der Flash Accel Demo Umgebung Hardware Logisch ESX SSD 1 Gbit Switch cdot FAS *SAS Vol/ LUN 12*SATA 6*SSD P P SAS

32 Zusammenfassung Vorteile von Flash Accel Reine Softwarelösung mit Unterstützung von PCI-e Flash oder SSDs Flash Accel bietet eine intelligente Daten Kohärenz, ohne bei Veränderungen auf dem Storage den gesamten Cache zu verwerfen Persistent Cache, bleibt auch bei einem Neustart der VM erhalten Einschränkungen von Flash Accel Unterstützt zurzeit nur Windows 2008R2 Auf jedem ESX Server und auf jeder VM muss ein Agent installiert werden

33 Vorstellung der EF540/EF550 Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

34 Freie Auswahl bei Flash-Technologien Mehr Optionen für alle Performance-Anforderungen von Workloads Shared Storage Dedizierter Storage Server-Ebene: Flash Accel Fusion-io (Resell) Controller- Ebene: Flash Cache Array-Ebene (Hybrid): Flash Pool (persistenter Cache) Flash-Aggregate (persistenter Storage) All Flash Array: persistenter Storage E-Series (Hybrid): SANtricity SSD Cache (persistenter Cache) SSD Volumes (persistenter Storage)

35 Zuverlässigkeit & Verfügbarkeit Bewährte Technologien Umfangreiche Branchenerfahrung über Systeme ausgeliefert Konzipiert für höchste Zuverlässigkeit, Verfügbarkeit und Sicherung redundante I/O-Pfade verschiedene RAID-Levels Online-Konfiguration, -Erweiterung und -Wartung proaktive Beobachtung der SSD-Nutzung erweiterte Monitoring- und Diagnosefunktionen

36 Effiziente Datensicherung der Enterprise-Klasse EF540 A B EF540 B High-Speed Snapshots mit hoher A Effizienz sichern Daten in Sekundenschnelle geringer Speicherbedarf B B zuverlässige Disaster Recovery- High- Performance SSD E5400 C C NL-SAS mit hoher Dichte und niedrigeren Kosten B C Sicherung synchrone Spiegelung asynchrone Spiegelung Flexible Sicherung für max. ROI Unterschiedliche Wiederherstellungsziele

37 EF550 vs. EF540 Produkt Daten der NetApp All Flash Array s Feature EF540 EF550 Controller Processor Intel Xeon EC3539 ( Jasper Forest ) 2.1 GHz quad core Intel Xeon E5-2418L ( Sandy Bridge ) 2.0GHz quad core Controller Flash 8GB or 16GB 16GB System Memory 24GB 24GB Host Interface (base) Quad-port 8G FC - Host Interface Cards Performance Software Quad-port 8G FC Quad-port 6G SAS Dual-port 40G IB Dual-port 10G iscsi über IOPS SANtricity Remote Mirroring SANtricity Volume Copy SANtricity Snapshot Quad-port 16G FC Quad-port 10G iscsi Quad-port 6G SAS Dual-port 40G IB über IOPS (Spitzen-I/O-Rate) über IOPS (kontinuierlich) kostenfrei

38 EF550 EF550 Controller

39 NetApp All Flash Array Das EF540/550 Flash Array kombiniert extrem hohe IOPS (mehr als ) und Reaktionsfähigkeit in einem Storage-System, das für Workloads mit hohen Performance-Anforderungen optimiert wurde. Höchste Performance Maximale Effizienz Enterprise- Verfügbarkeit Schnellere Geschäftsergebnisse, höhere Kundenzufriedenheit und Ausführung von mehr Operationen in kürzerer Zeit Keine Überprovisionierung und niedrigere Kosten durch geringere Raum-, Strom- und Kühlungsanforderungen Kontinuierliche Geschäftsprozesse dank bewährter Zuverlässigkeit, Verfügbarkeit und Sicherung auf Enterprise-Niveau

40 Maximale Effizienz Keine Überprovisionierung und deutlich niedrigere Kosten in 2-HE-System erbringt transaktionsorientierte Performance von über klassischen Laufwerken à U/min. Die um bis zu 95 % niedrigeren Raum-, Strom- und Kühlungsanforderungen senken die Datacenter-Kosten. Ein einzelnes leistungsstarkes EF540 System bewältigt eine deutlich größere Menge an Applikationsprozessen.

41 Zusammenfassung Die EF bietet Extreme Performance Mehr als IOPS bei Submillisekunden-Latenz Bis zu 6GB/s Datendurchsatz Umfangreiche Branchenerfahrung über Systeme ausgeliefert Konzipiert für höchste Zuverlässigkeit, Verfügbarkeit und Sicherung SANtricity storage management software Performance-optimiert Snapshot und Remote Mirroring (sync und async):

42 Zusammenfassung und Vergleich Flash Technologie mit Data ONTAP Wieso Flash Technologie? Welche Verwendungsmöglichkeiten gibt es? Wie funktioniert Flash mit Data ONTAP? Wie funktioniert Flash Accel? Vorstellung der EF540/EF550 Zusammenfassung und Vergleich

43 Zusammenfassung Clustered Data ONTAP bietet Unified Storage, Efficiency Features, Applikationsintegration, Non Disruptive Operations, usw. Virtual Storage Tiering Flash Cache - Cache im Controller Flash Pool - Cache im Aggregat Flash Accel - Cache auf dem Client Flash only Aggregat All Flash Array EF540/EF550 Mehr als IOs

44 Vielen Dank für Ihre Aufmerksamkeit

45 Details zum SSD Monitoring in ONTAP

46 SSDs at Deutscher Wetterdienst 2,5 Jahre in Produktion 1900 SSDs in 40 FAS3270/FAS6210 Controllern All SSD Aggregates mit hohem Write Anteil (Radar, Satellitendaten) storage show disk a... Rated life used: 1 % Spare blocks consumed: 21 %... Rated life used: 1 % Spare blocks consumed: 27 %... Rated life used: 1 % Spare blocks consumed: 14 %... Spare blocks consumed < 30% + Rated life used < 5% Bei dieser Abnutzung SSD Haltbarkeit > 5 Jahre

47 SSDs at Commerzbank 1 Jahr Produktion, SSDs im FlashPool FAS6280 CDOT, >500 VMs pro Node storage show disk a Rated life used: 1 % Spare blocks consumed: 4 % Rated life used: 1 % Spare blocks consumed: 5 % Spare blocks consumed < 10% + Rated life used < 2% Rated life used: 1 % Spare blocks consumed: 6 % Rated life used: 1 % Spare blocks consumed: 4 % Bei dieser Abnutzung SSD Haltbarkeit > 5 Jahre Rated life used: 1 % Spare blocks consumed: 4 %

48 Fazit SSD Abnutzung SSD Abnutzung geringer als erwartet SSDs Status wird per ASUP überwacht, bei kritischem Zustand werden ASUPs verschickt SSDs werden vor erreichen der Haltbarkeitsgrenze auf Spare kopiert