Webcast vom Software Defined Storage für den Mittelstand machen Sie es doch wie Google, Amazon und Co.

Transkript

1 Webcast vom Software Defined Storage für den Mittelstand machen Sie es doch wie Google, Amazon und Co.

2 Software Defined Storage für den Mittelstand - machen Sie es doch wie Google, Amazon und Co. Michael Stanscheck Storage Sales Executive Central Europe michael.stanscheck@suse.com Follow

3 Agenda Einführung in Software Defined Storage Vorstellung SUSE Enterprise Storage Features und Roadmap Ökonomische Vorteile Technik 2

5 Warum günstiger Speicher für Ihr Unternehmen doppelt wichtig ist Alte Familienbilder sind oft erst interessant, wenn man selbst ein gewisses Alter erreicht... Source : IT Brand Pulse The Epic Migration to Software Defined Storage Quelle: 4

6 Warum günstiger Speicher für Ihr Unternehmen doppelt wichtig ist Bestimmte Firmendaten können auch erst nach einer gewissen Zeit interessant sein... Source : IT Brand Pulse The Epic Migration to Software Defined Storage 5

7 Datenwachstum durch Industrie 4.0 Predictive Planning: Sensoren liefern Echtzeitinformationen an zentrale Systeme Ziel: Wann in den nächsten Wochen (Tag, Stunde, Minute) fällt mein System aus Problem: Speichertechnologie war bisher oft teurer als der Mehrwert SUSE Kunde aus dem Mittelstand: Wir haben 400 Maschinen, 5 Sensoren pro Maschine, jeder Sensor liefert alle 2 Sekunden 5Kb Daten 400 x 5 x 5Kb = 9,7MB alle 2 Sekunden Pro Tag ca. 421 GB Pro Jahr über 150 TB Datenwachstum 6

8 Capacity shipped (PB) Datenwachstum nach Storageklassen Worldwide Capacity-Optimized, Performace-Optimized, and I/O-Intensive Storage Systems Shipments, I/O intensive Performance optimized Capacity optimized Source: IDC,

9 Marktentwicklung Enterprise Storage Revenue and Milestones Enterprise SDS Traditional enterprise Storage Hyperscale SDS Wikibon and IT Brand Pulse Source : IT Brand Pulse The Epic Migration to Software Defined Storage 8

11 SUSE Enterprise Storage Eine hochskalierbare, softwarebasierende Storagelösung, die Unternehmen den Aufbau einer kosteneffektiven Speicherplattform, basierend auf Standard Serverhardware ermöglicht und zugleich alle Enterprise Funktionen unterstützt, die Kunden von einer derartigen Lösung erwarten. SUSE Enterprise Storage basiert auf dem Open Source Projekt 10

12 SUSE Enterprise Storage Datacenter Tiering High End Workloads All other Workloads FC Ethernet All Flash Array SUSE Enterprise Storage 11

13 Storage Wie wir es sehen Heute ist Storage wie ein Hotel mit 1000 Zimmern Zimmerkarte an der Rezeption 4 stellige Zimmernummer Man bekommt immer wieder das gleiche Zimmer Wenn es brennt, wird das komplette Hotel evakuiert Aktuelle Lösungen erfüllen die aktuellen Anforderungen... So wie ISDN Karten 1994 das Bedürfnis nach schnellem Internet... 12

14 Storage Wie wir es sehen Morgen ist Storage wie ein Hotel mit 1 Milliarde Zimmern: Hat keine Rezeption mehr, das nächste freie Zimmer ist Ihr Zimmer Wenn Sie das Zimmer verlassen und zurückkommen, nehmen Sie das nächste freie Zimmer Es ist immer etwas los, denn: Irgendwo brennt es immer Teile werden immer angebaut Andere abgerissen 13

15 (R)evolution zum Software Defined Anything Eine Applikation pro Server ($$$$$) Alle Applikationen als VM + Zentraler Storage ($$$$) Keine Proprietäre Hardware mehr ($$) One App One App One App O S O S O S Hypervisor One App One App One App Software Defined Anything O S O S O S Traditionelles Storage Compute: Standard x86 Server Storage: Standard x86 Server Netzwerkswitches Alles physikalisch Virtualisierung Kostenersparniss im Compute Bereich Infrastructure as a Service Ressourcenpool aus x86 Servern 14

16 Was Analysten sagen Today, over 80% of new workloads in the enterprise are deployed on virtual machines, and the benefits of server virtualization have signalled IT organizations it s time to consider a migration to software defined networking and storage. IT Brand Pulse 15

17 Anwendungsfälle Anwendungen Industrie 4.0 Unstrukturierte Daten Healthcare Foto/Video Dienste Betriebssysteme Hypervisor Protocols FS SUSE Enterprise Storage 16

19 Überblick Technik Populärste OpenStack Distributed Storage Lösung Hochskalierbar von TB bis Brontobyte Enterprise Storage Funktionalitäten No Single Point of Failure Hochverfügbarkeit durch Spiegelung in multiple Rechenzentren Erasure Coding (effizientes RAID) Cache Tiering Unified Block, Object Interface Thin Provisioning Aufgebaut auf Cluster-Servern Self Healing Technology Self Managing Technology SUSE Enterprise Storage 2.1 Roadmap 18

20 19 Advisory Board

21 Infrastructure Service CEPH Community Projekt CURRENT STATE OF COMMUNITY CEPH Features Legend: Object Storage Block Storage File System Included Partial Coming Management Node Industry Leading Storage Functionality Simple Install, Management and Monitoring Heterogeneous OS Access Monitor Nodes Storage Nodes Remote Cluster Highly Redundant Data Cluster Unlimited Scalability Policy-based Data Placement Stretch Cluster Replication Security Data Encrypted in Flight Data Encrypted at Rest Data Compression Data Deduplication Async Remote Data Replication 20

22 Infrastructure Service Features in SUSE Enterprise Storage vs. CEPH Projekt SUSE Enterprise Storage 2.1 Features Legend: Object Storage Block Storage File System Included Partial Coming Management Node Industry Leading Storage Functionality Simple Install, Management and Monitoring Heterogeneous OS Access Monitor Nodes Storage Nodes Remote Cluster Highly Redundant Data Cluster Unlimited Scalability Policy-based Data Placement Stretch Cluster Replication Security Data Encrypted in Flight Data Encrypted at Rest Data Compression Data Deduplication Async Remote Data Replication 21

23 Infrastructure Service Ausblick SUSE Enterprise Storage 3 SUSE Enterprise Storage 3 Features Legend: Object Storage Block Storage File System Included Partial Coming Management Node Industry Leading Storage Functionality Simple Install, Management and Monitoring Heterogeneous OS Access Monitor Nodes Storage Nodes Remote Cluster Highly Redundant Data Cluster Unlimited Scalability Policy-based Data Placement Stretch Cluster Replication Security Data Encrypted in Flight Data Encrypted at Rest Data Compression Data Deduplication Async Remote Data Replication 22

25 SUSE Enterprise Storage Kostenvergleich 400 Trad. Storage vs. SUSE Enterprise Storage Jahr 1 Jahr 2 Jahr 3 Jahr 4 Jahr 5 Jahr 6 Datenwachstum Kapazitätsinvestition ab Tag 1 für in 3 Jahren Disruptive Migration nach 3 Jahren Pay as you grow Lebenszyklus nach Businessanforderung Unkalkulierbare Kosten bei Upgrades Investitionsschutz durch lineare Kosten Jahr 1 Jahr 2 Jahr 3 Jahr 4 Jahr 5 Jahr 6 Massive Wartungskosten ab Jahr 3 Performance on Demand Suse Trad. Storage 24

26 Beispielkonfigurationen Basiskonfiguration: 4 Object Storage Devices (OSD) mit unlimitierter Kapazität 3 Monitoring Server Management Server Starterpack: SUSE Enterprise Storage Base Config, 4 OSD Nodes with 1-2 Sockets, Prio. Subscription Erweiterung pro OSD: SUSE Enterprise Storage Exp. Node, 1 OSD Node with 1-2 Sockets, Prio. Subscription 25

28 Heterogener Speicherzugriff Cluster Network OSD Monitoring Server Public Network Filebasierter Zugriff (*) Nativer Blockzugriff Legacy Blockzugriff Objektbasierter Zugriff (*) Filesystem Support geplant für Sommer

29

30 Corporate Headquarters Maxfeldstrasse Nuremberg Germany (Worldwide) Join us on: 29

31 Unpublished Work of SUSE LLC. All Rights Reserved. This work is an unpublished work and contains confidential, proprietary and trade secret information of SUSE LLC. Access to this work is restricted to SUSE employees who have a need to know to perform tasks within the scope of their assignments. No part of this work may be practiced, performed, copied, distributed, revised, modified, translated, abridged, condensed, expanded, collected, or adapted without the prior written consent of SUSE. Any use or exploitation of this work without authorization could subject the perpetrator to criminal and civil liability. General Disclaimer This document is not to be construed as a promise by any participating company to develop, deliver, or market a product. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. SUSE makes no representations or warranties with respect to the contents of this document, and specifically disclaims any express or implied warranties of merchantability or fitness for any particular purpose. The development, release, and timing of features or functionality described for SUSE products remains at the sole discretion of SUSE. Further, SUSE reserves the right to revise this document and to make changes to its content, at any time, without obligation to notify any person or entity of such revisions or changes. All SUSE marks referenced in this presentation are trademarks or registered trademarks of Novell, Inc. in the United States and other countries. All thirdparty trademarks are the property of their respective owners.

32 #WoIstDasGeeko 1

33 Florian Hettenbach Enterprise Storage Unser Weg zu So-ware Defined Storage 2

34 Unsere Reise 3

35 Linux basiert Enterprise Speicher ZF Windows basiert 4

36 Object-Speicher ZFS basiert Entry-level Lösungen 5

37 Der Wandel

38 Spezialisiert Standardisiert 7

39 Die Zeit ist reif

40 Warum?

41 Was wir gebaut haben

42 11

43 64 GB 8TB HDD 1TB SSD 12

44 Die Infrastruktur

45 Admin Host NETZWERK 10GBASE-T CLUSTER OSD1 OSD2 OSD3 OSD4 MON MON MON Host Netzwerk 14

46 Rados Object Host Netzwerk Rados Block iscsi Gateway Rados GW S3/Swift 15

47 Suse Enterprise Storage Heute

48 SES 2 RBD iscsi Gateway Verschlüsselung Erasure Coding 17

49 Software Calamari Monitoring MON-D SES 2 SLES 12 18

50 Testing Pool 1: 16x HDD OSDs Pool 2: 8x SSD OSDs rados p [poolname] bench 600 write 19

51 Ergebnisse - HDD

52 x HDD OSDs 3xRep - MB/s Seq. Lesen Zufällig Lesen Schreiben 21

53 x HDD OSDs EC(2+1) - MB/s Seq. Lesen Zufällig Lesen Schreiben 22

54 Ergebnisse - SSD

55 x SSD OSDs 3xRep - MB/s Seq. Lesen Zufällig Lesen Schreiben 24

56 x SSD OSDs EC(2+1) - MB/s Seq. Lesen Zufällig Lesen Schreiben 25

57 Zusammenfassung Durchsatz

58 Vergleich Schreiben HDD 3xRep HDD EC2 SSD EC2 SSD 3xRep 27

59 Latenz

60 1,34 ms 4 MB Blocks Echt?! h5ps://so-ware.intel.com/en-us/blogs/2013/10/25/ measure-ceph-rbd-performance-in-a-quangtagve-way-part-i h5ps://indico.cern.ch/event/274555/session/16/contribugon/10/a5achments/ /685037/ceph_hepix_2014.pdf 29

61 Hohe Leistung was gilt es zu beachten?

62 Greifen Sie zu HBAs Jumbo Frames EIN > 64GB RAM 31

63 Erasure Coding ist einen Test wert Verschwenden Sie Ihre SSD Power nicht ans Betriebssystem! SSD Qualität zählt 32

64 33

65 Beschreibung 240GB Samsung PM GB Intel S3710 Haltbarkeit Drive Writes Per Day 350 TB 0.79 DWPD x TB 9.68 DWPD 34

66 Optimierungspotential Switche Verkabelung Journaling 35

67 Wie geht s weiter? Mehr Performance Tests Mehr Optimierung Veröffentlichung Whitepaper 36

68 Was wir daraus gemacht haben

69 38

70 Allround Kapazität Geschwindigkeit 39

71 Gewonnene Erkenntnisse

72 Vertrauen Sie nicht Ihrem Kalender KEIN Raid-Controller Machen Sie sich bereit zu lernen 41