Isilon Scale Out NAS & Big Data

Transkript

1 Isilon Scale Out NAS & Big Data Ingmar Löke Senior Account Manager ISILON Storage Devision 1

2 Agenda Marktsituation Welche Treiber sind da draußen? Eingliederung im EMC Portfolio Produkt Überblick Isilon & Hadoop Ein Fallbeispiel: BackUp to Disk on Isilon 2

3 Marktsituation 3

4 The Big Bang of Information Vom Beginn der Zivilisation bis zum Jahr 2003, hat die Menscheit 5 Exabytes Informationen generiert. In Summe. Ende 2013, produzieren wir 5 Exabytes alle 10 Minuten. 4

5 80% der Daten sind unstrukturiert & Datei basiert! Source : 2011 IDC Digital Universe study 5

6 Vorkommen & Art der Daten Neue Technologien Unternehmen AIRBUS A380 GENERIERT 10TB DATEN ALLE 30 MINUTEN Telemetrie & Maschinen Struktur Video Überwachung Unstrukturiert Smart Grid STÄNDE ABLESEN ALLE 15 MIN GENERIERT 3,000X MEHR DATEN Geophysikalische Untersuchung Bildgebende Verfahren Öffentlich KOSTEN FÜR GENSEQUENZIERUNG REDUZIERT SICH $100M IN 2001 Medienbranche $10K IN 2011 Soziale Netze, Medien, Video-Daten Gen Sequenzierung 6

7 Eingliederung in das EMC Portfolio 7

8 Unterschiedliche Anwendungen benötigen unterschiedlichen Speicher Unstrukturiert Virtualisiert Strukturiert File Services Unstructured Data Archive NFS/CIFS/FTP/ HTTP NFS/iSCSI iscsi/fc/fcoe Vol1 Scale Vol2 Out Vol3 NAS Vol4 Vol Vol Vol Vol Vol Vol Vol Vol Lun1 Unified Lun2 Storage Lun3 Lun Lun Lun Lun Lun Lun Lun1 Lun2 Lun3 Lun4 Block Storage Lun Lun Lun Lun Lun Lun Lun Lun NAS NAS/SAN SAN/NAS 8

9 Produktüberblick 9

10 Was ist EMC Isilon? EMC Isilon ist ein geclustertes Network Attached Storage (NAS) System für Datei basierte oder unstrukturierte Daten Beispiele für Datei basierte oder unstrukturierte Daten : Medien Dateien Video, Musik, Digitale Bilder Unternehmensdaten -.doc,.ppt,.xls,.pdfs Machinendaten Sensordaten, Tests, Simulationen Beispiele für Block basierte oder strukturierte Daten: Transaktionsdaten Kreditkarten, ERP, Buchungsdaten Unternehmesanwendungen Alle rel. DB Systeme 10

11 Der Markt......und das Produkt OneFS S-Serie Performance Knotenarchitektur (3 Typen) 1 Laufwerk / Dateisystem 18TB (3 Knoten) 20PB (144 Knoten) Wirkliches Scale Out -> Skaliert linear (60sec) M+4 Ausfallsicherheit HDFS für Hadoop CIFS NFS FTP HTTP Reduced cost/tb X-Serie Zusammenarbeit NL-Serie Aktive Archive Versch. Software Optionen 11

12 Größtes und höchst skalierbares Filesystem Wesentlich höhere Skalierung als traditionelle Speichersysteme OneFS Skaliert von 18TB bis 20PB in einem einzigen Filesystem (Volume) Unter 60 Sekunden für einen unterbrechungsfreien Upgrade 12

13 Skalierbarkeit & Performance Scale-out Scale-up Scale-Out Scale-Up Skalierbarkeit Performance & Kapazität Nur Kapazität Performance Linear Degressiv bis negativ 13

14 Die neue Ebene der Effizienz Isilon AutoBalance BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED AutoBalance Automatisches Ausbalancieren der Daten über alle verfügbaren Cluster-Knoten reduziert Kosten, Komplexität und Risiken AutoBalance verschiebt Inhalte auf neue Knoten während das Cluster Online ist und in Produktion arbeitet Eliminiert hot spots Ermöglicht einen Speichernutzung von mehr als 80% EMPTY 14

15 EMC Isilon Hardware Portfolio A-Series S-Series Performance Accelerator Knoten Erhöht Performance IOPS-intensive Anwendungen, Random I/O X-Series Gleichzeitiger & sequentieller Durchsatz NL-Series Reduzierter Preis/TB Gute Preis/TB Rate, bis zu 20PB Speicher Kapazität 15

16 Hierarchisches Speichermanagement Isilon SmartPools Automatisiertes und Richtlinienbasiertes zuordnen und verschieben von Dateien/Ordnern innerhalb eines Filesystems Dateien Reduced cost/tb S-Serie Performance X-Serie Zusammenarbeit NL-Serie Aktive Archive Copyright 2012 EMC Corporation. Alle Rechte vorbehalten. 16

17 Das zuverlässigste Speichersystem Eingebaute Hochverfügbarkeit in der Cluster Architektur Mit N+2, N+3 und N+4 Absicherung, Daten sind 100% verfügbar Mit N+1 wenn Schutz, mehrere Platten sind Daten oder 100% Knoten ausfallen Verfügbar, auch wenn und eine Isilon Platte IQ bietet oder die ein in der Knoten ausfällt Industrie schnellsten Platten Wiederherstellungs- zeiten In weniger als einer Stunde! FAILED FAILED 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY Vert Sp Im th se Copyright 2012 EMC Corporation. Alle Rechte vorbehalten. 17

18 EMC Isilon Software Suite Schutz der Daten Snapshot IQ Snapshots zur Wiederherstellung SyncIQ Asynchrone Replikation SmartConnect Failover Automatismus, Last Verteilung SmartLock Revisionssicherheit, durch KPMG zertifiziert Administrierbarkeit SmartPools Tiering des Speichers SmartQuotas Quota management InsightIQ Monitoren der Performance & Auswertung 18

19 Isilon-Scale-out-NAS Vorteile von Isilon beim Speichern von Enterprise-Daten Einfaches Management Ein einziges Dateisystem, ein einziges Volume, globaler Namespace Enorm skalierbar Skalierbar auf bis zu 20 PB in einem einzigen Volume Bisher unerreichte Effizienz Über 80 % Speicherauslastung, automatisches Speicher-Tiering und Isilon SmartDedupe Datensicherheit der Enterprise-Klasse Effiziente Backups und Disaster Recovery sowie N+1- bis N+4-Redundanz Robuste Sicherheits-und Complianceoptionen Rollenbasierte Zugriffskontrolle; Zugriffszonen; SEC 17a-4-vorgabenkonforme WORM- Datensicherheit Data-at-Rest-Verschlüsselung (DARE) mit SED-Option (Self-Encryption Drives) Integrierte Unterstützung für Dateisystemauditing Betriebliche Flexibilität Multiprotokollunterstützung einschließlich nativer Unterstützung für HDFS; REST-basierte Plattform-APIs REST für Objekt und Cloud-Computing 19

20 Isilon & Hadoop 20

21 Isilon & Hadoop Natives Hadoop brint Vorteile Klassische Hadoop Architektur Daten Sicherheit: 3x spiegeln Daten Aufnahme: Nur HDFS (Kein CIFS/NFS) Skalierbarkeit: Komplexität durch Direct Attached Storage Single Points of Failure: Name Node Replikation: Keine geographische Spiegelung 21

22 Fallbeispiel: BackUp on Isilon 22

23 Potentiale & Chancen Ein Beispiel: BackUp & Archiving Zertifiziert für 3rd Party BackUp Software BackUp Prozess NFS / CIFS 23

24 TSM Die typischen Herausforderungen Wachstum der Backupdatenmenge > 50% pro Jahr Backupfenster wird zukünftig nicht mehr ausreichen Der Diskpool kann nicht linear sowohl in Kapazität als auch Performance skalieren Limitierungen von klassischen Filesystemen erhöhen die Komplexität des Managements 24

25 Warum Backup/Archive auf Platte? Sehr viel schnellere Datensicherung insbesondere für unstrukturierte Daten. Zugriff und Rücksicherung erfolgt schneller. Deutlich reduzierter Workload durch Migration und Reklamation Verbesserter SLA Rücksicherungszeiten unabhängig von Anzahl der Bandlaufwerke Bei Einsatz von NFS keine SAN Infrastruktur erforderlich 25

26 und wie kann ISILON hier helfen? Bereitstellen eines einzelnen Filesystems Alle Clusterknoten zeigen gleiches Filesystem mehrere Mountpoints für den Diskpool Scale out NAS mit Speicherkapazität von 15TB bis zu 20PB ISILON kann auf bis zu 120GB/s skalieren Einfaches Wachstum und granulare Erweiterungsmöglichkeit in Kapazität und Performance Neuer Knoten ist in 60 Sekunden im Cluster Nachkauf erst dann, wenn erforderlich 26

27 27