Storage Trends Mario Vosschmidt Alliance Manager, LSI Logic GmbH

Transkript

1 Storage Trends 2010 Mario Vosschmidt Alliance Manager, LSI Logic GmbH

2 Generelle Trends Preiserosion findet über alle Preiskategorien hinweg statt Aktuelle RAID Leistung übertrifft die Anwendungserfordernisse in vielen Segmenten Datenschutz- und Datenmanipulationseigenschaften werden von höherwertigen Systemen auf die unteren Marktsegmente übertragen Technologie - Weiterentwicklung Daten Deduplikation (3D) Verschlüsselung von ruhenden Daten Ende-Ende Datenschutz (T10DI), Datenintegrität NAS und CAS Archivierungssysteme für Referenzdaten Weiterentwicklung von Disk-Disk-Tape und VTL Lösungen Wiederaufleben von (Speicher) Netzwerkvirtualisierung File-Virtualisierung (Parallelisierung) Konvergenz von SAN, DAS, NAS und Applikationsservern Storage server LSI Proprietary 2

3 Allgemeine Entwicklung Speichersysteme Entwicklung zu parallelen Systemen massiv parallel >> 2 Knoten alle Komponenten aktiv Datenverteilung über alle Disks Cache maximal ausnutzen Gespiegelter write cache Cache Koheränz Große cache pools supersized cache mit SSD Technologie Alle Datenpfade aktiv Host-Pfade Disk-Pfade Automatisches (round-robin) load-balancing meist nicht sinnvoll Excessive Nutzung von CPU ressourcen LSI Proprietary 3

4 Allgemeine Entwicklung Datenschutz Vollständige Redundanz Mehrfache Auslegung von Systemkomponenten Disk Controller Disk Trays Disk Pfade Host Pfade RAID (Datenschutz Schicht) Neue Verfahren Verteilung über alle Disks Erkennen von tatsächlich benutzem Plattenplatz Thin Provisioning Datenmanipulation zeitlicher Schutz (Rollback) Räumlicher Schutz (verteilte Replikate) Zugriffsschutz (aka Virtualisierung) Verschlüsselung Ruhende Daten UND transiente Daten Ausfall-Schutz (zero downtime Fehlertoleranz) auch bei Softwarefehlern?? LSI Proprietary 4

5 Die technischen Layer Data Protection Layer (DPL) RAID LUN Virtualisierung Data Manipulation Layer (DML) Lokations Virtualisierung transparente Spiegel Kein Umschalten sichtbar, Keine Unterbrechung bei Wecheln primär-sekundär Multi way Snychron und asynchron Zeitliche Virtualisierung Snapshots Rollbacks Applikationsintegration Platzeffiziente Zuweisung Thin provisioning Automatische Speicherplatzverwaltung LSI Proprietary 5

6 Application aware storage oder storage aware Application? Transparent für Anwendungen Storage provisioning inegriert in Applikationen Automatisiertes Storage Management Migration HSM Regelbasierend Regeln müssen vom Anwender definiert werden Performance Klassifizierung Migration von Hot-spots Migration von Alt-Beständen Virtuelles Provisioning Thin provisioning Oversubscription LSI Proprietary 6

7 Konvergenz Zusammenwachsen von Block File Objekt Speicher Dieser Markt inst in starker Bewegung Sun Honeycomb, Panasas, IBM sofs, pnfs, Lustre etc Stream vs Random Automatische Lastverteilung Datenmigration regelbasierend Kosten Leistung Langzeitanforderungen/Compliance Ressourcen Gemeinsame Nutzung - oder Kollisionsfreiheit Die alte Diskussion - Shared storage versus dedicated storage Storage Cloud? LSI Proprietary 7

8 Appplikations-Integration Neue Generation von Storage Management middleware Monitoring TekTools Syncsort Quest Monitoring und Steuerung DataGlobal Steuerung (Provisioning) Citrix StorageLink VmWare zusätzlich zu den bekannten Enterprise Systemen EMC ECC HP Storage Essentials CA SRM Entwicklung getrieben durch einheitliches Management API SMI-S [1.3, 1.4] Marktbegleiter: Brocade, CA, Dell, HP, Hitachi Data Systems, LSI, Microsoft, NetApp und Symantec etc. LSI Proprietary 8

9 Zusammenfassung Die Kompelxität von Speicher- und Datenmanagement muss reduziert werden Die Kosten für die Administration der Daten sind höher als die reine Datenhaltung Das ist nicht alleine eine IT Aufgabe Die Anwender müssen Ihre Daten klassifizieren vorzugsweise VOR der Erzeugung Nicht alle Anwendungsfelder benötigen komplexe Systeme Segmentierung ist notwendig Es gibt keine Einheitsgröße Nicht alle Hersteller werden alles anbieten (können und/oder wollen) Konkurrenz belebt das Geschäft Coopetition tut not LSI Proprietary 9

10 Wohin entwickeln sich Speicherschnittstellen? Mario Vosschmidt Alliance Manager, LSI Logic GmbH

11 FibreChannel & Co Es gab und gibt eine sehr grosse Anzahl von Möglichkeiten, Massenspeicher an Computer anzuschliessen: Bus & Tag Escon FICON SMD IPI SCSI HIPPI Infiniband NAS (file services) SA-400 SASI ESDI ST506/412 IDE/ATA SATA Fibre Channel iscsi FCoE Firewire... LSI Proprietary 11

12 FibreChannel & Co Historisches SCSI (small computer systems interface) Enwickelt 1981 zur Verbindung von Computersystemen und Peripherie Drucker, Scanner, Festplatten, JukeBoxes etc. Ursprünglicher Standard spezifizierte Kabel, Signale, Kommandos (SPI) Fibre Channel Transportdienst für verlustlose Datenkommunikation 1994 standardisiert Basis für Storage Area Networks (SAN) Dient u.a. dem Transport von SCSI Kommandos (SPC) aber auch TCP/IP SAS (serial attached SCSI) Neuer Standard (2004) für den Transport von SCSI Kommandos Ersetzt SCSI parallel Interface (SPI) Infiniband High performance (cluster) System Interconnect Entstanden aus nextgeneration IO (ngio) und anderen Standards LSI Proprietary 12

13 Fibre Channel & Co Fibre Channel Gigabit Netzwerk - Deterministische Netzwerk-Infrastruktur Überwiegend für Speichernetze Hinter den Servern Entstanden aus Mainfraime Channel Seit ca de-facto Standard für externe Speicher Separates Netzwerk Management Komponenten KnowHow iscsi Nutzung von (bestehender) TCP/IP Infrastrukur für Speicher Low cost low performance Entry level Lösung (SMB, Workgroup) FCoE Konvergenz zur Abbildung von FC Leistung auf Ethernet Topologie Erweitungen der Ethernet Spezifikation Beginnende Marktpenetration SAS Serial attached SCSI Spezifiziert einen vollständiges Protokollstapel SAS 2.0 erlaubt Switches und Kaskaden LSI Proprietary 13

14 Markt-Dynamik FC & Ethernet (10GE) werden sich den SAN Speichermarkt aufteilen FC is wird sich wahrscheinlich nicht jenseits der verfügbaren Technologie ausdehnen (8Gb FC) 10Gbit Ethernet über Kuperkabel erlaubt iscsi Penetration, ermöglicht NAS Wachstum Einige Marktführer (u.a Cisco) propagieren intensiv FCoE (Fibre Channel over Ethernet) Technologie IB (Infiniband) bleibt in einer Nische für Spezialanwendungen Unified Storage (Datei/Block/Object) ist ein neuer Produkt-Schub Marketingbotschaft scheint bei einigen Benutzern eine gute Resonanz zu finden SAS Penetration aufwärts von Einstiegssystemen Die Technologiekonvergenz scheint schnell stattzufinden SAS Preise für Laufwerke bezogen auf die Kapazitäz sinken schnell SAS Switche erlauben kleine SANs LSI Proprietary 14

15 Transportdienste für SCSI Betriebssystem/Applikation SAS SCSI Schicht FCP iscsi FCP FCP FCP FCIP ifcp SRP/ iser TCP TCP TCP IP IP IP FCoE SAS FC Ethernet IB LSI Proprietary 15

16 OSI Schichten FC Korrelation (T11 FC-BB-5) LSI Proprietary 16

17 Technologie Roadmap Industriesicht Host Interface 4 Gb FC 20Gb Dbl Speed IB 1 Gb iscsi Gb FC QDR 10Gb iscsi 10Gb /FCoE 3Gb SAS 6Gb SAS Intra- System Interface 4 Gb FC 3Gb SAS 6Gb SAS Disk Drive Interface 4 Gb FC 3Gb SAS Letzte Generation von FC Laufwerken 6Gb SAS 3 Gb SATA 6Gb SATA External Drive Form Factor 3.5 Low Profile (7.2K 15K RPM) 2.5 High RPM LSI Proprietary 17

18 FCoE Plugfest Teilnehmer (FCIA) 29.Sep Absolute Analysis Amphenol Brocade Cisco Systems Emulex Finisar Corporation Hewlett-Packard IBM Intel Corporation LSI Corporation Mellanox Technologies Molex NetApp QLogic Corporation Spirent Communications LSI Proprietary 18

19 LSI Proprietary 19

20 SAS Architektur SAS Ziele Ersatz für parallel SCSI Einfach Preiswert Kompatibel mit SATA physischer Schicht (nicht umgekehrt) Weg zu skalierbarer Leistung Einfaches Management Ergebnis - Drei Transport und Link Protokolle in der SAS Domäne Serial SCSI Protocol (SSP) Unterstützt SAS (SCSI) Disk Drives, Tape Drives, etc. Serial ATA Tunneling Protocol (STP) Unterstützt Serial ATA Disk Drives Serial Management Protocol (SMP) Unterstützt SAS Expander (switches) LSI Proprietary 20

21 SAN Schnittstellen - Trends Fibre Channel SANs werden für viele Jahre den Enterprise Markt beherschen Grosse und wachsende installierte Basis von unternehmenskritischen Speichern 8Gbit im Vormarsch; Entwicklung von schnelleren Schnittstellein in Arbeit (10G? 16G? RDMA?) Weiter sinkende Preise für FC Komponenten SAS ist bereit, den 1Gbit iscsi und unteren Fibre Channel Markt zu übernehmen Neue Möglichkeiten für Direktverbindungen und kleine SANs Viel höhere Leistung als 1Gbit iscsi SAS und 1G iscsi verhindern eine Abwärtsmigration von Fibre Channel LSI Proprietary 21

22 SAN Schnittstellen - Trends 10/20G IB, 10GbE, FCoE wetteifert mit Fibre Channel jenseits 8G Beide starten von einer Installierten Basis kleinerer Systeme Einige Nachfrage nach InfiniBand Speichern für High Performance Computing und Datenbanken (Automotive, Wetter, Finanzanalyse) Nachfrage nach 10Gbit iscsi Speichern zur Aggregation von 1G iscsi Servern 10GbE über Kupfer wird die Penetrationsrate beschleunigen 10GbE iscsi Lebensfähigkeit als unmittelbarer Wettbewerb für FC unbewiesen (NIC & Fabric Fragen sind offen) FCoE könnte sich als Ersatz für FC SAN etablieren Finale Standardisierung Q1/2009 LSI Proprietary 22

23 SAS Roadmap - Linker Rand sind erste Interoperabiltitätstests - Endbenutzerprodukte 12 bis 18 Monate später 12Gb/s SAS 6Gb/s SAS 3Gb/s SAS Ultra 320 SCSI LSI Proprietary 23

24 Storage System Vorhersage nach Installationumgebung, $25 Externe Speichersysteme nach Installationsumgebung absolut ($B) $20 $B $15 $10 $5 $ DAS NAS FC SAN iscsi SAN ESCON/FICON SAN Externe Speichersysteme nach Installationsumgebung relativ ( (%) 100% 80% 60% 40% 20% 0% LSI Proprietary 24

25 Übersicht SAS entlehnt untere Schichten von SATA SAS entlehnt obere Schichten von Fibre Channel und FCP SCSI über Fibre Channel Abbildung FC layer ULP FC-4 Mapping FC-3 FC-2 Protocol FC-1 Code FC-0 Physical Standard(s) FCP (and various SCSI)** FCP FC-FS FC-FS FC-FS FC-PI Equivalent SAS layer(s) SCSI application Transport Port layer (roughly) Link and some transport Phy Physical Standards SAS & others * SAS SAS SAS SAS SAS *) SAS also supports ATA and management upper layers **) FC also supports VI, TCP, and others LSI Proprietary 25

26 FCoE Übersicht Vorschlag, FC Frames direkt über Ethernet Netze zu übertragen Simple 1-to-1 Kapselung von FC Frames in Ethernet L2 Frames Relativ einfache (stateless) Endpunktimplementierung (FCoE HBAs) Relativ einfache Netzwerkbrücke zwischen FC und FCoE Endknoten Ausgehend von nativer verlustloser Ethernet Linklayer Grundlage Kongestionhandhabung; kein Paketverlust; Priorisierung des Verkehrs (PFC), Data Center Bridging (IEEE Qbb, Qaz, Qau, Qub) Verbesserungen in mehreren Kommitee Sitzungen Standardisierung Frühjahr 2009 FC und FCoE Servers & Speicher müssen in demselben lokalen Netzwerk angesiedelt sein FCoE ist nicht routebar (FC und InfiniBand haben diese Eigenschaft ebenfalls) Bridging zu TCP-basieren Protokollen für WAN (z.b. FC-IP) LSI Proprietary 26

27 iscsi versus FCoE Konkurrierende Unified Wire NIC Ansätze iscsi FCoE RDMA Strategie* spekulativ Stateless NIC (SW TCP/IP) Exposed TOE (MS Chimney) iscsi HBA RDMA NIC (OpenFabrics) Stateless NIC* (SW TCP/IP) FC HBA RDMA NIC* (OpenFabrics) iscsi offload iwarp Simple Encap/Decap TOE (Memory intensive) FCoE TOE-less RDMA?* MAC Lossless MAC Various PHYs Various PHYs Full offload UW NIC TOE-less UW NIC built on Lossless L2 * Spekulative Unterstützung, wie weit kann FCoE gehen? LSI Proprietary 27

28 FCoE Bewertung / Herauforderung versus iscsi Eliminiert TCP/IP im Transport (CPU Zyklen oder TOE - verringert Latenz) Erhält den FC SAN Transport, Handhabbarkeit, Paradigma Liefert einen wenig disruptiven Pfad von FC zu Ethernet SANs Interoperatbilität von FC & FCoE Knoten im selben SAN ( FC-iSCSI bridging ist teuer) Besonders attraktiv für die installierte FC Basis Investitionsschutz FCoE Risiken der Adaption Deutlich später als iscsi (kein Problem für FC Basis) Kritische Abhängigkeit von Ethernet link-layer Verbesserungen Kritische Abhängigkeit von der Markeapzeptanz von einheitlichen L2 Subnetzen FCoE Mehrwert ist faszinierend könnte sich als Erbe von existierenen FC SANs herausstellen dämpft die iscsi Akzeptanz in existierenden FC SAN Applikationen LSI Proprietary 28

29 FCoE: Wege zur Fabric Konsolidierung 2010 * >= 2010 ** Heute 3 Fabrics FCoE Adaption Konsolidierung server server server server server server IB HCA FC HBA NIC IB HCA FC HBA NIC IB HCA FC HBA NIC IB HCA FCoE NIC Unified Wire NIC Unified Wire NIC Lossless IB fabric Lossless FC SAN Lossy Ethernet LAN Lossless IB fabric Lossless Hybrid FC & Enet Lossy Ethernet LAN Lossless Ethernet Subnet Lossy Ethernet LAN FC arrays FCoE & FC arrays FCoE Arrays SAN HBA Evolution: 4G FC > 8G FC > 10G FCoE HBA > 10G Unified Wire NIC SAN Fabric Evolution: FC > Hybrid FC/Lossless Ethernet > Lossless Ethernet als FC Technologie ** abhängig von RDMA fähigen NICs & Unterstützungsfokus FCoE Lieferanten LSI Proprietary 29

30 10GE Physik Metric CX4 XAUI-Copper RJ45 10GBase-T Cat6-Copper X2 SR Optical & XAUI-Copper XFP SR Optical SFP+ SR Optical Fixed $2.50 $50 - $100 N/A N/A N/A Physical Port Cost Modular $30 $50 $100 $150 $160 $300 $200 $300 $100 $160 Cable $30 $100 $10 $100 $40 $400 $40 $400 $40 $400 Distance Copper 1 15 m m 1 15 m N/A N/A Distance Optical N/A N/A m m m Port power Copper 3 Watt 5 Watts 3 Watts N/A N/A Port power Optical N/A N/A 5 Watts 5 Watts 5 Watts Erwartete 10GE port Installationen (1000) Dell Oro Group 1/23/06 10GE Speicher werden vorrangig mit Switches verbunden Was wird die physische Schnittstelle der Wahl? LSI Proprietary 30

31 10 Gbps Ethernet Markt Client und Infrastruktur Switch Ports 100 Mbps 1 Gbps 10 Gbps NIC/LOM Ports - prelim 100 Mbps 1 Gbps 10 Gbps 2,5 10.8M 10GE switch ports in M 10GE ports in ,2 Semiconductor Revenue ($B) 2 1,5 1 0,5 Semiconductor Revenue ($B) 1 0,8 0,6 0,4 0, LSI Proprietary 31

32 8Gb FC Ökosystem Anpassung September Gb T11 Specification Vendor A Vendor B Vendor C Vendor A Vendor B Vendor A Vendor B First Article Production (Draft) (Final) Standards IOCs HBAs Full Switches Any vendor LSI ESG Vendor A Vendor B Vendor C Vendor D No 8Gb disk drives??? - TBD??? - TBD??? - TBD??? - TBD Disk Drives Storage Systems 8Gb SFP Anpassung von 4Gb zu 8Gb langsamer als 2Gb zu 4Gb erwartet All OSs No OS dependencies 4Gb und 2Gb zu demselben Preis; 8Gb teurer als 4Gb Industry Plugfests Q1 Q2 Q3 Q st 8Gb FC Plug Fest??? - TBD Q1 Q2 Q3 Q4 Q Q2 Q3 Q4 Q1 Q LSI Proprietary 32 Connectors Operating Systems Interop Testing

33 Fibre Channel Roadmap Base2* Product Naming Throughput (MBps) Line Rate (Gbaud) T11 Spec Completed (Year) Market Avaiability (Year) 1GFC GFC GFC GFC 1, GFC GFC Market Demand 64GFC Market Demand 128GFC Market Demand Base10** Product Naming Throughput (MBps) Line Rate (Gbaud) T11 Spec Completed (Year) Market Avaiability (Year) 10GFC GFC GFC GFC TBD Market Demand 100GFC TBD Market Demand 160GFC TBD Market Demand FCoE Product Naming Throughput (MBps) Line Rate (Gbaud) T11 Spec Completed (Year) Market Avaiability (Year) 1GFCoE Market Demand 10GFCoE GFCoE TBD Market Demand 100GFCoE TBD LSI Proprietary 33 Market Demand

34 6Gb/s SAS Ökosystem Anpassung First Article Production (Draft) (Final) Intel Server Platform AMD Server Platform PCIe 2.0 Specification SAS-2 Specification 1 1 St St 6G 6G SAS SAS Server Server Platform Platform Ship Ship PCIe 2.0 Specification SAS-2 Specification 6GB/s SAS PCIe 2.0 Platform 6GB/s SAS PCIe 1.0 Platform Server Platforms Standards LSI ROC LSI ROC LSI Controllers LSI Expanders FPGA Testing ROC 6Gb/s SAS PCIe 2.0 FPGA Testing ROC 6Gb/s SAS PCIe 2.0 IOC 6Gb/s SAS PCIe 2.0 FPGA Testing Expander 6Gb/s SAS Interface Devices 6Gb/s SAS Drive A 6Gb/s SAS Drive B 6Gb/s SAS Drive C 6Gb/s SAS Cabling 6Gb/s SAS Connectors Mgt. GUI and API s Driver & BIOS Firmware (ctl. & exp.) LSI Lab SAS Plug Fest Same as SAS-1 1 at same distance Windows Linux Driver and BIOS 1 st 6G SAS Plug Fest Development Development Development SAS 1.0 wird zu SAS 2.x Erfahrung wird zur Weiterentwicklung genutzt Markteintritt in Phasen Initiator / Target FW DAS und internes RAID zuerst FPGA 1 st Si Externe RAID Systeme später Management I/F and API s 6Gb/s SAS HDD 6Gb/s SAS HDD 6Gb/s SAS HDD Disk Drives Cables Connectors Software Firmware Interoperability Testing Q1 Q2 Q3 Q Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q LSI Proprietary 34

35 Konvergierende RAID Speichersystemmärkte Host basieter RAID Markt PCI RAID Adapters RAID-on-Motherboard Low-Cost / High Volume SAN RAID Markt FC to FC Controller Midrange Module Storage RAS and Copy Services Historisch, zwei unterschiedliche Märkte Unterschiedliche Produkteigenschaften und Applikationen Kaum Überlappung Unterschiedliche Preis- und Verfügbarkeitsanforderungen Host-Based RAID Markt Low Cost Networked Storage SAS zu SAS/SATA iscsi zu SAS/SATA Storage Server RAID Shared Storage Blades SAN RAID Markt Heute treibt Konvergenz die Umsätze in den unteren Preissegmenten DAS Ökonomie im SAN SAS liefert eine ökonomisch sinnvolle, konsoliderte Lösung für Hosts, Disks und RAID systeme. LSI Proprietary 35

36 HDD Schnittstellen für Enterprise-Disk 100% 90% Fibre Channel 80% 70% 60% SAS 50% 40% SCSI 30% 20% SATA 10% 0% Other IDC LSI Proprietary 36

37 SAS Laufwerk Penetration nach IDC Preisbändern External Storage SAS Priceband Adoption 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% PB4 PB5-6 PB1-3 PB5-6 PB4 PB Source: LSI Logic LSI Proprietary 37

38 2.5 Disk Drive Entwicklung (Herstellersicht) Units sold (millions) " ATA 2.5" SCSI/SAS/FC 3.5" ATA 3.5" SCSI/SAS/FC IDC doesn t show crossover in the planning horizon Mostly internal to servers Actually starts to flatten before getting to 50% penetration Drive vendor views: Drive vendors doing enterprise 2.5 drives appear more aggressive than IDC Mostly internal to servers for the forecast timeframe SFF ~11% ~24% ~31% ~38% ~42% ~44% 4/05 May /07 Oct 2007 Majority is internal to servers External ramps in % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% FY06 FY07 FY08 FY09 FY10 15K FC 10K FC SFF-15K SFF-10K 15K SAS 10K SAS 15K U320 10K U320 SFF 18% 40% 58% 60% 65% LSI Proprietary Seagate Market Research & Market Development, 10/07 38

39 Flash Drives / SSD SSDs sind angetreten, klassische Magnetplatten in der IO/s Leistung zu über treffen Dadurch ergeben sich vollständig neue Managementansätze und Erfordernisse SSDs sind zu wertvoll, um sie für jeden Speicherbedarf einzusetzen Storage tiering ist die zwangsläufige Folge Der Anwender bekommt eine neue Aufgabe Der Wert bzw. die Bewertung der Daten ist zunehmend wichtig Die Quadratur des Kreises wird neu aufgelegt: Kapazität, Leistung, Preis Energiebedarf, Wartung, Administration Macht RAID überhaupt noch Sinn? SSD erfordert andere Datenschutzmechanismen Lebensdauer und zyklus treten in den Focus LSI Proprietary 39

40 Speicherdichte Device DRAM Critical Feature-size (F) 45nm Area (F 2 ) 6 Density (GBit/sq in) 50 NAND (SLC) 42nm 4 87 NAND (MLC 2-bit) 42nm Hard Disk 50nm NAND (MLC 3-bit) 42nm Stacked MLC 3-bit NAND (4 die) 42nm LSI Proprietary 40

41 Drive Leistung und Typen 1 KB/IO Random General Numbers for Comparison! NAND Write, MLC are worse Sequential Typical Consumer NAND 32 MByte/s (8 write) 40M Byte/s 8K IOPS 10K IOPS Performance Consumer HDD 35 Kbyte/s 80 MByte/s 66 IOPS 300 IOPS Enterprise 15k HDD 300 Kbyte/s 112 MByte/s 500 IOPS 1000 IOPS Micron ONFI 2.0 NAND 200 MByte/s 200 MByte/s (100K P/E Cycles) 17K IOPS 17K IOPS Micron Enterprise NAND?? (1M P/E Cycles, 4GByte) Samsung Enterprise NAND >270 MByte/s >270 MByte/s ~60K IOPS ~60K IOPS LSI Proprietary 41

42 Disk Drive Gehäuse High Density Fat SATA/SAS, 3,5, 60 drive 3,5, 12 drive 2,5, 24 drive 3,5, 16 drive LSI Proprietary 42

43 Zusammenfassung Fibre Channel ist und bleibt im Rechenzentrum dominant FCoE hat eine gute Chance sich neben nativem FC zu etablieren FCoE hat eine breite Unterstützung von Marktführern SAS ist die Disk-Schnittstelle der Zukunft Ablösung von FC Laufwerken Ökonomie der Skalierung Technisch ausgereift höhere Stückzahlen geringere Kosten SAS ist in kleinen Netzen auch als Host-Schnittstelle geeignet iscsi wird sich weiterentwickeln und ausbreiten Sinnvoll in kleineren Netzen mit geringen Antwortzeitanforderungen Auch für Weitverkehrsnetze einsetzbar IB (Infiniband) wird sich in HPC (High performance computing) Umgebungen weiter etablieren LSI Proprietary 43

44 Was ist mit der Sicherheit? Mario Vosschmidt Alliance Manager, LSI Logic GmbH

45 SAN Bestandaufnahme Daten reisen im SAN ungeschützt Klartext Keine Ende-Ende Datenintegrität Fehlerrate < im FC etwa alle 900 EB ein Fehler Festplatten speichern Daten mit stochastischen Verfahren Extended Partial Response/Maximum Likelihood (EPRML) Fehlerrate < (S-ATA < ) etwa alle 90 PB ein Fehler (9PB bei S-ATA) Bei S-ATA zusätzliche Fehler durch mis-positionierung werden nicht immer vom Controller erkannt Neue Fehlerbilder durch Verschleiß in SSD/Flash disks Erhöhung der Sicherheit Datenverschlüsselung Data-at-Rest Data in Transit Fehlererkennung- und korrektur in Dateninhalten T10 DIF LSI Proprietary 45

46 Daten Integrität vs Korruption Auf der Speicherebene gibt es zwei Arten von Fehlern Latente Sektor-Fehler Schleichende Datenkorruption Für ein Speichersystem bedeutet das Es ist besser, keine Daten zu liefern, als falsche! LSI Proprietary 46

47 Typische Ursachen von Dateninkonsistenz Betriebssystem-Fehler Kern O/S Device driver Storage Hardware und Firmware Bugs HBAs Arrays Disks Administrative Ursachen - Es menschelt System Administratoren Datenbank Administratoren Speicher Administratoren LSI Proprietary 47

48 Technologische Entwicklung kann das Risiko steigern Server und Storage Ökosystem verändert sich Multi Core Processoren 2, 4, 8, 16. Ausdehnung von Hauptspeicher 2GB, 4GB, 8GB, 32GB Ehöhung der Datenrate 8GFC, 10GbE, FCoE, Infiniband Höhere Datendichte auf Laufwerken, Verdoppelung alle 6 Monate Geografisch verteilte Verarbeitung, vituelle Rechenzentren, Grids, Clouds Billige S-ATA drive im Rechenzentrum Technologieentwicklungen sind unabhängig voneinander unabgestimmt Plugfests fokussieren auf ihren Sektor, nicht auf die gesamte Lösung LSI Proprietary 48

49 Wachstum erhöht das Risiko LSI Proprietary 49

50 Die Ursachen Disaster Computer viruses Software corruption or p... Human error Hardware or system pr... Source: Kroll Ontrack 2007 Perception Reality 2% 2% 2% 4% 7% 9% 11% 26% 78% 56% 80% 70% 60% 50% 40% 30% 20% 10% 0% Perception Reality LSI Proprietary 50

51 Die Wirkung Ein bekannter e-commerce Anbieter musste für Tage schliessen, weil ein Fehler im File-Manager Daten korrumpierte Ein führender Finanzdienstleister hatte wiederholt inkonsistente Daten in der Datenbank weil das virtuelle memory management Fehler induzierte The Cost of Downtime Average financial impact per hour of interrupted computer operations by industry Retail Brokerage $6,450,000 Credit Card Sales $2,600,000 Pay-Per-View Home Shopping (TV) Catalog Sales $150,000 $113,000 $90,000 Airline Reservations $89,500 Source: Gartner Group & Contingency Planning Research, Inc. $- $1,000,00 $2,000,00 $3,000,00 $4,000,00 $5,000,00 $6,000,00 $7,000,00 LSI Proprietary 51

52 Dateisysteme heute Beobachtung: Bugs sind überall Unzählige Fehler in Dateisystemen, davon einige ernsthaft viele davon können nur sehr aufwändig gefunden werden Erkenntnis: Plausibilitätsprüfungen sind begrenzt nützlich Viele Dateisysteme bieten solche Prüfungen Fehler in modernen Festplatten wie falsch positionierte oder Phantom writes führen zu: Plausibilitätstest erkennt das Probplem nicht, Dateninhalte wedern korrumpiert Alle überprüften Dateisysteme erkennen solche Fehler nicht Wiederherstellung: Nur wenige Dateisysteme verfügen über automatische Heilungsmechanismen Die meisten Dateisysteme benötigen manuelle Intervention PhD thesis of Vijayan Prabahakaran LSI Proprietary 52

53 Ende zu Ende Datenschutz Keine singuläre Lösung Wichtig ist das Zusammenwirken ALLER Komponenten Einige Firmen streben nach besserem Schutz in Ihren eigenen Produkten Das adressiert nur Fehler in einzelnen Komponenten Viele nicht zusammenwirkende Techologien Echte ende zu ende Datenintegrität erfordert das Zusammenwirken ALLER Austausch von Schutz Metadaten von der Applikation bis zur Platte Applikation und/oder Dateisystem/Datenbank erzeugt Schutz-Metadaten Metadaten werden im Transport UND in Ruhe verifiziert Korruption kann vor dem Schreiben erkannt werden LSI Proprietary 53

54 Von der Applikation bis zur Disk Datenintegritäts-Lösung im Überblick Datenintegritätsinformation wird bei der Datenerzeugung erstellt Metadaten werden von jeder Zwischeninstanz validiert Fehler werden zur Korrektur an die Applikation zurückgereicht Applikation, Filesystem, Datenbank erzeugt Metadaten HBA validiert Metadaten im Flug Storage Array validiert Metadaten im Flug Disk Drive führt finale Validierung durch, bevor die Daten geschrieben werden SAN LSI Proprietary 54

55 Daten Integritäts Modell SNIA Storage Model IV Application DATA File/record layer III Database (dbms) File system (fs) Metadata Case 1: Filesystem/Database PI Creator, Owns the Metadata IIc Host IIb Network IIa Block Aggregation Device I Storage devices ERROR Errors are detected and sent to creator PI Consumer, Uses the Metadata LSI Proprietary 55

56 Daten Integritäts Modell SNIA Storage Model IV File/record layer Application DATA Metadata Case 2: Application PI Creator, Owns the Metadata III Database (dbms) File system (fs) IIc Host IIb Network IIa Block Aggregation Device I ERROR Storage devices Errors are detected and sent to creator PI Consumer, Uses the Metadata LSI Proprietary 56

57 Daten Integritäts Modell SNIA Storage Model IV Application DATA III File/record layer Database (dbms) File system (fs) IIc IIb Host Metadata Network Case 3: Block Aggregation PI Creator, Owns the Metadata IIa Block Aggregation ERROR Device DATA Metadata PI Consumer, Uses the Metadata Errors are detected and sent to creator I ERROR Storage devices LSI Proprietary 57

58 Datenintegritäts-Schemata T10-DIF Validates Data From End to End (True E2E) + DIX(Data integrity plus extensions) T10-DIF(Data Integrity Field) Validates Data from Driver to Spindle Oracle H.A.R.D. Validates Data in flight to the Array Normal I/O Vendor Specific Integrity measures Vendor Specific Integrity measures Vendor Specific Integrity measures Vendor Specific Integrity measures Vendor Specific Integrity measures Application OS/File System I/O Controller Disk Array Disk Drive From SNIA DITWG LSI Proprietary 58

59 Warum ist Datenintegrität wichitg? Umbemerkte Korruption kann irreparable Schäden verursachen Backups/Archive können korrupte Daten enthalten sind nicht vertrauenswürdig Unerkannte Datenkorruption kann den DBA zu falschen Korrekturmassnahmen verleiten Nicht-Verfügbarkeit von Daten kann teuer bis tödlich sein Was können Sie tun? Standardisierung vorantreiben SNIA hat Data Integrity (DI) als formale Technical Working Group (TWG) etabliert Werben für die Techologie Fragen Sie Ihren Server/Storage Anbieter nach seinen Plänen zur Verbesserung der Datenintegrität LSI Proprietary 59

60 Referenzinformationen Ref 1: Gartner Study 2007 Ref 2: Kroll On track 2007 Ref 3: Gartner Group & Contingency Planning Research Inc. Ref 4: IRON File Systems V. Prabhakaran, L. Bairavasundaram, N. Agrawal, H. Gunawi University of Wisconsin, Madison Ref 5: Data Integrity Bernd Panzer-Steindel CERN/IT, April 07 Ref 6: Disk Failures in the Real World L. Bairavasundaram, G. Goodson, B. Schroeder, A. Arpaci-Dusseau, R. Arpaci- Dusseau, FAST 08 LSI Proprietary 60

61 Full Disk Encryption (FDE) Was ist das? Mario Vosschmidt Alliance Manager, LSI Logic GmbH

62 Warum wird der Schutz von ruhenden Daten immer wichtiger? Bruch von Vertraulichkeit wird häufiger Sensitive Daten von Kunden, Partnern und Mitarbeitern sowie geistiges Eigentum sind in Gefahr A recent investigation showed that 50% of the drives returned for servicing by customers contained readable sector Seagate 4/7/08 Letztendlich verlassen Laufwerke den Kontrollbereich der IT Administration Wiederverwendung, Außerbertriebsetzung, Entsorgung oder Service Datensicherheit wird mehr und mehr ein Thema des Managements durch wirtschaftliche und regulatorische Notwendigkeit Die aktuellen Methoden sind nicht mehr ausreichend Datenvernichtung ist bisher eine manuelle Aufgabe und mit Fehlern behaftet Gelöschte Dateien können wiederhergetellt werden Auch passwortgeschützte Informationen sind durch entsprechend fähige, kriminelle Mitmenschen lesbar zu machen LSI Proprietary 62

63 FDE (Full drive Encryption) FDE Laufwerke aktuell von Seagate, andere werden folgen erster Wurf ist das Resultat einer Zusammenabeit zwischen IBM, Seagate, LSI Lokales Key Management auf dem RAID Controller Anwendungsfälle LSI Proprietary 63

64 FDE Drive Basics Full Disk Encryption Drives Die Drives verrschlüsseln immer nach dem Einschalten von FDE Neue Laufwerke arbeiten zunächste wie Non-FDE Drives Das Sicherheitssystem muß eingeschaltet werden Wenn FDE eingeschaltet wurde: Der Controller muss sich gegenüber den drives Authentifizieren mit einem lock key (das ist nicht der Crypto-Key) Drives antworten nicht auf I/O Kommandos ohne vorher entsperrt zu werden Zunächst Fibre Channel drives von Seagate Andere Hersteller werden folgen Dieser Sicherheitsmechanismus ist standardisiert Trusted Computing Group Enterprise SSC LSI Proprietary 64

65 FDE Drive Ablauf LK Lock Key Storage Server DEK Data Encryption Key Correct LK? Clear Data Drive responds to No Read or Write Reqs Hash LK No = Yes Clear LK decrypts DEK Unlock HDD DEK encrypts and decrypts User Data Hashed LK Encrypted DEK Encrypted User Data LSI Proprietary 65

66 Definitionen - Drives Security Capable Drive Das Laufwerkt enthält die Crypto Engine Das sagt nichts über den drive Status crypt oder nicht Security Enabled Drive Das Drive Security System is eingeschaltet Drives mit ausgeschaltetem Security System verhalten sich wie normale Laufwerke LSI Proprietary 66

67 Definitionen Drive Lock Status Locked Die drive besitzt das Sicherheitsmerkmal Drive Security wurde eingeschaltet Der Lock Key wurde der drive nicht vorgelegt Datenzugriff ist nicht möglich Unlocked Die drive besitzt das Sicherheitsmerkmal Drive Security wurde eingeschaltet Der Lock Key wurde der drive vorgelegt Datenzugriff ist möglich Transition Die Drives sind beim Einschalten (power on) gesperrt SCSI resets ändern den Lock-Status nicht LSI Proprietary 67

68 Definitionen - Keys Lock Key Erlaubt Zugriff auf die drive Sicherheit Erlaubtg Freischalten der Daten Drive ist Schrott ohne den Lock-Key Encryption Key Wird benutzt um Daten zu ver- und entschlüsseln Verwaltet durch das Laufwerk Verläßt das Laufwerk nie LSI Proprietary 68

69 Drive Lock Key Speicherung Der Controller muss den Drive Lock Key verwalten Jedes Speicher-System hat seinen eigenen Drive Lock Key Der Drive Lock Key muss geschützt werden Der Lock Key mus beim power-on gelesen werden Lock Key im NVSRAM auf den Controllern Boot Time Vorgehen Lock Key muß beim System-Boot vorhanden sein Controller halten Lock Key deshalb im NVSRAM LSI Proprietary 69

70 Generierung von Keys Lock Keys Wenn das System schon eine Secure Volume Group enthält Benutze den existierenden Lock Key. Lesen des Lock-Keys aus dem NVSRAM. Benutze eine drive zu Erzeugen eines Random Lock Keys Dives haben eine sehr gute Entropie. Encryption Keys Die drives erzeugen immer Random Encryption Keys Encryption Key wird niemals von der Drive übertragen Drive Encryption nach AES LSI Proprietary 70

71 Persistente Keys Lock Key ist gespeichert im NVRAM Lock Key ist nicht gespeichert auf Drives Lock Keys werden zwischen Controllern synchronisiert Lock Key is NVRAM versteckt Nicht verschlüsselt LSI Proprietary 71

72 Lock Key ID Identifiziert den Lock Key des Storage-Systems Wird in einem dedizierten Bereich auf Drives abgelegt Die Lock Key ID kann immer von der Drive gelesen werden Lock Key ID kann nur auf die drive geschreiben werden, wenn: Drive security eingeschaltet ist Die Drive aufgeschlossen wurde LSI Proprietary 72

73 Volume Group Typen Nicht sicherbare Volume Group Verhalten sich exakt wie normale Volume-Groups Nutzt non-encrypting drives oder solche, deeren Sicherheitssystem ausgeschaltet ist Sichere Volume Group Nutzt ausschliesslich encrypting drives Drive Security ist eingeschaltet Sicherbare Volume Group Nutzt ausschliesslich encrypting drives Drive Security ist ausgeschaltet LSI Proprietary 73

74 Neue Secure Volume Group Drives identifiziert All Drives müssen verschlüsselungfähig sein All Drives müssen das Sicherheitssystem eingeschaltet haben. Alle drives müssen die Standardvoraussetzungen für das Erzeugen einer Voluem Group aufweisen. Drives vorbereitet Drive Security System ist eingeschaltet Drives haben den Lock Key des Speichersystems erkannt Lock Key ID ist auf den Drives vorhanden Drive erzeugt einen Random Encryption Key DACstore Information wird auf die Drives geschrieben Controller beginnt normalen Volume Group Initialisierungs-Prozess LSI Proprietary 74

75 Secure Volume Group Regeln 1. Eine sichere Volume Group kann nicht in eine non-secure volume Group umgewandelt werden. 2. Eine nicht sichere Volume Group kann in eine sichere Volume Group konvertiert werden, wenn die Voraussetzugen dafür vorliegen Crypto drives 3. Sichere Volumes können gelöscht und die Drives wiederverwendet werden Wenn eine sichere Volume Group gelöscht wird, bleibt das Sicherheitssystem eingeschaltet LSI Proprietary 75

76 Spares A Spare Drive für eine Secure Volume Group Secure Volume Group Spare drives müssen das Sicherheits-Feature aufweisen Das Sicherheitssystem muss eingeschaltet sein Nicht sichere Volume Group Spares können das Sicherheits-Feature aufweisen Non-Security drives werden empfohlen. Spare darf Sicherheit nicht eingeschaltet haben Spares müssen den sonstigen Standardbedingungen entsprechen Spares funktionieren wie sonst auch Keine Intervention vom Admininstrator erforderlich LSI Proprietary 76

77 Wiederverwendung einer Drive Macht drive vollständig wiederverwendabar Drive kann in sicheren und nciht sicheren Umgebungen verwendet werden. Vorherige Daten und Keys sind nicht zugreifbar. Schnell Millisekunden Stellt Auslieferungszustand wieder her Prozess Unlock Drive mit Drive Lock Key Drive erzeugt einen neuen Encryption Key Drive Security ist disabled (kein Lock Key benötigt) WARNUNG! Daten auf der drive werden permanent und unwiderruflich gelöscht Es gibt keine Wiederherstellung LSI Proprietary 77

78 Drive Recovery Benutzt wenn der Lock-Key nicht bekannt ist. Drive kann nur insgesamt wiederverwendet werden kein Zugriff auf Daten. Machr Drive voll wiederverwendbar Wie Wiederverwendung Wiederverwendung Entsperrung mit Drive Master ID Aufgedruckt auf drive label. Elektronisch lesbar von der drive. Drive generiert neuen Encryption Key Daten sind weg Drive Security ist Disabled (Kein Lock Key benötigt) LSI Proprietary 78

79 Volume Group Migration Drive Migration Benutzt um eine Volume Group zu einem anderen Speichersystems zu migrieren Ersatz eines Controllers in Simplex-Systemen Austausch von beiden Controllern in Duplex-Systemen Anwendung existierender Drive Group Migration Technik. Der drive Lock Key muss in das Zielsystem eingebracht werden The Lock Key wird transferiert über das Key Archiv Die drives bekommen einen neuen System Lock Key nach Migration. Both keys müssen bekannt sein Quellsystem und Zielsystem LSI Proprietary 79

80 Key Sicherung Drive Lock Key Transferiert via Key Backup Benutzer gibt eine Pass Phrase ein Pass Phrase wir gehashed The der Lock Key wird encrypted mit der hashed pass phrase Dieser Encrypted Lock Key ist das Key Backup Kann auf jedes andere Speichersystem digital übertragen werden Lock Key Pass Phrase Hash Encryption Blob LSI Proprietary 80

81 Key Archiv AES Encryption Backup/Transport Backup/Transport Media Media Lock Key Hash Pass Phrase LSI Proprietary 81

82 Wiederverschlüsselung Erlaubt Änderung des Lock Keys The Array erzeugt immer einen neuen, zufälligen Lock Key Die FDE Drives liefern diesen random Key. LSI Proprietary 82

83 Sonstiges Kein Performanceverlust durch FDE FDE drives sind explizit zu ordern FDE ist ein Lizenz-Feature LSI Proprietary 83

84 LSI Proprietary 84

85 Vermartungsstrategien Mario Vosschmidt Alliance Manager, LSI Logic GmbH

86 Markten durchdringung Vertriebswege Direkt Herstellerpräsenz Oft konkurrierende Vertriebsmodelle Indirekt Partnermodell Distribution Handel White box OEM Modell Branding durch Hersteller Begleitung durch Technologie-Lieferant (OEM-plus) diskless / disk LSI Proprietary 86

87 Herstellerunterstützung Interoperabilität Host-Integration HBA Betriebssystem-Treiber Replika Integration VDS/VSS SMI-S APIs Array- und applikationsseitig Service Telefonseelsorge Eskalationsmanagement Zeitlicher Umfang (7x24) Integrationsleistung Feld-Unterstützung Lösungs-beschreibungen (Blaupausen, solution briefs) Kundenspezifische Anpassungen LSI Proprietary 87

88 Zusammenfassung Der Speichertechnologiemarkt ist ein reifer Markt Endbenutzer bestimmen das Marktgeschehen Speichertechnologien sind ausgereift Es gibt kaum funktionale Differentiatoren für die Hersteller Mit solid state Disk Technologien werden Brüche im derzeitgen Markt sichtbar Klassscher storage server High density SSD Technik LSI Proprietary 88

89 Fragen LSI Proprietary 89

90 LSI Proprietary 90