Archivieren mit Hitachi s Content Archive Platform HCAP Wolfgang Draese Pre-Sales Consultant
2008 Unternehmens Ausblick Hitachi führt die Industrie in die Speicher Virtualisierung an Hitachi ist das einzige Unternehmen das Speicher Virtualisierung in seinem Flagschiff einbaut- Mitbewerber haben Virtualisierung nur in Peripherie Produkten Mit den Intelligenten Virtuellen Kontrollern hat Hitachi das Gehirn vom Körper des Speichers getrent Die Innovation aus dem Produkt wieder einmal werden die Märkte getrennt Hitachi bietet den höchsten Grad an Hardware und Software Erfahrungen, wie an den Plattform Richtungen und dem Portfolio von einheitliche Storage Services 2
Hitachi Data Systems im Überblick 100% ige Tochter der Hitachi,Ltd.. (NYSE:HIT) gegründet 1989 Direkter und indirekter Vertrieb in 170Ländern & Regionen 3,400 Mitarbeiter (steigend) Hitachi, Ltd. Schwerpunkt in Speicher Infrastruktur Lösungen, Speicher Management Software und Speicher Consulting Services Spitzenleistungen im Kundenservice Verliehen an Hitachi Data Systems von: 3
Hitachi, Ltd. (NYSE:HIT/TSE:6501) Einer der weltgrößten Elektronikkonzerne gegründet 1910 Hersteller von 20.000 Produkten 932 Niederlassungen 355.000 Mitarbeiter Umsatz im GJ2006 US-$86,8 Milliarden GJ2006 F&E Investitionen: US-$4,5 Milliarden da 40% im IT-Bereich über US-$ 5,6 Milliarden in cash Nummer 48 in der 2007 FORTUNE Global 500 -Liste 4
Hitachi, Ltd. GJ2006 Umsatz nach Industriesegment GJ2006 Umsätze von US-$86,8 Mrd. Finanzdienstleistungen Energie- und Industriesysteme Elektronische Geräte 26% 4% 11% 13% Digital Media und Konsumerprodukte 21% 10% Informationssysteme und Telekommunikation 15% Logistik, Dienstleistungen und Weiteres High Functional- Materialien und Komponenten 5
Hitachi, Ltd. weltweit einziger vertikaler Speicheranbieter mit US-$7,9 Mrd. Umsatz Zwei starke Storage Business-Gruppen: Hard Disk Drive (HDD) Business/ Hitachi Global Storage Technologies: US-$ 4,9 Mrd. Speichersysteme und Lösungsgeschäft/Hitachi, Ltd. und Hitachi Data Systems: US-$ 3,0 Mrd Speichertechnologie-Marktführer: Enterprise Speicher Plattform, Midrange Speicher Plattform, Speicher- Management Software, Beratungsdienstleistungen, HDDs Wachstum und Investition in neue Märkte: Intelligente Virtual Storage Controller, Midrange Systeme, Rich Media, Mobile Music, Game Players ermöglichen das Terabyte Home 6
Hitachi, Ltd.: Eines der 10 größten Software Unternehmen weltweit 2006 Umsatz von $9 Mrd. Hitachi, Ltd. gelistet auf #9 Hitachi Global Software Angebote: Business Continuity Storage Management Tiered Storage Software Middleware Web Server Software Operating Systems Source: Software Magazine 7
Hitachi, Ltd.: Die Schöpfer von Innovationen Hitachi USP ASIC U.S. Patent & Trademark Office 2005 Rankings Hitachi, Ltd. #8 Hitachi Global Patent Wachsendes Portfolio: Storage System Technologies RFID Solutions Biotechnology Nanotechnology Networking Thermo-Nuclear Fusion Electron Microscopy 8
Hitachi: An Open & Collaborative Partner 9
Focus Bereiche 2007 Hitachis Global Storage Solutions Portfolio Storage Virtualization Data Protection Green Solutions 10
Environmental Track Record Activities Environmental Action Plan formulated (1992) Start of Green 21 Activities (1999) Environmental Vision 2015 established (2006) Hitachi begins Group- wide investment in environmental facilities (1972) ISO Certification Committee set up (1994) Technology for phasing out the six substances covered by RoHS Directive completed (2005) Stratospheric Ozone Layer Protection Award - U.S. Environmental Protection Agency (1991) Awarded Global Environment Prize - WWF Japan (1993) Best-of of-the-best Stratospheric Ozone Protection - U.S. EPA (1997) Minister of International Trade & Industry s s Prize - Green Japan Center sponsored annual Resource Recycling ceremony (1999) Fourth Environmental Report, Award for Excellence (2000) Awards 11
Supporting Environmental Activities Eco-friendly Data Centers Corporate Social Responsibility Green Supply Chain 12
Power Savings Storage Service Server tells array to power up for transaction HDDs power up Transaction takes place Server tells array to power down HDDs power down Power On RAID Group Power Down RAID Group 13
Hitachi Services Oriented Storage Lösungs Architektur Sample Metrics Applications Email CRM File/Print Database ERP ECM Storage Practices QoS SLA I/O RPO RTO Charge Back Utilization Storage Platform FC Object Services Index, Search, Classification, Security File Services Virtualization, Replication, Migration, De-Duplication, Security, Encryption, Archiving Block Services Virtualization, Discovery, Partitioning, Provisioning, Volume Management, Replication, Migration, Security, Metering SATA TAPE Archive Storage Economics Data Classification Risk Analysis Compliance & Archiving Consolidation & Tiered Storage Physical Storage 14
Archivieren mit Hitachi s Content Archive Platform HCAP
Informationsflut Datenvolumen 36 Exabyte 24 Exabyte Für die Erstellung der dritten 12 Exabyte Daten brauchten die Menschen circa 1 Jahr! Für die Erstellung weiterer 12 Exabyte Daten brauchten die Menschen circa 2,5 Jahre! Für die Erstellung von 12 Exabyte Daten brauchten die Menschen 300.000 Jahre! 12 Exabyte 300.000 v. Chr. 0 500 1.000 1.500 2.000 Quelle: School of Information Management and Systems (SIMS) der University of California, Berkeley. http://www.sims.berkeley.edu/ 16
Definition of an Archive What is an archive? A consistent copy of a collection of data, usually taken for the purpose of maintaining a long-term durable record of a business or application state. (Collins Dictionary.) 17
Seeing Red: The Business Challenge Average cost of pre-trial discovery is $1.3M Feb 05 Bank of America incident: lost backup tapes - 1.2 million federal employees credit cards affected June 05 Morgan Stanley incident: misplaced backup tapes containing critical email records; plaintiff seeking $2.7B in damages and govt. investigating non-compliance April 05 watershed case of Zubulake vs. UBS Warburg - Federal jury mandated that UBS pay $29.2 million in damages Significance: Placed burden of producing electronic evidence on companies issued with discovery Result: Companies must proactively prepare for electronic discovery 18
Digital archivierte Kapazität nach Medium Totale, digitalarchivierte Kapazität nach Mediumtyp in PB 30,000,000 25,000,000 20,000,000 15,000,000 10,000,000 5,000,000 0 2005 2006 2007 2008 2009 2010 Festplatte Band Opt. Platte Source: Enterprise Strategy Group 19
Compliance: Aufbewahrungszeit werden länger 20
Hitachi Content Archiv Plattform Einführung Eine integrierte Archiv Lösung Offen Objektorientiert Regelbasiert Zugänglich für mehrere Anwendungen Schnelle Inhaltsermittlung Basierend auf Standartschnittstellen 21
Wofür wurde HCAP entwickelt? Das Informationswachstum steigt besonders in Punkto Fixed Content Wofür steht Fixed Content? z.b. Office Dokumente, E-Mails, Bilder, MP3s, Medizinische Aufnahmen, usw Gesetze erzwingen zu neunen Strategien in der Datenaufbewahrung Warum nutzt man nicht die herkömmlichen Speichermethoden? Keine Lösung für das Problem der Langzeitarchivierung Sie bieten keinen Schutz, wie z.b. Authentifizierung Sie sind nicht immer Online => Das Aktive Archiv! 22
Referenzmodel für aktive Archivierung P P P Preservation Planning Data Management Producer Ingest Next Tier Access 2 Consumer Primary Storage P Administration ** Modified Version of OAIS (ISO 14721:2002) 23
Hitachi Content Archive Platform (HCAP) Variante 1 Eine integrierte Lösung von Hitachi Data Systems 24
Hitachi Content Archive Platform (HCAP) Variante 2 Hitachi Content Archive Platform Functionality Demanded AMS200 WMS100 AMS500 USP VM und USP VM Disk-Less AMS1000 USP100/600/1100 USP V Intelligent Virtual Storage Controllers Einheitliche Managementplattform Bis zu 20 PB unterstützte Kapazität Small Business or Department Midsized Business or Department Size of Organization Served Large Business 25
HCAP mit Fremdspeicher HCAP File Service ERP Video Streaming Data Mining E-mail Print Services Hitachi Content Archive Platform Kombination von Archivierung und Virtualisierung Universal Storage Platform V 99.9% General Purpose 100% High Perf. Archive Backup EMC DMX2000 Thunder 9585V Lightning 9980V Thunder SATA CLARiiON IBM Shark 26
Was erfordert aber Fixed Content? Verfügbarkeit Performanter Zugriff Immer und überall Authentizität Schutz vor Änderungen der Inhalte Unterstützung bei der Erfüllung von gesetzlichen Bestimmungen Lebensdauer Management Skalierbarkeit bis in den Peta Bytebereich Langlebigkeit der Technologie Migrationspfade Integrierte Disaster Recovery Funktionen Unterstützung von Business Continuity Plänen mit technischen Funktionalitäten Minimierung des Adminaufwandes auf annähernd Null 27
Wie setzt man alle Kriterien für eine Aktive Archivierung nun um? Inhalt, der aufbewahrt werden soll Metadaten, die erläuternde Attribute über den File beinhalten Richtlinien zur Verwaltung der Aufbewahrungsfrist, Schutz, Verwendung, die die Authentizität garantieren Anwender lesen und schreiben Files, die intern als ein Gesamtobjekt verwaltet werden 28
Aktive Archivierung mit objektbasierenden Regeln (Policies) May 21 2036 Retention Schutz vor Löschung in einem definierten Aufbewahrungszeitraum Setzbar für einzelne Objekte oder vererbbar A 0 1 1 0 0 1 1 0 0 1 0 1 1 1 1 0 1 1 0 1 1 1 0 0 0 0 1 1 0 0 0 1 0 0 0 1 Authentication Schutz vor Verfälschung und Zerstörung Periodisches Checking auf Integrität Auswählbare Hashalgorithmen SHA-1, 256, 384, 512; MD5, RIPEMD-160 P Schutz Zusätzlicher Schutz durch einstellbare Anzahl interner Replikakopien Selbstkonfigurierend und Selbstheilend X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Shredding Physisches Löschen der Informationen von Platte gemäß US DoD 5520-M spec. Replikation Objektbasierend: Bidirectional, Dateien, Metadaten und Policies Repliziert Daten in eine andere Lokation Duplicate Elimination Erkennt und untersucht Duplicates Entfernt Duplicates, aber schützt die Integrität 29
Datenverschlüsselung Schützt den Content vor einer Rekonstruktion von gestohlenen Medien. nutzt eine patentierte Secret Sharing Technologie Transparente Verschlüsselung des gesamten Contents, Metadaten und Search Index Nutzt ein Distributed Key Management Beeinflusst nicht die SEC 17a-4 Compliance Anforderungen 30
Custom Metadata Ermöglicht Applikationen bestimmte Metadaten mit HCAP Objekten zu verknüpfen Custom metadata kann zur Kommentierung von Objekten genutzt werden <M> Content und Metadaten formen ein einziges, suchbares HCAP Objekt Custom metadata kann an ein HCAP Objekt angehängt werden an neue, oder an bereits bestehende HCAP Objekte Erhöht die Möglichkeit Daten nach User- oder Applikationsanforderungen zu markieren 31
Archive Object Backup Content Archive Platform Objects Tape Library NDMP V4 Hitachi Data Protection Suite, CommVault Galaxy, NetBackup, usw. Unterstützung von vollen bzw. inkrementellen und differenziellen Backup Wiederherstellung des kompletten Archivs, eines Verzeichnisses oder eines einzelnen Objekts Backup Sets können signiert, verschlüsselt und/oder komprimiert werden 32
Archive Object Replikation Objects Cluster-zu-Cluster Replikation im GUI, inkl. Reporting Primäres Archiv zu einer Stand-by Replica - klassisches Disaster Recovery Remote Office zu Zentralarchiv Konfiguration Bi-Directional Active-Active Konfiguration wo 2 Cluster als Replika zueinander stehen 33
Content Replication das Administrations-GUI erlaubt die Erstellung von Replikationslinks zwischen Archiven Quell-Ordner wird mit einem bestimmten Zielcluster verbunden Einstellbare Link Optionen enthalten z.b.: Digital Signatures stellt die sichere Authentifizierung sicher Komprimierung Minimiert die Anforderungen an die WAN Bandbreite Encryption in flight Ermöglicht die Nutzung von öffentlichen Netzen die Replication basiert auf dem Objekt Content, Metadaten, und Policies Reporting über den Replikationsprozess und seinen Backlog NY, USA Wide Area Network HCAP Archive Peer clusters linked for replication Replicated file content Synchronized and secure archive objects London, UK 34
File System Protokoll Unterstützung HTTP / HTTPS NFS CIFS/SMB WebDAV SMTP NDMP Schnellstes Gateway Viele existierende Libs GET, PUT, EXISTS, DELETE Operationen Metadaten können der URL mitgegeben werden Kompatibeles Interface, hauptsächlich für UNIX Hoher Protokoll Overhead MS Windows Interface Mapping von Netzwerklaufwer ken zu einem Clusterfilesystem pfad (data oder meta data) Performance ähnlich dem HTTP Gateway Für RFC 2518 Clienten MountPoint ist Teil einer URL Bis zu 3x schnell als HTTP SMTP Server unterstützt RFCs 1652, 2821, 2822 und 2920 Standard Backup/Restore Gateway Daten und Metadata werden zu einem transportfähigen Objekt geformt 35
Migration zur nächsten Generationen Cluster zu Cluster Replikation 36
Migration zur nächsten Generationen Software Updates 1 2 3 4 37
Migration zur nächsten Generationen Kopieren der Daten per Storagemittel von einer Generation zur nächsten Volume Migration 38
HiCommand Tiered Storage Manager in Aktion Exchange DB Exchange Log Order Entry DB Web Commerce Appl. Development Transaction logs Reservation Sys Manufacturing DB Archiv / HCAP Food Distribution Scheduling Logistics Mapping Korrektur der Daten loka USP mit externen Speicher Relokierung einer Applik Storage-Infrastruktur erscheint wie ein Speicher-Reservoir Konsolidieren Ausscheiden eines Array Applikationsdaten werden an die passenden Speicherschichten gespeichert Hinzufügen eines Array Archiviere Inhalte 39
Archivieren mit Hitachi s Content Archive Platform HCAP
Hitachi Data Discovery Suite und wie findet man seine Informationen wieder? 41
Data Discovery Suite Basis Topologie Gemischte Hitachi High-Performance NAS Plattform und Hitachi Content Archive Plattform Konfiguration ISVs können alle Funktionalitäten der Data Discovery Suite durch CLIs und APIs inklusive Suche, Risiko Berechnung ACL Filtern und Datei Einstufung nutzen HNAS + HDDS HCAP + Search HDDS HCAP Search HCAP HNAS Data Discovery Suite stellt eine einzige Suchoberfläche für die Suche über verschiedene Hitachi High- Performance NAS Plattform und Hitachi Content Archive 42
Hitachi Data Discovery Suite Funktionen, Möglichkeiten, Nutzen Funktionen Daten Zugriff basierend auf Microsoft Active Directory und LDAP Rechten Windows Vista Gadget Möglichkeit Verschiedene Nutzer können direkt ihre autorisierten Dateien wiederherstellen. Nutzen Hilft bei reduzieren der Betriebskosten. Stellt Datenschutz zur Verfügung. Was ist einmalig an dieser Funktion? Zentralisierte Authentifizierung durch das Nutzen von LDAP oder Active Directory. Hitachi Data Discovery Suite unterstützt die Hitachi Content Archive Plattform und Hitachi High-Performance NAS Plattform Hardware. 43
Hitachi Content Archive Platform Services Implementation Service Replication Service Assessment Service Migration Service Hitachi Content Archive Platform 44
Case Study: NASA s scientific data HCAP gives me lots of flexibility in how I configure my storage. I can Ingestion Data production applications process and send satellite images to ArC via HTTP drop the cluster in and scale it to large amounts of storage. Curt Tilmes NASA Goddard Space Flight Center ArC 72TB solution (36TB protected) Access via NFS Gateway The environment: 72TB archive Access via HTTP Gateway Archivas data preservation Processing Cluster 70 applications augmenting original data with additional analysis and metadata Access Research community HCAP archives data from Aura's Ozone Monitoring Instrument (OMI), which monitors the ozone and other chemical components in the Earth s atmosphere. Why NASA chose HDS: Open file system interface Ease of scalability Data ingestion performance 45
Case Study: Postini When planning our Postini Archive Manager service, we invested a great deal of time and resources investigating and testing virtually every available archival storage solution on the market today. After extensive, hands-on testing, we concluded that only HDS offered the combination of data protection, performance, scalability, flexibility and cost-effectiveness demanded by both us and our customers Scott Petry, Founder, CTO and EVP of Product Development Global leader in integrated message management Suite of on-demand services provides spam, virus, and worm blocking, message archiving and encryption and message continuity provided on a software as a service basis 35,000 Businesses Served Santa Clara London 9.1 Million End Users 1 Billion Messages Every Day Chicago Amsterdam Replicated HDS Systems in redundant global data centers provide trustworthy, protected archive storage for Postini Archive Manager server 46
Nondisruptive Service P Selbstschutz Regeln erzwingen eine Dokumentenaufbewahrungszeit, Authentifizierung und Objektreplikation zur Sicherung von digitalem Vermögen Selbstheilung Die Architektur federt den Ausfall von Einzelkomponenten ab, ohne einen Einfluss auf die Datenintegrität, bzw. den Zugriff auf die Daten Datensicherheit Sämtliche Daten werden auf in der Industrie bewährten SAN Speichersystmen abgelegt. Grundsätzlich Hardware RAID geschützt! Selbst-Konfigurierend Einfachste Installation und Integration durch das Setzen von Systemkonfigurationen durch High Level Policies Self-Balancing Passt sich automatisch an die Umgebung an, durch die ständige Kontrolle sämtlicher Aktivitäten und Kapazitäten der einzelnen Knoten Fernwartung Diagnose, Patches und Upgrades können per Modem oder VPN durchgeführt werden 47