Datenmigration mittels HSM. Ernst M. Mutke Technical Director HMK Computer Technologies GmbH

Größe: px

Ab Seite anzeigen:

Download "Datenmigration mittels HSM. Ernst M. Mutke Technical Director HMK Computer Technologies GmbH"

Hartmut Lehmann
vor 8 Jahren
Abrufe

1 Datenmigration mittels HSM Ernst M. Mutke Technical Director HMK Computer Technologies GmbH

2 Datenmigration mittels HSM Agenda Szenarien Herausforderungen Risiken Methoden HSM Migrations Toolkit Media Refresh HSM Migration HSM Tools

3 - Datenmigration mittels HSM - Zwei Szenarien 1. Migration von Daten zwischen fremden HSM Systemen SAM-FS, DMF, Veritas, HPSS, AMASS, TSM, etc. 2. Migration von Daten innerhalb eines HSM Systems (Media Refresh) Alte auf Neue Medien DLT LTO, AIT1 AIT3, 9840A 9840C, etc.

4 Datenmigration - Herausforderungen Problemstellungen Sehr viele Dateien und Kopien davon befinden sich auf vielen verschiedenen Medien Disk und/oder Tape und/oder Optischen Medien Zugriff auf verschiedene Medien unterschiedlich Erreichen der maximale Geschwindigkeit schwierig Position der Dateien auf Medien ist nicht bekannt Hemmt den Migrationsprozess und macht Migration komplex Generiert erhebliche Performance Probleme Zeitfenster für die Migration ist sehr klein Migration darf keinen Einfluss auf Produktion haben Oft nur Abends oder am Wochenende möglich

Position der Dateien auf Medien ist nicht bekannt Hemmt den Migrationsprozess und macht Migration komplex Generiert erhebliche Performance

5 Datenmigration - Herausforderungen Problemstellungen Ressourcen Probleme Ressourcen für Migration und Produktion müssen aufgeteilt werden Bandbreite zur Hardware muss ausreichend sein (Filesystem, I/O, etc.) Experten müssen bereitstehen und den Migration-Prozess überwachen Medien Probleme Alte, abgenutzte, oder nichtverfügbare Medien Inkonsistenz in File Systemen oder Datenbanken Beschädigte Dateien, korrupte Datenbank/Inode Einträge, etc. JEDE Unterbrechung behindert die Migration drastisch! Benötigt IMMER manuelle Eingriffe!!!

) Experten müssen bereitstehen und den Migration-Prozess überwachen Medien Probleme Alte, abgenutzte, oder nichtverfügbare Medien

6 Datenmigration - Risiko Magnetband und Media Probleme Wenn Dateien von Magnetbändern oder anderen Medien gelesen werden, auf die lange nicht mehr zugegriffen worden ist, wird automatisch ein kompletter Qualitäts-Check und eine Konsistenzprüfung der Dateien und Magnetbänder durchgeführt. Da bei einer Datenmigration ALLE Dateien und Medien gelesen werden müssen, treten in den meisten Fällen Konsistenzprobleme und Datenverlust auf. Dies ist kein Fehler der HSM Software oder des Migrationprozesses sondern ein natürliches Phänomen der Physik und Limitation der eingesetzten Magnetband-Technologien.

Da bei einer Datenmigration ALLE Dateien und Medien gelesen werden müssen, treten in den meisten Fällen Konsistenzprobleme und Datenverlust auf.

7 - Datenmigration mittels HSM - Simple Methoden Migration bei Benutzerzugriff führt zu häufigen laden der gleichen Medien Dateien werden nicht migriert wenn kein Zugriff erfolgt altes und neues System müssen parallel betrieben werden Einfaches kopieren von Dateien über ein Netzwerk erlaubt eine strukturierte Migration per Magnetband ist sehr viel schneller als Migration bei Benutzerzugriff altes und neues System müssen parallel betrieben werden Benutzen eines Datenzugriffssystems (SRB Type) benötigt Treiber für die involvierten HSM Systeme altes und neues System müssen in parallel betrieben werden Bei diesen Methoden benötigt man den parallelen Betrieb der alten und neuen Systeme bis zum Ende der Datenmigration! Kosten für Stellplatz, Strom, Klima, Wartung, Support, etc.

Benutzerzugriff altes und neues System müssen parallel betrieben werden Benutzen eines Datenzugriffssystems (SRB Type) benötigt Treiber für die involvierten HSM Systeme altes und neues System

8 - Datenmigration mittels HSM - Professionelle Methoden für SAM-FS Das HSM Migrations-Toolkit von HMK optimiert das Migrieren von Dateien und Medien mit SAM-FS Innerhalb von SAM-FS für Media-Refresh DLT SDLT, 9840A 9840C, LTO LOT3, etc. Migrieren von fremden HSM Daten nach SAM-FS DMF SAM-FS, Veritas SAM-FS, AMASS SAM- FS, UniTree SAM-FS, etc.

Innerhalb von SAM-FS für Media-Refresh DLT SDLT, 9840A 9840C, LTO LOT3, etc.

9 HSM Migrations-Toolkit von HMK SAM-FS Media-Refresh - Überblick Automatisiert alle Phasen des Datenmigrationprozess Benötigt nur simples aufsetzen des Tools Dynamische und automatische einstellbar Limitiert oder erweitert Nutzung zusätzlicher Ressourcen Verschiedene Konfigurationen für Tag/Nacht/Wochenende Betrieb Real-time Überwachung mit detailliertem Status Report Files migriert, TB/Media migriert, Files defekt, Anzahl Files in Arbeitslisten, Files noch nicht migriert, etc. Optimierter I/O für extrem schnelles Lesen und Archivieren

Verschiedene Konfigurationen für Tag/Nacht/Wochenende Betrieb Real-time Überwachung mit detailliertem Status Report Files migriert,

10 HSM Migrations-Toolkit von HMK SAM-FS HSM Migration Überblick Übernahme der HSM Meta-Daten Abbilden des fremden HSM Systems in SAM-FS Abbildung der fremden HSM Pfade und Directory Strukturen in eins oder mehrere SAM-FS File Systeme Durch Nutzung von Standard Reports und Datenbanken des fremden HSM Systems Lesen und Generieren der neues Directory Struktur in SAM-FS in wenigen Stunden

Strukturen in eins oder mehrere SAM-FS File Systeme Durch Nutzung von Standard Reports und

11 HSM Migrations-Toolkit von HMK SAM-FS HSM Migration Überblick Zugriff auf fremde Dateien und Migration Dateien werden direkt durch SAM-FS, ohne das alte HSM System, von den fremden Medien gelesen Erlaubt willkürlichen Zugriff auf fremde Dateien durch Benutzer und Applikationen Bulk-Migration von kompletten Magnetbändern läuft im Hintergrund und parallel zum Benutzer Zugriff Maximale Bandbreite der Geräte kann optimal genutzt werden Neue Dateien haben keinen Einfluss auf die Migration

Dateien durch Benutzer und Applikationen Bulk-Migration von kompletten Magnetbändern läuft im Hintergrund und parallel

12 HSM Migrations-Toolkit von HMK SAM-FS HSM Migration Toolkit - Benefits Minimiert Personal und Fachkenntnis Anforderungen Bis zu 15x schneller als SAM-FS/HSM eigenständig Viel kleineres Migrationsfenster Unabhängig von SAM-FS Recycler und Archiver Keine oder sehr geringer Einfluss auf Produktionsumfeld Neue und alte Dateien können separat abgearbeitet werden Erlaubt das Erzeugen von neuen Dateien während der Migration.

Migrationsfenster Unabhängig von SAM-FS Recycler und Archiver Keine oder sehr geringer Einfluss auf

13 HSM Migrations-Toolkit von HMK SAM-FS HSM Migration Toolkit - Benefits Altes System kann sofort ausgeschaltet werden Müssen NICHT in parallel betrieben werden!! Spart erheblich Geld und minimiert Kosten Stellplatz, Strom, Klima, Wartung, Support, etc. Grosse Migrationen können mehrere Monate brauchen! Spart erhebliche Zeit und Geld und minimiert Kosten!!!

! Spart erheblich Geld und minimiert Kosten Stellplatz, Strom, Klima, Wartung, Support,

14 HSM Migrations-Toolkit von HMK Success Story: Migration bei einer großen US Bank: ~90 TB Daten, ~27 Millionen Files, ~4,500 Tapes, 3 File Systeme Generieren von zwei neuen Kopien aller Daten 9840A 9840C & 9940B 9940B gleichzeitig Fertigstellung der gesamten Migration in ~45 Tagen Während Migration, 15 Tage System unverfügbar System und Hardware Umbau und Erweiterung Wartung, etc. Migriert >99.99 % aller Dateien! Nur Files mit defekten Kopien oder fehlenden Magnetbändern konnten nicht migriert werden Alternative Angebote ohne die Nutzung des HMK Migration Toolkit variierten zwischen 300 und 470 Tagen!

Migration, 15 Tage System unverfügbar System und Hardware Umbau und Erweiterung Wartung, etc. Migriert >99.99 % aller Dateien!

15 SAM-FS Enhancing Products SAM-NeT Windows to SAM-FS connectivity enhancer Shows an icon overlay for offline files in Explorer Explorer property window allows staging and releasing of files, display of extended SAM-FS attributes (sls D like), etc. Allows to continue to brows a SAM-FS file system via Samba while offline files are staged in the background

releasing of files, display of extended SAM-FS attributes (sls D like), etc.

16 SAM-FS Enhancing Products

17 SAM-FS Enhancing Products SAM-Object Archive ILM Ergänzung zu SAM-FS Umgebungen Dateien werden mit zusätzlichen Metadaten versehen Gruppieren und Archivieren von zusammengehörigen Dateien und Objekten» Projektorientiert» Abteilungsorientiert»etc. Suchen von Daten über Meta-Information Flexible Definition der Metadaten und Objekten Information-Lifecycle-Management Löschen von Dateien oder Datei Gruppen nach Objektbezogene Aufbewahrungs- und Löschzeiten WORM Funktionalität

18 Datenmigration mittels HSM Thank you!

Ähnliche Dokumente

HMK Open Day 28. Januar 2009 Kronberg. Hierarchisches Storage Management mit SUN SAM-FS

HMK Open Day 28. Januar 2009 Kronberg Hierarchisches Storage Management mit SUN SAM-FS Die Herausforderungen Verwalten Sie große Datenmengen? Müssen Sie tagtäglich Ihre SLAs erfüllen? Wächst Ihr Datenbestand