Datei-Versionierung, Daten-Refresh, Filesystem-, Medien- und Technologiemigration mit cdlm für SAM/QFS Joachim.Daniel@.de
Agenda Datei-Versionierung Daten-Refresh Filesystem-Migration Medien- und Technologiemigration Erweiterte Cache Algorithmen und true HSM
Problemstellung Versionierung von Files Retension Policies, wie? Recycling von Medien oder FS unter Beibehaltung der gewünschten Versionen? Platzbedarf von Inode-Dumps Auch unveränderte Files erzeugen zusätzliche 512 Byte je dump, z.b. : 2 dumps/tag * 5 Mio. Files => 143 GB in 30 Tagen 24 dumps/tag * 20 Mio. Files => 6.700 GB in 30 Tagen
Data Lifecycle und Recycling-Aufgabenstellung Datei wird angelegt Gültige Datei im SAM-FS kann recycled werden Datei wird gelöscht Recycling t
Data Lifecycle und Recycling-Aufgabenstellung Datei wird angelegt Datei wird gelöscht Gültige Datei im SAM-FS Gelöscht, innerhalb der Retention, daher per cdlm restaurierbar Nach Retention: Kann recycled werden Retention Recycling t
Lösungsansätze Lösungsansatz 1 - Scripting Inode-Dump in FS restoren Recycling von Medien geht nicht Platzbedarf der Inodes Retention von Versionen nur bis zum ältesten vollständig vorgehaltenen samfsdump Hoher I/O und CPU Bedarf Kein komfortables Frontend Pflege und Support? Kundenakzeptanz?
Lösungsansätze Lösungsansatz 2 Data Lifecycle Manager Client Server Architektur Regelmässige Snapshots erfassen Filesystem-Inhalt Verarbeitung und Betrieb serverseitig im Hintergrund Grafisches User Interface mit eigenem virtuellem Filesystem Browser Clients für Solaris/W2k/WinXP/Linux/MacOS X
Lösungsansätze Lösungsansatz 2 Data Lifecycle Manager Eigene Datenhaltung, kein DBMS Keine DBMS-Administration erforderlich Speziell von für cdlm designed und entwickelt Minimaler Speicherplatzbedarf Eine Dateiversion kostet nur genau einen Eintrag Maximale Performance Minimaler Overhead
Data Lifecycle Manager V1.1 Mächtige Suchmöglichkeiten nach Dateien/Verzeichnissen in aktuellen Daten und auch älteren Versionen Durchgängiges Security- und Berechtigungskonzept Data Retention Policies mit Snapshot Granularität Steuerung des Recyclings Nur Versionen, die expired sind, werden freigegeben. Unterstützung für Mac Netzwerk Dateisysteme auf SAM-FS Cluster Unterstützung
Data Lifecycle Manager V1.1 Daten-Refresh Sicherstellung der dauerhaften Lesbarkeit der archivierten Daten Daten, die z.b. vor mehr als <n> Jahren archiviert wurden, werden neu archiviert (refreshed) Hintergrundbetrieb, ohne Tagesgeschäft zu beeinträchtigen genutzte Ressourcen (Laufwerke, Storage, Anzahl paralleler Threads) dynamisch steuerbar, z.b. Tag- / Nacht- / Wochenend-Betrieb
Data Lifecycle Manager V1.1 Filesystem-Migration Umzug von lebenden Filesystemen von einem Plattensystem auf ein anderes Reorganisation von lebenden Filesystemen (z.b. 3 Quellsysteme werden in 9 Zielsysteme migriert) Reorganisation der Verzeichnisstrukturen von lebenden Filesystemen Optimierung der downtime durch Einsatz von incremental snapshots
Data Lifecycle Manager V1.1 Medien- und Technologiemigration Konsolidierung von Medienkreisen (z.b. A71*, C9*, BAT*, 971* -> D*) Ablösung der bisherigen Medientechnologie und Einsatz einer aktuellen Medientechnologie (z.b. 9940 -> T10000) Aufbau einer zusätzlichen Kopie Reorganisation von Speicherebenen (z.b. 1. Kopie bisher auf Band, zukünftig auf Disk)
Data Lifecycle Manager V1.1 Halb-/vollautomatische Migration Im background -> Betrieb völlig unbeeinträchtigt keine downtime erforderlich Cache schonend: Cache Nutzung definierbar Anzahl der Medienmigrationslaufwerke definierbar Datenmigration und Medienmigration getrennt möglich Pfad und filesystem Struktur mapping möglich laufendes Status reporting (Fortschrittskontrolle + Fehlerstati per EMail oder SMS)
Data Lifecycle Manager (V1.2 Q2/2007) Erweiterte Cache Algorithmen und true HSM Beispiel Archive Set: 1. Kopie in Filesystem, 2.+3. Kopie auf Tape Soft Quota oder Retention Period auf die 1. Kopie Bei Erreichen der Soft Quota oder Retention Period werden 1. Datenkopien bis zum Erreichen einer low water mark unarchived. Recycling wir zeitnah durchgeführt Danach gibt es in dem Beispiel nur noch zwei Kopien auf Band
Data Lifecycle Manager (V1.2 Q2/2007) Erweiterte Cache Algorithmen und true HSM Einsparpotential (Disk-Archiv kleiner als Tape Volumen) release policies per archiveset.copy Zeitstempel und Dateigrössen basiert Disk Volume (analog sam-releaser, LWM) Disk Archiv recycling durch cdlm einfache Managebarkeit integriertes Monitoring
In den Tannen 27a Phone: +49 5731 842065 0 32584 Loehne Fax: +49 5731 842065 99 Germany EMail: info@.de