dsmisi Storage Lars Henningsen General Storage

Transkript

1 dsmisi Storage dsmisi MAGS Lars Henningsen General Storage

2 dsmisi Storage Netzwerk Zugang C Zugang B Zugang A Scale-Out File System

3 dsmisi Storage Netzwerk Zugang C Zugang B Zugang A benötigt NFS oder SMB/CIFS Zugriff Mount/Access Scale-Out File System DNS Zugang B Welcher Zugang?

4 dsmisi Storage Netzwerk Zugang C Zugang B Zugang A Scale-Out File System

5 dsmisi Storage Netzwerk Zugang C Zugang B Zugang A TSM Server Scale-Out File System > mount zuganga:/ifs /mnt/zuganga > mount zugangb:/ifs /mnt/zugangb > mount zugangc:/ifs /mnt/zugangc tsm> def devclass... dir=/mnt/zuganga,/mnt/zugangb,/mnt/zugangc

6 dsmisi Storage Zugang C Zugang B Zugang A TSM Server Weitere TSM Server Keine dynamische Lastverteilung (nur roundrobin) Optimale Lastverteilung in der Praxis äußerst unwahrscheinlich Scale-Out File System

7 dsmisi Storage Zugang C Zugang B Zugang A tsm> q vol /mnt/zuganga/usw/vol01 /mnt/zugangb/usw/vol02 /mnt/zugangc/usw/vol03 /mnt/zuganga/usw/vol04 Volumes sind fest an jeweils genau einen Pfad gebunden Scale-Out File System Filling Volumes werden immer auf dem Pfad beschrieben, auf dem sie erstellt wurden Alle Volumes werden immer auf dem Pfad gelesen, auf dem sie erstellt wurden

8 dsmisi Storage Zugang C Zugang B Zugang A Beispiel: Scale-out NAS System mit 3 Zugängen 900 Volumes wurden mit TSM geschrieben (auf drei Zugänge mit dir=a,b,c usw.) 300 Volumes liegen aus Sicht von TSM auf A, 300 auf B und 300 auf C Scale-Out File System

9 dsmisi Storage Zugang D Zugang C Zugang B Zugang A Beispiel: Scale-out NAS System mit 3 Zugängen 900 Volumes wurden mit TSM geschrieben (auf drei Zugänge mit dir=a,b,c usw. also round-robin) 300 Volumes liegen aus Sicht von TSM auf A, 300 auf B und 300 auf C (jeweils 1/3) Es wird um einen Knoten erweitert. Kapazität steht TSM sofort zur Verfügung. Deviceclass wird um d erweitert, um den zusätzlichen Durchsatz von Zugang D nutzen zu können. Scale-Out File System

10 dsmisi Storage Zugang D Zugang C Zugang B Zugang A Beispiel: Scale-out NAS System mit 3 Zugängen 900 Volumes wurden mit TSM geschrieben (auf drei Zugänge mit dir=a,b,c usw. also round-robin) 300 Volumes liegen aus Sicht von TSM auf A, 300 auf B und 300 auf C (jeweils 1/3) Es wird um einen Knoten erweitert. Kapazität steht TSM sofort zur Verfügung. Deviceclass wird um d erweitert, um den zusätzlichen Durchsatz von Zugang D nutzen zu können. Nach Nutzung der zusätzlichen Kapazität liegen aus Sicht von TSM 375 Volumes auf A, 375 auf B, 375 auf C und nur 75 (6%) auf D. Mit jeder zusätzlichen Erweiterung nimmt deren positiver Effekt auf den Durchsatz beim Lesen ab. Scale-Out File System

11 dsmisi Storage dsmisi [dsm-easy] Läuft als Daemon unter AIX/Solaris/Linux bzw. als Service unter Windows Nach einmaliger Konfiguration sorgt dsmisi fortlaufend dafür, dass Verbindung zu allen Isilon Knoten besteht. ein Isilon Cluster als Ganzes für jede gewünschte Deviceclass in genau einem Pfad dargestellt wird. dieser Pfad immer den Isilon Zugang nutzt, der zum jeweiligen Zeitpunkt am geringsten belastet ist. TSM Server Instanzen sich gegenseitig aus dem Weg gehen und, wenn möglich, nicht z.b. gleichzeitig denselben Zugang benutzen.

12 dsmisi Storage Zugang C Zugang B Zugang A dsmisi TSM Server Weitere TSM Server Voll-dynamische Lastverteilung, auch über mehrere TSM-Instanzen und n, auf beliebig viele Isilon Cluster Annähernd optimale Lastverteilung in der Praxis die Regel egal ob mit 1, 2, 10 oder 100 TSM Instanzen Scale-Out File System

13 dsmisi Storage Zugang C Zugang B Zugang A Analoges Beispiel (zu oben) mit dsmisi: 900 Volumes wurde mit TSM geschrieben (auf drei Zugänge mit z.b. dir=/dsmisi/isilona/tsmb/files ) Alle Volumes liegen aus Sicht von TSM im selben Pfad Filling/Scratch/Private Volumes werden auf dem Pfad beschrieben, der aktuell die meisten Reserven beim Durchsatz bietet Jedes Volume wird immer auf dem Pfad gelesen, der aktuell die meisten Reserven beim Durchsatz bietet Scale-Out File System

14 dsmisi Storage Zugang A Zugang B Zugang C Zugang D Analoges Beispiel (zu oben) mit dsmisi: 900 Volumes wurde mit TSM geschrieben (auf drei Zugänge mit z.b. dir=/dsmisi/isilona/tsmb/files ) Alle Volumes liegen aus Sicht von TSM im selben Pfad Es wird um einen Knoten erweitert. Kapazität steht TSM sofort zur Verfügung. dsmisi mountet und nutzt automatisch den neuen Zugang. Da es keine Abhängigkeit zwischen Zugang und Volume gibt, erfolgen alle Schreib- und Lese-Zugriffe (auch für neue Volumes) balanciert über alle Knoten Scale-Out File System

15 dsmisi Storage dsmisi Vereinfacht die ohnehin schon extrem komfortable Darstellung großer und größter Isilon File Systeme unter TSM noch weiter und reduziert den Aufwand für Betrieb, Einrichtung, Erweiterung, Optimierung usw. auf annähernd null. Ermöglicht die dynamische Nutzung von Scale-Out Durchsätzen ohne die extrem kontraproduktive Bindung von Daten an spezifische Zugänge. Hängt nicht im Datenpfad (kein Verlust des Zugangs zu Daten bei z.b. Upgrades oder Abschaltung) Lizenzierung (analog zu sonstiger Isilon Software) nach Anzahl Isilon Knoten Nutzt NFS unter AIX, Solaris und Linux SMB/CIFS unter Windows Windows Version mit GUI zur Einrichtung der Services in stand-alone und Microsoft Cluster Umgebungen

16 dsmisi MAGS [max] Problemstellung: Incremental Backup von wirklich großen File Systemen mit sehr vielen Objekten Häufig extremes Wachstum Vollsicherung (NDMP) selten praktikabel Journal Lösungen nicht für alle Plattformen verfügbar. Benötigen u.u. mehr oder weniger regelmäßig ein normales Incremental Normales Incremental je nach Latenz und Komplexität der Directory Strukturen mit inakzeptablen Laufzeiten (u.u. auch beim Restore großer Datenmengen)

17 Fileserver Backup Typische Vorgehensweise fängt an mit z.b.: > dsmc incr \\fileserver\main-share$ und ist im Ergebnis in erster Linie von der Latenz bei der Durchsuchung des Filesystems abhängig.

18 Fileserver Backup Verbesserungen sind möglich durch Minimierung der Latenz (wenn s geht meistens geht s nicht) Parallelisierung (mehrere Client jobs)

19 Fileserver Backup Auswirkungen der Parallelität auf die Laufzeit (nach Latenz) Die gute Nachricht: selbst mit großen Latenzen sind (für Objekte) Backup Laufzeiten von unter 8 Stunden in der Praxis realisierbar. Die schlechte Nachricht: manuell sind parallele Backups mit dutzenden oder hunderten von Sessions nicht mehr verwaltbar.

20 Fileserver Backup Manuelle Verwaltung paralleler Backups problematisch weil die Directory Struktur meistens dynamisch ist und z.b. neu hinzukommende Directories auf den oberen Ebenen zeitnah eingepflegt werden müssen.

21 Fileserver Backup Manuelle Verwaltung paralleler Backups problematisch weil die Directory Struktur meistens dynamisch ist und z.b. neu hinzukommende Directories auf den oberen Ebenen zeitnah eingepflegt werden müssen. Strukturen (Anzahl Directories, Dateien usw. pro Subtree ) praktisch nie auch nur annähernd homogen sind

22 Fileserver Backup Manuelle Verwaltung paralleler Backups problematisch weil die Directory Struktur meistens dynamisch ist und z.b. neu hinzukommende Directories auf den oberen Ebenen zeitnah eingepflegt werden müssen. Strukturen (Anzahl Directories, Dateien usw. pro Subtree ) praktisch nie auch nur annähernd homogen sind Mit dutzenden von parallelen Jobs schon Trivialitäten wie Monitoring und Reporting zur Herausforderung werden C:\baclient> dir 01-dsmsched.log 02-dsmsched.log 03-dsmsched.log 04-dsmsched.log 05-dsmsched.log 06-dsmsched.log 07-dsmsched.log 08-dsmsched.log 09-dsmsched.log 11-dsmsched.log 12-dsmsched.log 13-dsmsched.log 14-dsmsched.log 15-dsmsched.log 16-dsmsched.log 17-dsmsched.log 18-dsmsched.log 19-dsmsched.log

23 dsmisi MAGS Macht all das automatisch. Der Anwender legt lediglich fest o von welchen Fileservern und über welche Interfaces gesichert werden soll o ob aus einem Snapshot gesichert werden soll o wie viele Jobs gleichzeitig maximal laufen sollen (z.b. 500) o wie viel RAM von MAGS für andere Anwendungen freigelassen werden soll o welches TSM Client Option File jeweils Gültigkeit hat (nodename/include/exclude/exclude.dir usw.)

24 dsmisi MAGS Läuft primär unter Windows. Wird ganz normal über den TSM Scheduler gestartet Sichert komplette NAS Datei Systeme mit einem TSM Nodename und einem Filespace Name (sofern separate Nodes/Filespaces für z.b. Shares nicht ausdrücklich gewünscht sind) Konsolidiert alle Ergebnisse in einem Log mit einer Summary Verfügt über ein komfortables Setup und ein GUI mit dem die Details im Hintergrund laufender Jobs und abgeschlossener Jobs übersichtlich einsehbar sind und beschleunigt das Backup drastisch - z.b. von 15 Tagen auf 6 Stunden oder (anderes Beispiel) von 9 Tagen auf 1:45

25 dsmisi MAGS Einrichtung von Jobs

26 dsmisi MAGS Monitoring

27 dsmisi MAGS Restore

28 dsmisi MAGS Hardware-Nutzung

29 dsmisi MAGS Steht bis ab heute kostenlos zum Ausprobieren zur Verfügung Kein Risiko. Mit MAGS gesicherte Daten können ohne MAGS restauriert bzw. ohne MAGS als Basis für weitere TSM Backups genutzt werden. Erfordert keine oder nur geringe Anpassungen im TSM (maxsession, maxnummp, u.u. Anpassung der Stgpool Struktur wg. Migration von Random Access Pools)

30 dsmisi MAGS Roadmap 2015 Höher, schneller, weiter Automatische Verteilung auf beliebig viele, weitere Windows n Backup von NFS Exports (Linux) Automatische Anpassung der Scan Tiefe Reporting/Monitoring Integration in Monitoring Tools Sub-Scanning von nicht separat gesicherten Directory Trees beim Restore