Zentrale Datensicherung an der RWTH Aachen. Einführung in TSM

Transkript

1 Zentrale Datensicherung an der RWTH Aachen Daniel Stanek RWTH Aachen

2 Inhalt Überblick über zentrale Datensicherung Voraussetzungen zur Nutzung des Dienstes Installation und Konfiguration des Clients Backup Restore Optimierungsmöglichkeiten Aufgaben bei der Betreuung des Clients

3 Überblick

4 IBM pseries 650 6M2 Überblick I - acht POWER4+ 1,45 GHz Prozessoren - 64 GB RAM - 4 IO Drawer 6 Gbit Ethernet Adapter 14 Fibre Channel (2 Gbit) Adapter 3 IBM FAStT 900 (jeweils 8 EXP700) Ca. 10 TB Kapazität pro FAStT => 30 TB Cache Kapazität IBM San Switch F32 (32 Ports) - Mit 8 Ports an FC-Adapter der pseries 650 angeschlossen

5 Überblick II IBM 3494 Library - 1 L-Frame, 3 D-Frames, 12 S-Frames Tapes (je 300 GB) -> Gesamtkapazität 1,51 PByte (1,95 PByte) 18 Jaguar 3592 Laufwerke, fibre attached 2 xseries Intel Pentium 4, 512 MB RAM - je 100 Mbit und 1Gbit Ethernet Software - AIX TSM

6 Überblick III LAN/WAN 3592 Drives 16 Port Ethernet Switch xseries Libraray pseries 650 FAStT 900 Fibre Channel SAN Switch F32 Ethernet (intern) Ethernet out-of-band Management der FC-Komponenten Realisierung eines privaten Netzwerkes

7 Überblick IV ca. 255 Institute und Einrichtungen nutzen den Dienst (+ FH Aachen) ca Backupclients Belegung ca. 560 TB (netto, incl. Versionen) 250 Archivbenutzer mit ca. 100 TB Belegung (netto) tägliche Datenmenge bis zu 13 TB (inkrementell) restaurierte Datenmenge: ca. 120 GB / Tag

8 Einführung

9 Einführung I Kommunikation über TCP/IP mittels Softwaremodulen von Hand initiierte und automatisierte Sicherungen arbeitet auf Dateiebene => Dateien (Objekte) werden einzeln verwaltet Strategie der inkrementellen Sicherung löschen von Objekten bei inkrementeller Sicherung möglich Versionierung von Dateien Versions Data exists Versions Data deleted Retain Extra Versions Retain Only Version

10 Einführung II Versions Data Exists: 3 Retain Extra Version: 7 Versions Data Deleted: 2 Retain Only Version: 10 Version Tag o o A 2 o o o A 3 o o o o o B 4 o o C 5 o A 6 o o x x x x x x x x x x D Am 3., 6., 11., 13. Und 14. Tag wurde die Datei geändert, am 16. Gelöscht A: Version gelöscht, weil älter als 7 Tage ist B: Version gelöscht, weil nur drei Versionen einer Datei C: nur zwei Versionen einer gelöschten Datei aufheben D: endgültige Löschung der letzen Version o aktive Version - inaktive Version x letzte Version einer gelöschten Datei

11 Einführung III Stärken Backup auf Dateiebene Unterstützung verschiedenster Betriebssysteme viele Konfigurationsmöglichkeiten schnell und zuverlässig Schwächen Restore großer Dateisysteme Journal Based Backup nur für Windows Disaster Recovery

12 Voraussetzung zur Nutzung

13 Voraussetzung zur Nutzung I Backups zwischen 18:00 Uhr und 05:00 Uhr mit max. Zeitfenster von 10 Std. möglichst automatisierte Sicherungen durchführen Client permanent am Hochschulnetz erreichbar ausreichende Performance des Backupclients Unterstützung des Clients durch Betriebsystem Firewall / Paketfilter Port ( ) auf dem Backupserver (backup01 backup11) vom Backupclient aus erreichbar ICMP bzw. UDP Ports für Dienste ping und traceroute zur Diagnose freigegeben

14 Voraussetzung zur Nutzung II Netzwerk (Grundvoraussetzung für Funktionsfähigkeit von Backup / Restore ) Leitungen Netzwerkkarte Netzwerkkomponenten (Switche, Router) Duplex Mode der Netzwerkkarte und Netzwerkkomponeten Routen setzen erster Ansatz bei Problemen: Durchsatzraten (netio, iperf, ftp,...) noc@rz.rwth-aachen.de bei Fragen oder Problemen Beschränkung der Datenmenge durch Netzwerk gegebenes Zeitfenster 10/100/1000 Mbit-Netzwerk

15 Vorausetzung zur Nutzung III offene Dateien Koordination der Prozesse Ausschluss vom Backup Open File Support (auf Windows Systemen) möglich, aber nicht zu empfehlen Sicherung von Netzlaufwerken / per nfs gemounteten Dateisystemen vermeiden fehlerhafter Abbruch bei nicht erreichbarem Dateisystem Journal Based Backup nur für lokale Laufwerke (Windows) von IBM nicht in allen Fällen supported zwei feste Ansprechpartner je Institut, die sich mit den Grundlagen von TSM vertraut machen

16 Installation und Konfiguration

17 Installation und Konfiguration I Installationsvorgang der Software betriebssystemabhängig Windows: grafischer Wizard Linux: rpm AIX: smit Solaris: pkgadd TSM 5.3 nicht mehr supported Installation auf Linux-Systemen Bibliothek libstdc++ wird benötigt => entsprechendes compat-paket installieren (SuSE > 7.3, RedHat 9, Fedora Core 1 bis Core 9) nach Installation Client NICHT starten

18 Installation und Konfiguration II zentrale Konfigurationsdatei dsm.sys / dsm.opt Unix /opt/tivoli/tsm/client/ba/bin/dsm.sys /usr/tivoli/tsm/client/ba/bin/dsm.sys Windows c:\programme\tivoli\tsm\baclient\dsm.opt ermitteln des TSM Servers und Ports Fachbereich TSM-Server Port 1 backup03.rz.rwth.aachen.de backup04.rz.rwth-aachen.de backup05.rz.rwth-aachen.de backup06.rz.rwth-aachen.de backup07.rz.rwth-aachen.de backup08.rz.rwth-aachen.de backup09.rz.rwth-aachen.de backup10.rz.rwth-aachen.de backup11.rz.rwth-aachen.de 1511 Sonstige backup02.rz.rwth-aachen.de 1502

19 Installation und Konfiguration III Einstellen des TSM Servers und Ports SERVERNAME TCPSERVERADDRESS TCPPORT backupxx.rz.rwth-aachen.de backupxx.rz.rwth-aachen.de 15XX generelle Einstellungen COMMMETHOD tcpip PASSWORDACCESS generate SCHEDMODE polling TXNBYTELIMIT 25600

20 Installation und Konfiguration IV variable Einstellungen NODENNAME meinknoten.meinedomain.rwth-aachen.de SCHEDLOGNAME c:\temp\dsmsched.log ERRORLOGNAME c:\temp\dsmerror.log Partitionen / Filesysteme auswählen keine Netzlaufwerke / gemountete Filesysteme sichern keine CDs oder DVDs sichern DOMAIN c: VIRTUALMOUNTPOINT /home/ae106st DOMAIN /home/ae106st

21 Installation und Konfiguration V INCLUDE- und EXCLUDE-Statements welche Dateien (von den definierten Dateisystemen) sollen gesichert bzw. nicht gesichert werden erwarten Datei oder Muster als Argument INCLUDE /home/ae106st/wichtige_datei.txt EXCLUDE /.../unwichtig/.../* wichtige Wildcards * : Zeichenkette außer Verzeichnisstrenner...: ein, kein oder beliebig viele Verzeichnisse Definition einer Liste, Abarbeitung erfolgt von unten nach oben erster Treffer entscheidet, bei keinem Treffer implizierter Einschluss EXCLUDE.DIR-Statement blendet ein Verzeichnis für den Client aus, Argument: Verzeichnis/Muster Unterschied zu EXCLUDE: die Verzeichnisstruktur wird nicht gesichert EXCLUDE.DIR wird immer vor der INCLUDE-EXCLUDE-Liste verarbeitet, unabhängig von der Position in der Konfigurationsdatei Problem: es gibt kein äquivalentes INCLUDE.DIR

22 Installation und Konfiguration VI EXCLUDE.DIR /.../cache * Regel 1 EXCLUDE /usr/software/.../* * Regel 2 EXCLUDE /.../core * Regel 3 EXCLUDE /home/ae106st/nobackup/.../*.test * Regel 4 EXCLUDE /home/ae106st/a.out * Regel 5 INCLUDE /usr/software/netio/.../* * Regel 6 INCLUDE /home/ae106st/nobackup/ausnahme/3.test * Regel 7 /var/lib/core * -> Regel 3 /usr/software/netio/cache/c1.cah * -> Regel 1 /usr/software/netio/bin/linux * <- Regel 6 /home/ae106st/nobackup/ausnahme/3.test * <- Regel 7 /home/ae106st/nobackup/kernel/2.4.18/system.map.test * -> Regel 4 /home/ae106st/a.out * -> Regel 5 /usr/software/syncro/sync.d/sync.conf * -> Regel 2 /home/ae106st/tsm_config/dsm.sys * <- implizit

23 Installation und Konfiguration VII was sollte nicht gesichert werden verschiedene Systemdateien diverse Caches (Browser!) Dateien aus dem Papierkorb (Recycler) temporäre Dateien core-dateien Software-Installationen serverseitig sind bereits Excludes gesetzt, die lokal nicht nochmal definiert werden dürfen dsmc q inclexcl (Source File: Server) Überprüfung von INCLUDE-EXCLUDE-Listen sehr zu empfehlen grafischer Client: ausgeschlossene Dateien sind speziell markiert ab 5.3: Preview-Modus für INCLUDE-EXCLUDE-Listen dsmc q inclexcl Protokolldateien nach einer Sicherung überprüfen

24 Passwort Installation und Konfiguration VIII Aushandeln eines neues Passwort automatisch alle 90 Tage durch PASSWORDACCESS generate dsmcutil SHOWPW /node:<nodename> gibt Passwort unter Windows aus PASSWORDDIR-Statement legt Passwortverzeichnis unter Unix fest MAILPROG-Statement verschickt Passwort nach Änderung per Mail Unicode Dateien mit Umlauten oder Sonderzeichen im Dateinamen können nicht gesichert werden, wenn: Umgebungsvariable LANG=en_US bzw. LC_CYTPE=en_US nicht gesetzt ist (UNIX) bei der Verwendung von Samba falsche Codepage verwendet wird (Codepage 850 verwenden)

25 Installation und Konfiguration IX automatisierte Sicherung durch den Scheduler dsmcutil install /name: TSM Client Scheduler /node:<node> /password:<pass> /autostart:yes (Windows) Passwort vorhher auslesen: dsmcutil showpw /node:<node> dsmc sched (Unix) Start des Schedulers durch Skript automatisieren Sicherung der in dsm.sys/dsm.opt angegebenen Domains (Include-/Exclude Liste wird verarbeitet) Sicherung erfolgt nachts (Rechner eingeschaltet und über Netzwerk erreichbar) regelmäßige Kontrolle der Logfiles (Backupbericht) Hinweismail bei verpasstem oder fehlerhaftem Backup beachten nach Änderungen an dsm.sys/dsm.opt Scheduler neu starten

26 Installation und Konfiguration X weitere Parameter für dsm.sys/dsm.opt INCLEXCL MEMORYEFFICIENTBACKUP PRESCHEDULECMD POSTSCHEDULECMD SCHEDLOGRETENTION ERRORLOGRETENTION DATEFORMAT TIMEFORMAT NUMBERFORMAT - Datei mit Include-/Exclude-Statements - speicherschonender Backupalgorithmus - Kommando vor Ausführung des Schedules - Kommando nach Ausführung des Schedules - Haltezeit für Schedulerlogfile-Einträge - Haltezeit für Errorlogfile-Einträge - Datumsformat festlegen - Zeitformat festlegen - Zahlenformat festlegen Datums-, Zeit- und Zahlenangabe DATEFORMAT 4 => ( ) TIMEFORMAT 1 => (23:48:00) NUMBERFORMAT 4 => ( )

27 Backup

28 Backup I automatisierte Sicherungen durchführen in Einzelfällen Sicherungen von Hand möglich grafischer Client Auswahl zu sichernder Dateien vornehmen excludete Dateien können nicht selektiert werden Kontrolle des Statusberichts

29 Backup II

30 Backup III

31 Backup IV Backup über Kommandozeile mittels dsmc dsmc incremental dsmc incremental /home dsmc incremental subdir=yes /home/ae106st/* dsmc schedule weitere Informationen dsmc help

32 Backup V automatisierte Sicherung beste Lösung Zeitfenster der Sicherung vom vorgegeben zu sichernde Daten in dsm.sys/dsm.opt festgelegt Schedulerlogfile enthält alle Aktionen Errorlogfile beachten

33 Backup VI Zeitpunkt der nächsten Sicherung 04/19/06 11:26:48 Next operation scheduled: 04/19/06 11:26: /19/06 11:26:48 Schedule Name: SCHED22 04/19/06 11:26:48 Action: Incremental 04/19/06 11:26:48 Objects: 04/19/06 11:26:48 Options: 04/19/06 11:26:48 Server Window Start: 22:00:00 on 04/19/06 04/19/06 11:26: /19/06 11:26:48 Command will be executed in 10 hours and 46 minutes. Beginn der Sicherung 04/19/06 22:00:13 Incremental backup of volume '/export01' 04/19/06 22:00:13 Incremental backup of volume '/export01/etc' Meldungen während der Sicherung 04/19/06 22:00:27 Normal File--> 1,823 /export01/etc/yp.conf [Sent] 04/19/06 22:00:48 Symbolic Link--> 13 /export01/etc/init.d [Sent] 04/19/06 22:01:16 Expiring--> 760 /export01/etc/inetd.conf [Sent]

34 Backup VII Backupbericht 04/20/06 06:44: SCHEDULEREC STATUS BEGIN 04/20/06 06:44:47 Total number of objects inspected: 11,853,220 04/20/06 06:44:47 Total number of objects backed up: 67,075 04/20/06 06:44:47 Total number of objects updated: /20/06 06:44:47 Total number of objects rebound: 0 04/20/06 06:44:47 Total number of objects deleted: 0 04/20/06 06:44:47 Total number of objects expired: 59,875 04/20/06 06:44:47 Total number of objects failed: 0 04/20/06 06:44:47 Total number of bytes transferred: GB 04/20/06 06:44:47 Data transfer time: sec 04/20/06 06:44:47 Network data transfer rate: 32, KB/sec 04/20/06 06:44:47 Aggregate data transfer rate: KB/sec 04/20/06 06:44:47 Objects compressed by: 0% 04/20/06 06:44:47 Elapsed processing time: 08:31:57 04/20/06 06:44: SCHEDULEREC STATUS END 04/20/06 06:44: SCHEDULEREC OBJECT END SCHED22 04/19/06 22:00:00 04/20/06 06:44:47 Scheduled event 'SCHED22' completed successfully. 04/20/06 06:44:47 Sending results for scheduled event 'SCHED22'. 04/20/06 06:44:47 Results sent to server for scheduled event 'SCHED22'.

35 Restore

36 Restore I Beenden aller dsm-prozesse, insbesondere stoppen des Schedulers bei Neuinstallation einer Maschine zunächst Netzwerk testen Kontaktaufnahme mit RZ bei grösserem Datenverlust Restore kann auf TSM-Server vorbereitet werden Restore grosser Filesysteme kann problematisch sein NICHT mit Client auf einem anderen Betriebsystem restaurieren standardmässige Anzeige von aktiven Versionen grafischer Client ev. Sicht umstellen (aktive, inaktive Versionen) Selektieren zu restaurierender Dateien und Verzeichnisse Auswahl des Zielverzeichnisses Kontrolle des Restoreberichtes

37 Restore II

38 Restore III

39 Restore IV Restore über Kommandozeile mittels dsmc dsmc restore /home/ae106st/* dsmc restore subdir=yes /work/ae106st/* weitere Informationen dsmc help

40 Optimierungsmöglichkeiten

41 Optimierungsmöglichkeiten I Journal Based Backup nur für Windows und AIX verfügbar nur für lokale Filesysteme Feststellung von Änderungen im Filesystem mittels Journalen Durchlaufen eines Filesystems nicht mehr notwendig Installation über Wizard oder mittels dsmc zentrale Konfigurationsdatei tsmjbbd.ini eigene Logdatei

42 Aufgaben bei der Betreuung des Backupclients

43 Aufgaben bei der Betreuung I regelmäßige Kontrolle der Logfiles Hinweismails bei verpasstem und fehlerhaftem Backup beachten Update des Clients auf neue Version Ausschluss von offenen Dateien Änderung von Ansprechpartnern mitteilen beim Restore großer Datenmenge Kontakt mit RZ Entfernen von DOMAIN-Einträgen dem RZ mitteilen Sicherung von Datenbanken, MS Exchange

44 bei Problemen und Fragen: bzw. Backupdienst im Web: TSM-Handbücher: Anmeldung Backupdienst über Backup-Portal: Archivdienst im Web: Anmeldung Archivdienst über TIM-Benutzerverwaltung: Vortragsmaterial:

45 Danke für Ihre Aufmerksamkeit! Fragen?