AFS Backup und Recover nicht nur für (Legato) NetWorker

Transkript

1 AFS Backup und Recover nicht nur für (Legato) NetWorker Wolfgang Friebel, DESY

2 Backup Inhalt Schematischer Ablauf Volle und inkrementelle Backups Backup auf Disk Backup auf Tape Recover Recover von Volumes Recover von Files

3 Konzeptionelle Entscheidungen Backup nur in Einheiten von Volumes Backup vorzugsweise von.backup Volumes Benutzung von vos dump für Backup Dreistufiger Backup Fahrplan (Schedule) zur Minimierung des Datenvolumens Zwischenspeicherung der Volume Dumps auf Disk aus Effizienzgründen (vorerst) keine Datenkompression

4 Backup schematischer Ablauf 1. Tägliche Erzeugung von.backup volumes mit Bordmitteln von AFS, nicht im Backup Prozess 2. Dump der Volumes gemäß Schedule auf Disk Volle und inkrementelle Dumps mit vos dump 3. Löschen alter Dumps bei hohem Füllstand der Disk garantierte konfigurierbare Verweildauer auf Disk (z.b. 7 Tage) 4. Tägliches Backup der neuen Dumps auf Tape Realisiert mit NetWorker, inkrementelle Backups der Filesysteme, auf denen Volume Dumps liegen

5 Volle und inkrementelle Backups Volle volume Dumps (vos dump ohne time Parameter) Hohes Datenvolumen Kurze Rückspeicherzeit von Tape für volle Volumes Inkrementelle Dumps evtl. viele Files zur Rekonstruktion eines Volumes nötig Kompromiss durch mehrstufiges Konzept Volle Dumps, Level1 dumps, inkrementelle Dumps zu Level1 Steuerung durch Tabelle im Konfigurationsfile Beispiel: [dump_schedule] ^group ^project 2 1w 12w ^user Muster für volume Namen (regexp) 2. Abstand in Tagen zwischen inkrementellen Dumps (zum vorigen Dump) 3. Abstand in Tagen zu letztem vollen oder vorigen L1 Dump 4. Abstand in Tagen zwischen vollen Dumps

6 Backup auf Disk Für jedes Volume Suche nach letztem Dump Geht in der Regel schnell, da normalerweise auf Disk Falls nicht, dann im Backup Index verzeichnet (relativ schnell) Datum und Level des letzten Dumps im Filenamen kodiert, ausserdem Timestamp auf Filesystem bzw. Im Backup Index Mit diesen Angaben Bestimmung, ob und wie Volume Dump zu erfolgen hat Bildung des Filenamens aus Volume Name Dump Level und Dump Zeit Volle und inkrementelle Dumps in verschiedene Directories, um getrennte Tapes für verschiedene Levels zu haben Löschen alter Dumps bei Platzmangel auf Disk

7 Backup auf Disk (2) Prozedur realisiert in Skript afs_voldump Läuft täglich Warnung wenn keine oder alte.backup Volumes vorhanden Liefert Statistik über Zahl der Dumps, Datenvolumen und Transferraten (summarisch und pro Level) Dadurch Optimierung des Backups durch gleichmäßige Verteilung des Datenvolumens möglich (Änderung der Konfiguration)

8 Output von afs_voldump Started at Fri Sep 22 03:00: Ended normally after 1774 seconds No backup volume for testsuite, use RW volume for dump Volumes Volsize Filesize Backuptime Transferrate Errors Total G 14.33G M/s 0 Full dumps G 7.55G M/s 0 Level G 1.90G M/s 0 Incremental G 4.88G M/s 0 ============================================================================ amafs/b G M M/s 0 iole1/a M 1.02M M/s 0 remus/ca G M M/s 0 remus/cb G 1.19G M/s 0 remus/cc G M M/s 0 remus/cd G 12.86M k/s 0 remus/ce M 3.31M M/s 0... romulus/ae G M M/s 0 romulus/ba M 46.74M M/s 0 romulus/bc M 30.70M M/s 0 romulus/ea M M M/s 0 zyklop1/a G 2.06G M/s 0 zyklop17/a M 61.18M M/s 0 zyklop18/a M 28.12M M/s 0 zyklop2/a M 2.60M M/s 0 zyklop5/a M 11.90M M/s 0 zyklop6/a G 5.92G M/s 0 zyklop8/a M 41.44M M/s

9 Backup auf Tape Diskpool mit Volume Dumps wird auf Tape gesichert Kann je nach Diskkapazität und garantierter Verweildauer täglich oder seltener erfolgen Inkrementelle NetWorker Backups liefern genau gewünschtes Resultat (nur neue Dumps bzw. Files gelangen auf Tape) Networker braucht intern mindestens ein volles Backup, sowie später weitere volle Backups, um Bänder mit veralteten Daten freigeben zu können (bei uns ca. 2 mal jährlich, konfigurierbar) Lösung ist nicht spezifisch für Networker Keine AFS Metadaten gehen verloren, z.b. ACL s in Dumps Beliebiges anderes Backup Tool oder HSM sollte nutzbar sein Nur aktuelle Dumpfiles sind zu sichern (Standardaufgabe)

10 Recover Benötigte Informationen Volume Name und Backupdatum, zu dem Recover erfolgt Daraus eindeutige Bestimmung aller für Recover nötigen Filenamen Im günstigsten Fall alle Files noch auf Disk, damit alle Informationen vorhanden Sonst Konsultation des Backup Index (je nach Software) oder Benutzung einer eigenen Datenbank Wir benutzen Backup Index + kein Aufbau einer separaten Datenbank + Benutzung der NetWorker Mechanismen - Abhängigkeit von Backup Software

11 Alle Files sind auf Disk Recover von Volumes Schnelle Wiederherstellung des Volumes mit vos restore unter neuem Namen Keine Abhängigkeit von NetWorker Einige / alle Files sind auf Tape Rückspeicherung der notwendigen Files auf Disk (Standardaufgabe für jegliche Backup Software) Danach Wiederherstellung des Volumes von Files auf Disk Wiederholte Zurückspeicherung nach kurzer Zeit geht schnell Volume erhält neuen Namen und wird für Benutzer gemountet Alte wiederhergestellte Volumes werden regelmäßig gelöscht Keine Sicherheitsmaßnahmen nötig, da alle Rechte in den Volumes so wieder hergestellt werden wie zur Backup Zeit

12 Recover von Files In der Regel genügt Angabe eines Filenamens Volume Name wird extrahiert, falls Elemente des Pfades noch existieren und im gleichen Volume wie das File sind Ist Volume Name nicht aus angegebenem Pfad ableitbar, muss er zusätzlich angegeben werden Recover Prozedur: Bestimmung aller nötigen Dumpfile Namen wie bei Volume Recover Suche nach dem File im jüngsten Dumpfile und Recover Falls nicht vorhanden, Suche im nächsten Dumpfile Sobald ein Dumpfile nicht auf Disk, Restore aller noch fehlenden Dumpfiles von Tape Weitere Suche nach File, Restore File oder Fehlermeldung Prozedur im Skript afs_recover realisiert

13 Recover von Files Die Suche in Dumpfiles erfolgt durch korrektes Verarbeiten der Filestruktur mit einem perl Skript Sämtliche File Metadaten (UNIX und AFS Directory ACL s) werden mit extrahiert Einhaltung der Sicherheit: Extrahierung erfolgt auf geschütztem Server User authentisiert sich gegenüber Server Server entscheidet anhand UNIX mode bits und AFS ACL s ob File an Client zu transferieren ist Bei erfolgreicher Prüfung erfolgt Speicherung an originale Stelle, evtl Umbenennung (file -> file.r) Prozedur ebenfalls im Skript afs_recover enthalten

14 Beispiele für Recover > time arcx recover /afs/ifh.de/user/f/friebel/.zshrc Recovering file into /afs/ifh.de/user/f/friebel/.zshrc.r 0.08s user 0.10s system 1% cpu total > time arcx recover user.friebel Not creating recover volume, backup volume will be mounted Volume is now mounted at /afs/ifh.de/user/f/friebel/recover Volume and mount point will be removed tomorrow. 0.14s user 0.02s system 31% cpu total > time arcx recover /afs/ifh.de/user/f/friebel/.zshrc Recovering file into /afs/ifh.de/user/f/friebel/.zshrc.r.r 0.14s user 0.01s system 0% cpu total > arcx recover /afs/ifh.de/user/a/ahaupt/.zshrc friebel has no rights to read.zshrc, exiting

15 Erweiterungsmöglichkeiten Graphisches User Interface nicht geplant, da recover selten benutzt wird Recover mehrerer Files oder Directories bringt wenig Nutzen, dafür Volume recover in der Regel gut Optimierung des Recovers von Tape Zusammenfassung und Sortierung von Bandoperationen Ist bereits im Funktionsumfang von NetWorker Kompression der Dumpfiles Ja, wenn wir in Platzprobleme im Backup Diskpool laufen Adaption auf andere Backup Systeme Freiwillige?

16 Zusammenfassung Vorgestelltes Backup Konzept in weiten Teilen unabhängig von vorhandener Backup Lösung Aktuelle Prozeduren seit ca. 1 Jahr im Einsatz Wird zirka 1 mal pro 10 Tage und 500 User benutzt Extrem seltene Supportanfragen seitens der User Stabil arbeitende Lösung mit geringen Anforderungen an Administration Hält Vergleich mit anderen vorgestellten Konzepten (z.b. in AFS best practices Workshop) stand Bisher kein Einsatz ausserhalb unserer AFS Zelle

17 Fragen?