samrestore - restore your SAM-FS files

Transkript

1 Einleitung Titelseite samrestore - restore your SAM-FS files Michael Arlt [email protected] 26. Mai 2009 Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

2 Einleitung Gründe für die Entwicklung Gründe für die Entwicklung Möglichkeiten zum Suchen/Restore in SAM-FS sind vorhanden, aber aufwendig Kommerzielle Systeme bieten teilweise sehr viele (aber nicht alle gewünschten) Features und sind damit vergleichsweise teuer Sourcecode kommerzieller Systeme ist nicht oder nur schwer erhältlich Wenig Lösungen am Markt erhältlich Keine passende Software gefunden Gewünschte Features können selbst implementiert werden Umsetzung schien relativ einfach (bezogen auf unsere Anforderungen) Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

3 Details zu samrestore Arbeitsweise Arbeitsweise von samrestore archiver-import Erzeugt oder löscht bei Bedarf die Tabellen Importiert archiver.log (Zeilen mit A am Zeilenanfang) in eine PostgreSQL DB Führt ANALYZE durch samrestore Curses Oberfläche zur Suche und Auswahl der zu restorenden Dateien oder Ordner Nutzt Informationen aus archiver.log (DB) um Daten für recover.sh aufzubereiten Ein Restoredatum für samfsrestore zu empfehlen Startet externe Programme für Datei- oder Ordnerrestore Auswahl und Anzeige der Logfiles Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

4 Details zu samrestore Features Features von samrestore Restore einzelner Dateien mittels recover.sh Überschreiben Originalpfad oder spezieller Restoreordner Restore von Ordnern durch samfsrestore (benötigt Dumps) Auffüllen Ältere überschreiben Alle überschreiben Originalpfad oder spezieller Restoreordner Online stellen (nutzt restore.sh) Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

5 Details zu samrestore Schnittstellen Schnittstellen zu externen Programmen Liste der Logfiles - keine Parameter Anzeige eines Logfiles $1: Dateiname des Logfiles (absolut/relativ: je nach Liste) Wiederherstellung von Dateien $1: overwrite oder restore-folder Liste der Dateien auf StdIn Wiederherstellung eines Ordners (rekursiv) $1: stage oder nostage $2: alle SAM-FS Parameter (rrsf) $3: Datum (yyyy-mm-dd) des gewünschten Dumpfiles $4: Ordner, der wiederhergestellt werden soll Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

6 Details zu samrestore Technische Voraussetzungen Technische Voraussetzungen Distributionsunabhängig PostgreSQL ab Version 8.3 Curses::UI DBD::Pg Perl Debian Lenny Pakete postgresql-8.3 libcurses-ui-perl libdbd-pg-perl Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

7 Systemgrenzen Details zu samrestore Systemgrenzen Grenze Eindeutige Dateinamen Eindeutige Pfadnamen Dateigröße Datei- und Pfadversionen Anzahl Datensätze in PostgreSQL Archiver Medientypen Archivesets Filesysteme 1 3 Datentyp- und Codeänderungen sind teilweise im README dokumentiert und im Quellcode schon vorbereitet (aber nicht getestet). 1 Datentypänderung 2 Codeänderung 3 Neue Datenbank pro Filesystem Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

8 Praxis: universa Hardware, Statistik universa Virtueller Debian Etch Server Hardware, Statistik 4 Cores (ESX-Server: X5365@3GHz) 2 GB Arbeitsspeicher PostgreSQL Importierte archiver.log Dateien (13 Monate) Massenimport Zeilen in 65 Min. (ca. 5,3 Millionen/Std.) Täglicher Import Zeilen/Min. (ca. 3 Millionen/Std.) Anzahl MB Zeilen Eindeutige Verzeichnisse Eindeutige Dateinamen Verzeichnisversionen Dateiversionen Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

9 Praxis: universa Systemlandschaft universa Systemlandschaft Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

10 Einrichtung Schnellstart Einrichtung Grundkonfiguration vi samrestore archiver-import psql -c CREATE DATABASE samfs; # Konfiguration # DB einrichten Datenimport archiver-import drop archiver-import create archiver-import import # Löscht alle Tabellen # Erzeugt alle Tabellen # Importiert archiver.log Kontrolle der Imports (schnell, aber nicht exakt) psql -c SELECT relname,reltuples FROM pg_class WHERE reltuples>10000; samfs Restore (Schnittstellenscripte fehlen noch...) samrestore # Startet samrestore Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

11 PostgreSQL Schnellstart PostgreSQL Performanceoptimierung PostgreSQL (postgresql.conf/universa.conf) include = universa.conf shared_buffers = 1600MB fsync = off synchronous_commit = off archive_mode = off work_mem = 5MB random_page_cost =? synchronize_seqscans = on Shared Memory Konfiguration (Debian Linux) # im gleichen Ordner # Datenbankgröße # Warnung! # Warnung! # Warnung! # z. B. bei ORDER BY # bei Verwendung von SSDs # synchrones seq. Lesen echo kernel.shmmax = n >>/etc/sysctl.conf # Bytes sysctl -p # Kernel Parameter neu laden Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

12 Livedemo Schnellstart Livedemo Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

13 Fazit Grenzen des Systems Grenzen des Systems samrestore Features Sicht auf die Vergangenheit (Umbenennen!) Restore von Ordnern (rekursiv) nur mittels Dumps Re- und Unarchiving nicht implementiert Segmented/Overflowed Files nicht implementiert Wartung/Support Kein oder nur eigener Support Code ist von einem Perl-Gelegenheitsanwender Gebunden an PostgreSQL (DBD::PG) Eingeschränkter Nutzerkreis (Administratoren) Keine Rechteverwaltung Keine Prüfung der Eingaben Externe Probleme Zielordner sollten für Dateirestore mit recover.sh existieren star: Parameter p; Ordner werden entsprechend umask erzeugt Aufeinanderfolgende Leerzeichen in restore.sh/recover.sh Probleme der Curses Oberfläche README Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

14 Fazit Fazit Fazit Einführung SAM-FS Start Mitte März 2008 Start und Fertigstellung samrestore Herbst 2008 Entwicklungszeit Basisversion: 10 MT Integration, Fehlerbereinigung und Funktionserweiterung: 3 MT Anwendung ca. 50 Restores in sieben Monaten Administratoren kommen mittlerweile gut damit zurecht Michael Arlt [email protected] () samrestore - restore your SAM-FS files 26. Mai / 16

15 Anhang Datenmodell Datenmodell (eventuell korrekt) Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16

16 Anhang Links Danke für Ihre Aufmerksamkeit! PostgreSQL DBD::Pg CPAN Curses::UI Google Code CPAN Blog samrestore Michael Arlt () samrestore - restore your SAM-FS files 26. Mai / 16