Backup und Datenabgleich mit RSYNC

Transkript

1 Backup und Datenabgleich mit RSYNC RSYNC ist eine Alternative zum Backup mit TAR besonders dann, wenn viele Daten gesichert werden müssen. TAR besitzt nämlich eine Speichergrenze von 2GB, so dass nicht immer alle Verzeichnisse gepackt werden können. RSYNC ist dagegen im Volumen nicht beschränkt und besitzt darüber hinaus den Vorteil, bereits ab der zweiten Sicherung wesentlich schneller zu sein. RSYNC vergleicht nämlich die vorgegebenen Dateien bzw. Verzeichnisse von Quell- und Zielordner miteinander, wobei die Größe und auch die Erstellungszeit bzw. letzte Bearbeitungszeit beachtet wird. Mit der Option -u wird besonders die Zeit berücksichtigt und die ältere Datei durch die neue ausgetauscht, aber keine neuere Datei durch eine ältere ersetzt. Wenn sich nun zwei Dateien voneinander unterscheiden, verwendet RSYNC einen Algorithmus, der nur den Unterschied zwischen den zwei Dateien überträgt. Somit wird die Synchronisationsgeschwindigkeit enorm gesteigert. Außerdem ist es auch bei RSYNC möglich, bestimmte Dateien einoder auszuschließen. Installation HINWEIS: Eine Installation ist bei den Arktur-Versionen ab 3.5 nicht mehr nötig, hier ist rsync schon installiert und muss nur noch konfiguriert werden. Als root am der Arktur-Konsole anmelden und nun nacheinander 1. Nach /tmp wechseln und RSYNC aus dem Internet laden: cd /tmp wget RSYNC wird kontinuierlich weiter entwickelt, zurzeit (Februar 2004) ist die Version aktuell. Die jeweils aktuelle Version findet man hier: 2. Die Datei entpacken und das Programm kompilieren: gunzip -dc rsync* tar xvf - cd /tmp/rsync*./configure make make install 3. Temporäre Dateien löschen: cd / rm -R /tmp/rsync* Damit ist RSYNC installiert und befindet sich im Verzeichnis /usr/local/bin Benutzung Die allgemeine Syntax von RSYNC ist: rsync [-Optionen] Quelle [Host:]Ziel Optionen sind: -v / --verbose Zeigt auf dem Bildschirm an, welche Datei gerade kopiert wird. -a / --archive Zusammenfassung von rekursive (-r: kopiert Unterverzeichnisse), links (-l: kopiert symbolische Links), permissions (-p: behält Rechte bei), times (-t: behält Zeiten bei), groups (-g: behält Gruppenrechte bei), owner (-o: behält Besitzrechte bei) und devices (-D: behält Gerätedateien bei; nur root) zusammen. -u / --update Aktualisiert vorhandene, ältere Dateien und überschreibt keine Neueren. -n / --dry-run Testet nur die Synchronisation. --existing Aktualisiert nur vorhandene Dateien, erstellt also keine Neuen.

2 --delete --partial Daten-Backup für Arktur mit RSYNC Löscht Dateien im Zielordner, die nicht im Quellordner liegen. Vorsicht! Vor allem beim Synchronisieren über das Internet nützlich: Wenn z.b. eine große Datei transferiert wurde, aber die Verbindung abriss, dann wird beim erneuten Versuch die Datei zu übertragen, dort weiter gemacht, wo der Abbruch erfolgte. Zeigt den Fortschritt der Übertragung an. --progress -P Zusammenfassung von --partial und --progress. -z / --compress Nützliche Funktion vor allem bei langsamen Datenverbindungen. Hier wird der --include=muster --exclude=muster --excludefrom=datei --includefrom=datei Kompressionsstandard von gzip verwendet, um die Daten zu packen. Schließt im MUSTER definierte Dateien ein. Schließt im MUSTER definierte Dateien aus. Schließt die in DATEI durch ein Muster festgelegten Dateien aus. Schließt die in DATEI durch ein Muster festgelegten Dateien ein. Diese Option empfiehlt sich, weil hier sowohl Dateien ausgeschlossen (-) als auch hinzugefügt (+) werden können, siehe unten. Backup automatisieren Da das Backup vor allem davor schützen soll, dass bei einem Festplattencrash die selbst erstellten Dateien verloren gehen, sollte das Backup auf einer zweiten Festplatte erfolgen. Alternativ kann auch, wie unten beschrieben, das Backup auf einen anderen Rechner gemacht werden. Das ist auch - gesichert über ssh - über das Internet z.b. von der Schule zum Rechner eines Admins zu Hause möglich. Oft ist ein solches Backup aber auch die letzte Rettung für Schüler, die aus Versehen ihre Arbeitsergebnisse gelöscht haben. Wie eine zweite Festplatte in einen Arktur-Server eingebaut und konfiguriert wird, ist ausführlich bei der Anleitung zur Einrichtung eines CD-Servers beschrieben (für die, die diese Anleitung nicht direkt von der Homepage der Autoren bekommen haben: Die hier beschriebenen Vorgehensweisen sichern jeweils vier Backup-Instanzen. Man kann dabei 1. entweder in beliebigen Abständen ein Backup erstellen, das dann in den Verzeichnissen /[Pfad]/backup.0 bis /[Pfad]/backup.3 rotierend (d.h. die älteste Sicherung wird jeweils gelöscht) zu finden ist oder 2. wöchentlich ein Backup erstellen, wobei jeweils noch das Datum des Backups zum Verzeichnisnamen ergänzt wird, also z.b.: /[Pfad]/backup /[Pfad]/backup usw. Möglichkeit 1: Die beiden anderen Dateien rsync_backup und rsync_no von ihrer Quelle in ein Verzeichnis z.b. unterhalb von /usr/local kopieren, hier in das Verzeichnis /usr/local/eigene: cp rsync* <Quelle> /usr/local/eigene Rechte vergeben: cd /usr/local/eigene chown root.root rsync* chmod 700 rsync_backup chmod 644 rsync_no Das Script rsync_backup sieht dann so aus: #!/bin/sh # # Backup mit rsync # die Dateien/Pfade in rsync_no werden ausgeschlossen # (c) SD # Pfade definieren # wo liegt die Datei, in dem die auszuschließenden Pfade definiert sind Ausschluss=/usr/local/eigene/rsync_no

3 # in welchen Ordner soll die Sicherung erfolgen Pfad=/platte2/rsyncbak # Verzeichnisse umkopieren rm -rf $Pfad/backup.3 mv $Pfad/backup.2 $Pfad/backup.3 mv $Pfad/backup.1 $Pfad/backup.2 cp -al $Pfad/backup.0 $Pfad/backup.1 Hier werden vier Datensicherungen (0-3) festgehalten Wichtig beim Kopierbefehl cp ist die Option l. Sie erstellt nämlich nur einen Hardlink. Damit ist z.b. ein vierfaches Backup nur um einige KB größer als ein komplettes Backup! # alles sichern von der Wurzel an - alles in ener eine Zeile! /usr/local/bin/rsync -avz --delete --include-from=$ausschluss / $Pfad/backup.0 HINWEIS: Bei den Arktur-Versionen ab 3.5 ist der Pfad zu rsync anders. Daher muss man /usr/local/bin/rsync in: /usr/bin/rsync abändern. Möglichkeit 2: Das Script rsync_backup_mit-datum sieht so aus: #! /bin/sh # # Backup mit rsync auf Arktur 4 # nach Anleitung von Stephan Dreisbach/Medienzentrum-Oberberg # Sigurd Mahr # Die Datei, in der die auszuschliessenden Pfade # definiert sind ist Ausschluss=/usr/local/eigene/rsync_no # Die Sicherung soll nach - Bitte anpassen! Pfad=/platte2/rsyncbak # definiert die aktuellen Datumsangaben heute=`date +%y-%m-%d` letztewoche=`date --date '1 week ago' +%y-%m-%d` vorzweiwochen=`date --date '2 week ago' +%y-%m-%d` vordreiwochen=`date --date '3 week ago' +%y-%m-%d` vorvierwochen=`date --date '4 week ago' +%y-%m-%d` # Erst mal die Datumsangaben raus, damit es kein # Durcheinander gibt mv $Pfad/backup.3.$vorvierWochen $Pfad/backup.3 mv $Pfad/backup.2.$vordreiWochen $Pfad/backup.2 mv $Pfad/backup.1.$vorzweiWochen $Pfad/backup.1 mv $Pfad/backup.0.$letzteWoche $Pfad/backup.0 # Verzeichnisse rotieren lassen rm -rf $Pfad/backup.3 mv $Pfad/backup.2 $Pfad/backup.3 mv $Pfad/backup.1 $Pfad/backup.2 cp -al $Pfad/backup.0 $Pfad/backup.1 # Alles sichern von der Wurzel an, genau definiert in der Datei # /usr/local/eigene/rsync_no. Achtung alles in einer Zeile! /usr/local/bin/rsync -avz --delete --include-from=$ausschluss / $Pfad/backup.0 # HINWEIS: Bei den Arktur-Versionen ab 3.5 ist der Pfad zu rsync anders. Daher muss man /usr/local/bin/rsync in: /usr/bin/rsync abändern.

4 # Und nun wieder die Datumsangaben dazu mv $Pfad/backup.3 $Pfad/backup.3.$vordreiWochen mv $Pfad/backup.2 $Pfad/backup.2.$vorzweiWochen mv $Pfad/backup.1 $Pfad/backup.1.$letzteWoche mv $Pfad/backup.0 $Pfad/backup.0.$heute Daten-Backup für Arktur mit RSYNC Die Datei rsync_no sieht gleich aus wie bei der Möglichkeit 1. Wenn man diese Version mit der Datumsangabe verwenden möchte, ist es wichtig, die Sicherung als cron-job genau wöchentlich laufen zu lassen. Dazu erstellt man einen neuen Eintag in der crontab: crontab -e Im Editor trägt man als letzte Zeile ein (der Pfad zur Datei rsync-backup_mit-datum muss natürlich stimmen): 10 4 * * Mon /usr/local/eigene/rsync_backup_mit-datum > /dev/null RETURN am Ende nicht vergessen! Man speichert mit F2 und beendet mit F10. Und so könnte eine include-datei rsync_no aussehen: + /usr + /usr/local + /usr/local/eigene - /usr/local/* - /usr/* - /etc - /.* - *cdrom - /root - /proc - /bin - /boot - /dev - /hdb - /lib Wenn z.b. nur das Verzeichnis /usr/local/eigene gesichert werden soll, müssen bis zu dieser Verzweigung alle Ordner bekannt gemacht werden (+), anschließend die entsprechenden übergeordneten Ordner ausgeschlossen werden (-) Hier werden die Standardpfade ausgeschlossen - /home/*/.* - /home/*/netscape - /home/*/profile - /home/adm Es wird der Ordner von adm ausgeschlossen. - /home/service - /home/lost+found - /home/ftp - /home/tmp - /home/peter/.* [...] Es werden alle Ordner netscape bei allen Usern ausgeschlossen. Es werden beim User peter alle Dateien ausgeschlossen, die mit einem Punkt beginnen.

5 Datenabgleich mit ssh für RSYNC einrichten Seine richtige Stärke entwickelt RSYNC aber im Zusammenspiel mit ssh: Hier lässt sich auch eine komplette verschlüsselte Datensicherung über das Internet durchführen. Wieweit das allerdings bei den großen Datenmengen sinnvoll ist, möchte ich schon bezweifeln. Allerdings kann man mit diesen Möglichkeiten auf elegante Weise seine Daten z.b. zwischen Heim und Schule abgleichen. Hat man z.b. ein Verzeichnis Austausch in seinem Homeverzeichnis zu Hause und in seinem Homeverzeichnis in der Schule eingerichtet, wird der Inhalt dieses heimischen Verzeichnisses nachts mit dem Verzeichnis Austausch auf dem schulischen Server abgeglichen und da es sich in der Regel nur um Textdokumente und kleinere Grafiken handelt, ist dies vom Datenumfang kein Aufwand. Außerdem werden lediglich die Änderungen übertragen, nur der erste Abgleich ist aufwendig. Mittags dann erfolgt der Abgleich dann von der Schule nach Hause. Für den Verbindungsaufbau muss natürlich die aktuelle IP des jeweils anderen Servers bekannt sein, was man elegant mit einem Dienst wie dyndns.org erledigt (siehe Anleitung Webserver). Da die Verbindung über SSH läuft, muss auf dem häuslichen Arktur ein Schlüssel generiert werden, der anschließend auf dem Schularktur in einer Kopie vorliegt. Erst damit ist der Austausch möglich. Schlüssel generieren: als root an der Konsole anmelden der Befehl ssh-keygen1 generiert einen Schlüssel. (Wichtig: ssh-keygen1 ist der richtige Befehl bei Arktur bis v.3.3, ab Arktur v.3.5 lautet der Befehl: ssh-keygen -t rsa1) Wenn man nach der Passphrase gefragt wird, nichts(!) eingeben. Die Frage nach dem Namen des Schlüssels mit dem kompletten Pfad angeben, hier z.b. /root/.ssh/schulserver Nun befinden sich im Ordner /root/.ssh zwei neue Dateien, nämlich schulserver und schulserver.pub. Die kleinere Datei schulserver.pub ist der öffentliche Schlüssel. Er muss als authorized_keys zum Schulserver in das dortige Verzeichnis /home/<username>/.ssh kopiert werden. cp /root/.ssh/schulserver.pub /home/tmp/authorized_keys chmod 777 /home/tmp/authorized_keys Damit liegt die Datei im Laufwerk t:, kann auf eine Diskette kopiert und im schulischen Arktur in das wie oben angegebene Home-Verzeichnis /home/<user>/.ssh kopiert werden. Evtl. muss das Verzeichnis noch angelegt werden. Beispiel: Peter Meier möchte seine Daten von zu Hause und Schule immer synchron halten. In der Schule hat er den Anmeldenamen meier, zu Hause meldet er sich mit peter an. Nur in eine Richtung von zu Hause in die Schule: Zu Hause: In /root/.ssh liegen die Dateien schulserver schulserver.pub In der Schule: Eine Kopie von schulserver.pub liegt als authorized_keys im Verzeichnis /home/meier/.ssh Datenaustausch in beide Richtungen: Zu Hause: In /root/.ssh liegen die Dateien schulserver schulserver.pub In der Schule: Eine Kopie von schulserver.pub liegt als authorized_keys im Verzeichnis /home/meier/.ssh Im Ordner /home/peter/.ssh Eine Kopie von schulserver und liegt die Datei authorized_keys als Kopie von schulserver.pub schulserver.pub liegt im Ordner /root/ssh, am besten umbenannt z.b. in homeserver und homeserver.pub Das für den Abgleich notwendige Script rsync_abgleich liegt bei mir in usr/local/eigene und hat die Rechte 700 mit dem Besitzer root.root. Es wird nachts per cronjob aufgerufen. Ist man mit Arktur nicht ständig online, sollte man per cronjob sicherstellen, dass der Zielrechner kurz vorher online geht.

6 #!/bin/sh # # Dateiabgleich mit rsync # (c) SD /usr/local/bin/rsync \ -avz \ --rsync-path=/usr/local/bin/rsync \ --partial \ --delete \ -e "ssh1 -i /root/.ssh/schulserver" \ /home/peter/austausch/ \ meier@xxxxxx.dyndns.org:~/austausch Das Script auf dem schulischen Server muss natürlich angepasst sein: statt schulserver muss es homeserver heissen, statt /home/peter/austausch /home/meier/austausch bzw. statt meier@xxxx.dyndns.org dann peter@xxxxx.dyndns.org Die Scripte rsync_backup, rsync_backup_mit-datum sowie sowie eine noch anzupassenden rsync_no (für Arktur bis v.3.3) und rsync_no_v4 (für Arktur ab v.3.5, die dann in rsync_no umbenannt werden muss) und rsync_abgleich kann man unter - Anleitungen laden. Bitte nicht mit einem Win-Editor bearbeiten, sondern erst auf Arktur kopieren und dann z.b. mit mcedit anpassen. Fragen und Hinweise an: St. Dreisbach, dreisbach@medienzentrum-oberberg.de S. Mahr, mahr@medienzentrum-oberberg.de