Synchronisation mit Unison

Transkript

1 Synchronisation mit Unison (erste Erfahrungen, ) Volker Typke, Jürgen Nagler Eine der Aufgabenstellungen, die im Rahmen des SoFa-Projektes gelöst werden sollen, ist die Synchronisation von Files auf verschiedenen Rechnern. Damit ist gemeint, dass 2 Files, die auf verschiedenen Rechnern gespeichert sind, jedoch identischen Inhalt haben sollen, so abgeglichen werden, dass der Inhalt auch tatsächlich identisch ist. Dies ist dann wichtig, wenn Studenten z.b. Übungen auf ihrem Laptop unabhängig von Netzzugang und Server, auf dem die Aufgaben eigentlich gespeichert sind, weiterbearbeiten wollen. Dazu laden sie die entsprechenden Dateien auf ihren Laptop und können somit anschließend offline arbeiten. Sobald wieder ein Zugang zum Netzwerk und Server zur Verfügung steht, muss die zuvor offline geleistete Arbeit auf den Server übertragen werden, d.h. die Dateien müssen synchronisiert werden. Erst dann sollte die Arbeit wieder direkt mit den auf dem Server gespeicherten Daten erfolgen. So ist gewährleistet, dass immer vom letzten Bearbeitungsstand aus die Arbeit fortgesetzt wird. Analoges gilt für Dozenten, die offline beispielsweise an Vorlesungsmaterialien weiterarbeiten wollen. In der Vergangenheit wurde für die Synchronisation ein Protokoll 1 entwickelt, das diese Aufgabe möglichst optimal und effektiv löst. Auf vielen Systemen ist dieses Protokoll in einem Kommando rsync implementiert. Für SoFa ist dieses Kommando insofern unpraktisch, als es im Zeilenmodus, versehen mit allen notwendigen Optionen und Parametern, abgesetzt werden muss. Viel besser geeignet ist ein Programm mit dem Namen unison, das als open source unter der Gnu-Lizenz (GPL, Gnu Public Licence) verfügbar ist und frei heruntergeladen 2 werden kann. Es wurde entwickelt an der University of Pennsylvania, School of Engineering & Applied Science im Department of Computer & Information Science. Aktuell ist die Version Einer der großen Vorteile von unison ist, dass es sowohl unter Windows (95, 98, NT, 2000) als auch unter Unix (Linux, Solaris etc.) verfügbar ist; außerdem lassen sich Synchronisationen zwischen verschiedenen Betriebssystemen (z.b. zwischen Windows und Linux) durchführen. Die nachfolgenden Ausführungen sollen den Einstieg in die Benutzung von unison erleichtern; ein ausführliches Benutzerhandbuch kann man sich als pdf-file von der angegebenen Adresse herunterladen. Allgemeines Grundsätzlich spielt es keine Rolle, auf welchem der beiden zu synchronisierenden Rechnern der Vorgang gestartet wird. Allerdings muss der initiierende 1 A. Tridgell, P. Mackerras, The rsync algorithm, Department of Computer Science, Australian National University, Canberra, ACT 0200, Australia, June 18,

2 Rechner den anderen erreichen und dort auf die entsprechenden Daten zugreifen können. Unison bietet dazu drei verschiedene Möglichkeiten, wobei im Folgenden zum besseren Verständis der initiierende Rechner als Klient und der zweite Rechner als Server bezeichnet wird: 1. Die Daten des Servers sind in das Dateisystem des ersten Rechners eingebunden (gemountet). Unison kann somit einen Abgleich von zwei lokal verfügbaren Verzeichnissen vornehmen. 2. Unison kann auf dem Server als Server-Dienst (Daemon/Service) gestartet werden. Über einen definierten Port kann dann das unison auf dem Klient mit dem unison-server kommunizieren. 3. Wenn die Möglichkeit besteht, auf dem Server über eine remote shell dort unison zu starten, kann unison auf dem Klient dies tun und über diese Verbindung sich mit dem entfernt gestarteten unison abgleichen. Eine Bewertung der Varianten soll zeigen, welche generell zu empfehlen ist. Variante 1 stellt die unkomplizierteste dar, da der Benutzer lediglich zwei lokal auf dem Klient verfügbare Verzeichnisse bestimmen muss, die gegeneinander synchronisiert werden sollen. Dies ist aber nur mit Verzeichnissen auf dem Server möglich, die zum Mounten freigegeben wurden und vom Klient ins lokale Dateisystem eingehängt werden können. Leider stellte sich in Tests unter Windows der Zugriff über das eingehängte Dateisystem (SMB-Protokoll) als deutlich langsamer als die anderen Varianten heraus. Ein größerer Nachteil ist allerdings die Beschränkung, dass das Mounten von Dateisystemen meist nur innerhalb des gleichen lokalen Netzwerkes (LAN) und somit eine Synchronisation von außerhalb der Universität aus nicht möglich ist. Dies ist meist auf sicherheitsrelevanten Einschränkungen wie z.b. der Sperrung an der Firewall zurückzuführen. Darüber hinaus stellt die sichere Datenübertragung über das Netzwerk ein Problem dar. Allerdings kann eine Bewertung diesbezüglich hier nur angerissen werden, da sie vom verwendeten "Filesharing-Protokoll" abhängt. Leider bieten die beiden großen Standard-Vertreter SMB und NFS (mit Ausnahme) keine Verschlüsselung, so dass dies eher als Problem zu werten ist. Unison als Server wie in Variante 2 zu starten, unterliegt ähnlichen Beschränkung wie die vorherige Variante. Denn zum einen muss der definierte Port, über den der unison-server erreichbar ist, an der Firewall freigeschaltet werden. Zum anderen kommt aber noch hinzu, dass der Datenverkehr zwischen den beiden unison Prozessen ausnahmslos unverschlüsselt erfolgt. Dies bedeutet, dass bei einer Synchronisation die Inhalte der Dateien theoretisch mitgelesen werden können, was vor allem bei Synchronisation von außerhalb der Universität ein Problem darstellt, aber auch innerhalb der Universität evtl. nicht unkritisch ist. Bezüglich der Probleme der beiden ersten Varianten könnte die Verwendung in Kombination mit einem VPN (virtuelles privates Netzwerk) eine Lösung sein. Beschränkungen durch die Firewall würden somit umgangen und der Datenverkehr bei Synchronisation von außerhalb wäre auf der Internet- 2

3 Strecke verschlüsselt. Allerdings würden die Daten innerhalb der Universität immer noch unverschlüsselt übertragen. Diese Probleme können größtenteils mit Variante 3 in Verbindung mit SSH (Secure Shell) vermieden werden. Grundsätzlich funktioniert diese Variante auch mit RSH (Remote Shell), einer Möglichkeit, eine Sitzung auf einem entfernten Rechner zu starten und dort direkt zu arbeiten. SSH erweitert dies vor allem um den Aspekt der Verschlüsselung. Voraussetzung für eine Synchronisation ist auch hier die Freigabe des RSH- oder SSH-Ports an der Firewall. Da RSH als unsicher gilt, ist dies meist nicht der Fall. Für SSH hingegen ist dies meist auf Grund der sicheren Übertragung standardmäßig eingerichtet. Zudem muss auf dem Server zwar kein unison-server laufen, dafür aber ein SSH-Server. Während für Unix-Systeme dies ebenfalls meist schon der Fall ist, muss unter Windows dieser zusätzlich installiert werden. Eine unter der GPL verfügbare Möglichkeit dazu bietet OpenSSH in Verbindung mit cygwin. Da im Folgenden allerdings davon ausgegangen wird, dass der Server eine von den administrativen Stellen der Universität betriebene Maschine ist, wird auf die Installation eines SSH-Servers im weiteren nicht eingegangen (für Interessierte: Aus diesen Gründen werden wir ausschließlich Variante 3 unterstützen und dahingehend die Server konfigurieren. Installation unter Linux und Solaris Zur Installation und Benutzung sind keine root-privilegien erforderlich. Wir empfehlen, die unison-version mit grafischer Oberfläche herunterzuladen: dies ist unison.linux-gtkui.gz für Linux bzw. unison.solaris-gtkui.gz für SUN- Rechner mit Solaris; für andere Unix-Varianten sind keine vorgefertigten ausführbaren Files vorhanden und unison muss aus den Quellen erzeugt werden. Nach dem Auspacken mit gunzip erhält man die ausführbaren Files unison.linux-gtkui bzw. unison.solaris-gtkui. Diese Files kann man in ein beliebiges, eigenes Directory legen, z.b. nach $HOME/Unison. Am besten setzt man dann einen Link auf dieses File: ln -s $HOME/Unison/unison.linux-gtkui unison (für Solaris analog). Die Link-Technik erlaubt ein schnelles Umschalten auf andere (z.b. unison im Zeilenmodus) oder neuere Versionen. Entscheidend wichtig für die spätere Benutzung ist, dass dieser Link in einem Directory liegen muss, das im Suchpfad für Binaries (Umgebungsvariable PATH) enthalten ist; eventuell muss PATH bei der Shell-Initialisierung entsprechend erweitert werden, z.b. mit einem Eintrag in.bashrc. Installation unter Windows Unison für Windows bietet keine Installationsroutine, es handelt sich lediglich um eine ausführbare Datei. Wir empfehlen, die unison-version mit grafischer 3

4 Oberfläche herunterzuladen: sofern man gnuzip entpacken kann, ist dies unison.win32-gtkui.exe.gz bzw. falls nicht, unison.win32-gtkui.exe. Am besten legt man die Datei dort ab, wo man sie auch wieder findet wie z.b. den Desktop oder speichert sie wo auch sonstige Programme gespeichert sind und erzeugt Einträge z.b. im Startmenü oder auf dem Desktop. Weitere Einstellungen sind für unison auf einem Windows-Klienten nicht nötig. Allerdings können ohne installiertes SSH somit nur Variante 1 und 2 genutzt werden. Für die Nutzung der Variante 3 als Klient ist ein kommandozeilen fähiger SSH Klient für Windows nötig, der über den Pfad erreichbar ist und sich über den Aufruf "ssh" starten läßt. Bisher konnten der für private Nutzung freie und als Campus-Lizenz vorhandene Klient von und das GPL lizensierte cygwin mit dem Paket OpenSSH ( zusammen mit unison erfolgreich eingerichtet werden. Bei der Installation des Klients von ssh.com ist zu beachten, dass die Kommandozeilen Tools mit installiert werden. Der Pfad wird vom Programm so gesetzt, dass ein Zugriff von überall aus möglich ist. Allerdings implementiert der Klient SSH2, weshalb im Installationsverzeichnis ssh2.exe installiert wird. Unison erwartet aber eine ausführbare Datei namens ssh, weshalb ssh2.exe nach ssh.exe kopiert werden muss. Cygwin stellt eine Unix Umgebung unter Windows (alle Versionen seit 95 außer CE) zur Verfügung. Viel unter Unix laufende Software kann so in Verbindung mit cygwin unter Windows betrieben werden. Will man also OpenSSH benutzen, dann benötigt man auch das Softwarepakete OpenSSH, welches zusammen mit der cygwin-bibliothek (eine DLL) installiert werden muss. Dazu startet man das von heruntergeladene setup.exe (Link "Install now") und wählt (bei laufendem Internetzugang) "Install from Internet". Anschliessend wählt man das "root directory". Dabei handelt es sich um das Verzeichnis, unter dem die Unix-Umgebung mit allen Softwarepakten installiert wird. Die restlichen Einstellung können beibehalten werden. Cygwin frägt im nächsten Dialog nach einem Verzeichnis, in dem die vom Internet geladenen und zu installierenden Softwarepakete zwischengespeichert werden können. Nach der Installation kann diese Verzeichnis wieder gelöscht werden. Nachfolgend wird eine Liste von Servern gezeigt, von denen cygwin und die Softwarepakete heruntergeladen werden können. Es können einer oder mehrere ausgewählt werden. Danach gelangt man zur Auswahlliste aller vorhanden Softwarepakete. Den besten Überblick erhält man, indem man "View" "Full" wählt. Für den Betrieb von unison mit OpenSSH benötigt man lediglich die Pakete "cygwin", "openssh", "openssl" und "_update-info-dir", die als einzige in der Spalte "Bin?" ausgewählt sein müssen. Im Anschluss werden die Pakete heruntergeladen und installiert. Als letzter Schritt muss das Verzeichnis "bin" unterhalb des root directory in den Pfad für Windows eingetragen werden. Als Test, ob die Installation den Ansprüchen von unison genügt, sollte man eine Eingabeaufforderung starten und den Befehl "ssh" eingeben. SSH sollte dann eine Liste der möglichen Kommandozeilenoptionen ausgeben. 4

5 Arbeiten mit unison Das Arbeiten mit unison ist recht einfach: das Programm muss nicht für jede zu synchronisierende Datei einzeln 3 aufgerufen werden, sondern es werden ganze Directory-Bäume bearbeitet. Als Ergebnis ist dann auf beiden Rechner ab einer bestimmten Stelle bis auf Ausnahmen die gleiche Verzeichnisstruktur vorhanden. Da meist ein Rechner mit bereits existierenden Daten die Verzeichnisstruktur vorgibt, ist es daher sinnvoll, vor Beginn aller Arbeiten zu überlegen, an welcher Stelle diese auf dem zweiten Rechner abgelegt werden sollen. Dabei spielt es keine Rolle, welcher der beiden Rechner später Klient und welcher Server ist. Existieren auf beiden Rechnern Dateien, die anschließend innerhalb dieser Verzeichnisstruktur synchronisiert sein sollen, so sollten die Verzeichnisse vor der Synchronisation auf beiden Rechnern so eingerichtet werden, dass sie sich weitgehend entsprechen. Es ist aber auch kein Problem, mit Hilfe von Profil-Files Teilbäume oder einzelne Files, deren Namen bestimmten Mustern entsprechen, von der Synchronisation auszunehmen (s.u.). Der Aufruf von unison erfolgt entweder durch die Eingabe des Kommandos unison in der Eingabezeile oder durch Klicken auf das zugehörige Icon in der Desktop-Umgebung. Damit erhält man folgendes Fenster auf dem Bildschirm: Abb. 1: Festlegung des Wurzelverzeichnisses auf dem lokalen Rechner Hier muss das freie Feld ausgefüllt werden mit der Angabe zum Start- Directory auf dem lokalen Rechner. Danach klickt man auf Continue und erhält als nächstes Fenster: Abb. 2: Festlegung des Wurzelverzeichnisses, des Namens des entfernten Rechners, des Benutzernamens und des Verbindungsprotokolls 3 Einzelne Files überträgt man einfacher mit einer ftp-anwendung wie xftp oder xdir. 5

6 Hier wird jetzt festgelegt, ob Files auf dem selben Rechner synchronisiert werden sollen oder auf einem entfernten Rechner. Für die nachfolgenden Schritte nehmen wir an, dass es sich um Synchronisation mit einem anderen Rechner handelt: dann muss (1) das Start-Directory auf dem entfernten Rechner eingetragen werden, (2) der volle Name dieses Rechners (z.b. lyra.rz.uniulm.de) und gegebenenfalls (3) ein abweichender Benutzername auf diesem Rechner. Klicken Sie außerdem auf den Knopf SSH, damit eine gesicherte Kommunikation zwischen den Rechnern aufgebaut wird. Nach Continue erhalten Sie nun ein weiteres kleines Fenster: Abb. 3: Zwischenfenster und auf dem Befehlsfenster erscheint die Frage nach dem Passwort des angegebenen Benutzers auf dem anderen Rechner. Schließlich erscheint nach Eingabe des (richtigen!) Passwortes etwa folgendes Fenster: Abb. 4: Steuerfenster für die Synchronisation In diesem Fenster lässt sich jetzt steuern, welche Files synchronisiert werden. Hierzu benutzt man in der untersten Zeile die Knöpfe, und Skip: gleicht die linke Seite (Ziel, hier der Rechner local ) an die rechte Seite (Quelle, hier der Rechner linux ) an gleicht die rechte Seite an die linke Seite an Skip überspringt eine Synchronisation von rechter und linker Seite Diese Knöpfe wirken auf die gerade ausgewählte Zeile. Eine vertikale Auswahl kann mit den Tasten und der Tastatur oder durch Anklicken der gewünschten Zeile erfolgen. In der Spalte Action der Übersicht stehen zunächst die vom Programm vorgeschlagenen Aktionen, wobei ein Fragezeichen ein Überspringen der Synchronisation bezeichnet. Die eigentliche Ausführung der Synchronisation wird mit dem Knopf Go gestartet. 6

7 Die oben beschriebene Reihenfolge von Fenstern wird so nur bei dem ersten Mal durchlaufen; bei einem späteren erneuten Aufruf wird die Information, die von unison in früheren Läufen in Profilen (siehe unten) gespeichert wurde, benutzt und man bekommt folgendes Fenster: Hier kann man zwischen verschiedenen Profilen auswählen (oder auch neue erzeugen, siehe unten) und gelangt danach zu dem vorher gezeigten Steuer- Fenster (Abb. 4), in dem die Synchronisation der rechten und linken Seite gesteuert wird. Ausnutzen von Profilen Bei jedem Auruf von unison wird die jeweils relevante Steuerinformation in zwei Typen von Dateien abgelegt: zum einen führt ein Archiv-File darüber Buch, welche Dateien zu welchem Zeitpunkt synchronisiert wurden, und zum anderen enthält ein Profil-File die Informationen über die beteiligten Rechner, die Directories und die Auswahlprinzipien für die zu synchronisierenden Dateien. Alle von unison erzeugten Files mit diesen beiden Filetypen werden im Verzeichnis $HOME/.unison abgelegt (unter Windows ist entweder $HOME eigens als Umgebungsvariable definiert oder es wird die Systemvariable %USERPROFILE% verwendet). Es ist nun ziemlich einfach, Auswahlprinzipien zu definieren und dadurch den Umfang der zu leistenden Synchronisationen zu begrenzen. Dazu benutzt man entweder im Synchronisationsfenster das Pulldown-Menü Ignore, über das ganze Subdirectories übergangen oder Files mit speziellen Namen oder Namenserweiterungen ausgeschlossen werden können; oder man bearbeitet direkt das Profil-File mit einem Editor. Profil-Files tragen den Namen des Profils und die Erweiterung prf. Ein Profil-File hat dann typischerweise folgendes Aussehen: root = /home/typke/programme/quellen/f/ root = ssh://typke@lyra.rz.uni-ulm.de//users/urz1/typke/programme/quellen/f contactquietly = true ignore = Name *.exe Abb. 5: Auswahl eines Profils 7

8 ignore = Name *.o ignore = Name *.lst ignore = Name *.dat ignore = Name *.erg ignore = Name *.inp ignore = Name *.mod ignore = Name *.alt ignore = Path vorlesung ignore = Path stolz Die Zeile contactquietly = true sorgt dafür, dass das oben gezeigte Fenster Contacting server (Abb.3) nicht bei jedem Start als oberstes Fenster geöffnet wird und so die Eingabe des Passwortes erschwert. Zur Abkürzung der Schreibarbeit kann man von den Möglichkeiten regulärer Ausdrücke Gebrauch machen. Es muss außerdem beachtet werden, dass in Pfadangaben als Trennzeichen der normale Slash / benutzt werden muss auch wenn man auf einem Windows-System arbeitet. Zudem können natürlich nur Dateien synchronisiert werden, deren Namen auf beiden Rechnern gültig sind (Probleme für Windows stellen z.b. Dateien mit einem Doppelpunkt dar). 8