cyber-diode Anleitung zur Datenbankreplikation mit PostgreSQL und MySQL

Transkript

1 cyber-diode Anleitung zur Datenbankreplikation mit PostgreSQL und MySQL genua gmbh, Juni 2017

2 Inhaltsverzeichnis 1 Zusammenfassung Szenario Ausgangssituation Nutzen Lösung Umsetzung allgemein Voraussetzungen Hardware Software Vorgehen Umsetzung: PostreSQL unter FreeBSD mit ZFS Vorgehen Schwarzes System Rotes System Anfertigen von Snapshots Übertragen von Snapshots über die cyber-diode Umsetzung: MySQL unter Linux mit Btrfs Vorgehen Schwarzes System Rotes System Anfertigen von Snapshots Übertragen von Snapshots über die cyber-diode Support... 8

3 1 Zusammenfassung In diesem Dokument wird die Replikation einer Dateibank über Netzwerk und cyber-diode auf einen entfernten Rechner beschrieben. Beispiel-Szenarien sind PostgreSQL auf einem FreeBSD-System mit einem ZFS-Dateisystem sowie MySQL auf einem Btrfs-Dateisystem. 2 Szenario 2.1 Ausgangssituation Ein Datenbestand in der Datenbank eines Rechners A soll regelmäßig auf einen entfernten Rechner B repliziert werden. Gleichzeitig soll aber jeglicher Datenverkehr in Richtung Rechner A zuverlässig unterbunden werden. Dabei soll der Datentransfer im laufenden Betrieb erfolgen können; gleichzeitig sollen die Daten aber jederzeit konsistent sein, d.h. von Schreiboperationen während der Übertragung unbeeinflusst sein. 2.2 Nutzen Flexibilität: Es lassen sich beliebige Arten von Daten und beliebige Datenmengen replizieren. (Das Verfahren ist unabhängig von den in der Datenbank gespeicherten Daten.) Konsistenz: Repliziert werden Snapshots, die den gesamten Zustand aller Dateien eines Dateisystems zu einem bestimmten Zeitpunkt beinhalten. Auch das Hinzufügen und Löschen von Daten wird repliziert. Korrektheit: Auch die Zugriffsrechte der Daten werden repliziert. Geschwindigkeit: Das Verfahren ist performant, da erstens nur die geänderten Daten übertragen werden, und zweitens diese Änderungen bereits feststehen, sobald die Daten abgespeichert wurden damit entfällt zeitraubendes Vergleichen von Versionen. 2.3 Lösung Zur Durchsetzung des Einweg-Datenverkehrs eignet sich die genua cyberdiode. Diese unterbindet protokollunabhängig sämtlichen Datenverkehr in Gegenrichtung, aber erlaubt den Handshake zum Aufbau von TCP-Verbindungen. Um die Konsistenz der Daten sicherzustellen, werden transaktionsbasierte Dateisysteme wie ZFS und Btrfs genutzt. Diese können einen atomaren schreibgeschützten Schnappschuss der Dateien der Datenbank anfertigen, welcher dann unbeeinflusst von weiteren Schreiboperationen übertragen werden kann. Die in diesem Schnappschuss gespeicherten Dateien können anschließend serialisiert über eine Einweg-Datenverbindung übertragen werden. Ohne Seite 1

4 Rückkanal ist es grundsätzlich nicht möglich abzugleichen, welche Teile der Dateien sich seit der letzten Übertragung verändert haben ohne weitere Zusatzinformationen muss daher jedes Mal der gesamte Datenbestand übertragen werden. Allerdings können Copy-on-Write-Dateisysteme wie ZFS und Btrfs die Differenz zwischen zwei Schnappschüssen berechnen und nur diesen Unterschied übertragen, was gerade bei sehr großen Datenmengen mit nur geringen Änderungen eine deutliche Ersparnis bringt. 3 Umsetzung allgemein 3.1 Voraussetzungen Hardware Eine genua cyber-diode. Als Sender und Empfänger je ein PC, auf dem ein aktuelles FreeBSD bzw. Linux läuft. Im Folgenden wird die Verwendung von ZFS unter FreeBSD sowie Btrfs unter Linux beschrieben Software Sowohl Btrfs als auch ZFS sind Bestandteile des Linux- bzw. FreeBSD-Kernels. Daher wird lediglich eine aktuelle Linux- bzw. FreeBSD-Version benötigt. Wir empfehlen: FreeBSD: 11.0 Linux: Ubuntu LTS 3.2 Vorgehen Die Konfiguration der cyber-diode ist im zugehörigen Handbuch ausführlich beschrieben; sie kann mittels genucenter oder dem Online-Konfigurator ( erfolgen. Die Beispiele in diesem Text verwenden folgende Einstellungen: Input-Interface: /24 Output-Interface: /24 Target-System: Damit sieht die Netzstruktur folgendermaßen aus: black /24 cyber-diode /24 red Seite 2

5 4 Umsetzung: PostreSQL unter FreeBSD mit ZFS 4.1 Vorgehen Schwarzes System Als Ausgangspunkt wird ein Rechner mit einem aktuellen FreeBSD benötigt. Wir beschreiben die Verwendung anhand der Version 11.0 für i386, welche unter folgender URL heruntergeladen werden kann: Als Zusatzpaket wird mbuffer sowie PostgreSQL benötigt: # pkg install mbuffer # pkg install postgresql Die zu replizierende Partition muss mit dem ZFS-Dateisystem formatiert sein. Anschließend muss ein ZFS-Container angelegt werden, in dem die zu übertragenden Daten liegen: # zfs create o mountpoint=/var/db/postgres zroot/postgres Danach muss die Datenbank initialisiert und gestartet werden. # service postgresql initdb # service postgresql start Die Option fsync in der Konfigurationsdatei postgresql.conf sollte auf den Standardwert on belassen werden, da es sonst zu Inkonsistenzen der Datenbank beim Replizieren kommen kann. Die Datenbank auf dem schwarzen System ist nun fertig eingerichtet und kann wie gewohnt verwendet werden Rotes System Die Installation und Konfiguration erfolgt analog zum schwarzen System. Allerdings kann hier die Initialisierung der Datenbank entfallen, da diese bei der folgenden Replikation überschrieben wird. Seite 3

6 4.2 Anfertigen von Snapshots Nachdem der ZFS-Container eingerichtet ist, kann man einen Snapshot anfertigen; der Snapshot wird unter dem Namen backup gespeichert: # zfs snapshot zroot/postgres@backup Dieser Snapshot kostet keinen zusätzlichen Speicherplatz, denn er referenziert nur die vorhandenen Daten. Wenn die Daten im Container geändert werden, bleiben die ursprünglichen Versionen erhalten und nur die neuen Daten brauchen zusätzlichen Speicherplatz. 4.3 Übertragen von Snapshots über die cyber-diode Snapshots können mittels zfs send serialisiert und anschließend z.b. über das Netzwerk übertragen werden. In diesem Beispiel verwenden wir das Programm mbuffer, um eine TCP-Verbindung zwischen der schwarzen und roten Seite aufzubauen und über diese den Snapshot zu übertragen. Zuerst muss die Datenbank auf der roten Seite gestoppt werden: red# service postgresql stop Nun kann der mbuffer-befehl zum Empfangen des Snapshots gestartet werden: red# mbuffer 4 s 128k -m 1G -I 9090 zfs receive -F zroot/postgres@backup Da die cyber-diode nur IPv4 unterstützt, wird der Parameter -4 benötigt. Der Parameter -F aktualisiert das Dateisystems sofort, -I gibt den Port an (hier: 9090, es ist jedoch beliebiger anderer freier Port möglich) und -s 128k -m 1G spezifiziert die Puffergröße (hier: 1 GB Puffer, Blockgröße 128 kb). Dann kann die Übertragung auf der schwarzen Seite gestartet werden: black# zfs send zroot/postgres@backup mbuffer s 128k m 1G O :9090 Nach erfolgreicher Übertragung kann die Datenbank auf der roten Seite wieder gestartet werden: red# service postgresql start Ab jetzt stehen in der Datenbank der roten Seite alle Daten der schwarzen Seite zur Verfügung. Seite 4

7 5 Umsetzung: MySQL unter Linux mit Btrfs 5.1 Vorgehen Schwarzes System Als Ausgangspunkt wird ein Rechner mit einer aktuellen Linux-Distribution benötigt. Wir beschreiben die Verwendung anhand der Distribution Ubuntu LTS, welche unter folgender URL heruntergeladen werden kann: Als Zusatzpakete werden die MySQL-Datenbank und btrfs-tools benötigt: $ sudo apt-get install btrfs-tools $ sudo apt-get install mysql-server Dabei ist wichtig, dass die zu replizierende Partition mit dem Btrfs-Dateisystem formatiert ist. Eine ext2/3/4-partition kann nachträglich nach Btrfs konvertiert werden, wenn sie nicht gemountet ist. (Ein Root-Dateisystem kann also nur dann konvertiert werden, wenn von einem Rettungssystem gebootet wurde, und somit das Root-Dateisystem nicht in Benutzung ist.) $ sudo btrfs-convert /dev/sda1 Anschließend muss eventuell noch die Datei /etc/fstab angepasst werden, da sich bei der Konvertierung die UUID ändert. Die korrekte UUID lässt sich mit dem Befehl blkid herausfinden (hier eine beispielhafte Ausgabe): $ blkid /dev/sda1: UUID="3941e8ce-e88a-426a-ab c08c57" [...] Die zurückgelieferte UUID trägt man dann in /etc/fstab ein: $ sudo vi /etc/fstab Ein Beispiel-Eintrag sieht so aus: UUID=fa98f88c-2a0d-41ea-971b-53f1f / btrfs defaults 0 1 Als nächstes müssen Subvolumes angelegt werden denn nur Subvolumes können repliziert werden. Beispiel, um ein Subvolume anzulegen und anzuzeigen: Seite 5

8 $ sudo btrfs subvolume create /data $ sudo btrfs subvolume list / Obwohl ein Subvolume wie ein Verzeichnis aussieht, kann man ein bestehendes Verzeichnis nicht umwandeln, sondern muss die Daten verschieben. Hier am Beispiel des Verzeichnisses /var/lib: $ sudo btrfs subvolume create /var/lib/mysql1 $ shopt -s dotglob $ sudo cp --reflink=always -- /var/lib/mysql/* /var/lib/mysql1/ $ sudo rmdir /var/lib/mysql $ sudo mv /var/lib/mysql1 /var/lib/mysql $ sudo btrfs subvolume list / Achtung: Bei laufendem System sollte man alle Dienste beenden, die auf das Verzeichnis zugreifen. Statt zu kopieren kann man die Daten zwar auch verschieben, aber insbesondere Systemverzeichnisse wie /etc können massive Probleme verursachen, wenn während des Verschiebens wichtige Systemdateien wie /etc/passwd, die von sudo gebraucht wird, plötzlich verschwunden sind. Der MySQL-Server kann auf der schwarzen Seite nun gestartet und wie gewohnt genutzt werden. $ sudo /etc/init.d/mysql start Rotes System Die Installation und Konfiguration erfolgt analog zum schwarzen System. 5.2 Anfertigen von Snapshots Nachdem das Subvolumes eingerichtet ist, kann man einen Snapshot anfertigen. Der Snapshot wird unter /snapshots/ abgelegt, und der Parameter -r erzeugt einen schreibgeschützten Snapshot: $ sudo btrfs subvolume snapshot -r /var/lib/mysql /snapshots/mysql Dieser Snapshot kostet keinen zusätzlichen Speicherplatz, denn er referenziert nur die vorhandenen Daten. Wenn die Daten im Subvolume geändert werden, bleiben die ursprünglichen Versionen nicht überschrieben oder gelöscht, sondern erhalten, und brauchen dann Speicherplatz. Ein Snapshot ist technisch nichts anderes als ein Subvolume; wenn man einen Snapshot erstellt hat, taucht er in der Liste der Subvolumes auf: $ sudo btrfs subvolume list / Das Löschen eines Snapshots erfolgt analog: Seite 6

9 $ sudo btrfs subvolume delete /snapshots/mysql 5.3 Übertragen von Snapshots über die cyber-diode Schreibgeschützte Snapshots können mittels btrfs send serialisiert und anschließend über das Netzwerk übertragen werden. In diesem Beispiel verwenden wir socat, um eine TCP-Verbindung zwischen der schwarzen und roten Seite aufzubauen und über diese den Snapshot zu übertragen. Falls dieses Programm nicht vorhanden ist, wird es folgendermaßen installiert: $ sudo apt-get install socat Zuerst muss ein Server auf der roten Seite gestartet werden, der den Snapshot an Btrfs weiterreicht, welches den Snapshot dann unter /snapshots/ ablegt: red$ socat TCP-LISTEN:12345,reuseaddr - sudo btrfs receive /snapshots/ Dann kann die Übertragung auf der schwarzen Seite gestartet werden: black$ sudo btrfs send /snapshots/mysql socat TCP: :12345 Beim nächsten Mal kann nur ein inkrementelles Update gesendet werden, das nur die Unterschiede zwischen den Snapshots data1 und data2 enthält: black$ sudo btrfs send -p /snapshots/mysql \ /snapshots/mysql2 socat TCP: :12345 Wenn der Parent-Snapshot mysql auf dem Zielsystem nicht vorhanden ist, scheitert die Übertragung. Zum Wiederherstellen der Datenbank auf der roten Seiten müssen die Dateien des read-only-snapshots in den entsprechenden Ordner kopiert werden. Während des Kopiervorgangs muss die Datenbank gestoppt werden, danach kann sie wieder gestartet werden: red$ sudo /etc/init.d/mysql stop red$ sudo cp -pr /snapshots/mysql/* /var/lib/mysql red$ sudo /etc/init.d/mysql start Nun stehen die Daten der schwarzen Seite ebenso in der Datenbank der der roten Seite zur Verfügung. Seite 7

10 6 Support Kontakt zum genua Kundenservice: genua gmbh Kundenservice Domagkstraße 7, Kirchheim bei München tel , fax Seite 8