Weltweite Produktionsdatenverwaltung mit MySQL-Replikation

Transkript

1 Weltweite Produktionsdatenverwaltung mit MySQL-Replikation DOAG Konferenz 2015, Nürnberg Oli Sennhauser Senior MySQL Consultant, FromDual GmbH 1 / 23

2 Über FromDual GmbH Support Beratung remote-dba Schulung 2 / 23

3 Inhalt HA Weltweite Solutions Produktionsdatenverwaltung mit MySQL Read Ausgangslage scale-out Replication Probleme die set-up sich stellen for HA Active/passive Wer darf welche fail-over Daten kriegen? MySQL Wie werden Cluster Daten verteilt? Replication Produktionsdaten Clusterzurück? Storage-Engine-Replication MySQL multi-source Replikation Bertriebsverantwortung Hochverfügbarkeit Sensitive Daten Wer darf welche Daten sehen? MySQL Row Filterung Nachträgliche Forderungen 3 / 23

4 Ausgangslage Immer mehr deutsche Unternehmen lagern Ihre Produktion ins nahe und ferne Ausland aus. Das hat organisatorische und sicherheitstechnische Überlegungen zur Folge. Insbesondere dann, wenn man dem Partner im Ausland nicht 100% traut. Und staatliche und private Organisationen Begehrlichkeiten zeigen... 4 / 23

5 Probleme, die sich stellen Wer darf welche Daten kriegen? Wie werden die Daten verteilt? Wie kriegen wir die Produktionsdaten wieder zurück in die Zentrale? Wer hat die Verantwortung über welche Komponenten? Wie stellen wir sicher, dass geheime Daten nicht nachträglich eingefordert werden können? 5 / 23

6 Wer darf welche Daten kriegen? Welche Daten? Anforderungen? 6 / 23

7 Wer darf welche Daten kriegen? Welche Daten haben wir überhaupt? Produktions-Rezepturen Daten, die verbaut werden Produktions-Messdaten Anforderungen Land A soll NICHT Daten von Land B sehen! Zentrale soll alle Messdaten erhalten Verbaute Daten nur in kleinen Häppchen verteilen (Missbrauch). 7 / 23

8 Wie werden Daten verteilt? Hinweg 8 / 23

9 Wie werden Daten verteilt? Hinweg, 2 Möglichkeiten: Applikatorisch :-( MySQL Master/Slave Replikation Kunde hat MySQL M/S Replikation gewählt Einfach und robust Schnell zu implementieren Standard out-of-the-box Verfahren 9 / 23

10 Produktionsdaten zurück? 10 / 23

11 Produktionsdaten zurück? Wie kriegen wir die Produktionsdaten wieder zurück in die Zentrale? Rückweg Applikatorisch :-( MySQL multi-source Replikation (5.7) Kunde hat vorerst applikatorisch gewählt da recht einfache Logik REPLACE INTO zentrale SELECT * FROM land WHERE ts > <letzter_lauf>; MySQL multi-source Replikation noch nicht GA war Sommer 2015 Betrieb nicht ganz trivial ist 11 / 23

12 multi-source Replikation Was wir bisher konnten: Master/Slave Master Slave 1 Slave 2 Slave 3 und Master/Master: Master 1 Master 2 neu ist multi-source: Master 1 Master 2 Master 3 Slave 12 / 23

13 Betriebsverantwortung Wer hat die Verantwortung über welche Komponenten? 13 / 23

14 Hochverfügbarkeit Wie wir das ganze noch hochverfügbar ausgelegt? 14 / 23

15 Sensitive Daten Wie stellen wir sicher, dass sensitive Daten, das Haus nicht verlassen? Wie funktioniert MySQL Replikation? Application Master (RAM) Slave (RAM) Disk binary log Disk relay log Hauptsitz Land X 15 / 23

16 Wer darf welche Daten sehen? Land A soll nicht Daten von Land B sehen! d.h. Land A soll nicht Daten von Land B kriegen!!! Sonst kann der gewiefte Admin die auch sehen...! Wie? MySQL Replikationsfilterung! Master: binlog-db, binlog-ignore-db Slave: replicate-do-db, replicate-ignore-db, replicate-do-table, replicate-ignore-table Problem: Filtern auf dem Master :-( zwar nicht in Replikation aber auch nicht verfügbar für Point-in-Time-Recovery! 16 / 23

17 Lösung? Blackhole Storage Engine! /dev/null Application Master (RAM) kein Filter! Slave (RAM) Filtern! Slave (RAM) Disk binary log /dev/null relay log Disk relay log Hauptsitz Hauptsitz Land X 17 / 23

18 MySQL Row Filterung? Schema Filterung? Tabellen Filterung? d.h. aber, wir müssen unsere Applikation ev. umbauen?!? 1 Schema pro Land Vielleicht gar nicht so schlechte Idee, aber Arbeit! Row Filterung? MySQL :-( aber / 23

19 MySQL Row Filterung? MySQL kann das nicht. Aber, Lego-Kiste auf... CREATE TRIGGER filter_row BEFORE INSERT ON manufacturing_data FOR EACH ROW BEGIN IF ( NEW.manufacture_plant!= 'China' ) THEN SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT = 'Row was filtered out.', CLASS_ORIGIN = 'FromDual filter trigger', SUBCLASS_ORIGIN = 'filter_row', CONSTRAINT_SCHEMA = 'erp', CONSTRAINT_NAME = 'filer_row', SCHEMA_NAME = 'erp', TABLE_NAME = 'manufacturing_data', COLUMN_NAME = '', MYSQL_ERRNO = 1644 ; END IF; END; 19 / 23

20 Nachträgliche Forderungen Wie stellen wir sicher, dass geheime Daten nicht nachträglich eingefordert werden können? Es will da mitgucken/mithören! 20 / 23

21 Nachträgliche Forderungen Gar nicht ausliefern Nur so wenig wie möglich Asap wieder sauber löschen Application Master (RAM) kein Filter! Slave (RAM) Filtern! Slave (RAM) Disk binary log /dev/null relay log Disk relay log Hauptsitz Hauptsitz Land X 21 / 23

22 Schulung: MySQL Operations und Hochverfügbarkeitsarchitekturen ca. 6 x im Jahr (Berlin und Essen) Stand / 23

23 Q & A Fragen? Diskussion? Wir haben Zeit für ein persönliches Gespräch... FromDual bietet neutral und unabhängig: Beratung Remote-DBA Support für MySQL, Galera, Percona Server und MariaDB Schulung /presentations 23 / 23