KitMig Flexible Live-Migration in mandantenfähigen Datenbanksystemen

Transkript

1 KitMig Flexible Live-Migration in mandantenfähigen Datenbanksystemen Andreas Göbel, Marcel Sufryd Friedrich-Schiller-Universität Jena

2 AGENDA 1. Mandantenfähige DBMS 2. Live-Migration 3. KitMig 4. Untersuchungen 5. Zusammenfassung und Ausblick Folie 2

3 1. MANDANTENFÄHIGE DBMS: DEFINITIONEN Als Mandant wird eine Organisationseinheit bezeichnet, die als Kunde oder Auftraggeber eines IT-Systems fungiert und in der Regel mehrere Nutzer umfasst, die unter Umständen unterschiedliche Rechte besitzen können. Als (mehr)mandantenfähiges DBMS wird ein DBMS bezeichnet, welches die Daten mehrerer Mandanten in isolierten und individualisierbaren Umgebungen dank gemeinsamer Ressourcennutzung effizient verwaltet Folie 3

4 1. MANDANTENFÄHIGE DBMS: KONSOLIDIERUNGSANSÄTZE Folie 4

5 AGENDA 1. Mandantenfähige DBMS 2. Live-Migration 3. KitMig 4. Untersuchungen 5. Zusammenfassung und Ausblick Folie 5

6 2. LIVE-MIGRATION: DEFINITION Als Live-Migration wird der Prozess innerhalb eines mandantenfähigen Datenbanksystems bezeichnet, der den gesamten Datenbestand eines Mandanten von einem Quell- auf ein Zielsystem übermittelt und dabei folgenden Kriterien genügt: Keine Verursachung von Ausfallzeiten des Datenbanksystems, keine oder sehr geringe Beeinflussung der Erreichbarkeit der Daten des Mandanten, Verursachung keiner oder nur sehr weniger Transaktionsabbrüche des Mandanten, Übertragung bestehender DB-Verbindungen zum Zielsystem ohne Neuaufbau Folie 6

7 2. LIVE-MIGRATION: IMPLEMENTIERUNGEN Kernprozesse Datenmigration: Übertragung des kompletten Datenbestand des zu migrierenden Mandanten vom Quellsystem auf das Zielsystem Lastmigration: Umleitung bestehender Datenbankverbindungen zum Zielsystem Bereinigung: Entfernung des Mandantendatenbestands vom Quellsystem Verfahrensklassen: Reaktive Verfahren: Lastmigration Datenmigration Proaktive Verfahren: Datenmigration Lastmigration Hybride Verfahren: Zerlegung der Kernprozesse Ausführung der Teilprozesse in beliebiger Reihenfolge Folie 7

8 2. LIVE-MIGRATION: BEWERTUNGSKRITERIEN Folie 8

9 2. LIVE-MIGRATION: ANFORDERUNGSPROFILE Serverentlastung: Akut (Verletzung von Dienstgütevereinbarungen) Vorausplanend (erwartete Laständerung) Serverkonsolidierung: Akut (sofortige Serverwartung) Vorausplanend (Serverabschaltung zur Kostenreduzierung) Folie 9

10 AGENDA 1. Mandantenfähige DBMS 2. Live-Migration 3. KitMig 4. Untersuchungen 5. Zusammenfassung und Ausblick Folie 10

11 3. KITMIG: MOTIVATION UND ANSATZ Motivation: verschiedener und teils unvereinbare Anforderungen an Migration Existierende Migrationsverfahren eignen sich durch fixen Ablauf nur in wenigen Fällen kein universelles Verfahren Ansatz: Flexibles Migrationsverfahren KitMig Hybrides Verfahren Freiheitsgrade erlauben Anpassung des Migrationsablaufs an Anforderungsprofil Modularer Aufbau des Verfahrens in Anlehnung an Baukastensystem Folie 11

12 3. KITMIG: VORAUSSETZUNGEN mandantenfähiges DBMS mit Shared-Nothing-Architektur jeder Datenbankserver verwaltet zahlreiche Mandanten mit geringem Datenvolumen und einer OLTP-Arbeitslast, Konsolidierungsansatz: gemeinsame Datenbank Verzicht auf Partitionierung der Daten eines Mandanten Folie 12

13 3. KITMIG: IMPLEMENTIERUNG Integration in Open-Source-RDBMS H2 Isolation auf Schema-Ebene Multithreaded-Sitzungen baumbasierte Primär- und Suchindextypen (B + -Bäume) Herausforderungen: Server-zu-Server-Kommunikation Serialisierung und Deserialisierung von Datenbankseiten Behandlung möglicher Konflikte von Seiten-IDs Konsistenzwahrung Eigentumskonzept Struktur- und Indexsperren Folie 13

14 3. KITMIG: ABLAUF Folie 14

15 3. KITMIG: MODULE UND PARAMETER Folie 15

16 AGENDA 1. Mandantenfähige DBMS 2. Live-Migration 3. KitMig 4. Untersuchungen 5. Zusammenfassung und Ausblick Folie 16

17 4. UNTERSUCHUNGEN: EINFLUSS DER PAKETGRÖßE Testbedingungen: YCSB-Benchmark (70% Read, 10% Update, 10% Insert, 10% Delete) Datenmenge: 200 MB (Skalierungsfaktor 100) bis 990 MB (Fakt. 500) Ergebnisse: Reduzierung der Übertragungsdauer einer Seite bei steigender Paketgröße Seitenanforderung günstiger als Cache-Miss Folie 17

18 4. UNTERSUCHUNGEN: EINFLUSS DER PAKETGRÖßE Ergebnisse: Geringe Systembelastung bei kleinen Paketen Geringe Migrationsdauer bei mittleren Paketgrößen Eingeschränkte Parallelität bei hohen Paketgrößen Folie 18

19 4. UNTERSUCHUNGEN: KOMPLETTE VERFAHREN Untersuchte Verfahren: 1. reaktiver Migrationsablauf mit Paketgröße 20 KB 2. proaktiver Migrationsablauf 3. reaktiver Migrationsablauf mit Paketgröße 2 MB 4. Simulation von Stop-And-Copy Folie 19

20 AGENDA 1. Mandantenfähige DBMS 2. Live-Migration 3. KitMig 4. Untersuchungen 5. Zusammenfassung und Ausblick Folie 20

21 5. ZUSAMMENFASSUNG Verschiedene Anforderungsprofile von Live-Migrationen Flexible Migrationsverfahren erlauben Anpassung des Migrationsablaufs an Anforderungen Vorstellung des flexiblen Verfahrens KitMig Demonstration der Freiheitsgrade KitMigs und seiner Fähigkeit zur Durchführung vielfältiger Live-Migrationen Folie 21

22 5. AUSBLICK Crash-Recovery Konzepte zur Nutzung flexibler Verfahren Controller zur autonomen Ressourcenverwaltung ( ) Kostenmodelle zur Festlegung geeigneter Migrationsabläufe Modifikationen KitMigs: Iterative Datenmigration in Bereitstellungsphase ( ) Synchrone Anforderung bei paralleler Paketübertragung ( ) Aufhebung bestehender Einschränkungen der Implementierung Folie 22

23 Vielen Dank für Ihre Aufmerksamkeit! Andreas Göbel o andreas.goebel@uni-jena.de o Telefon: Folie 23