Schema-Management ohne Schema? Schema-Verwaltung in NoSQL- Datenbanksystemen

Transkript

1 Schema-Management ohne Schema? - Schema-Verwaltung in NoSQL- Datenbanksystemen

2 Einführung Schema-Flexibilität Keine (Vorab-) Definition eines Schemas Schema-Management ohne Schema??? Implizites Schema der Daten Kunde KundenNr KundenNr KundenNr int <pk> Nachname Vorname Glatzel Helena Nachname Vorname Müller Felix Nachname Vorname String String

3 Einführung Verwaltung des Schemas in der Anwendung Viel Freiheit Höhere Komplexität der Anwendungsentwicklung Mehraufwand durch viel Custom Programming Zeitintensiv Hohe Kosten Fehleranfällig Unterstützung durch das Datenbanksystem?

4 Gliederung Anforderungen an ein Schema-Management Analysen von NoSQL-Datenbanksystemen und aktuellen Software-Entwicklungen im Bereich des Schema-Managements Schema-Management-Komponente Architektur Konzeption der Umsetzung

5 Anforderungskatalog Was muss ein Schema-Management können? Schemabeschreibung Schema-Evolution Datenmigration Schema-Extraktion Validierung Mehrere Schema-Versionen

6 Erfüllung der Anforderungen Analysen NoSQL Datenbanken 70,00% 60,00% 50,00% 49,50% 46,75% 40,00% 30,00% 20,00% 10,00% 0,00% 13,75% HBase Cassandra GAE Datastore 16,50% 0,00% 0,00% MongoDB CouchDB Couchbase

7 Erfüllung der Anforderungen Analysen Software- Entwicklungen 0,7 0,6 60,50% 0,5 0,4 0,3 24,75% 30,25% 30,25% 35,75% 0,2 0,1 0 KijiSchema Mongoose Hibernate OGM Kundera Objectify Appengine

8 Schema-Management-Komponente Einbindung als externe Schicht Systemunabhängigkeit erhalten Flexibel über Nutzung der Komponente entscheiden Anwendung A Schema-Management-Komponente Sche ma Schema Anwendung B NoSQL-DBMS Entities

9 Architektur Daten- & Schema-Manipulations-Schicht Schnittstelle zum Anwender Schema-Management-Schicht Realisierung der Schema-Management-Aufgaben Schema To MongoDB Mapper Schema-To-NoSQL-DB-Schicht Schema To Cassandra Mapper Schema To HBase Mapper MongoDB Cassandra HBase

10 Architektur Schema-Management-Schicht Data-Access Manager CRUD- Operationen Triggert Validierung & Schema-Evolution Validation Manager Schema-Storage Manager Schema Evolution Manager Schema-Evolutions- Operationen Triggert Datenmigration Schema Extraction Manager Configuration Manager Data Migration Manager Eager & Lazy Migration

11 Umsetzung - Schema-Modellierung JSON Schema zur Schema-Beschreibung Erforderliche Attribute werden im Metaschema definiert und als required gekennzeichnet schemaversion entitytype acceptedschemas

12 Umsetzung - Datenmanipulation Schema-Evolution Datenmanipulation Systemunabhängige Abfragesprache SQL-ähnlich, wegen flacher Lernkurve Schema-Evolution Systemunabhängige Schema-Evolutionssprache Implementierung der Schema-Evolution-Language ( Managing Schema Evolution in NoSQL Data Stores Störl, Klettke, Scherzinger) Intern Übersetzung in JSONiq & eigene Implementierung

13 Umsetzung - Validierung Was passiert mit invaliden Daten? { } "entitytype": "Kunde", "type":"object", "properties":{ "entityid":{"type":"integer"}, "Nachname":{"type":"string"}, "required":["entityid","nachname"] INSERT INTO Kunde (entityid, Vorname) VALUES (1, Helena)???

14 Umsetzung - Validierung 2 Validierungsmodi strictvalidation updatevalidation Ablehnung der Daten { } Neue Schema-Version "entitytype": "Kunde", "type":"object", "properties":{ "entityid":{"type":"i "Nachname":{"type":"s "Vorname":{"type":"st "required":["entityid"]

15 Fazit Schema-Management bisher nur unzureichend unterstützt Entworfene Schema-Management-Komponente Modular Systemunabhängig Wiederverwendung existierender Lösungen wenn sinnvoll

16 Fragen und Diskussion

17 Analyseergebnisse - Gesamt

18 Umsetzung - JSON Schema Metaschema //(Fortsetzung) { "useeagermigration": "type":"boolean", //(Fortsetzung) "default": true "type": "object", }, "properties": { "entitytype": {"type":"string"}, "schemaversion": "required": {"type":"integer"}, "properties": { "entityid": {"type":"integer", "type": "object", "acceptedschemas": { ], "type":"array", "required":[ "items": }, "entityid","dependencies": "usedschemas": { ], "type":"array", "items": "default": {} }, }, } "entitytype", "additional

19 Umsetzung Schema-Evolution Beispiel

20 Umsetzung Schema-Evolution Beispiel

21 Umsetzung Schema-Evolution Beispiel Hinzufügen des Entity-Typs Begleiter inklusive Properties add Entity Begleiter; alter Begleiter add entityid integer required ; alter Begleiter add vorname string; alter Begleiter add nachname string; alter Begleiter add episoden array[string]; alter Begleiter add schauspieler Schauspieler;

22 Umsetzung Schema-Evolution Beispiel gen des Entity-Typs Schauspieler inklusive Verschieben der in InkarnationDesDoktors enthaltene add Entity Schauspieler; move InkarnationDesDoktors.schauspieler.entityID to Schauspieler.entityID move InkarnationDesDoktors.schauspieler.vorname to Schauspieler.vorname wh move InkarnationDesDoktors.schauspieler.nachname to Schauspieler.nachname wh Aktualisieren des Entity-Typs InkarnationDesDoktors alter InkarnationDesDoktors add schauspieler Schauspieler; alter InkarnationDesDoktors add begleiter array[begleiter];

23 Umsetzung Schema-Evolution {"$schema": " Beispiel "entitytype": "InkarnationDesDoktors", "schemaversion": 2, "acceptedschemas": [2], "usedschemas": [1,2], "useeagermigration":true, "type":"object", "properties":{ "entityid": {"type":"integer"}, "validschemaversion": {"type":"integer"}, "aussehen": {"type":"string"}, "kleidung": {"type":"string"}, }, "episoden": {"type":"array","items":{"type":"string"}}, "required":["entityid","validschemaversion", "schauspieler"]

24 Umsetzung Schema-Extraktion Einlesen der Strukturinformationen der JSON- Dokumente Inkrementeller Aufbau eines Spanning Graph, der alle Strukturvarianten des Entity-Typs enthält Ableitung des JSON Schema