Datenversionierung in Business-Anwendungen

Größe: px

Ab Seite anzeigen:

Download "Datenversionierung in Business-Anwendungen"

Kajetan Rosenberg
vor 6 Jahren
Abrufe

1 Datenversionierung in Business-Anwendungen Java-Forum Stuttgart Juli 2015 Dr. Karl-Heinz Wichert Arturas Gusevas

Typische Anforderungen Auditing: Wer hat wann

Historie: Frühere Zustände der Objekte Logging

frühere Zustände des System Branching: Mehrere

Bundels: Kombination von Teildatenbeständen in

2 Typische Anforderungen Auditing: Wer hat wann was geändert? Historie: Frühere Zustände der Objekte Logging Hibernate Envers Zeitreise: Zurückgehen auf frühere Zustände des System Branching: Mehrere parallele Änderungsstränge Daten- Versionier ung Bundels: Kombination von Teildatenbeständen in unterschiedlichen Versionen Zweidimensionale Historisierung Auto-Merge Undo von Geschäftsvorfällen Komplexität iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 2

3 Unser fachliches Beispiel-Datenmodell (JPA-Sicht) Car #Id: long n owner 1 Person #Id: long Name: String iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 3

4 Pseudocode-Beispiel Session.setRevision(HEAD); List<Car> redscars = cardao.findcarsbyowner(mr_red); Assert.assertEquals(5, redscars); SystemRevision snapshot1 = Session.createSystemrevision( S1 ); redscars.get(0).setowner(mr_blue); redscars = cardao.findcarsbyowner(mr_red); Assert.assertEquals(4, redscars); Session.setRevision(snapshot1); redscars = cardao.findcarsbyowner(mr_red); Assert.assertEquals(5, redscars); Assert.fail(redsCars.get(0).setOwner(Mr_Blue)); // verboten! Branch branch = Session.createBranch(snapshot1, B1 ); Session.setRevision(branch.getHeadRevision()); redscars.get(0).setowner(mr_blue)); // Branch - > jetzt ist es erlaubt iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 4

5 Beispiel-Datenkonstellation: Revisionsverwaltung Revision id created frozen branch tagname 82 14: S : Active : Head 84 14: Active : Head Branch id derivedfrom name 0 Trunk 1 82 B1 TMP_Context branch revision iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 5

6 Beispiel-Datenkonstellation: Domänenobjekte JPA-Id (!= Datenbank-PK) Datenbank-PK: id + end_id Eine Tabelle pro Entität Car id begin end branch owner Person id begin end branch name 1 Fremdschlüssel revisionsungenau Mr Blue Mr Brown Mr Green Mr Red Mr Lilac Mr Pink Entitäten gelten auch auf abgeleiteten Branches iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 6

7 Revisionen und Branches Systemrevision Objekt gilt automatisch auch in abzweigendem Branch Branch 1 Branch 2 Objekt auf Branch gelöscht Objektrevisionen Branch 0 (Trunk) Headrevisionen iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 7

8 Revisionen und Branches Systemrevision Branch 2 Branch 1 Branch 0 (Trunk) Suchkontext iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 8

9 Architektur Domain / Entities Business-Code Transaction / Session Versioning JPA-Implementation (Hibernate) Instead- Of-Trigger CarView TMP_ Context Branch System- Revision Car iteratec Juli 2015 Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 9

10 Die optimale View-Definition CREATE CarView AS SELECT m.* FROM Car m, (SELECT m.id, c.revision, m.end AS end, Max(m.begin) OVER (PARTITION BY m.id) AS maxbegin FROM Car m, M_CONTEXT c WHERE c.revision >= m.begin AND c.branch = m.branch ) m2 WHERE m.begin = m2.maxbegin AND end >= revision_id AND m.id = m2.id AND EXISTS (SELECT 1 FROM M_TMP_CONTEXT WHERE headoftrunk IS NULL) UNION ALL SELECT t.* FROM Car t, M_TMP_CONTEXT c WHERE t.end=c.headoftrunk iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 10

11 Instead-Of-Update-Trigger (ohne Exception-Handling, vereinfacht) INSTEAD OF UPDATE ON CarView FOR EACH ROW DECLARE v_activerevisioninbranch NUMBER(19,0); v_headrevisioninbranch NUMBER(19,0); v_predecessorrevisionid NUMBER(19,0); v_objmap AUTO%ROWTYPE; v_activerevisionisfrozen CHAR(1); v_revisionidincontext NUMBER(19,0); v_branchidincontext NUMBER(19,0); BEGIN SELECT * INTO v_objmap FROM Car tv WHERE tv.id= :NEW.ID AND tv.end = :OLD.End; SELECT REVISION_ID, BRANCH_ID INTO v_revisionidincontext, v_branchidincontext FROM M_TMP_CONTEXT WHERE bundle = v_objmap.bundle_id and isfrozen = 0; SELECT b.activerevision, b.headrevision INTO v_activerevisioninbranch, v_headrevisioninbranch FROM M_BRANCH b WHERE b.id = v_branchidincontext; SELECT isfrozen INTO v_activerevisionisfrozen FROM M_REVISION r WHERE r.branch_id = v_branchidincontext AND r.id = v_activerevisioninbranch; IF v_objmap.beginrevision_id < v_activerevisioninbranch THEN IF v_objmap.branch_id = v_branchidincontext THEN SELECT MAX(id) INTO v_predecessorrevisionid FROM M_REVISION r WHERE r.branch_id = v_objmap.branch_id AND r.id < v_activerevisioninbranch; UPDATE Car m SET endrevision_id = v_predecessorrevisionid WHERE m.id = v_objmap.id AND m.end = v_objmap.end; END IF; INSERT INTO Car ( ID, branch, begin, end, owner ) VALUES ( :NEW.ID, v_branchidincontext, v_activerevisioninbranch, v_headrevisioninbranch, :NEW.owner ); ELSE UPDATE Car SET Owner = :NEW.Owner WHERE OBJ_ID = v_objmap.id AND end = v_objmap.end; END IF; END; iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 11

12 Performance-Optimierungen Prinzip: die Versionsstände in den Tabellen cachen Dadurch wird das Lesen schneller, aber das Schreiben langsamer und die Datenmenge größer Car (Synonym) CarView Schreiben CarCacheView Instead- Of-Trigger Car CarCache iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 12

13 Alternativen Java statt Views und PL/SQL-Trigger: Filtern von Objekten über Filter Nicht Bestandteil von JPA Hibernate und EclipseLink bieten proprietäre Lösungen Nach unserer Erfahrung nicht praktikabel JPA Entity Listener and Callbacks Hibernate Interceptors and Events Nach unseren Erfahrungen sind Lösungen auf Java-Basis aufgrund hoher Komplexität und ungenügender Update-Performance nicht praktikabel. Eine Integration in ein JPA-Framework wäre eventuell denkbar. iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 13

14 Erfahrungsbericht iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 14

Übersicht über die Anwendung 3-Schichten-Architektur: Java 6, Hibernate 4, Oracle 11g 77 Entitäten/Datenbank-Tabellen davon 67 versioniert 134 Branches bzw. System-Revisionen ca.

15 Übersicht über die Anwendung 3-Schichten-Architektur: Java 6, Hibernate 4, Oracle 11g 77 Entitäten/Datenbank-Tabellen davon 67 versioniert 134 Branches bzw. System-Revisionen ca. 2,5 Millionen Datensätze davon 1,7 Millionen versioniert 1,2 Millionen eindeutige Objekte 1,37 Änderungen pro Objekt iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 15

mit Hilfe von Flyway verwaltet JPA-Entitäten UML- Klassendiagramm Code-Generator

16 Entwicklungsprozess Alles wird in UML modelliert (mit Magic Draw) Generator generiert JPA-Entitäten und SQL-Code Tabellen Views Trigger Indexes Datenbank-Migration wird mit Hilfe von Flyway verwaltet JPA-Entitäten UML- Klassendiagramm Code-Generator SQL-Code iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 16

Performance Anforderungen Aktuell werden die Datenstände ohne weiteres Caching ermittelt, wie beschrieben Performance sehr gut im Trunk, aber ungenügend in den Branches In einem Use-Case werden die

17 Performance Anforderungen Aktuell werden die Datenstände ohne weiteres Caching ermittelt, wie beschrieben Performance sehr gut im Trunk, aber ungenügend in den Branches In einem Use-Case werden die Daten aus bis zu 15 Branches gelesen! Pro Branch werden sehr große Datenmengen geladen, z.b Configuration -Objekte 4207 Configuration-to-Planning - Objekte 4207 Planning -Objekte 3921 Function -Objekte iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 17

Performance Optimierungen 3 Varianten: V1 (Live View) aktuelle Lösung: Die Versionsstände werden immer neu ermittelt V2 (Full Cache): In den Cache-Tabellen

V3 (Reduced Cache) Schema Größe 1,2 GB 20 G 3,5 GB Versionierte Einträge 1,7 Millionen 1,7 Millionen 1,7 Millionen Eindeutige Objekte 1,2 Millionen 1,2

18 Performance Optimierungen 3 Varianten: V1 (Live View) aktuelle Lösung: Die Versionsstände werden immer neu ermittelt V2 (Full Cache): In den Cache-Tabellen werden alle Spalten gespeichert V3 (Reduced Cache): In den Cache-Tabellen wird nur die Zuordnung zur System-Revision gespeichert V1 (Live View) V2 (Full Cache) V3 (Reduced Cache) Schema Größe 1,2 GB 20 G 3,5 GB Versionierte Einträge 1,7 Millionen 1,7 Millionen 1,7 Millionen Eindeutige Objekte 1,2 Millionen 1,2 Millionen 1,2 Millionen Cache-Einträge 0 40 Millionen 40 Millionen Branches iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 18

19 Performance-Vergleich Abfrage Zweig V1 (Live View) V2 (Full Cache) V3 (Reduced Cache) 1 Tabelle, 1 Fremdschlüssel-Filter Treffer: 66 1 Tabelle, 1 Filter(Full-Table-Scan) Treffer: Tabellen, 1 Fremdschlüssel-Filter Treffer: Tabellen, 2 Filter Treffer: 2923 Trunk 2 ms 2 ms 3 ms Branch 3 ms 2 ms 2 ms Trunk 80 ms 40 ms 130 ms Branch 550 ms 39 ms 130 ms? Trunk 190 ms 140 ms 240 ms Branch 1460 ms 146 ms 225 ms Trunk 250 ms 190 ms 360 ms Branch 1350 ms 200 ms 365 ms iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 19

20 Performance Empfehlung V1 (Live View) V2 (Full Cache) V3 (Reduced Cache) Datenmenge Komplexität Performance Ausführungsplan Bewertung Einfachste Lösung, aber langsam bei Branch-Abfragen Für wenige genutzte System- Revisionen. Beste Performance Für große Datenmengen mit mäßig vielen System-Revisionen iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 20

21 Fazit Datenversionierung ist eine häufige Anforderung Funktionierende Lösungen sind extrem trickreich Mit unserer Architektur ist Versionierung transparent für die Anwendung Man braucht einen Code-Generator Die Auswirkung auf die Performance ist beherrschbar Nur dann verwenden wenn man es wirklich braucht Aber wenn man es braucht sollte man es verwenden! Subversion in der Datenbank ist möglich J iteratec Juli Datenversionierung in Business-Anwendungen - Wichert/Gusevas Seite 21

22 und wie dürfen wir Sie entlasten?

23 Kontakt / Ihre Fragen Dr. Karl-Heinz Wichert Karl-Heinz.Wichert@iteratec.de Arturas Gusevas Arturas.Gusevas@iteratec.de

Ähnliche Dokumente

Historisierung und Versionierung

DOAG NRW-Regionaltreffen 7. Juli 2005, Aachen Historisierung und Versionierung für ein bestehendes Datenmodell ohne Änderung der Anwendung Martin Friemel, Martin Kubitza Enterprise Web AG, Duisburg fon