It's time to rethink Datenbank-Design in der schönen neuen Welt

Transkript

1 It's time to rethink Datenbank-Design in der schönen neuen Welt Java User Group Hessen 2015 Version: 1.1 Orientation in Objects GmbH Weinheimer Str Mannheim

2 Ihr Sprecher Thorsten Maier Trainer, Berater, Entwickler Schwerpunkte Prozesse Architektur Code-Qualität eigentlich kein Datenbänker 2

3 Um was geht s? Die Welt des Betriebs 3

4 Um was geht s? Die Welt der Entwickler 4

5 Um was geht s? Die Welt der Entwickler Die Welt des Betriebs 5

6 Die schöne neue Welt Continuous Delivery 6

7 Noch mehr schöne neue Welt Twitter Benutzer reads/sec 6000 writes/sec Tweets/day Lady Gaga hat Follower 7

8 Continuous Delivery ist genial DB kontrolliert ändern Keine Downtime Wir müssen (fast) alles anders machen 8

9 3 Monats- Releases Continuous Delivery + Schnellere Reaktionszeiten + Weniger Risiko 9

10 Continuous Delivery für alle? Projekt oder Produkt 10

12 Wer schafft mindestens 1 Produktions-Release pro Tag? 12

13 Deploy Feature Launch 13

14 Können Sie ohne Downtime deployen? 14

15 Blue-Green-Deployment Router Blue Server Green Server DB 15

16 Blue-Green-Deployment Router Blue Server Green Server DB Kann unsere Anwendung das? 16

17 Was passiert mit den eingeloggten Usern beim Umschalten zwischen blau und grün? 17

18 Server 1 Sync Sessions Server 2 18

19 Server 1 Server 2 Session Store Memcache, Infinispan, 19

20 Application-Server sind tot 20

21 Was spricht gegen Application-Server? Der Betrieb erwartet ein RPM für Linux und kein WAR / EAR Spezielles Monitoring für App-Server notwendig App-Server für mehrere Apps wird praktisch nicht verwendet eher Clustering von mehreren App-Servern App-Server bringt Bibliotheken mit und verhindert somit ein einfaches Update App-Server ist ein Problem im Umfeld von Continuous Delivery Deployment-Artefakte können durch die Deployment-Pipe geschoben werden, aber was ist mit der App-Server-Version? 21

22 Abhängigkeiten in App-Servern App-Server Java EE 7 Shared Libs Web-App 1 JPA 2.1 Spring JTA 1.2 Servlet 3.1 Web-App 2 JPA 1.0 JSF 2.2 Hibernate 3 HTTP Richfaces 22

23 Abhängigkeiten OHNE App-Server Web-App 2 Web-App 1 Spring JPA 1.0 Hibernate 3 JPA 2.1 Richfaces JTA 1.2 JSF 2.2 Servlet 3.1 JTA 1.2 HTTP Servlet 3.1 HTTP 23

24 Sind Application-Server tot? com.example:myproject:jar:0.0.1-snapshot \- org.springframework.boot:spring-boot-starter-web:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-starter:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-autoconfigure:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-starter-logging:jar:1.1.1.build-snapshot:compile +- org.slf4j:jcl-over-slf4j:jar:1.7.7:compile \- org.slf4j:slf4j-api:jar:1.7.7:compile +- org.slf4j:jul-to-slf4j:jar:1.7.7:compile +- org.slf4j:log4j-over-slf4j:jar:1.7.7:compile \- ch.qos.logback:logback-classic:jar:1.1.2:compile \- ch.qos.logback:logback-core:jar:1.1.2:compile \- org.yaml:snakeyaml:jar:1.13:runtime +- org.springframework.boot:spring-boot-starter-tomcat:jar:1.1.1.build-snapshot:compile +- org.apache.tomcat.embed:tomcat-embed-core:jar:7.0.54:compile +- org.apache.tomcat.embed:tomcat-embed-el:jar:7.0.54:compile \- org.apache.tomcat.embed:tomcat-embed-logging-juli:jar:7.0.54:compile +- com.fasterxml.jackson.core:jackson-databind:jar:2.3.3:compile +- com.fasterxml.jackson.core:jackson-annotations:jar:2.3.3:compile \- com.fasterxml.jackson.core:jackson-core:jar:2.3.3:compile +- org.hibernate:hibernate-validator:jar:5.0.3.final:compile +- javax.validation:validation-api:jar:1.1.0.final:compile +- org.jboss.logging:jboss-logging:jar:3.1.1.ga:compile \- com.fasterxml:classmate:jar:1.0.0:compile +- org.springframework:spring-core:jar:4.0.5.release:compile +- org.springframework:spring-web:jar:4.0.5.release:compile +- org.springframework:spring-aop:jar:4.0.5.release:compile \- aopalliance:aopalliance:jar:1.0:compile +- org.springframework:spring-beans:jar:4.0.5.release:compile \- org.springframework:spring-context:jar:4.0.5.release:compile \- org.springframework:spring-webmvc:jar:4.0.5.release:compile \- org.springframework:spring-expression:jar:4.0.5.release:compile 24

25 Spring Boot Starter POMs spring-boot-starter-actuator spring-boot-starter-amqp spring-boot-starter-aop spring-boot-starter-batch spring-boot-starter-data-elasticsearch spring-boot-starter-data-gemfire spring-boot-starter-data-jpa spring-boot-starter-data-mongodb spring-boot-starter-data-rest spring-boot-starter-data-solr spring-boot-starter-freemarker spring-boot-starter-groovy-templates spring-boot-starter-hornetq spring-boot-starter-integration spring-boot-starter-jdbc spring-boot-starter-jetty spring-boot-starter-log4j spring-boot-starter-logging spring-boot-starter-mobile spring-boot-starter-parent spring-boot-starter-redis spring-boot-starter-remote-shell spring-boot-starter-security spring-boot-starter-social-facebook spring-boot-starter-social-linkedin spring-boot-starter-social-twitter spring-boot-starter-test spring-boot-starter-thymeleaf spring-boot-starter-tomcat spring-boot-starter-velocity spring-boot-starter-web spring-boot-starter-websocket spring-boot-starter-ws 25

26 Spring Boot Hello World -Class 26

27 Wie sieht bei 30 Deploys pro Tag die Rollback-Strategie aus? 27

28 28

29 29

30 30

31 Vertrauen Sie dem Backup und der Anwendung nicht dem Rollback! 31

32 Chuck Norris does not deploy, he develops on the production environment. 32

33 DEV Reviewer 33

34 DEV Reviewer QA 34

35 DEV Reviewer Prod server Monitoring QA 35

36 36

37 37

38 38

39 Controller ServiceImpl 39

40 Controller ServiceImpl DaoImpl 40

41 41

42 (Service) - [DEPENDS_ON] -> (Controller) 42

43 MATCH (s:service)-[:depends_on]->(c:controller) return s,c 43

44 44

45 Wollen Sie das alles? 45

46 Wollen Sie das alles? Will Ihr Kunde das??? 46

47 Dann benötigen wir kontrollierte Änderungen der Datenbank ohne Downtime 47

49 Code und Datenbank müssen synchron bleiben 49

50 Kennen Sie das? Vor dem Update von Version auf 1.1 musst du erst noch die neuen SQL-Skript einspielen. 50

51 2 Lösungsmöglichkeiten hbm2ddl.auto=update Manuelle SQL-Skripte 51

52 hbm2ddl.auto=update? 52

53 hbm2ddl.auto=update? 53

54 2 Lösungsmöglichkeiten hbm2ddl.auto=update Manuelle SQL-Skripte 54

55 Manuelle SQL-Skripte schema.sql

56 Manuelle SQL-Skripte schema.sql _to_11.sql

57 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 57

58 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 101_to_102.sql _to_11.sql 58

59 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 101_to_102.sql _to_11.sql 59

60 Eigentlich noch komplizierter 60

61 Die Lösung 61

62 Liquibase 62

63 Changelog.xml 63

64 Metadaten in der Datenbank 64

65 Liquibase beim Starten der Anwendung automatisch ausführen! 65

66 66

67 Warum nehmen wir eigentlich keine schemalose NoSQL DB? 67

68 Relationale Datenbanken skalieren nicht Warum? Normalisierung => Joins Forderung nach Konsistenz => Transaktionen 68

69 NoSQL = Relationale Datenbank - Transaktionen - Normalisierung - Joins - Konsistenz - hartes Schema (+) Skalierung (+) Performance 69

70 Datenmodellierung Relationale Datenbank Welche Antworten habe ich? Allgemeine Datenmodellierung für möglichst viele Fragenstellungen NoSQL Welche Frage möchte ich beantworten? Konkret für einen Anwendungsfall Denormalisierung und Duplizierung ist der Normalfall 70

71 Datenmodellierung in Key-Value-Stores Index-Tabelle und Aggregation userids 1, 2, 5, 7, 12, 1 John Doe, , 2 Richard Miles, , 71

72 Datenmodellierung in Key-Value-Stores Zusammengesetzte Schlüssel userids 1, 2, 5, 7, 12, user:1:firstname John user:1:lastname Doe user:1:birthday

73 Datenmodellierung: Reduktion der Dimension 73

74 Nochmal Twitter Viel Aktion beim Schreiben, wenig beim Lesen reads/sec 6000 writes/sec 74

75 Tweet speichern in Key-Value-Store 75

76 Follower aus Graph-DB laden 76

77 Tweet-ID in Key-Value-Store speichern 77

78 The Architecture Twitter {Tweet-Inhalt} User: 12 Tweet-ID: 4711 Tweet wird unter der ID 4711 eingetragen Tweet:4711 User-Timeline:17 {Tweet-Inhalt} 4711, 3013, 302, 17 User-Timeline: , 2001, 878, 12 Key-Value-Store Follower von User 12? 123 Graph-DB Für jeden Follower wird die Tweet-ID in die Timeline eingetragen 78

79 Joins Fluch oder Segen? 79

80 Document 80

81 Collection 81

82 Embedded Data Models 82

83 Normalized Data Models Achtung: Kein DB-seitiger JOIN möglich! 83

84 NoSQL? Ja, falls die Anforderungen passen! 84

86 Blue-Green-Deployment Router Blue Server Green Server DB 86

87 Ersetze die Spalte Name durch die Spalten Vorname und Nachname 87

88 1) Neue Version zum Schema hinzufügen 2) In beide Versionen schreiben 3) Historische Daten auffüllen 4) Von neuer Version lesen 5) Nicht mehr in die alte Version schreiben 88

89 1) Neue Version zum Schema hinzufügen 2) In beide Versionen schreiben 5) Nicht mehr in die alte Version schreiben 3) Historische Daten auffüllen 4) Von neuer Version lesen 89

91 ??? Fragen?? Orientation in Objects GmbH? Weinheimer Str Mannheim

92 Vielen Dank für ihre Aufmerksamkeit! Orientation in Objects GmbH Weinheimer Str Mannheim