It's time to rethink Datenbank-Design in der schönen neuen Welt

Größe: px

Ab Seite anzeigen:

Download "It's time to rethink Datenbank-Design in der schönen neuen Welt"

Martha Albrecht
vor 6 Jahren
Abrufe

1 It's time to rethink Datenbank-Design in der schönen neuen Welt Java User Group Kaiserslautern 2016 Version: 1.2 Orientation in Objects GmbH Weinheimer Str Mannheim

2 Ihr Sprecher Thorsten Maier Trainer, Berater, Entwickler Schwerpunkte Prozesse Architektur Code-Qualität eigentlich kein Datenbänker 2

3 Um was geht s? Die Welt des Betriebs 3

4 Um was geht s? Die Welt der Entwickler 4

5 Um was geht s? Die Welt der Entwickler Die Welt des Betriebs 5

6 Die schöne neue Welt Continuous Delivery 6

7 Continuous Delivery ist genial DB kontrolliert ändern Keine Downtime Wir müssen (fast) alles anders machen 7

8 3 Monats- Releases Continuous Delivery + Schnellere Reaktionszeiten + Weniger Risiko 8

9 Microservices 9

10 Continuous Delivery ist genial DB kontrolliert ändern Keine Downtime Wir müssen (fast) alles anders machen 10

11 Wer schafft mindestens 1 Produktions-Release pro Tag? 11

12 Deploy Feature Launch 12

13 Können Sie ohne Downtime deployen? 13

14 Blue-Green-Deployment Router Blue Server Green Server DB 14

15 Was passiert mit den eingeloggten Usern beim Umschalten zwischen blau und grün? 15

16 Server 1 Sync Sessions Server 2 16

17 Server 1 Server 2 Session Store Memcache, Infinispan, 17

18 Nochmal Microservices 18

19 Neue Fragestellungen How are all my microservices configured and is it correct? What microservices are deployed and where? How to keep up with routing information? How to prevent chain of failures? How to verify that all services are up and running? How to track messages that flow between services? How to ensure that only the API-services are exposed externally? How to secure the API-services? 19

20 Neue Dienste service discovery circuit breaker configuration management intelligent routing micro-proxy control bus one-time tokens global locks leadership election distributed sessions cluster state 20

21 Netflix Eureka 21

22 Circuit Breaker Der Circuit Breaker (Sicherung) verhindert, dass nicht erreichbare Dienste immer wieder angefragt werden. Client Circuit Breaker Service Wird eine maximale Fehleranzahl überschritten, liefert der Circuit Breaker (technisch ein Proxy) sofort einen Fehler und es muss nicht erst ein Timeout abgewartet werden. Timeout Hystix ist eine Circuit Breaker Implementierung von Netflix Timeout 22

23 Hystrix Dashboard 23

24 Abhängigkeiten in App-Servern App-Server Java EE 7 Shared Libs Web-App 1 JPA 2.1 Spring JTA 1.2 Servlet 3.1 Web-App 2 JPA 1.0 JSF 2.2 Hibernate 3 HTTP Richfaces 24

25 Application-Server sind tot 25

26 Was spricht gegen Application-Server? Der Betrieb erwartet ein RPM für Linux und kein WAR / EAR Spezielles Monitoring für App-Server notwendig App-Server für mehrere Apps wird praktisch nicht verwendet eher Clustering von mehreren App-Servern App-Server bringt Bibliotheken mit und verhindert somit ein einfaches Update App-Server ist ein Problem im Umfeld von Continuous Delivery Deployment-Artefakte können durch die Deployment-Pipe geschoben werden, aber was ist mit der App-Server-Version? 26

27 Abhängigkeiten OHNE App-Server Web-App 2 Web-App 1 Spring JPA 1.0 Hibernate 3 JPA 2.1 Richfaces JTA 1.2 JSF 2.2 Servlet 3.1 JTA 1.2 HTTP Servlet 3.1 HTTP 27

28 Sind Application-Server tot? com.example:myproject:jar:0.0.1-snapshot \- org.springframework.boot:spring-boot-starter-web:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-starter:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-autoconfigure:jar:1.1.1.build-snapshot:compile +- org.springframework.boot:spring-boot-starter-logging:jar:1.1.1.build-snapshot:compile +- org.slf4j:jcl-over-slf4j:jar:1.7.7:compile \- org.slf4j:slf4j-api:jar:1.7.7:compile +- org.slf4j:jul-to-slf4j:jar:1.7.7:compile +- org.slf4j:log4j-over-slf4j:jar:1.7.7:compile \- ch.qos.logback:logback-classic:jar:1.1.2:compile \- ch.qos.logback:logback-core:jar:1.1.2:compile \- org.yaml:snakeyaml:jar:1.13:runtime +- org.springframework.boot:spring-boot-starter-tomcat:jar:1.1.1.build-snapshot:compile +- org.apache.tomcat.embed:tomcat-embed-core:jar:7.0.54:compile +- org.apache.tomcat.embed:tomcat-embed-el:jar:7.0.54:compile \- org.apache.tomcat.embed:tomcat-embed-logging-juli:jar:7.0.54:compile +- com.fasterxml.jackson.core:jackson-databind:jar:2.3.3:compile +- com.fasterxml.jackson.core:jackson-annotations:jar:2.3.3:compile \- com.fasterxml.jackson.core:jackson-core:jar:2.3.3:compile +- org.hibernate:hibernate-validator:jar:5.0.3.final:compile +- javax.validation:validation-api:jar:1.1.0.final:compile +- org.jboss.logging:jboss-logging:jar:3.1.1.ga:compile \- com.fasterxml:classmate:jar:1.0.0:compile +- org.springframework:spring-core:jar:4.0.5.release:compile +- org.springframework:spring-web:jar:4.0.5.release:compile +- org.springframework:spring-aop:jar:4.0.5.release:compile \- aopalliance:aopalliance:jar:1.0:compile +- org.springframework:spring-beans:jar:4.0.5.release:compile \- org.springframework:spring-context:jar:4.0.5.release:compile \- org.springframework:spring-webmvc:jar:4.0.5.release:compile \- org.springframework:spring-expression:jar:4.0.5.release:compile 28

29 Spring Boot Starter POMs spring-boot-starter-actuator spring-boot-starter-amqp spring-boot-starter-aop spring-boot-starter-batch spring-boot-starter-data-elasticsearch spring-boot-starter-data-gemfire spring-boot-starter-data-jpa spring-boot-starter-data-mongodb spring-boot-starter-data-rest spring-boot-starter-data-solr spring-boot-starter-freemarker spring-boot-starter-groovy-templates spring-boot-starter-hornetq spring-boot-starter-integration spring-boot-starter-jdbc spring-boot-starter-jetty spring-boot-starter-log4j spring-boot-starter-logging spring-boot-starter-mobile spring-boot-starter-parent spring-boot-starter-redis spring-boot-starter-remote-shell spring-boot-starter-security spring-boot-starter-social-facebook spring-boot-starter-social-linkedin spring-boot-starter-social-twitter spring-boot-starter-test spring-boot-starter-thymeleaf spring-boot-starter-tomcat spring-boot-starter-velocity spring-boot-starter-web spring-boot-starter-websocket spring-boot-starter-ws 29

30 Spring Boot Hello World -Class 30

31 Wie sieht bei 30 Deploys pro Tag die Rollback-Strategie aus? 31

32 32

33 33

34 34

35 Chuck Norris does not deploy, he develops on the production environment. 35

36 36

37 37

38 38

39 Controller ServiceImpl 39

40 Controller ServiceImpl DaoImpl 40

41 41

42 (Service) - [DEPENDS_ON] -> (Controller) 42

43 MATCH (s:service)-[:depends_on]->(c:controller) return s,c 43

44 44

45 45

46 Wollen Sie das alles? Controller ServiceImpl DaoImpl 46

47 Wollen Sie das alles? Will Ihr Kunde das??? Controller ServiceImpl DaoImpl 47

48 Dann benötigen wir kontrollierte Änderungen der Datenbank ohne Downtime 48

49 Continuous Delivery ist genial DB kontrolliert ändern Keine Downtime Wir müssen (fast) alles anders machen 49

50 Code und Datenbank müssen synchron bleiben 50

Kennen Sie das? Vor dem Update von Version 1.0.2 auf 1.

51 Kennen Sie das? Vor dem Update von Version auf 1.1 musst du erst noch die neuen SQL-Skripte einspielen. 51

52 2 Lösungsmöglichkeiten hbm2ddl.auto=update Manuelle SQL-Skripte 52

53 hbm2ddl.auto=update? 53

54 hbm2ddl.auto=update? 54

55 2 Lösungsmöglichkeiten hbm2ddl.auto=update Manuelle SQL-Skripte 55

56 Manuelle SQL-Skripte schema.sql

57 Manuelle SQL-Skripte schema.sql _to_11.sql

58 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 58

59 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 101_to_102.sql _to_11.sql 59

60 Manuelle SQL-Skripte schema.sql _to_11.sql _to_101.sql _to_11.sql 101_to_102.sql _to_11.sql 60

61 Eigentlich noch komplizierter 61

62 Die Lösung 62

63 Liquibase 63

64 Liquibase Git 64

65 Changelog.xml Git 65

66 Metadaten in der Datenbank 66

67 Liquibase beim Starten der Anwendung automatisch ausführen! 67

68 68

69 Warum nehmen wir eigentlich keine schemalose NoSQL DB? 69

70 Relationale Datenbanken skalieren nicht Warum? Normalisierung => Joins Forderung nach Konsistenz => Transaktionen 70

71 NoSQL = Relationale Datenbank - Transaktionen - Normalisierung - Joins - Konsistenz - hartes Schema (+) Skalierung (+) Performance 71

72 Skalierung von Key-Value-Stores Server 0 Key Value Key Value Key Value user:tmaier:name Key Server 1 Value Key-Hash: 39E5DC60AAD55349 Key Value Modulo Anzahl der Server (3): 1 Key auf Server 1 speichern Key Value Server 2 Key Value 72

73 Konsistente Hash-Funktion 0 Key Key 2 73

74 Noch mehr schöne neue Welt Twitter Benutzer reads/sec 6000 writes/sec Tweets/day Lady Gaga hat Follower 74

75 Tweet speichern in Key-Value-Store 75

76 Follower aus Graph-DB laden 76

77 Tweet-ID in Key-Value-Store speichern 77

302, 17 User-Timeline:123 4711, 2001, 878, 12 Key-Value-Store Follower von User

78 The Architecture Twitter {Tweet-Inhalt} User: 12 Tweet-ID: 4711 Tweet wird unter der ID 4711 eingetragen Tweet:4711 User-Timeline:17 {Tweet-Inhalt} 4711, 3013, 302, 17 User-Timeline: , 2001, 878, 12 Key-Value-Store Follower von User 12? 123 Graph-DB Für jeden Follower wird die Tweet-ID in die Timeline eingetragen 78

79 ??? Fragen?? Orientation in Objects GmbH? Weinheimer Str Mannheim

80 Vielen Dank für ihre Aufmerksamkeit! Orientation in Objects GmbH Weinheimer Str Mannheim

Ähnliche Dokumente

It's time to rethink Datenbank-Design in der schönen neuen Welt

It's time to rethink Datenbank-Design in der schönen neuen Welt Java User Group Hessen 2015 Version: 1.1 Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim www.oio.de info@oio.de Ihr Sprecher