MICRO-BATCH-SERVICES MIT SPRING BOOT

Transkript

1 MICRO-BATCH-SERVICES MIT SPRING BOOT Ein Praxisbericht

2 Tobias Flohre blog.codecentric.de/en/author/tobias.flohre

3 WORUM GEHT ES? So könnte die schöne neue Welt sein!

4 WORUM GEHT ES? So könnte die schöne neue Welt sein! So ist die neue Welt! Micro-Batch-Services

5 WORUM GEHT ES? So könnte die schöne neue Welt sein! So ist die neue Welt! Micro -Batch- Services Tools, Methoden, Frameworks, Vorgehen

6 AGENDA - Motivation / Problemstellung - Entwicklung - Build - Deployment - Monitoring - Logging

7 BATCH-ARCHITEKTUR Servlet Container Cron-Job Anwendung HTTP Endpoint Scheduler Batch Application Workflow-System Logs Job- Metadaten

8 BATCH-META-FRAMEWORK Transaktionssicher Metrics Summen Zähler Deployed Jobs Job-Start Job-Execution- Details Status Test-Ressourcen Test- Unterstützung In-Memory Laufende Jobs HTTP-Endpoints Job-Stop Logfile / Protokoll Kerndaten des Joblaufs Protokoll Einheitliches Format Revisionssichere Ablage Logging Thread-Local Logfile pro Job-Execution

9 MOTIVATION / PROBLEMSTELLUNG Servlet Container HTTP Endpoint Anwendung Batch Application Job Job Job Job Job Job Job Job Job Logs Sparte A Job- Metadaten Problem! Deployment -> Test aller Jobs Jobs sind schwer zu testen Mehrere Anwendungen! Puh... Nee... Anträge, Aufsetzen, git, Build, CI, Properties für Stages, Application Server Deployment, Monitoring, Logging

10 MOTIVATION / PROBLEMSTELLUNG Ein Job pro Anwendung! Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen

11 ENTWICKLUNG Spring Boot makes it easy to create stand-alone, productiongrade Spring based Applications that you can "just run".

12 ENTWICKLUNG Spring Boot Starter liefern Dependencies liefern Konfiguration einfach erweiterbar Spring Boot makes it easy to create stand-alone, productiongrade Spring based Applications that you can "just run".

13 ENTWICKLUNG Embedded Servlet Container Start per main-methode Startfähiges Fat-Jar java jar app.jar Spring Boot makes it easy to create stand-alone, productiongrade Spring based Applications that you can "just run".

14 ENTWICKLUNG Monitoring Properties Remote Shell CRaSH Spring Boot makes it easy to create stand-alone, productiongrade Spring based Applications that you can "just run".

15 ENTWICKLUNG - spring-boot-starter-batch - Batch-Ausführung standalone - Lösung: eigener Spring Boot Starter - Infrastruktureller Code wird geteilt <dependency> <groupid>de.codecentric</groupid> <artifactid>spring-boot-starter-batch-web</artifactid> <version>1.3.4.release</version> </dependency>

16 ENTWICKLUNG Transaktionssicher Metrics Summen Zähler Deployed Jobs Job-Start Job-Execution- Details Status Test-Ressourcen Test- Unterstützung In-Memory Laufende Jobs HTTP-Endpoints Job-Stop Logfile / Protokoll Kerndaten des Joblaufs Protokoll Einheitliches Format Revisionssichere Ablage Logging Thread-Local Logfile pro Job-Execution

17 ENTWICKLUNG 1. Wähle eine Basis aus existierenden Spring Boot Startern spring-boot-starter-web spring-boot-starter-batch spring-boot-starter-jdbc spring-boot-starter-actuator

18 ENTWICKLUNG 2. Eigene Konfiguration und Auto-Configuration META-INF/spring.factories org.springframework.boot.autoconfigure.enableautoconfiguration= de.codecentric.batch.configuration.batchwebautoconfiguration

19 ENTWICKLUNG 3. Konfigurierbarkeit durch private int public TaskExecutor taskexecutor() { ThreadPoolTaskExecutor taskexecutor = new ThreadPoolTaskExecutor(); taskexecutor.setmaxpoolsize(maxpoolsize); taskexecutor.afterpropertiesset(); return taskexecutor; }

20 ENTWICKLUNG 4. Erweiterbarkeit durch überschreibbare public class TaskExecutorBatchConfigurer implements BatchConfigurer {} public interface BatchConfigurer { JobRepository getjobrepository() throws Exception; PlatformTransactionManager gettransactionmanager() throws Exception JobLauncher getjoblauncher() throws Exception; JobExplorer getjobexplorer() throws Exception; }

21 ENTWICKLUNG 5. Abhängigkeit von Klassenpfad und protected static class @ConditionalOnProperty

22 ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen

23 BUILD Ziel 1: Build-/CI-Jobs nicht manuell erzeugen Ziel 2: Ein Job für alles -> Build, Release, Deployment

24 BUILD Build now bei SCM Commit mvn clean package Release manuell mvn build-helper:parse-version versions:set DnewVersion=${...} mvn clean package mvn deploy mvn scm:tag Promotion manuell Deployment auf Stages -> Trigger eines deployapplication-jobs

25 BUILD trigger job create repo Job DSL Plugin Seed-Job Job, der Job erzeugt

26 ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen

27 DEPLOYMENT Ziel: Deployment vereinfachen

28 DEPLOYMENT Build erzeugt RPM (Red Hat Package Manager) Maven RPM Plugin Startskript + Spring Boot Fat Jar Installationslogik (<preinstallscriptlet>) Properties umgebungsabhängig aus SCM Alternative: Spring Cloud Config Java Property- Resolver deployapplication Job ermittelt Server für Stage ssh -> yum install <artefakt> Spring Boot Anwendung

29 ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen

30 MONITORING Spring Boot Actuator + Spring Boot Admin: Live-Demo

31 LOGGING Anwendung Anwendung Anwendung Anwendung ElasticSearch + Logstash + Kibana

32 LOGGING

33 ENTWICKLUNG Voraussetzungen schaffen! Aufsetzen des Projekts muss trivial sein Build-/CI-Jobs nicht manuell erzeugen Application Server loswerden Deployment vereinfachen Monitoring und Logauswertung von vielen Anwendungen ermöglichen

34 RESSOURCEN

35 FRAGEN? Tobias Flohre Merscheider Straße Solingen tobias.flohre@codecentric.de blog.codecentric.de