Continuous Integration ist nicht schwer Hudson, Plugins, Skripte umrühren und fertig

Transkript

1 Beratung Software Lösungen Continuous Integration ist nicht schwer Hudson, Plugins, Skripte umrühren und fertig Andreas Koop Consultant Oracle Technologies TEAM GmbH

2 Über mich Andreas Koop Diplom-Informatiker Entwicklung, Projekte, Beratung, Training Oracle Technologien bei/für TEAM GmbH Oracle ADF Implementation Specialist Community DOAG Oracle ADF News Session ADF Enterprise Methodology Group XING Oracle ADF Community Blog (TEAM, de) (en) TEAM - Ihr Partner für IT 2

3 TEAM - Ihr Partner für IT Zahlen und Fakten Gründung 1982 Unternehmensgruppe Materna Mitarbeiter 153 Mio. Euro Umsatz in 2009 Geschäftsführung Michael Baranowski - Heike Käferle über 50 Mitarbeiter

4 Oracle-Dienstleistungen vom Oracle Platinum Partner Lizenzierung Consulting Schulungen Busines Intelligence Individualentwicklungen Online DBA Support

5 Agenda Ad Hoc Integration Continuous Integration mit Hudson Installation, Jobs Most Useful Plugins Best Practice for continuously Generate Code Compile / Script Code Measure code quality Test Java / PL/SQL Code Deploy DB Code / EAR / Reports Release Artefacts Handling Changes / Patches Lessons learned TEAM - Ihr Partner für IT 5

6 Prod Test Ad Hoc Integration Developer install deploy patch TEAM - Ihr Partner für IT 6

7 Prod Test Ad Hoc Integration im Team Von meinem Rechner aus geht es doch Ja, bei dir fehlen noch einige Jars Ist das die richtige Version?.. Development Team install deploy patch TEAM - Ihr Partner für IT 7

8 Auswirkungen Integrationsprozess ist sehr zeitintensiv In der Regel nicht vorher getestet Fehler sind vorprogrammiert Ungutes Gefühl bei Auslieferung Unzufriedene Kunden TEAM - Ihr Partner für IT 8

9 Development (C) Integration Server Continuous Delivery Wie kann man es besser machen? VCS MVN-Repo Ticketsystem IDE IDE Integrated App Integrated Server App Server CI Tools App Server Download- Server Notification , IM DB DB DB Client TEAM - Ihr Partner für IT 9

10 Hudson Installieren / Starten Installation java -jar hudson.war oder Deployment in einem Java WebContainer Browser: TEAM - Ihr Partner für IT 10

11 Hudson Build-Jobs Build-Verfahren Batch, Shell, Ant, Maven Versionskontrollsystem (VCS) CVS, Subversion, Git,.. Auslöser Zeitgesteuert (cron expression) Änderung im VCS Abhängig von einem anderen Hudson-Job Abhängig von Maven-Dependency-Änderungen HTTP-Request TEAM - Ihr Partner für IT 11

12 Hudson Erweiterbarkeit Als zunächst ausreichend und nützlich haben sich erwiesen task scanner / dry / PMD / cpd / analysis collector ext log parser TEAM - Ihr Partner für IT 12

13 Hudson Plugins Installation TEAM - Ihr Partner für IT 13

14 Agenda Ad Hoc Integration Continuous Integration mit Hudson Installation, Jobs Most Useful Plugins Best Practice for continuously Generate Code Compile / Script Code Measure code quality Test Java / PL/SQL Code Deploy DB Code / EAR / Reports Release Artefacts Handling Changes / Patches Lessons learned TEAM - Ihr Partner für IT 14

15 Build Job(s) Best Practice: Shell-Skripte! Master Build-Skript für generate compile test -> (test.sh) deploy db -> (deploy_db.sh) deploy app -> (deploy_app.sh) doc -> (doc.sh) release -> (release.sh) => Parametrierbar, in separate Jobs teilbar, standalone ausführbar TEAM - Ihr Partner für IT 15

16 Setup a new project Master-Build Job, Parametrierbar, Shell Skript Wiederverwenbarkeit, Modularisierung svn copy (from project template) svn:externals env / master.properties / build_env_scripte.sh TEAM - Ihr Partner für IT 16

17 Build-Nummer integrieren Verfügbarkeit In Shell-Skripten $BUILD_NUMBER in Ant-Skripten über <property environment="env"/> anschließend ${env.build_number} Integration cd $WORKSPACE/build ant preprocess.integrate-buildnumber TEAM - Ihr Partner für IT 17

18 Generate code (clean natürlich;) Pragmatischer Ansatz Apache Ant(Buildskript) Apache Velocity / Texen(Template-/Generator-Engine) TEAM Database Ant-Task (Bereitstellung der notwendigen Objekte im Template-Context) TEAM - Ihr Partner für IT 18

19 Sample: generate trigger Automatisiert ausführbar ant -f gen.build.xml gen-and-script-trigger-sql => einfache Integration in Hudson Master Build Skript! TEAM - Ihr Partner für IT 19

20 Audit code quality PMD Custom Rules Java PL/SQL TEAM - Ihr Partner für IT 20

21 Beispiel Reports: code analysis Tasks Plugin TEAM - Ihr Partner für IT 21

22 Unit Testing Java Unit test: OK PL /SQL: Hhhmmm How we do it: Pragmatisch! TEAM - Ihr Partner für IT 22

23 Sample: PL/SQL Unit Test Start From Template Write test code TEAM - Ihr Partner für IT 23

24 PL /SQL Test Integration in Hudson fail on spool match! ant test.database (in test.sh) TEAM - Ihr Partner für IT 24

25 Junit Testreport TEAM - Ihr Partner für IT 25

26 db export / db script / db patch db export: TEAM DB Ant Task db script: shell / sqlplus..@code.sql Dev-DB TEAM Db Ant Task code.sql db patch: current patch dir nach release wird das current patch in VCS archiviert. ein leeres current patch dir wird erzeugt. Integration-DB TEAM - Ihr Partner für IT 26

27 current patch / rerunnable TEAM - Ihr Partner für IT 27

28 generate documentation generate javadoc plsqldoc maven site testreport custom doc package mvn package zip * TEAM - Ihr Partner für IT 28

29 Sample: generated doc output TEAM - Ihr Partner für IT 29

30 Release release.sh package artefacts generate fingerprint upload to download server generate client certificate (once) generate and send notification to customer include fixed issue list! include new features list! Snapshot TEAM - Ihr Partner für IT 30

31 (C) Integration Server (VM) Release ist raus, Entwicklung geht weiter Hudson myapp-build Client Build 737 App Server Build 738 Betrieb Test / Produktion DB Development / Integration Build TEAM - Ihr Partner für IT 32

32 (C) Integration Server (VM) Advanced CI with Revert To Snapshot Hudson Hudson myapp-build myapp-build App Server App Server revert build 3 2 Hudson myapp-buildwith-revert-tosnapshot 1 notify Development Team DB DB Virtualization Host TEAM - Ihr Partner für IT 33

33 Hudson Batch Job ( Build with revert to snapshot) On Virtualization-Host => Patches werden auf diese Weise getestet. Erfolgreiche Installation beim Kunden ist garantiert! => Continuous Build Numbers! TEAM - Ihr Partner für IT 34

34 Benefits Es existiert immer eine getestete Version der Artefakte: app, db patch, doc Ein Release ist per One-Klick durchführbar! Dadurch kurze Release-Zyklen. Durch den Buildprozess Revert to Snapshot können Patches/Updates getestet werden! Erfolgreiche Installation beim Kunden ist garantiert! In besonderen Wartungsfällen kann durch Revert to Snapshot der ausgelieferte Zustand in Minuten wiederhergestellt werden TEAM - Ihr Partner für IT 35

35 Not Covered (all with Hudson) UI Tests / Selenium Continuous Monitoring Continuous Patching of a distributed environment Research Revert eines DB Patches db diff aus svn historie TEAM - Ihr Partner für IT 36

36 Lessons learned CI with Hudson is easy to setup Simple yet powerful tools around Hudson CI make it A stable ALM process saves a lot of time, nerves and finally money Generate, Automate and Integrate as early as possible To be improved (At least at TEAM Development Devision) Integration of Issue management systems gen test reports for PL/SQL Testcases => Agile ALM TEAM - Ihr Partner für IT 37

37 Beratung Software Lösungen Vielen Dank für Ihre Aufmerksamkeit TEAM Partner für Technologie und angewandte Methoden der Informationsverarbeitung GmbH Hermann-Löns-Str Paderborn Fon Fax Mail Web