Continuous Integration in JBF. Johannes Kellner

Transkript

1 Continuous Integration in JBF Johannes Kellner

2 Ziel dieses Vortrags Betrachtung der Entwicklung des JBF Buildmanagements Nutzen und Aufwand für Continuous Integration einschätzen Betrachtung der genutzten Werkzeuge Überblick über die aktuelle CI-Umgebung Ausblick auf die nächsten Monate der Weiterentwicklung Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 2

3 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 3

4 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 4

5 Continuous Integration in Kürze Permanente Integration von Source Code-Änderungen durch die Entwickler Üblicherweise mindestens 1x täglich durch jeden Entwickler Entwicklung auf dem gleichen Softwarestand (Updates) Automatisierter Build prüft Übersetzbarkeit und führt Tests aus Möglichst kurze Buildzyklen (Staged Build) Jeder Commit startet einen Build auf einer Integrationsmaschine (schnelles Feedback) Vollkommene Transparenz nach außen Zusätzliche Möglichkeiten Permanente Bereitstellung auslieferbarer Software Automatisierte Installation auf Testsystemen Automatisiertes Deployment Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 5

6 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 6

7 JBF Build in der Vergangenheit Ursprünglich eigener Build mit ANT auf eigenem Solaris-Server explizites Dependency-Management in ANT implementiert Source-Archiv JavaDoc-Archiv DocBook-Dokumentation in PDF konvertiert (nur XBF) Manueller Upload in SEU-Umgebung für Übergaben und Installationen Nightly Build per Cron-Steuerung Migration in SEU-Umgebung (zbuild) Build, Übergabe, Installationsaufträge und Download (fast) wie alle Standard-Produkte Kein explizites Dependency-Management Build-Reihenfolge muss manuell ermittelt und konfiguriert werden Keine Unit Test Ausführung Weiterhin Nutzung des Nightly Builds Continuous Integration in SEU-Umgebung (Pilotbetrieb) Start mit JBF und CBx in Hudson Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 7

8 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 8

9 Erste minimale Skizze der CI-Umgebung JBF-Server SEU Build Management Tool CI-Server Subversion Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 9

10 CI Die ersten Schritte Ablösung des Nightly Builds durch Maven-Konfigurationen Dependency Management im Vordergrund JBF, ServiceContainer, JBF-Modules, XBF Jedes JBF Kernprodukt ist ein Maven Multimodul-Projekt (Hierarchie von Modulen) Build in Entwicklungsumgebung Auswahl eines Servers für Continuous Integration Installation eines Repository Managers (Nexus) Import aller Thirdparty Bibliotheken in einem Nexus-Repository Einrichtung eines Proxy-Repositories für Maven Central Installation Maven Konfiguration für Zugriffe auf Nexus-Repositories Installation eines CI-Servers (Hudson) Konfiguration einzelner CI-Jobs für die JBF Kernprodukte Definition einer festen Reihenfolge für die Jobs Zeitgesteuerte Ausführung der Jobkette Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 10

11 Erste CI-Umgebung JBF-Server XRAY SEU Hudson Maven Subversion Nexus Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 11

12 Warum Maven? Fokus Java-Projekte Dependency Management Hoher Verbreitungsgrad (neben ANT) Plugin-Konzept Convention over configuration Repository-Konzept (Maven Central) Standard Lifecycle und vordefinierte Targets (mvn install) Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 12

13 Warum Hudson? Hoher Verbreitungsgrad (neben Cruise Control) Gute Unterstützung von Java/Maven/ANT Plugin-Konzept Viele existierende Plugins Einfache Verteilung von Build-Jobs auf Slave-Knoten Unterschiedliche Plattformen Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 13

14 Warum Nexus? Hoher Verbreitungsgrad (neben Artifactory) Enterprise-Version verfügbar (Sonatype) Proxy Repositories für Anbindung öffentlicher Repositories Scheduling von regelmäßigen Verwaltungsjobs Cleanup Snapshots! Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 14

15 Erste Zwischenbilanz - Erfahrungen Existierende Verzeichnisstruktur in JBF-Produkten passt nicht zu Maven Maven unterstützt Convention over Configuration Abweichungen vom Standard -> höherer Konfigurationsaufwand Minimale Maven-Dependencies zu ermitteln ist zeitintensiv Trial and error Umgang mit unerwünschten Abhängigkeiten Erste Builds noch instabil Inkonsistente Maven-Konfigurationen Stabilitätsprobleme des Hudson-Servers Fehlgeschlagene Unit Tests beeinträchtigen Stabilität Unit Tests Existierende JUnit Tests waren eigentlich Integrationstests (lauffähig in IDE) Tests nicht eindeutig den Modulen zuzuordnen Existierende Tests für User Interfaces laufen nicht im Headless Mode Ausführung erfolgt mit JDK 1.5 (analog zu Compile), Ziel-Runtime ist aber 1.6 Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 15

16 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 16

17 Weitere Maßnahmen Umgebung Windows-Slave für Hudson Hudson auf leistungsstarken Server verlagert Hudson durch Jenkins ersetzt Nexus in SEU-Umgebung verlagert Überarbeitung der Unit Tests Wechsel auf JUnit 4 Einsatz eines Mock Frameworks, um Abhängigkeiten zu vermeiden (JMockit) Fix der bestehenden JUnit Tests Deaktivierung von Tests mit zu komplexen Abhängigkeiten oder zu großem Scope Neue Tests für bestehende Funktionalität zur Steigerung Testabdeckung Ausführung der User Interface Tests auf Windows Slave Datenbank-Simulation mit HSQLDB (In Memory) Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 17

18 Weitere Maßnahmen (2) Weitere Produkte in CI JPL, AFT, Miami, DirectoryServices, Entwickler-Werkzeuge: JUnit Extensions Automatische Installation Installation der SEU-CI-Produkte auf einem JBF-Server Produkte der JBF-CI-Umgebung noch nicht verwendbar Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 18

19 Weitere Erfahrungen Einsatz von JMockit Flexible Einsatzszenarien Sehr agiles Projekt (nicht immer vorteilhaft!) Setzt Initialisierung der Testklassen voraus Mit JDK 1.5 ist ein Java-Agent erforderlich Probleme bei Lokalisierung der Agent-Library in lokalem Maven-Repository Setzt tools.jar im ClassPath voraus Ausführung der Unit Tests unter JDK 1.6 Abweichend von Compile-Einstellungen konfigurierbar Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 19

20 Weitere Erfahrungen (2) Gemeinsame Root-Konfiguration für alle Produkte sinnvoll (DRY) Ablage aller Versionsnummern für Bibliotheken nur in einer Datei Aktuelles Deployment-Format passt nicht zu Maven-Defaults ZIP erwartet modules-xx.properties dependencies-xx.properties Maven Assembly-Plugin ist mächtig kompliziert Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 20

21 CI-Umgebung heute JBF-Server SEU Jenkins (Master) Subversion Maven Windows-Desktop Nexus Jenkins (Slave) Maven Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 21

22 DEMO Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 22

23 Agenda Continuous Integration (CI) JBF Buildmanagement in der Vergangenheit Erste CI Umgebung und Werkzeuge Weitere Maßnahmen und heutige Umgebung Fazit und Ausblick Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 23

24 Geplante Maßnahmen JBF Umgebung Zusätzlicher Jenkins-Server als Pilot-Anlage Weitere Jenkins-Plugins Messung Testabdeckung (Cobertura) Testautomatisierung Integrationstests Weitere Produkte in CI Maven Build in Eclipse (M2Eclipse Plugin) Teilweise schon möglich Echte Deployment-Pakete (ZIP) Statische Codeanalyse PMD, Sotograph, FindBugs Status: Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 24

25 Ausblick Erweiterung der SEU-Umgebung (Evaluierung) Nexus als zentrale Ablage aller Fiducia-Artefakte Produkte in zbuild Sonstige Produkte (WebCenter, Smartphone-Anwendungen, ) Installationsverfahren aus Nexus bedienen Jenkins für alle Fiducia-Produkte zentraler Build (!= zbuild) für alle möglich Maven als Build Management Tool für agree Standardprodukte M2Eclipse als Ersatz für BaseLibs (Maven Plugin für Eclipse) Evaluierung weiterer Build-Werkzeuge Gradle Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 25

26 Fazit/Zusammenfassung Viele Standard-Werkzeuge verfügbar (als Open Source) Sehr hohe Automatisierbarkeit der Aufgaben rund um die Entwicklung Nicht beschränkt auf Compile der Software Installationsjobs in Jenkins Dokumentation erstellen und veröffentlichen Benachrichtigungen Stabilität der Umgebung ist extrem wichtig Keine Falschmeldungen des Buildsystems Zeitnahes Feedback an Entwickler Standardumgebung ermöglicht einfache Integration von Exoten Integration auf unterschiedlichen Ebenen Gemeinsame Repositories für Ablage von Artefakten (statt Upload SEU) Gemeinsame Build-Plattform (Jenkins + Server) Gemeinsame Continuous Integration-Umgebung Einheitliches Build Management Tool Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 26

27 Nützliche Links Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 27

28 Fragen? Diskussion? Johannes Kellner Anwendungsentwicklung Technische Architektur JBF Architekt / Platzhalter für Ihr Foto H: 3.94 cm B: 2,98 cm s/w Continuous Integration in JBF Johannes Kellner, AEW6TA JBFOne 2011 Seite 28

29 Ihr IT-Partner Vielen Dank