Liebling, ich habe den Build geschrumpft!

Transkript

1 Liebling, ich habe den Build geschrumpft! Endlich (wieder) schnellere Builds mit Hudson Dr. Simon Wiest XP-Days , Karlsruhe

2 compile

3 compile unit tests

4 compile unit tests javadocs

5 compile unit tests javadocs pmd

6 compile unit tests javadocs pmd checkstyle

7 compile unit tests javadocs pmd checkstyle findbugs

8 compile unit tests javadocs pmd checkstyle findbugs simian

9 compile unit tests javadocs pmd checkstyle findbugs simian crap4j uml graph todo

10 preprocess codegen magic stamp compile unit tests javadocs pmd checkstyle findbugs simian crap4j uml graph todo sign i18n archive extended magic deploy

11 preprocess codegen magic stamp compile unit tests javadocs pmd checkstyle findbugs simian crap4j uml graph todo sign i18n archive extended magic deploy tomcat jboss winstone websphere jetty linux linux 64 windows 64 os x windows android

12 clean preprocess codegen magic stamp compile unit tests javadocs pmd checkstyle findbugs simian crap4j uml graph todo sign i18n archive extended magic deploy tomcat jboss winstone websphere jetty linux linux 64 windows 64 os x windows android oracle db2 ms sql mysql postgresql upload twitter notifications feeds gui

13 clean preprocess codegen magic stamp compile unit tests javadocs pmd checkstyle findbugs simian crap4j uml graph todo sign i18n archive extended magic deploy tomcat jboss winstone websphere jetty linux linux 64 windows 64 os x windows android oracle db2 ms sql mysql postgresql upload twitter notifications feeds gui backend rule engine cactus legalese tag branch encrypt trigger downstreams kitchen sink

14 Agenda Hudson Streichen Staffeln Modularisieren Build-Zeit Parallelisieren Optimierungen

15 Über den Referenten: Dr. Simon Wiest Privat: Hudson-Committer Beruflich: Hudson-Anwender Lokalisierung DE Projektleiter Plug-In Entwickler Internationalisierung Java Architekt Coach Support (Mailing Listen) IT-Freiberufler

16 Was ist kontinuierliche Integration (CI)?

17 Was ist kontinuierliche Integration (CI)? orchestriert durch CI-System

18 Was ist kontinuierliche Integration (CI)? CI-System Reports Reporting Check-Out Developer Repository Build-System Artefacts QA Archive Check-In Subversion CVS Perforce Git Ant Maven Shell-Skript Batch-Datei JUnit TestNG CheckStyle PMD

19 Rückmeldung mit Xtreme Feedback Devices (XFDs) Photos: Kohsuke Kawaguchi, violet.net, Simon Wiest, Hartmut Lang

20 Hudson auf einen Blick Java-basierte Web-Anwendung Initiiert 2006/2007 von Kohsuke Kawaguchi (Sun) Teil des Projekts Glassfish Open Source (MIT Lizenz) 1,24 Mio. LOC (mit Plugins) Zur Zeit 180+ Plug-Ins 130+ Beitragende

21 Wer verwendet Hudson (und darf es zugeben)? Quelle: Kohsuke Kawaguchi, wiki.hudson-ci.org//x/eyq5ag

22 Agenda Hudson Streichen Staffeln Modularisieren Parallelisieren

23 Streichen: Was kann entfallen? P1 P2 P3 P4 vorher P1 P2 P3 Gewinn nachher

24 Streichen: Beispiel #1 #2 FIX C T D C T D vorher #1 C T D FIX #2 C T D nachher

25 Streichen: Wie unterstützt hier Hudson? Trends über Projektverlauf, z.b. Buildzeit UMLGraph deaktiviert RAM erweitert Intuitive Ad-Hoc-Analyse in Web-Oberfläche

26 Agenda Hudson Streichen Staffeln Modularisieren Parallelisieren

27 Staffeln: Das Wichtigste zuerst! P1 P2 P3 P4 vorher P1 P2 Gewinn nachher P3 P4

28 Staffeln: Beispiel #1 #2 C T D FIX C T D vorher #1 #2 C T FIX C T nachher #1 SITE D

29 Staffeln: Wie unterstützt hier Hudson? Projektbeziehungen (vor-/nachgelagerte Projekte) Speicherung von Fingerabdrücken Nachvollziehbarkeit des Buildprozesses über verknüpfte Projekte hinweg

30 Agenda Hudson Streichen Staffeln Modularisieren Parallelisieren

31 Die nächste Ebene: Wir betrachten Module statt Phasen. Test 1 Compile Check Test 2 Pack Abhängigkeiten zwischen (Build-)Phasen Docs APP CORE GUI DB Abhängigkeiten zwischen Modulen

32 Modularisieren: Was lässt sich wiederverwenden? #1 vorher #2 M1 M2 M3 M4 wiederverwenden nachher M3* neu bauen Gewinn

33 Modularisieren: Das Projektlayout wird verändert. prognosr-parent de simonwiest prognosr cli engine model prognosr model prognosr-model vererbt engine prognosr-engine abhängig von cli prognosr-cli

34 Modularisieren: Beispiel #1 Model Engine CLI CLI* #2 Model Engine CLI* vorher #1 Model Engine CLI CLI* #2 CLI* nachher Voraussetzung: Artefakte müssen archiviert werden, z.b. in Maven Repository.

35 Modularisieren: Wie unterstützt hier Hudson? Direkte Unterstützung des Maven-Modulkonzeptes Verwendungsnachweis der Build-Ergebnisse Filterung der angezeigten Projekte über reguläre Ausdrücke in Ansichten

36 Agenda Hudson Streichen Staffeln Modularisieren Parallelisieren

37 Parallelisieren: Was lässt sich gleichzeitig bauen? vorher M1 M2 M3 M4 M1 nachher M2 M3 M4 Gewinn

38 Parallelisieren: Beispiel vorher Model Engine CLI nachher 1 Model Engine CLI model abhängig von engine 1 Model CLI cli 2 Engine

39 Parallelisieren: Verteilte Builds sind meist wirtschaftlicher. Cloud Master Mac OS X Linux Windows virtualisiert lokale Builds verteilte Builds

40 Parallelisieren: Wie unterstützt hier Hudson? Master-/Slave-Architektur Einfache Konfiguration von Knoten Automatischer Start/Stopp von Slave-Knoten Zusammenfasste Darstellung der Ergebnisse verteilter Builds Breite Unterstützung von Betriebssystemen und Startmechanismen

41 Die vier Strategien zusammengefasst: P1 P2 P3 XP4 P1 P2 P3 Streichen P4 P1 P2 P1 P2 P3 P3 P4 Streichen Staffeln #1 M1 M2 M3 M4 M1 M2 M3 M4 #2 M3* Modularisieren M1 M2 M4 M3 Parallelisieren

42 Agenda Hudson Streichen Staffeln Modularisieren Parallelisieren

43 HERUNTERLADEN

44 EINSETZEN

45 WEITERSAGEN

46 MITMACHEN

47 hudson.dev.java.net Vielen Dank fürs Zuhören. Dr. Simon Wiest Ingenieurbüro für Softwaretechnik Wiesfleckenstrasse Gomaringen

48

49 Empfohlene Nachlese Hudson Projektseite. hudson.dev.java.net JBoss Hudson CI Server. hudson.jboss.org/hudson Interview mit Hudson-Initiator Kohsuke Kawaguchi blogs.sun.com/glassfishpodcast (Episode #007) Continuous Integration White Paper von Martin Fowler. CI Feature Matrix. confluence.public.thoughtworks.org P.M. Duvall: Continuous Integration Projektautomatisierung (allgemein) M. Hüttermann: Agile Java-Entwicklung in der Praxis G. Popp: Konfigurationsmanagement mit SVN, Maven, Redmine J. F. Smart: Java Power Tools

50 Wie funktionieren die Bären? Hudson Mehr dazu im Hudson Wiki wiki.hudson-ci.org//x/aqa1aq Bären HTTP/XML CGI Netz Monitor-Skript Steckdosenleiste 230 V

51 Bonus-Folie: Hardware aufrüsten lohnt. CPU Hauptspeicher Festplatte Netzwerk Quelle: Schneide Blog der Softwareschneiderei GmbH,

52 Cloud: Verteilung, Virtualisierung und Rechenzeit auf Abruf Verteilung Cloud Virtualisierung Rechenzeit auf Abruf