CI was tut sich mit Jenkins in Sachen Test?

Transkript

1 CI was tut sich mit Jenkins in Sachen Test?

2 Ziel dieses Vortrags Sie sehen, dass CI mit Jenkins für alle Projektbeteiligte Nutzen stiftet Sie kennen den aktuellen Stand der Testautomation Statische Code-Analyse Automatisierte Tests aus Sicht der technischen Entwickler fachlichen Entwickler Sie wissen, an welchen Verbesserungen der Testautomation das CoC-Test zusammen mit anderen Abteilungen arbeitet CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 2

3 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 3

4 Anforderungen der Projektbeteiligten Produktverantwortliche/ Projektleiter fachliche Entwickler/Tester automatisiertes Ausführen fachlicher Schnittstellenund UI-Tests Darstellung der Fortschritte im Projektverlauf zentrale Plattform für Informationen technische Entwickler schnelles Feedback zu Builds und Entwicklertests Test-/Qualitätsmanager Darstellung des Testfortschritts und Qualitätszustands CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 4

5 Rol lf van Melis / PIXELIO CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 5

6 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 6

7 Jenkins Dashboard (Projektübersicht) Jenkins ist ein erweiterbares, webbasiertes System zur kontinuierlichen Integration in agilen Softwareprojekten. CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 7

8 Jenkins Dashboard (Modulansicht) CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 8

9 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 9

10 Statische Code-Analyse Code-Reviews der implementierten Komponenten und Entwicklertestfälle Erkennen von Code-Duplikaten Finden von Offenen Punkten Erkennen potentiell fehlerhafter Codefragmente (Bug Patterns) Finden von Verstößen gegen die Coding Standards Produkt- und projektabhängig unterschiedliche Standards möglich CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 10

11 Statische Code-Analyse mit PMD - Trend von Build zu Build CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 11

12 Statische Code-Analyse mit PMD - Übersicht eines Builds CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 12

13 Statische Code-Analyse mit PMD - Detailansichten CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 13

14 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 14

15 Technischer Entwicklertest Anzahl und Ergebnisse der Entwicklertests %-Satz der ausgeführten Anweisungen durch automatisiert durchgeführte Entwicklertests Die Metriken der Dynamischen Analyse werden während der Durchführung der Entwicklertests gemessen à für aussagekräftige Analysen sollten möglichst viele Testfälle automatisiert ausführbar sein CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 15

16 JUNIT - Testergebnisse CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 16

17 Codeabdeckung mit Cobertura CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 17

18 Automatisierte Testfälle mit Datenbankanbindung 10 DB-Schema sowohl in Oracle als auch DB2 verfügbar (noch) kein IMS Unabhängig vom Arbeitsplatz eines Entwicklers automatische Reservierung bei Build-Start und Freigabe bei Build-Ende Automatische Initialisierung - Löschen aller bestehenden Tabellen Automatischer Ablauf der DDL aus dem Modul und ggf. projektübergreifender DDL wie z. B. Eingangsliste. Aktuell in den Projekten SEPA und AZV in Verprobung CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 18

19 Konfiguration des DB-Plugin in Jenkins CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 19

20 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 20

21 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest lf van Melis / PIXELIO Rol Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 21

22 FIT Was ist das? Ein Testframework für Komponententests aus fachlicher Sicht Programmierer schreibt den UnitTest mit fachlicher Schnittstelle (FIT-Fixture) fachlicher Entwickler schreibt die Befüllung der Schnittstellen in html-format über JUnit startbar Wird aktuell im Projekt KIM verwendet CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 22

23 FIT Beispiel Eingabe-Datei CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 23

24 FIT Beispiel Ausgabe-Datei CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 24

25 FIT Einbindung in public class FitTestsOverJUnit { public static class Configuration extends DefaultFitConfiguration public String getinputdir() { return "test/fit"; } Wo stehen die public String getoutputdir() { return "fit-results"; } Wohin werden die Ergebnis-HTMLs abgelegt } public String[] getincludes() { return new String[] { "**/*.html" }; } Welche Dateien sollen berücksichtigt werden? CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 25

26 UI-Automation mit TAFF Ein Testframework für bildschirmorientierte Tests aus fachlicher Sicht Nutzt die Automationswerkzeuge QF-Test und Quicktest/HP Functional Tester Verwendbar für Windows- und Linux-Clients Aktuell in Verprobung mit JBF CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 26

27 UI-Automation mit TAFF Verprobung mit JBF CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 27

28 UI-Automation mit TAFF - TAFF-Report Link zum Screenshot CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 28

29 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 29

30 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Augenauf / PIXELIO Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 30

31 Anforderungen der Projektbeteiligten Produktverantwortliche/ Projektleiter fachliche Entwickler/Tester automatisiertes Ausführen fachlicher Schnittstellenund UI-Tests Darstellung der Fortschritte im Projektverlauf zentrale Plattform für Informationen technische Entwickler schnelles Feedback zu Builds und Entwicklertests Test-/Qualitätsmanager Erweiterungsmöglichkeiten z. B. Performance-Messungen Darstellung des Testfortschritts und Qualitätszustands CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 31

32 Ge erd Altmann / PIXELIO Jeder Build simuliert die Produktionsfreigabe CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 32

33 Herausforderungen SVN Jenkins CI Codeabdeckung Build Statische Code-Analyse JUnit / FIT-Tests (ohne DB) DB2 / Oracle Init JUnit / FIT-Tests (mit DB) IMS-Init Erstellung und Pflege von DB-Initialbeständen für fachlich komplexe Tests Submit von Host-Jobs zur IMS- Initialisierung Automatisiertes Bestücken der Application Server zur Testausführung Vergleich gegen Referenzbestände Performance Deploy auf Tomcat UI-Automation TAFF Initial- Bestände DB-Unload / Check schemaneutral, versioniert Bestand vorhanden In Planung CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 33

34 Agenda Jenkins CI Plattform Statische Code-Analyse Technischer Entwicklertest Fachlicher Entwicklertest Fazit/Ausblick Fragen? Diskussion! CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 34

35 Fragen? Diskussion! Rainer Stanger Entwicklung AEW7QR Testautomation im CoC-Test / Christian Schubert Custom Solution Development Christian.Schubert@capgemini.com / CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 35

36 Ihr IT-Partner Vielen Dank

37 Übersicht der Systeme für automatisiertes Testen Jenkins CI - User Jenkins CI Build Initial- Bestände schemaneutral, versioniert Codeabdeckung Statische Code-Analyse JUnit / FIT-Tests (ohne DB) DB2 / Oracle Init JUnit / FIT-Tests (mit DB) Oracle Schema 1 RZBK 1-n Schema 2 RZBK 1-n Schema 3 RZBK 1-n DB2 Schema 1 RZBK 1-n Schema 2 RZBK 1-n Schema 3 RZBK 1-n IMS-Init IMS-Online Region / BMP Deploy auf Tomcat Portal User 2 Portal User 1 IMS Teil-DB 1 RZBK 1-n Teil-DB 2 RZBK 1-n Teil-DB 3 RZBK 1-n Performance UI-Automation TAFF Tomcat Codeabdeckung DB-Unload / Check Performance Bestand vorhanden In Planung CI was tut sich mit Jenkins in Sachen Test? Rainer Stanger, Christian Schubert JBFOne 2011 Seite 37