Softwaretest in der Lehre: Von der Theorie bis zur Testautomatisierung

Transkript

1 Softwaretest in der Lehre: Von der Theorie bis zur Testautomatisierung Prof. Dr. Karin Vosseberg Maximilian Azimi, Jens-Rainer Felske, Sebastian Lauber, Jan-Henrich Mattfeld, Pascal Schneider, Krischan Stapelfeldt, Timm Suhl, Nils Techau NKIF 2015,

2 Wie kann ich Studierende vorbereiten auf Anforderungen wie Testgetriebene Softwareentwicklung Testautomatisierung Systematisches Testen Softwarequalitätssicherung als spannendes Thema in der Lehre etablieren Theorie und Praxis miteinander verbinden Zusammenwachsen der Rollen Entwickler und Tester 2

3 Was zeichnet agiles Testen aus?»testen in agilen Projekten unterscheidet sich vom klassisches Testen in erster Linie dadurch, dass dieselben Tests viel häufiger ausgeführt werden dieselben müssen. Schließlich Tests wird das viel System häufiger immer wieder geändert (Refactoring) und viel häufiger ausgeliefert. Daher lohnt sich die Automatisierung Automatisierung der Tests in agilen Projekten viel früher als in klassischen Projekten. Aus dieser essenziellen Bedeutung des Testens in agilen Projekten Tests hat sich als eine ausführbare spezielle Perspektive auf Spezifikationen Tests entwickelt: In agilen Projekten werden Tests als ausführbare Spezifikationen verstanden. Wie in klassischen Projekten auch unterscheidet man in agilen Projekten zwischen der technischen Spezifikation Unittests in Form von Unit-Tests und der Spezifikation der Anwendungsdomäne in Form von Akzeptanztests.... Akzeptanztests Testgetriebene Entwicklung Testgetriebene Entwicklung (Test-Driven Development) bedeutet, dass Tests vor dem Produktivcode geschrieben werden, um so die Softwareentwicklung zu steuern. So entsteht Qualitätssoftware mit sehr Qualitätssoftware hoher Testabdeckung, und es wird nur das entwickelt, was auch tatsächlich benötigt wird.«mit sehr hoher Testabdeckung 3

4

5 Test Driven Development

6 Beispiel Maximum von 3 Zahlen kleine Iterationen Maximum von 1 Zahl Testfall 7 = maximum(7) public int maximum (int x) { int max=0; max=x; return max; } 6

7 Beispiel Maximum von 2 Zahlen Testfälle 7 = maximum(7,5) 7 = maximum(5,7) public int maximum (int x, int z) { int max=0; if x>z max=x; else max=z; return max; } 7

8 Prof. Dr. Stephan Kleuker: Open Source Testwerkzeuge für alle Testphasen 6. Treffen Softwaretest und Qualitätssicherung, Leipzig, 12. & Beispiel Maximum von 3 Zahlen public int maximum (int x, int y, int z) { int max=0; if (x>z) max=x; if (y>x) max=y; if (z>y) max=z; return max; } Testfälle 7 = maximum(7,5,4) 7 = maximum(5,7,4) 7 = maximum(4,5,7) 8

9 Beispiel 100% Entscheidungsüberdeckung public int maximum (int x=7/5/4, int y=5/7/5, int z=4/4/7) { } int max=0; if (7>4) max=7; if (5>7) max=y; if (4>5) max=z; return max=7; { } int max=0; if (5>4) max=5; if (7>5) max=7; if (4>7) max=z; return max=7; Testfälle 7 = maximum(7,5,4) 7 = maximum(5,7,4) 7 = maximum(4,5,7) { } int max=0; if (4>7) max=x; if (5>4) max=5; if (7>5) max=7; return max=7; 9

10 Beispiel Maximum von 3 Zahlen public int maximum (int x, int y, int z) { int max=0; if (x>z) max=x; if (y>x) max=y; if (z>y) max=z; return max; } systematische Testfälle x > y > z x > z > y y > x > z y > z > x z > x > y z > y > x x = y > z x = y < z x = z > y x = z < y y = z > x y = z < x x = y = z Reihenfolge der beiden kleineren Werte zwei oder drei gleiche Werte 10

11 Beispiel Maximum von 3 Zahlen public int maximum (int x, int y, int z) { int max=0; if (x>z) max=x; if (y>x) max=y; if (z>y) max=z; return max; } systematische Testfälle x > y > z x > z > y y > x > z y > z > x z > x > y z > y > x x = y > z x = y < z x = z > y x = z < y y = z > x y = z < x x = y = z Testfälle 7 = maximum(7,5,4) 7 = maximum(5,7,4) 7 = maximum(4,5,7) 11

12 Beispiel Maximum von 3 Zahlen public int maximum (int x=7, int y=4, int z=5) { int max=0; if (7>5) max=7; if (4>7) max=y; if (5>4) max=5; return max=5; } systematische Testfälle x > y > z x > z > y 5 = maximum(7,4,5) y > x > z y > z > x z > x > y z > y > x x = y > z x = y < z x = z > y x = z < y y = z > x y = z < x x = y = z! 12

13 Beispiel Maximum von 3 Zahlen public int maximum (int x=7, int y=7, int z=7) { int max=0; if (7>7) max=x; if (7>7) max=y; if (7>7) max=z; return max=0; } systematische Testfälle x > y > z x > z > y y > x > z y > z > x z > x > y z > y > x x = y > z x = y < z x = z > y x = z < y y = z > x y = z < x x = y = z 0 = maximum(7,7,7)! 13

14 ++ [Test exit criteria ok] [More tests] Write/Check test strategy Add/Rewrite and review a test [Pass] Run test suite [Fail] [Enough tests] Implement function [Fail] Run test suite [Pass] Check requirements [Stop development] [Ongoing development] Abb. 2: Systematisches Testgetriebenes Vorgehen 14

15 [Test exit criteria ok] ++ Write/Check test strategy [More tests] Add/Rewrite and review a test [Pass] Run test suite [Fail] [Enough tests] Implement function [Fail] Run test suite [Pass] Check requirements [Stop development] 15 [Ongoing development]

16 Veranstaltungs Test- automatisierung Systematisches Testen ++ 16

17 Veranstaltungs Testautomatisierung Entwicklung einer Gebäudeverwaltung Excel-Sheet mit Anforderungen und Akzeptanzkriterien Erstellen von Testfällen mindestens Systemtest und Unittest Testentwurfsverfahren Testautomatisierung Continous Integration Jubula, JUnit Jacoco Systematisches Testen ISTQB Certified Tester Foundation Level Grundlagen des Softwaretestens Testen im Softwarelebenszyklus Statischer Test Testentwurfsverfahren Black-box White-box Erfahrungsbasiert Testmanagement Testwerkzeuge 17

18 Rahmenbedingungen 1 Semester, 4 SWS, 6 CP Vorlesung Certified Tester 8 Blöcke 7-8 Workshops zur Unterstützung des Projekts Abgabe des Projekts am Ende des Semesters Teams von 4-5 Personen Workshops Frank Düsterbeck, HEC GmbH: QS in agilen Projekten Björn Seebeck, HEC GmbH: Aufbau einer Testpipeline Alexandra Schladebeck, Bredex GmbH: Jubula A und Continuous Integration Björn Seebeck, HEC GmbH: Unterstützung im Aufbau der eigenen Testpipeline Zusatzqualifikation zum ISTQB Certified Tester Foundation Level Prüfung durch isqi 18

19 3.1.3 mehrere verschiedene Projekte verwalten und durch das in Versionen und Änderungen am Programmcode oder Bib Zugriffsrechte der Projektresourcen. nachverfolgen. Auch ist es möglich auf äl 3 anzeigen Testumgebung und Mantis zuzugreifen. A BBILDUNG 11 - CHECKSTYLE L O Ant 3.1 Eingesetzte Tools HTTP :// CHECKSTYLE. SOURCEFORGE. NET / Checkstyle ist ein Entwicklungs-Tool, dass die Einhaltung vo werden Jubula Im Folgenden die eingesetzten Tools innerhalb Testumgebung b Programmen unterstützt. Dadurch, dassder Checkstyle als Java-A Problemlos als Apache Ant Task Aeingebunden und zum Laufen BBILDUNG 8 - M ANTI 3.1.2GitHub Jenkins Checkstyle kann der Programmierstil die S/ MANTISBTund. ORGso / BUGS Wiederverwendbarkeit des Codes verbessert werden. Einige Mo Mantis ist zum einbeispiel in PHP geschriebenes, kostenfreies Open die korrekte Verwendung von Annotationen, das Vor oder aber ob die definierte Namenskonvention eingehalten wurde Tool, das MySQL, MSSQL, PostgrSQL als Datenbanksystem A BBILDUNG A NT9 L-OGOJ UBULA BBILDUNG Analyse Werkzeugen. 6 - AAPACHE HTTP :// UPLOAD.WIKIMEDIA. ORG / WIKIPEDI HTTP :// WWW. BREDEX.DE /Laube ASSE Team Global Poseidon (Felske Es dient zur Verwaltung und Verfolgung von Programmfe 2 Teams mit 4 Studierenden A BBILDUNG 4 - G ITH UB L OGO Apache Ant ist ein kostenloses und plattformunabhängiges Werkzeug Jubula ist ein OpenSource Automatisierungstool für SWT-, A BBILDUNGdes5 Change-Requ - J ENKINS L ein wichtiges Tool zur Unterstützung HTTPS :// ASSETS 3.1.9Release FindBugs GitHub unterstützen zur Verwaltung des Source Codes Eclipse Cycles. Neben der.jenkins einfach ges unddes automatisch ablaufen zu lassen. Damit das funktion HTTPS :// WIKI GitHub ist ein webbasierter Hosting-Dienst Softwareentwicklungsprojek mehrere verschiedene Projektefür verwalten und durch das Betriebssystemund HTML-Controls anzusteuern biete Jenkins ist ein plattformunabhängiges, Opendie den Build-Ablauf-Prozess Diese Scripte w Repositories öffentlich lesbar erstellt, istdarstellen. dieser webbasiertes Dienst kostenfrei, des JenkinsScripte als definiert, Integrationsserver Checkstyle Zugriffsrechte der Projektresourcen. Mechanismus umfangreiche Funktionalitäten zur kleinsten kostenpflichtigen Planliegen (mit 3 im privaten fürautomati Studenten Jenkins unterstützt zahlreiche von unsrepositories) angewandte Werkzeu mit Ant Build-Dateien genannt und XML-Format vor. Werkzeug Maven als Build-Management sich Akzeptanztests auf einfache Weise über einfaches diegithub sehr ist große Community können beiein Bedarf neuedfa MitDurch Hilfe von es möglich, dass mehrere Entwickler gleichzeitig Zur Beschreibung stehen sogenannte Targets zur auf Verfügung. Jedes Tar A 12 -Dadurch F B undarbeiten, in die zur Benutzeroberfläche integriert werden. is und FindBugs statischen Analyse der Checkstyle Projekt da der Programm Code zentral der GitHub-Host gespe Diese Tests können einmalig aufgenommen und ://F Bwerden.. BBILDUNG IND UGS bestimmtenversionen Teil des Build-Prozesses, zum JavaBeispiel dienachkom anpassbar. und Jubula Änderungen oder Bibliotheken ein FindBugs ist am eine Programmcode Open-Source Programm, dass Fehle Sourcen werden wie nötig. anzeigen und nachverfolgen. Auchsucht. ist es Java Programmen Bugmöglich Patterns auf sind ältere Muster Versione von fehle Ausführungsvorgänge. A BBILDUNG 11 - C HECK Verbindung mit Programmierfehlern. FindBugs untersucht den J Builds die durchgeführt werden sollen, können verschiedena zuzugreifen. und Ausführung von Testfällen Jubula Implementierung HTTP :// CHECKSTYLE. SOURCE Mustern. teilt das Tool in verschiedene Kategorienein auf,s durch Änderung des Bugs CVSvon (Cuncurrent Target besteht einer Menge Tasks dieversions über einsystem, Target au Checkstyle istnach ein Entwicklungs-Tool, die anzeigt Einha auf der Ein Integrationsundaus Systemteststufe Correctness die offensichtlichen Fehlern dass im Code oder nach einem bestimmten Zeitplan. Oft werden mit Ha dass und Checkstyle JaCoCo Beipiele für Tasks sind javac zum Kompilieren vondadurch, Quellcode junit dassprogrammen diese Stelle im unterstützt. Code die Performance verschlechtert. Team Global Poseidon (Felske Lauber JUnit Tests. Implementierung und Ausführung Problemlos Apache Ant zum Jenkins ATask BBILDUNG 9 nachts - und J UBUL Builds durchgeführt, das balsedeutet, dass die eingebunden Builds au Checkstyle kann der Programmierstil überprüft und HTTP :// WWW. BREDEX.DE /A von Testfällen auf der Unitteststufe Wiederverwendbarkeit des Codes verbessert werden. E Jubula istmantis ein OpenSource Automatisierungstool für SWT zum Beispiel die korrekte Verwendung von Annotationen JaCoCo zur Ermittlung Codeabdeckung des der Eclipse Release Cycles. Neben der einfach g oder aber ob die definierte Namenskonvention A BBILDUNG 10 - eingehalte J A C OC O TestLink Betriebssystemund HTML-Controls anzusteuern Analyse Werkzeugen. Mantis zur Fehlerverfolgung WWW. ECLEMMA. ORG/bie IM A BBILDUNG HTTP 5 - :// J ENKINS L OGO Mechanismus umfangreiche zur Automa Die freie Java-Code-Coverage-Bibliothek JaCoCo ist e HTTPS ://Funktionalitäten WIKI.JENKINS TestLink als Testmanagementwerkzeug zurwebbasiertes A BBILDUNG 8 - M ANTIS Jenkins ist ein plattformunabhängiges, Open-Source Contino sich Akzeptanztests auf einfache Weise über ein einfaches Codeabdeckung in einem Software-Projekt festzustellen. WWWWerkzeuge,. MANTISBT. ORG / BUGS /FILE FindBugs Jenkins unterstützt zahlreiche von uns angewandte darunter Gi Verwaltung von Testfällen. HTTP IND UGS SOURCEFORGE Mantis ist ein in Emma-Machern PHPeinmalig geschriebenes, kostenfreies Open-So DurchEs die sehrtests große Community können bei Bedarf neue Funktionen dur wird von den entwickelt und arbeite Diese können aufgenommen werden un Tool, das MySQL, MSSQL, PostgrSQL als Datenbanksysteme und inlaufzeit die Benutzeroberfläche integriert werden. Dadurch ist Jenkins für A BBILDUNG 7 - Mittels TEST L INK L OGO mittels eines JVM-Agents. JaCoCo-Agent unju werden wie nötig. anpassbar. Prof. Dr. Karin Vosseberg HTTP :// WWW. CEVENTIS /DESIGN / Testabdeckungsprobleme lösen und. DE die Abdeckung du Es dient zur Verwaltung und Verfolgung von Programmfehle

20 Beispiel für ein Buildprozess 20

21 2 Teams mit 4 Studierenden haben (überwiegend) testgetrieben eine Gebäudeverwaltung entwickelt Review der Anforderungen Testfälle auf Basis von Testentwurfsverfahren entwickelt Äquivalenzklassen und Grenzwertanalysen Zustandsbasiertes Testen Whitebox-Testentwurfsverfahren Kontrollflussgraphen zur Prüfung ihrer Testfälle Testfälle auf unterschiedlichen Teststufen Systemtest, Integrationstest, Unittest Testendekriterien auf Basis der Anforderungen Positv- und Negativ-Testfälle Einfluss des Testens auf die Entwicklung reflektiert 21

22 Beispiel für ein Buildprozess 22

23 2 kleinere Teams (2 und 1 Studierende) mit einer abgespeckten Aufgabenstellung Review der Anforderungen Test entwickelt Testfälle auf Basis von Testentwurfsverfahren entwickelt Hauptfunktionalitäten der Gebäudeverwaltung entwickelt Testfälle auf der Unittestebene mit JUNIT implementiert 23

24 Test- automatisierung Systematisches Testen sehr aufwändig für 1 Semester sehr gute Studierende haben gestöhnt, geflucht und waren am Ende sehr stolz 24

25 Fragen? 25