Testen mit Fit und Fitnesse. Ludger Solbach

Transkript

1 Testen mit Fit und Fitnesse Ludger Solbach

2 Agenda Agenda Einführung Teststufen, Testarten Probleme beim Testen Fit/Fitnesse Vorstellung Arbeitsweise Features Demo Fazit 09/22/06 SSE1 Ludger Solbach 2

3 Einführung: Teststufen Übersicht über die verschiedenen Teststufen Komponententest (Unit-Test) prüft einzelne Komponenten auf Einhaltung der Spezifikation (z.b. JUnit) Integrationstest prüft das Zusammenspiel von verschiedenen Komponenten Systemtest prüft ein System als Ganzes auf die spezifizierten Anforderungen Funktionale Tests, Last-, Performancetests Abnahme-/Akzeptanztest beim Kunden prüft auf die Einhaltung der spezifizierten Anforderungen 09/22/06 SSE1 Ludger Solbach 3

4 Einführung: Testarten Testarten Funktionale Tests Test der funktionalen Anforderungen (Was?) Nichtfunktionale Tests Test der Qualität der Implementierung (Wie?) z.b. Performancetests, Lasttests, Stresstests Regressionstest Wiederholung bei Änderungen am Programm Aufdecken von Fehlern in vorher funktionierendem Code (Seiteneffekte) 09/22/06 SSE1 Ludger Solbach 4

5 Einführung: Probleme beim Testen Probleme beim Testen Anforderungen sind zu allgemein oder widersprüchlich Erstellung der Testfälle aufwändig Erschwert die Implementierung (Rückfragen, falsche Annahmen) Tests erfolgen oft erst nach Abschluss der Implementierung Spätes Feedback für die Entwickler, dadurch längere Fehlersuche und -behebung Je später ein Fehler auffällt, desto teurer wird die Behebung Mangelnde Testautomatisierung Hoher Testaufwand durch manuelle Durchführung der Tests Niedrige Testabdeckung Kaum oder keine Regressionstests 09/22/06 SSE1 Ludger Solbach 5

6 Fit/Fitnesse: Vorstellung Fit: Framework für integrierte Tests Spezifikation von Anforderungen anhand konkreter Beispiele Test der spezifizierten Anforderungen anhand von Akzeptanzkriterien Werkzeug zur Testdurchführung und -automatisierung Zielgruppen von Fit Business-/Systemanalysten Softwareentwickler Tester Projektmanager 09/22/06 SSE1 Ludger Solbach 6

7 Fit/Fitnesse: Vorstellung Fitnesse basiert auf dem Fit-Framework ist eine verteilte Testumgebung ist ein HTTP-Server ist auf einem Server installierbar Konfigurationsaufwand minimal ist ein Wiki für die Erstellung und Ausführung von Tests ist im Team nutzbar macht den aktuellen Stand der Entwicklung transparent The fully integrated standalone acceptance testing framework and wiki 09/22/06 SSE1 Ludger Solbach 7

8 Fit/Fitnesse: Testfokus und Testfalldarstellung Testfokus Funktionale Anforderungen Geschäftsregeln Berechnungen Entscheidungen Geschäftprozesse, Workflows Aktionen Ergebnisse Testfalldarstellung Tabellarisch Eingaben und Ausgaben als Spalten in Tabellen Konkret Spezifikation der konkreten Ergebnisse für konkrete Eingaben 09/22/06 SSE1 Ludger Solbach 8

9 Fit/Fitnesse: Beispiel für eine Anforderung Beispielanforderung: Personen werden nach ihrem Alter in Altersklassen eingeteilt Spezifikation der Abbildungsregel Regel für Alter 0 <= Alter < <= Alter < <= Alter < <= Alter Altersklasse Kind Jugendlicher Erwachsener Rentner Konkrete Beispiele für die Abbildungsregel mit erwartetem Ergebnis Alter Altersklasse Kind Rentner Erwachsener Fehler 09/22/06 SSE1 Ludger Solbach 9

10 Fit/Fitnesse: Erstellung der Tests Erstellung der Tests Testfälle als HTML- oder MS-Word-Dokumente Mit Fitnesse Testfälle als Wiki-Seiten Verschiedene Tabellenarten für verschiedene Testarten flexibel einsetzbar kombinierbar, um komplexe Abläufe zu testen Tests können mit Texten dokumentiert werden Ziel: testbare Spezifikationen 09/22/06 SSE1 Ludger Solbach 10

11 Fit/Fitnesse : Architektur Architektur von Fit Jede Tabelle referenziert eine Fixture Fixtures sind Adapter auf das zu testende System Fit übergibt die Eingangsdaten einer Tabelle an die Fixture und ruft Fixture-Methoden auf Die Fixture-Methoden rufen Funktionalität des Systems auf und liefern die Ergebnisse zurück Fit prüft die Ergebnisse gegen die Erwartungen und erstellt das Ergebnisdokument Tabelle 1 Tabelle 2 Tabelle 3 Fixture 1 Fixture 2 System im Test 09/22/06 SSE1 Ludger Solbach 11

12 Fit/Fitnesse: Erstellung der Fixtures Wie werden die Fixtures erstellt Adapter zwischen den Tabellen und dem zu testenden System Programmierung von Fixtures durch Entwickler Verschiedene Fixtures als Basisklassen für die verschiedenen Tabellenarten Kern-Fixtures ColumnFixture für Berechnungen ActionFixture für Abläufe von Aktionen (Workflows) RowFixture für Prüfung von Listen, Arrays,... Zusätzliche Fixtures DoFixture für Workflows ArrayFixture für Prüfung von geordneten Mengen SubsetFixture zur Prüfung von Teilmengen (Enthaltensein)... 09/22/06 SSE1 Ludger Solbach 12

13 Fit/Fitnesse: Testausführung/-ergebnisse Ausführung der Fit-Tests Expliziter Java-Aufruf (FolderRunner, FileRunner) Im Build-Prozess per Ant-Task Aus Fitnesse (siehe unten) Testergebnisse Testergebnisse werden als HTML-Datei erzeugt Struktur ist wie das Testfalldokument mit Tabellen Ergebnisse werden in der Tabelle farbig markiert grün: Test erfolgreich durchgeführt rot: Testergebnis entspricht nicht dem erwarteten Ergebnis gelb: Der Test ist nicht vollständig implementiert oder es ist ein Fehler aufgetreten grau: Teile der Testtabelle konnten nicht verarbeitet werden 09/22/06 SSE1 Ludger Solbach 13

14 Fitnesse: Erstellung der Tests Testerstellung im Fitnesse-Wiki Bearbeiten der Seiten im Browser Einfaches Markup in Wiki-Syntax, kein Programmier-Know-How nötig Editieren der Seiten durch Team möglich Tests können im Wiki strukturiert werden Test-Seiten für Testfälle Testfälle als Tabellen, Text zur Dokumentation Test-Suites als Zusammenfassung von Test-Seiten gemeinsame Konfigurationen für alle Tests der Suite SubWikis zur hierarchischen Strukturierung des Wikis z.b. pro Projekt, Teilprojekt oder System, gemeinsame Konfiguration 09/22/06 SSE1 Ludger Solbach 14

15 Fitnesse: Organisation der Tests Konfigurationsmöglichkeiten Definition von (Umgebungs-) Variablen Setzen des Klassenpfads für die Ausführung der Tests Vorbereitungen (Setup/Teardown) für die Tests Erzeugen von Testdaten Löschen von Testdaten 09/22/06 SSE1 Ludger Solbach 15

16 Fitnesse: Testausführung Ausführung der Tests aus dem Browser Ausführung einzelner Test-Seiten über den Test-Link Ausführung ganzer Test-Suites über den Suite-Link Darstellung der Ergebnisse im Browser Zusammenfassung und Einzelergebnisse bei Test-Suites Angabe von Testzeitpunkt und Testlaufzeit Zugriff auf Programmausgaben (stdout, stderr) Unterstützte Programmiersprachen Java,.NET in der Standarddistribution enthalten C++, Delphi, Python, Ruby, Smalltalk, Perl extern verfügbar 09/22/06 SSE1 Ludger Solbach 16

17 Fitnesse: Weitere Features Refactoring von Wiki-Seiten Löschen Verschieben Umbenennen Übernahme von Tabellen zwischen Fitnesse und Excel Copy & Paste Format-Konvertierung in beide Richtungen Erweiterungen von Fitnesse zum Test von Web-Anwendungen, unter Verwendung von HtmlUnit/HtmlFixture Datenbanken mit JDBC Fixtures 09/22/06 SSE1 Ludger Solbach 17

18 Fitnesse: Demo DEMO 09/22/06 SSE1 Ludger Solbach 18

19 Fazit: Vorteile für Systemanalysten und Manager Konkrete Beispiele für die Spezifikation der Anforderungen können bei der Formulierung von Anforderungen helfen können Inkonsistenzen in den Anforderungen aufdecken helfen bei der Kommunikation zwischen Anforderungsmanagement, Entwicklern und Testern können als Akzeptanzkriterien für den Abnahmetest dienen sind Basis für die Testfälle Vorteile für Projektmanager Tests machen den Projektfortschritt sichtbar Einbeziehung der Kunden in den Anforderungs- und Testprozess möglich 09/22/06 SSE1 Ludger Solbach 19

20 Fazit: Vorteile für Tester Erstellung der Testfälle Einfacher durch konkrete Anforderungen mit Akzeptanzkriterien Teamwork beim Erstellen und Testen mit Fitnesse möglich Testautomatisierung Weniger manueller Aufwand Ermöglicht Regressionstests Ermöglicht bessere Testabdeckung Mehr Zeit für GUI-Tests Wiederverwendung von Fixtures möglich viele Testfälle mit einer Fixture ohne Programmieraufwand 09/22/06 SSE1 Ludger Solbach 20

21 Fazit: Vorteile für Entwickler Konkrete Spezifikation der Anforderungen Weniger Rückfragen, weniger Annahmen Automatisierte Tests während der Implementierung schnelles Feedback bei Fehlern Regressionstests, Entdeckung von Seiteneffekten Sicherheit bei der Entwicklung (Refactoring) Erleichtert Test First Development Ergänzung zu Unit-Tests Unit-Tests zum Testen von Methoden in Klassen Fit-Tests für (funktionale) Systemtests 09/22/06 SSE1 Ludger Solbach 21

22 Literatur Fit for Developing Software Framework for Integrated Tests Rick Muckidge, Ward Cunningham Prentice Hall, ISBN Basiswissen Softwaretest Andreas Spillner, Tilo Linz dpunkt Verlag, ISBN /22/06 SSE1 Ludger Solbach 22

23 Links/Artikel Links Fit Homepage Fitnesse Homepage Artikel Fitnesse Testing for Fast-Paced Agile Web Development (java.net) Wiki-getriebene Akzeptanztests (Javamagazin 2/2006) Jenseits des Tellerrands, Teil 6: moderne System- und Abnahmetests Javamagazin 3/ /22/06 SSE1 Ludger Solbach 23

24 Schluss Unit-Tests helfen, ein Programm richtig zu bauen, Fit-Tests helfen, das richtige Programm zu bauen! 09/22/06 SSE1 Ludger Solbach 24