Systemtest im agilen Entwicklungsprozess. Uwe Hehn Sebastian Kern

Transkript

1 Systemtest im agilen Entwicklungsprozess Uwe Hehn Sebastian Kern

2 Motivation - Rahmen Erfahrungen in einem Systemtest-Projekt in einem Medizintechnik-Unternehmen nicht in Erlangen und Umgebung! Prozesssicht klassisch agil Viele Möglichkeiten agiler Entwicklung inkl. Test hier Fokussierung auf SCRUM

3 Gliederung Systemtest nach dem V-Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

4 Gliederung Systemtest nach dem V-Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

5 Systemtest im V-Modell System = Softwaresystem Kundenanforderungen Abnahmetest Systemanforderungen Systemtest Systemdesign Integrationstest Komponentenspezifikation Komponententest Implementierung

6 Systemtest nach SPICE (ISO ) Prozesskennung ENG.10 Prozessname Systemtest Prozesszweck Der Zweck des Systemtestprozesses ist die Sicherstellung, dass die Implementierung aller Systemanforderungen auf deren Erfüllung getestet wird, und dass das System zur Auslieferung bereit ist. Prozessresultate Als Ergebnis einer erfolgreichen Umsetzung des Systemtestprozesses: 1) sind Kriterien für das integrierte System entwickelt, anhand deren sich die Einhaltung der Systemanforderungen nachweisen lässt; 2) ist das integrierte System nach den festgelegten Kriterien verifiziert; 3) sind die Testergebnisse aufgezeichnet; und 4) ist eine Regressionsstrategie für das erneute Testen des integrierten Systems im Falle der Änderung bestehender Systemelemente entwickelt und wird angewendet.

7 Einige Charakteristiken des Systemtests Systemtest-Team ist unabhängig von der Entwicklung Zeitbedarf für den Systemtest ist typischerweise riesig : Vorbereitung Durchführung Test- und Fehlerbericht (Dokumentationsaufwand) Nachtest Zeit für Systemtest ist meist knapp ( am Ende der Entwicklung )

8 Systemtest im V-Modell Aktivitäten bzgl. Systemtest Testentwurf Ermitteln und Festschreiben der System Anforderungen Aufbau Testumgebung Testautomatisierung Durchführung Systemtest Testbasis für Systemtest steht Frei zum Systemtest

9 Gliederung Systemtest nach dem V- Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

10 Agiles Manifest und Systemtest Manifest für Agile Softwareentwicklung (Kent Beck et. al.) ( Individuen und Interaktionen mehr als Prozesse und Werkzeuge Funktionierende Software mehr als umfassende Dokumentation Zusammenarbeit mit dem Kunden mehr als Vertragsverhandlung Reagieren auf Veränderung mehr als das Befolgen eines Plans Notwendigkeiten beim Systemtest Funktioniert die Software? Testspezifikation (was wurde in welchem Umfang getestet?) Testergebnisse (Ergebnis der Prüfung) Reagieren auf Veränderung Regressionstest-Strategie (Veränderungen ohne negativen Einfluss?)

11 SCRUM Überblick Vertreter des Kunden bzw. Auftraggebers Tägliches SCRUM: Kurzes Meeting des Projektteams (Status, Probleme erkennen) tägliche Arbeit, tägliches SCRUM -Moderator - Kümmerer (Termine, Problemlösung, ) SCRUM Master Product Owner - Planung X Produktvision, Anwendungsfälle, Anforderungen, Release-Plan Product Backlog Start SPRINT X - Retrospektive Die in diesem umzusetzenden Anforderungen (inkl. Validierungskriterien) Backlog Prozessverbesserung - Review Vorstellung für Stakeholder, insb. Product Owner Burndown Charts Projektverfolgung: Erreicht vs. geplant Falls Validierungskriterien erfüllt Release X Potentially shippable product Releasekandidat

12 Wie es nicht sein sollte aber bei Sebastians Einstieg war es so N N-1 N Entwicklung Systemtest Entwicklung (Bugfix)

13 The Big-Bang Theory Nicht-inkrementelles Testen (Beispiel) Anforderungen aus Entwickler Unabhängige Systemtester Unittest (= Komponententest) Systemtest

14 Angestrebte Situation und nach ca. 6 Monaten erreicht N-1 N N+1 Entwicklung Systemtest Systemtest Entwicklung (Bugfix)

15 The Little-Bang Theory Inkrementelles Testen (Beispiel) Integrationstest? Mitwachsende Systemtests Finaler Systemtest

16 Gliederung Systemtest nach dem V-Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

17 Überblick über die Aufteilung der s aus Sicht des Systemtests 0 Systemtest-Initialisierung 1-N (Potentially shippable products) Entwicklung des Produkts Regressionstest (Durchführung aller bereits vorhandenen Regressionstests) Systemtestentwurf aktueller (N+1) (Abschluss- / Cleanup- / QS-) Abschließender Systemtest Auch Lokalisierung + Test Benutzerhandbuch + Test

18 0 (Systemtestsicht): Systemtest-Initialisierung Systemtest Planung auf hoher Abstraktionsebene Identifizieren der Systemtestanforderungen Festlegen und Bereitstellen einer initialen Testumgebung Auswählen des Systemtest-Teams Bei Bedarf Schulung des Systemtest-Teams

19 1 - N (Systemtestsicht) Beispiel (N=5) Entw 1 (geplant) Sys T (geplant) Entw 2 (geplant) Entw 3 (Budget) Entwicklung Entwicklung Entwicklung Test 1 Test 2 Test 3 Critical Fix 1 Bugfix 1 Bugfix 2 Bugfix 3 Critical Fix 2 Critical Fix 3

20 1 - N (Systemtestsicht) X (X+1) Backlog X Fehler und Test Bericht (X-1) Backlog (X+1) Fehler und Test Bericht X Parallel System Test Regressionstest für <X-1 und Tests für X-1 Regressionstest für <X und Tests für X Testspezifikation für X Testspezifikation für (X+1)

21 1 - N (Systemtestsicht) Code Freeze Code Freeze Ende X-1 Entwicklung X-1 Produktinkrement in der Testumgebung bereitstellen X Systemtest Entwicklung Regressionstests 1-(X-2), Systemtests X-1 -Planung Systemtest Entwicklung Systemtest Systemtest-Team entwickelt Testfälle für X, und stellt sie den Entwicklern zur Verfügung Entwicklung entwickelt und führt Unittests durch Systemtest-Team führt den Test von bereits fertigen User Stories des s X durch. Direkte Fehlermeldung an die Entwicklung Entwicklung Beheben kleiner oder kritischer Fehlerzustände. Die Behebung aufwändigerer Fehlerzustände Wird für den nächsten eingeplant

22 -Ende Taskboard X Entwicklung Zu bearbeiten (Start: Backlog X) In Bearbeitung Done (Alle Backlog Items von X sind entwickelt) Systemtest Zu Testen von X-1 (Backlog Items X-1) Done (Alle Backlog Items X-1 sind PASSED systemgetestet)

23 Systemtestentwicklung Systemtest-Team entwickelt Testfälle parallel zur Implementierung Testfälle stehen zusammen mit der SW am Ende jedes s zur Verfügung Geänderte Anforderungen werden vom Systemtest-Team erkannt und die Testfälle werden angepasst Traceability Wichtig: Werkzeugunterstützung! Iterativ wachsender Katalog von Testfällen am Ende jedes s vollständig und konsistent zur Software

24 Automatisiertes Testen Ideal: Anteil automatischer Systemtests > 60% (Literatur) Schnelle Durchführung Vermeiden: Manuelles Testen Faktor Mensch Verfügbar: Zeit für manuelles exploratives Testen! Real: Anteil automatischer Systemtests < 30% Hoher personeller Testaufwand Bei komplexer SW reicht oft ein zum manuellen Testen nicht aus Aktuelles Projekt Anteil automatischer Systemtests 2% Mangelnde Testbarkeit des Systems ( von Anfang an beachten!)

25 Gliederung Systemtest nach dem V- Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

26 Vor- und Nachteile + Kurze Feedback-Wege + Systemtester liefern direkten Input für Entwickler (ggf. schon im aktuellen verfügbar) + Systemtester wissen wann neue Funktionen im Produkt enthalten sind (Teilnahme am Daily SCRUM) + Der Systemtest wächst mit dem Produkt + Kritische Fehler und fehlende Funktionen werden frühzeitig erkannt (und behoben) + Ein Bugfix kann direkt in der Testumgebung geprüft werden + Geringe Fehlerzahl bei finalem Systemtest dank kontinuierlicher Systemtests + Systemtest-Team lernt Produkt von Anfang an kennen Effektiver und realistischer Systemtest möglich

27 Vor- und Nachteile - Systemtest-Anteil in jedem - muss am Ende trotzdem komplett durchgeführt werden Aber: Im optimalen Fall jedoch weitgehende Automatisierung

28 Gliederung Systemtest nach dem V- Modell SCRUM und Systemtest Einbindung von Systemtests in SCRUM Vor- und Nachteile Herausforderungen

29 Herausforderungen Automatisierung des Systemtests Traceability zwischen Anforderungen und Testfällen Vormals unabhängiges Systemtest-Team wird vollständig in den Entwicklungsprozess integriert, z.b. Unabhängigkeit: in Linie unabhängiges Testteam Integration ins Projekt Wichtige Faktoren für Systemtester: Flexibilität Enge Zusammenarbeit mit den Entwicklern Kommunikative Fähigkeiten Verstehen des Big Picture Testautomatisierung (wirklich so wichtig!)

30 Und noch etwas Inwieweit entspricht der vorgestellte SCRUM-Systemtest SPICE? Prozessresultate Als Ergebnis einer erfolgreichen Umsetzung des Systemtestprozesses: 1) sind Kriterien für das integrierte System entwickelt, anhand deren sich die Einhaltung der Systemanforderungen nachweisen lässt Testfälle für alle Anforderungen (Summe aller - Backlogs) 2) ist das integrierte System nach den festgelegten Kriterien verifiziert Durchführung aller Systemtests im letzten 3) sind die Testergebnisse aufgezeichnet dito. 4) ist eine Regressionsstrategie für das erneute Testen des integrierten Systems im Falle der Änderung bestehender Systemelemente entwickelt und wird angewendet sehr enge Verflechtung durch SCRUM

31 Vielen Dank für Ihre Aufmerksamkeit! Bei Fragen: