Automatische Testfälle. automatisch generieren. Dr. Martin Beißer sepp.med gmbh

Transkript

1 Automatische Testfälle automatisch generieren Dr. Martin Beißer sepp.med gmbh

2 Software EMEA Performance Tour Juni, Berlin

3 Anforderungsgesteuerter Testprozess Anforderungen Testbericht Testkonzept Testergebnis Testfälle Testdurchführung 3 3

4 Tool-Unterstützung Anforderungen Testbericht Testkonzept Testergebnis Testfälle Testdurchführung 4 4

5 Automatisierungsgrad im Testprozess Anforderungen Testbericht Testkonzept Testergebnis Testfälle Testdurchführung 5 5

6 Aufwandsverteilung im Testprozess Anforderungen Testbericht 1 h > 0,1 h Testkonzept Testergebnis Testfälle 4,5 h > 0,1 h > 0,1 h Testdurchführung 6 6

7 Automatisierungsgrad im Testprozess Anforderungen Testbericht Testkonzept Testergebnis Testfälle Testdurchführung 7 7

8 Von den Anforderungen zum Testfall 8

9 Standard Testprozess: Testdesign Anforderungen Testidee Testimpl. Testfälle??? Test Ausführung Automatische Testfallgenerierung

10 Ursprung der Testideen Systematik Anforderungen Intuition Zufall Fehlerhistorie Erfahrung Automatische Testfallgenerierung

11 Ergebnis des Testdesigns 11

12 Ergebnis des Testdesigns A B C D E F G H I J K [ ] // [ ] // Copyright (c) by Borland Software Corporation [ ] // and/or its subsidiaries. [ ] [ ] //Accompanying files gmow.inc & gmow.pln [ ] [ ] // ************************************************************************ [ ] [ ] [ ] [ ] [ ] // GUI Tests [-] testcase Verify_Window_Caption () [-] recording [-] GMO.VerifyProperties ({...}) [ ] "" [-] {...} [ ] {"$Caption", "Welcome to Green Mountain Outpost"} [+] testcase Verify_Empty_Textfields() [-] recording [ ] BrowserPage.SetActive () [ ] GMO.BorderlessTable1.HtmlColumn1.EnterGMOOnLine.Click () 12 [ ] BrowserPage.SetActive ()

13 Gemessene Aufwandsverteilung für das Testdesign von 70 manuellen Testfällen Phase Aufwand [h] Einarbeitung 20 Analyse 13 Klärungsaufwand 10 Testfallerstellung 100 Gesamtaufwand

14 Standard Testdesign: Verteilung des Aufwandes Systemanalyse Implementierung Testfälle Systematik Anforderungen Intuition Zufall Fehlerhistorie Erfahrung 20% - 30% 70% 80 % Im Standard-Tesdesign wird der größere Teil der Aufwände für die Testimplementierung benötigt Automatische Testfallgenerierung

15 Nachteil Standard-Testdesign Automatische Testfallgenerierung

16 Standarddesign: Testabdeckung Automatische Testfallgenerierung

17 Testfälle Eingabe: korrekter Benutzername und Kennwort Ergebnis: Applikation öffnet sich Eingabe: inkorrekter Benutzername und Kennwort Ergebnis: Fehlermeldung; Login-Dialog bleibt offen weitere Testfälle? Eingabe: inkorrekte Benutzername Eingabe: korrekter Benutzername Eingabe: leerer Benutzername Eingabe: korrekter Benutzername Eingabe: korrekter Benutzername dann: korrekter Benutzername 17 korrektes Kennwort leeres Kennwort korrektes Kennwort inkorrektes Kennwort inkorrektes Passwort korrektes Passwort Automatische Testfallgenerierung

18 Nachteil Standard-Testdesign Automatische Testfallgenerierung

19 Abhilfe durch: 19

20 modellzentrierter Test Systematik Anforderungen Intuition Zufall Fehlerhistorie Erfahrung Testmodell Testfälle Generator automatisch Automatische Testfallgenerierung

21 Generierter manueller Test Automatische Testfallgenerierung

22 Generierter automatischer Test Automatische Testfallgenerierung

23 23

24 Blinkermodell strukturiert 24

25 25

26 26

27 Systematik 27

28 28

29 Automatische Generierung mit Testfallgenerator Systematik Anforderungen Intuition Zufall Fehlerhistorie Erfahrung Testmodell Testfälle Generator automatisch Automatische Testfallgenerierung

30 Was ein idealer Testfallgenerator leisten sollte konkrete ausführbare Testfälle automatisch erzeugen für manuelle Tests für automatische Tests Quantifizierung der Ergebnisse (Statistiken) Visualisierung der Ergebnisse (Testfallbaum) Anzeige der Abdeckung im Modell Berücksichtigung von Testmanagementinformationen Delta-Generierung: Auswirkung von Änderungen im Modell für die Testfälle anzeigen 30

31 Was ein idealer Testfallgenerator leisten sollte Unterstützung der geeigneten Systematik zur Testfallerstellung und -einschränkung explizite Pfadangabe verschieden Abdeckungsgrade wie: Knoten-, Kanten- und Pfadabdeckung aber auch Requirement- und Risk-Abdeckung etc. Zufallsgesteuerte Generierung beliebige Kombinationen von Strategien Filtermöglichkeiten auf dem Generat Berücksichtigung von Testmanagementinformationen das Ganze aber deterministisch 31

32 messbare Testabdeckung auf Basis von Modellen Anforderungsabdeckung: einfach Abdeckung: 5 komplette Abdeckung: 52 Knotenabdeckung: 5 Kantenabdeckung: 5 Pfadabdeckung: 340 Pfadabdeckung mit Loop: 956 aber auch Risikoabdeckung Workflow-Abdeckung 32

33 Gemessene Aufwandsverteilung für das Testdesign von 70 manuellen Testfällen Phase Aufwand [h] Einarbeitung 20 Analyse 13 Klärungsaufwand 10 Testfallerstellung 100 Gesamtaufwand

34 Vergleich der Aufwände Phase Aufwand [h] manuell Aufwand [h] modellbasiert Einarbeitung Analyse Klärungsaufwand 10 8 Modellierung 0 40 Testfallerstellung Gesamtaufwand

35 Anforderungsgesteuerter Testprozess mit Testmodellen Anforderungen Testbericht 1 h > 0,1 h > 0,1 h Testmodell Testergebnis Testfälle 4,5 h > 0,1 h > 0,1 h Testdurchführung 35 35

36 Vielen Dank Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.