Vergleich der Entwicklungs- und Wartungskosten unterschiedlicher Capture & Replay-Tools beim Testen grafischer Benutzeroberflächen

Transkript

1 Antonia Kresse Fachbereich Informatik Verteidigung Masterarbeit Vergleich der Entwicklungs- und Wartungskosten unterschiedlicher Capture & Replay-Tools beim Testen grafischer Benutzeroberflächen

2 Gliederung 1. Grundlagen 2. Lösungsansatz 1. Vorgehen 2. SUT TESTONA 3. Erwartungen 3. Durchführung 4. Ergebnisse 5. Ausblickt 2

3 1.1 Grundlagen des Testens Essentieller Bestandteil moderner Softwareentwicklung [1] [2] Unterschiedliche Vorgehensweisen zwischen Frontend und Backend Backend: Frontend: [1] Hailpern, Brent; Santhanam, Padmanabhan: Software debugging, testing, and verication. In: IBM Systems Journal 41 (2002), Nr.1, S [2] Ellims, Michael; Bridges, James; Ince, Darrel C.: The economics of unit testing. In: Empirical Software Engineering 11 (2006), Nr. 1, S

4 1.2 Capture & Replay [3] [3] Ostrand, Thomas; Anodide, Aaron; Foster, Herbert; Goradia, Tarak: A visual test development environment for GUI systems. In: ACM SIGSOFT Software Engineering Notes Bd. 23 ACM, 1998, S

5 1.2 Capture & Replay Generationen [4] 1. Generation: Koordinatenbasiert 2. Generation: Komponenten- /Widget-basiert 3. Generation: Bilderkennung (VGT) [4] Alégroth, Emil; Gao, Zebao; Oliveira, Rafael; Memon, Atif: Conceptualization and evaluation of component-based testing unified with visual gui testing: an empirical study. 5

6 2.1 Vorgehen 6

7 2.1 Vorgehen 7

8 2.2 SUT TESTONA Editor Outline PropertiesView 8

9 2.3 Erwartungen Testfall-Kategorien TESTONA Testfälle 4.3 dieser TESTONA Kategorie: 4.5 Basisfunktionen (9) CreateNewTree Testfallerstellung und EditTree 3 bearbeitung (6) FoldTree CopyPasteOfSubtrees Weitere Funktionen (11)

10 2.3 Erwartungen Testfall-Kategorien TESTONA Testfälle 4.3 dieser TESTONA Kategorie: 4.5 Basisfunktionen (9) CreateNewTree CreateRenameTestcases Testfallerstellung und EditTree ChangeMarktypes 3 bearbeitung (6) FoldTree GenerateTestcases CopyPasteOfSubtrees RenameGroupsAndSequences Weitere Funktionen (11)

11 2.3 Erwartungen Testfall-Kategorien TESTONA Testfälle 4.3 dieser TESTONA Kategorie: 4.5 Basisfunktionen (9) CreateNewTree VariantManagementView Testfallerstellung und EditTree Help 3 bearbeitung (6) FoldTree SearchingElements CopyPasteOfSubtrees Export Excel Weitere Funktionen (11)

12 3. Durchführung 1. Erstellen der 26 Testfälle innerhalb der Capture & Replay Tools 2. Mehrfache Ausführung und Reparatur der Testfälle (nach Lösungsansatz) 3. Parallele Dokumentation des Arbeitsprozesses 12

13 VariantenManagementView ( ) Tools -> Varianten Managment 19. New Variant 20. Name: TestVariant, OK -> TestVariant erscheint in der Varianten Übersicht -> OK Button... Eggplant QF-Test TestComplete Testerfolg ja nein nein Fehlerzahl Wartung 0 min 5 min 80 min 13

14 4. Ergebnisse Implementierungsaufwand Zeit zur erstmaligen Implementierung Robustheit Anzahl fehlgeschlagener Tests Wartungsaufwand Zeit zur Reparatur fehlgeschlagener Tests

15 4.1 Implementierungsaufwand Zeit in min

16 4.1 Implementierungsaufwand Zeit in min

17 4.1 Implementierungsaufwand Zeit in min

18 4.1 Implementierungsaufwand Egg QF TC Eggplant: Gesamtzeit: 2750 min Durchschnitt: 105 min / Test Standardabweichung: 47 min QF-Test: Gesamtzeit: 1555 min Durchschnitt: 57 min / Test Standardabweichung: 61 min TestComplete: Gesamtzeit: 2695 min Durchschnitt: 103 min / Test Standardabweichung: 74 min 18

19 4.2 Robustheit Anzahl erwarteter Fehlschläge Eggplant QF-Test Testcomplete TESTONA 4.3 TESTONA

20 4.3 Wartungsaufwand Egg QF TC Eggplant: Gesamtzeit: 210 min Durchschnitt: 15 min / Test Standardabweichung: 14 min QF-Test: Gesamtzeit: 275 min Durchschnitt: 17 min / Test Standardabweichung: 11 min TestComplete: Gesamtzeit: 435 min Durchschnitt: 31 min / Test Standardabweichung: 20 min 20

21 4.4 Zusammenfassung Implementierungsaufwand Zeit zur erstmaligen Implementierung 1. QF-Test 2. TestComplete 3. Eggplant Robustheit Anzahl fehlgeschlagener Tests 1. Eggplant TestComplete QF-Test Wartungsaufwand Zeit zur Reparatur fehlgeschlagener Tests 1. Eggplant 2. QF-Test 3. TestComplete 21

22 5. Ausblick Erweiterung im Hinblick auf... Anzahl der Tester Verschiedene SUTs TESTONA Versionen Capture & Replay-Tools Testfälle 22

23 5. Ausblick Weitere Forschungsmöglichkeiten: 1. Anfälligkeit von spezifischen GUI-Elementen 2. Verbesserungen für Capture & Replay-Tools 3. Vergleichende Aussagen über Generationen 4. Entwicklung einer neuen, vierten Generation Antonia Kresse 23

24 Quellen [1] Hailpern, Brent; Santhanam, Padmanabhan: Software debugging, testing, and verication. In: IBM Systems Journal 41 (2002), Nr.1, S [2] Ellims, Michael; Bridges, James; Ince, Darrel C.: The economics of unit testing. In: Empirical Software Engineering 11 (2006), Nr. 1, S [3] Ostrand, Thomas; Anodide, Aaron; Foster, Herbert; Goradia, Tarak: A visual test development environment for GUI systems. In: ACM SIGSOFT Software Engineering Notes Bd. 23 ACM, 1998, S [4] Alégroth, Emil; Gao, Zebao; Oliveira, Rafael; Memon, Atif: Conceptualization and evaluation of component-based testing unified with visual gui testing: an empirical study. In: Software Testing, Verication and Validation (ICST), 2015 IEEE 8th International Conference on IEEE, 2015, S