Tabellarischer Vergleich der. für modellbasiertes Testen aus Managementsicht. Dominik Beulen, Barış Güldalı, Michael Mlynarski

Transkript

1 Tabellarischer Vergleich der Prozessmodelle für modellbasiertes Testen aus Managementsicht Dominik Beulen, Barış Güldalı, Michael Mlynarski TAV 29, Stralsund

2 Überblick Wie sieht der Prozess für MBT aus? Worauf muss der Testmanager achten? Welche Aufwände müssen Tester betreiben? Welche e unterschiedlichen ed c e Ansätze gibt es? Wie kann man die Ansätze miteinander vergleichen? Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 2

3 Fundamentaler Prozess für MBT [Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 3

4 Unterschiedliche Ansätze in der Literatur Pretschner et.al. Pretschner et.al. Pretschner et.al. Pretschner et.al. Pretschner et.al. imbus AG El Far et.al. AGEDIS DACS Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 4

5 Überblick Wie sieht der Prozess für MBT aus? Worauf muss der Testmanager achten? Welche Aufwände müssen Tester betreiben? Welche e unterschiedlichen ed c e Ansätze gibt es? Wie kann man die Ansätze miteinander vergleichen? Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 5

6 Sicht des Testmanagers??? Testfälle Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 6

7 Aufwände für MBT Testfälle Aufwand Erstellung der Testmodelle Generierung der Testfälle Ausführung der Testfälle Auswertung der Testergebnisse Schulung der Tester Koordination mit der Entwicklung Einführung von Werkzeugen Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 7

8 Vergleichskriterien Aufwand Erstellung der Testmodelle Generierung der Testfälle Ausführung der Testfälle Auswertung der Testergebnisse Schulung der Tester Koordination mit der Entwicklung Einführung von Werkzeugen Kriterium Wiederverwendung Automatisierungslevel Automatisierungslevel Redundanz Testing Maturity Level Reihenfolge der Aktivitäten Modeling Maturity Level Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 8

9 Vergleichstabelle Ansätze Kriterien Wieder rverwendun ng Red dundanz Automat tisierungslev vel henfolge Rei TML MML Ansatz 1 Ansatz 2... Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 9

10 Keine Aussagen über... Gesamtkosten Testqualität Testabdeckung Kombination ato von Ansätzen Mitarbeiterzufriedenheit... Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 10

11 Überblick Wie sieht der Prozess für MBT aus? Worauf muss der Testmanager achten? Welche Aufwände müssen Tester betreiben? Welche e unterschiedlichen ed c e Ansätze gibt es? Wie kann man die Ansätze miteinander vergleichen? Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 11

12 Gemeinsames Modell Anforderungen Modell generieren generieren Testfall Spezifikation Testfälle manuelle Auswertung Code [Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 12

13 Generierung TM aus SUT Anforderungen Spezifikation Testmodell generieren Extraktion Manuelle Codeerstellung Testfall Spezifikation Testfälle manuelle Auswertung Code [Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 13

14 Manuelle Erstellung TM Anforderungen Spezifikation Testmodell generieren Manuelle Codeerstellung Testfall Spezifikation Testfälle Code automatische Auswertung [Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 14

15 Separate Modelle Anforderungen Entwicklungsmodell Testmodell generieren Manuelle oder automat. Codeerstellung Testfall Spezifikation Testfälle Code automatische Auswertung [Pretschner, A., Philips, J.: Methodological Issues in Model-Based Testing. 2005] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 15

16 Generierung TM aus Testfällen Anforderungen Spezifikation Entwicklungsmodell Testmodell Reverse Engineering generieren Manuelle oder automat. Codeerstellung Testfall Spezifikation Alt Testfälle Neu Code z.b. [Jääskeläinen, et al. Synthesizing Test Models from Test Cases. 2008] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 16

17 TM nach Transformation Anforderungen Entwicklungsmodell Transformation Transformation Testmodell Manuelle oder automat. Codeerstellung generieren Testfall Spezifikation Testfälle Code z.b. [Mlynarski, M., Güldali, B., Späth. M., Engels, G.: From Design Models to Test Models by Means of Test Ideas. 2009] Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 17

18 Überblick Wie sieht der Prozess für MBT aus? Worauf muss der Testmanager achten? Welche Aufwände müssen Tester betreiben? Welche e unterschiedlichen ed c e Ansätze gibt es? Wie kann man die Ansätze miteinander vergleichen? Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 18

19 Vergleich der Ansätze mittels Kriterien Ansätze Kriterien ng Wiede erverwendu Re edundanz Automa atisierungsle evel Re eihenfolge TML MML 1) Gemeinsames Modell parallel 7 5 2) Generierung TM aus SUT später 7 1 3) Manuelle Erstellung TM parallel 7 3 4) Separate Modelle egal 7 4/5 5) Generierung TM aus Testfällen egal 7 1 6) TM nach Transformation später bzw. egal 7 5 Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 19

20 Vergleich der Ansätze mittels Aufwände Ansätze Aufwände Erstellu ng der Testmo delle Auswert ung der Testerg ebnisse Generier ung der Testfälle, Ausführu ng der Testfälle Koordina tion mit der Entwickl ung Schulu ng der Tester Einführ ung von Werkze ugen 1) Gemeinsames Modell 2) Generierung TM aus SUT 3) Manuelle Erstellung TM 4) Separate Modelle 5) Generierung TM aus Testfällen 6) TM nach Transformation Hoher Aufwand: Mittlerer Aufwand: Wenig Aufwand: Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 20

21 Zusammenfassung MBT ist nicht umsonst Unterschiedliche Ansätze, unterschiedliche Aufwände Vergleich von Ansätzen möglich Kombination von Ansätzen möglich Unser Beitrag: Literatursichtung übersichtliche Vergleichskriterien Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 21

22 Vielen Dank für die Aufmerksamkeit Hoffe auf ein Wiedersehen in SWQD 2010! Tutorial: Modellbasiertes Testen - praktisch angewandt Barış Güda Güldalı, Dr.-Ing. Christof J. Budnik Software Quality Lab (s-lab) Universität Paderborn Warburger Str Paderborn b Software Quality Lab (s-lab) Güldali: Vergleich von MBT-Ansätzen 22