Modellbasiertes manuelles Testen: Techniken und Tücken

Größe: px

Ab Seite anzeigen:

Download "Modellbasiertes manuelles Testen: Techniken und Tücken"

Bernd Giese
vor 6 Jahren
Abrufe

1 Modellbasiertes manuelles Testen: Techniken und Tücken Objektforum Dr. Andrea Herrmann Freiberufliche Trainerin für Software Engineering

2 Dr. Privat-Doz. Andrea Herrmann Vertretungsprofessur Forschung+ Habilitation Doktorarbeit Studium Trai nerin Forschung IT-Beratung & Projektleitung

3 Überblick des Vortrags Ansätze für händisches modellbasiertes Testen Warum eine Automatisierung praktisch schwierig ist Ergebnisse eines Experiments: Fehler beim Testfall- Entwurf Modell-basiertes Testen 3

4 Getränkeautomat Modell-basiertes Testen 4

5 Getränkeautomat Eingabe Ergebnis Modell-basiertes Testen 5

6 Motivation 6

7 Motivation für modellbasiertes Testen 1) Anforderungen = Grundlage für Entwicklung und Test 2) Modellbasierte Tests finden mehr Fehler 3) Nur testbare Anforderungen sind gute Anforderungen Code

8 V-Modell: Testen auf verschiedenen Ebenen Kunde RE Anforderungen Grobentwurf Abnahmetest Systemtest Kunde Architekt Feinentwurf Integrationstest Modulspezifikation Modulspezifikation QS Entwicklerin Code V-Modell Entwicklerin 8

9 Vollständiges Testen: Wie viele Testfälle sind nötig? Anweisungs-Abdeckung Zweig-Abdeckung Pfad-Abdeckung Modell-basiertes Testen 9

10 10 Abstrakter Testfall: Testfälle (System-Testfall = Black Box) Konkreter Testfall:

11 Überblick des Vortrags Ansätze für händisches modellbasiertes Testen Warum eine Automatisierung praktisch schwierig ist Ergebnisse eines Experiments: Fehler beim Testfall- Entwurf Modell-basiertes Testen 11

12 Automatisierung beim Testen Automatisierte Testfall-Herleitung Automatisierte Testfall-Ausführung Modell-basiertes Testen 12

13 Definition: Testbarkeit Testbarkeit (eines UML-Modells): Es sind alle Informationen enthalten, die für die Ableitung des Testfalls nötig sind Modell-basiertes Testen 13

14 Testbarkeit: nötige Informationen Inhalte: Vorbedingung, Testschritte, Eingabedaten und erwartetes Ergebnis Detailtiefe: dieselbe Detailtiefe von Modell und Testfälle, z.b. Aktivität = Testschritt Kontrollfluss: u.a. alle Fehler- und Sonderfälle Modell-basiertes Testen 14

15 Aktivitätsdiagramm nicht vollständig testbar! Vervollständigung durch <<useraction>> [context Artikel inv: self.artnr >0] <<systemresponse>> OCL-Ausdrücke für Bedingungen Stereotypen Objektfluss Artikel Modell-basiertes Testen 15

16 Praktische Probleme Testbarkeit der Anforderungen war nicht Ziel, sondern Verständlichkeit -> Details weggelassen Tester / Spezifizierer sind oft Key User, also keine Testexperten Sonder- und Fehlerfälle nicht unbedingt vollständig Vollständigkeit Tests finden 30-60% der Fehler 15% der Fehlern ausgeliefert Modell-basiertes Testen 16

17 Automatisierung beim Testen Automatisierte Testfall-Herleitung Automatisierte Testfall-Ausführung Modell-basiertes Testen 17

18 Überblick des Vortrags Ansätze für händisches modellbasiertes Testen Warum eine Automatisierung praktisch schwierig ist Ergebnisse eines Experiments: Fehler beim Testfall- Entwurf Modell-basiertes Testen 18

19 Studenten-Experiment 84 Teilnehmer/innen in 3 Gruppen an 2 Hochschulen (A. Herrmann, M. Felderer) Vorkenntnisse: Anwenderwissen (Getränkeautomat und Geldautomat) UML aus vorigem Kurs Testen: Einführung, Übungsbeispiel mit Musterlösung Testbarkeit der UML-Modelle: Detailtiefe: wie Systemtests Kontrollfluss: vollständig, alle Sonderfälle Inhalte: Vorbedingungen, Eingabedaten und erwartete Ergebnisse nur teilweise im Modell Modell-basiertes Testen 19

20 Aktivitätsdiagramm Getränkeautomat Modell-basiertes Testen 20

21 Zustandsdiagramm Geldautomat Modell-basiertes Testen 22

22 Gruppen im Experiment Aktivitäts- Diagramm Zustands- Diagramm Getränke-Automat Geld-Automat Gruppe A Gruppe B Gruppe B Gruppe A Modell-basiertes Testen 25

23 Ergebnisse: Welche Fehler? 150 Sätze von Testfällen, ca. 340 Testfälle 1816 Fehler: fehlend missing redundant Falsches wrong field Feld ungültig invalid AD ZD Modell-basiertes Testen 26

24 Ergebnisse: fehleranfällige Felder? GetränkeZD GeldAD GeldZD GetränkeAD Vorbedingung Eingabe Ergebnis Aktion Testschritt Modell-basiertes Testen 27

25 Ergebnisse: Vergleich der Diagramme AD als verständlicher empfunden & besser verstanden (=richtigere Antworten auf Verständnisfragen) Aktivitätsdiagramm: mehr Fehler Modell-basiertes Testen 28

26 Schlussfolgerungen UML-Modelle müssen vollständig sein, auf intuitive Ergänzung sollte man sich nicht verlassen Vermutlich hilfreich: konkrete Regeln wie Eine Aktivität entspricht einem Testschritt. Wahl des Diagramms: Aktivitätsdiagramm besser geeignet für Kommunikation über Anforderung (mit Kunden) Zustandsdiagramm für Testfall-Ableitung Modell-basiertes Testen 29

27 Vielen Dank für Ihre Aufmerksamkeit! Fragen?

28 Quellen Veröffentlichung der Experimentergebnisse: Michael Felderer, Andrea Herrmann: Manual test case derivation from UML activity diagrams and state machines: A controlled experiment. Information and Software Technology, Volume 61, May 2015, Pages Quelle des Fotos (Getränkeautomat) ding_machine_in_japan_01.jpg

Ähnliche Dokumente

Lernen durch Feedback aus Inspektionen 28.11.2013 Dr. Andrea Herrmann

Lernen durch Feedback aus Inspektionen 28.11.2013 Dr. Andrea Herrmann Freie Software Engineering Trainerin und Forscherin www.herrmann-ehrlich.de Übersicht 1. Motivation 2. Fragen 3. Durchführung 4. Ergebnisse