Basiswissen modellbasierter Test

Transkript

1 Thomas Roßner Christian Brandes Helmut Götz Mario Winter Basiswissen modellbasierter Test dpunkt.verlag

2 Teill MBT - Einstieg und Grundlagen 1 1 Einleitung Model Based Testing - nur ein Hype? Viele Definitionen für modellbasiertes Testen Ziele des Buches Aufbau des Buches 12 2 Testen heute Grundbegriffe von Qualitätssicherung und Testen Testverfahren Kriterien zur Testüberdeckung -._ Teststufen Randbedingungen des Testens Der fundamentale Testprozess Phasen des Testprozesses Testplanung Teststeuerung und -kontrolle Testanalyse und -entwurf Testrealisierung und -durchführung Testauswertung und -bericht Abschluss der Testaktivitäten Rollen im Testprozess 28

3 2.3 Herausforderungen beim Testen heute Kostenfaktor Test Mangelnde Testqualität Tester mit Fach-, aber ohne IT-Wissen Komplexität der Tests Testautomatisierung Zusammenfassung 34 3 MBT- Ein Einstieg Definition von modellbasiertem Testen Ziele für MBT Definition von MBT Eine erste Betrachtung von Aufwand und Nutzen MBT-Varianten Systemmodellgetrieben Testmodellgetrieben System- und testmodellgetrieben Einordnung von MBT in den Softwaretest Zusammenfassung 44 4 Einführung in die Modellierung Wat is'n Modell? Allgemeiner Vergleich von Texten und Modellen ^ Merkmale und Mängel natürlicher Sprache Vorteile formaler Modelle und visueller Darstellungen Drei grundlegende MBT-Modellkategorien Umgebungsmodelle Systemmodelle Testmodelle Zusammenhänge Exkurs: Grundbegriffe der Graphentheorie UML - ein Standard der Softwaremodellierung Intermezzo: zwei Fallbeispiele Produktskizze CarKonfigurator Produktskizze Türsteuerung 62

4 4.7 Modellierung statischer Strukturen Objektmodellierung Klassenmodellierung Pakete und Komponenten ER-Modellierung Modellierung dynamischen Verhaltens Aktivitätsmodellierung Zustandsmodellierung Interaktionsmodellierung Nebenläufigkeits- und Echtzeitmodellierung Petri-Netze Zeitdiagramm Umgebungs-, Funktions- und Nutzungsmodellierung Umgebungsmodellierung mit Akteuren Funktionsmodellierung mit Anwendungsfällen Nutzungsmodellierung Präzisierung von Modellen mit der OCL Metamodellierung und Profile UML - Spracharchitektur und Metamodell Stereotype und Profile, Zusammenfassung Intermezzo 1: Türsteuerung Vorüberlegungen und Planung Modellierung Schritt 1 - funktionale Anforderungen Strukturmodell Verhaltensmodell Generierung von funktionalen Testfällen Modellierung Schritt 2 - Sicherheitsanforderungen Neugenerierung der Testfälle Zusammenfassung 118

5 Teil II M BT i m Testprozess 119 r"t~~* - s-r y t ' : "^-r- ' ^ >-, : -. ' v 1 6 MBT und der Testprozess Mögliche Ausprägungen von MBT im Testprozess Modellorientiertes Testen Modellgetriebenes Testen Modellzentrisches Testen MBT-Prozesse und Modellkategorien im Detail Testmodellgetriebene MBT-Prozesse Systemmodellgetriebene MBT-Prozesse Umfang von MBT im Testprozess Einsatz von MBT in den verschiedenen Teststufen Komponententest Integrationstest Systemtest Systemintegrationstest Abnahmetesr MBT und Vorgehensmodelle MBT im allgemeinen V-Modell MBT im Rational Unified Process MBT und agile Entwicklungsmodelle Zusammenfassung "> Planung und Steuerung Risikoidentifikation und -analyse Bestimmung der Teststrategie Aktivitätenplanung und Aufwandsschätzung Aufwandsschätzung Werkzeuge und Infrastruktur Mitarbeiterqualifikation 157, Fähigkeit, Modelle lesen zu können Fähigkeit, Modelle erstellen zu können Weitere Fähigkeiten im Zusammenhang mit MBT 160

6 7.6 Steuerung Produktmetriken Projektmetriken Prozessmetriken Anforderungs- und modellbasierte Testendekriterien Zusammenfassung Intermezzo 2: CarKonfigurator Testobjekt und Ziel Beschreibung der Tests als Papiermodell Beschreibung der Testschritte Auswahl der Testdaten Vom Papiermodell zum UML-Modell Testfallgenerierung: Algorithmus und Ergebnis Bewertung ; ; Zusammenfassung Modellierung und Modellprüfung Überblick Erstellung von Testmodellen Grundlegende Elemente von Testmodellen Modellelemente aus dem CarKonfigurator Stabile Knoten-/Kantenbezeichner Modellierung der Testpriorität Fachlich unerwünschte Pfade Modellierung von Testorakeln Verknüpfung von Testmodellen und zu testenden Anforderungen Exkurs: Testfallableitung aus textuellen Spezifikationen Fazit: Motivation eigenständiger Testmodelle Modellierung von Testfallspezifikationen Das UML2 Testing Profile FIT und FITnesse TTCN-3 205

7 9.4 Exkurs: Modellierung von Testumgebungen Nutzung vorhandener Systemmodelle " Achtung: Fallstricke! Parallele Abläufe oder Alternativen? Hierarchische Verfeinerungen Übergang von Systemmodellen zu Testmodellen Aus demselben Modell Code und Tests generieren? Grenzen von Systemmodellen Ähneln sich Systemmodelle und Testmodelle? Übergänge vom Systemmodell zum Testmodell Zwei Wege zum konkreten Testfall Qualitätsmerkmale und Ziele von Modellen Grundlegendes zur Qualität von Modellen Korrektheit (inhaltlich) Korrektheit (formal) Einfachheit Verständlichkeit/Lesbarkeit Angemessenheit Änderbarkeit Vollständigkeit (inhaltlich und formal) Widerspruchsfreiheit (inhaltlich und formal) Prüfbarkeit Werkzeugunterstützung Konsistenz zu anderen Modellen Prüfung von Modellen Reviews Werkzeuggestützte Prüfungen gegen das Metamodell Model Checker Simulation Geeignete Prüfungen.zu Qualitätsmerkmalen Zusammenfassung 233

8 xvii 10 Testfallgenerierung Vorbemerkung zum Umfang des Kapitels Einführung in die Generierung Was wird generiert - abstrakte oder konkrete Testfälle? Einsatz von Überdeckungskriterien Das Big Picture der Generierungsverfahren Generierungsverfahren im Einzelnen Anforderungsbasierte Testgenerierung ; Kontrollflussbasierte Testgenerierung Datenflussbasierte Testfallgenerierung Datenüberdeckungskriterien Zustandsbasierte Testgenerierung Statistische Testgenerierung Nutzungsbasierte Testgenerierung -»Operational Profiles« U2TP-basierte TTCN-3-Generierung Steuerung der Testfallgenerierung Mengenmäßige Begrenzung der Testfälle Adaptive Testfallgenerierung Negativregeln zum Ausschluss bestimmter Modellteile Testneugenerierung nach Änderungen Versionsmanagement und MBT Pflegeprozesse nach Modelländerungen Nichtüberschreibung manueller Testarbeiten 269 ^ Exkurs: Adjazenzlisten Zur Generierung weiterer Testartefakte Zusammenfassung Durchführung und Auswertung Manuelle Testdurchführung Automatisierte Testdurchführung Formen der Testautomatisierung Zusammenführung von MBT und Keyword-Driven Testing Nutzen von modellbasiertem Keyword-Driven Testing

9 11.3 Auswertung und Berichterstattung Erzeugung von Traceability-Informationen Nutzung der Traceability zur Fortschrittsbewertung Nutzung der Traceability zur Ergebnisbewertung Strategien zur Reduktion der Anzahl von Abweichungsmeldungen Zusammenfassung, 298 Teil IM MBT im Praxiseinsatz MBT-Werkzeuge Typische Werkzeuglandschaft im Testprozess, Werkzeuge zur»planung & Steuerung« Werkzeuge zu»analyse & Design« Werkzeuge zur»realisierung«und»durchführung« Klassifikationsschemata für MBT-Werkzeuge MBT-Taxonomie nach Utting et al MBT-Taxonomie nach Götz et al Zusammenfassung MBT erfolgreich einführen Hindernisse für die Einführung von MBT Unrealistische oder unklare Ziele "" Falsche Werkzeugauswahl Probleme von übermorgen lösen wollen Erfolg haben Erfolgsfaktoren für die Einführung von MBT Ziele klar definieren und messbar machen Akzeptanz schaffen Die Einführung als Projekt planen und durchführen Analysephase Designphase Evaluierungsphase 327

10 13.4 Werkzeuge richtig auswählen Integrationsfähigkeit Anpassung an Prozesse und Personal Langfrist-Perspektive Umgang mit der Testfallexplosion MBT-Ansatz passend zur Prozessreife definieren MBT und Prozessreife Reifegradbestimmung des Testprozesses MBTPI - Prozessverbesserung für modellbasiertes Testen Eine Roadmap zur modellbasierten Testreife Skalenbereich 1: Modellorientiertes Testen Skalenbereich 2: Modellgetriebenes Testen Skalenbereich 3: Modellzentrisches Testen Abschließende Bemerkungen zum Reifegradmodell Zusammenfassung Wirtschaftlichkeitsbetrachtung Kosten des Einführungsprojekts Rollout-Kosten Werkzeugkosten Nutzen von MBT Frühzeitige Fehlerfindung Kostenersparnis durch MBT - -, Fallbeispiel Trapeze ITS 352 (sl4.4.1 Ausgangssituation Bisherige Kosten der MBT-Einführung ROI-Betrachtung der MBT-Einführung Zusammenfassung Möglichkeiten und Grenzen von MBT Was modellbasiertes Testen leisten kann Was modellbasiertes Testen unter Umständen leisten kann Was modellbasiertes Testen nicht leisten kann Was modellbasiertes Testen nicht ersetzen kann 372

11 15.5 Ausblick - was MBT künftig bringen wird Zusammenfassung 376. Anhang 377 A Abkürzungsverzeichnis 379 ß Glossar 381 C Quellen 389 C.l Literaturangaben 389 C.2 Webseiten 396 Index 399