Einsatz automatischer Testdatengenerierung im modellbasierten Test

Transkript

1 Einsatz automatischer Testdatengenerierung im modellbasierten Test Sadegh Sadeghipour Gustav-Meyer-Allee 25 / Gebäude Berlin

2 Modellbasierte Software-Entwicklung Frühe Validierung der Anforderungen durch Simulation eines ausführbaren Modells Vorverlegung von Prüfaktivitäten in frühe Entwicklungsphasen Einsatz neuer Prüftechniken (Model Checking, Model Coverage, ) Automatische Code-Generierung, Durchgängigkeit von Testszenarien Frühe Fehlerentdeckung Kostengünstige Fehlerbeseitigung Effiziente Software-Entwicklung

3 Modellbasierte Qualitätssicherung Analyse von System-Anforderungen Strukturmodell Systemtest Kalibrierung Analyse von Software-Anforderungen Funktionsmodell HiL-Test HW/SW-Integration Modelltest, Modellanalyse Modellierung Umgebungsmodell Implementierungsmodell Integrationstest SiL - Test Software-Integration Softwareanforderungen Systemanforderungen Unittest, Codeanalyse Codierung Generierter Code

4 Charakteristika des modellbasierten Tests Nutzung des ausführbaren Modells als zusätzliche, reichhaltige Informationsquelle für den Test: Modell als Testbasis für die Ermittlung der Testszenarien Modell als Testobjekt (Modelltest / MiL) Wiederverwendung der Testszenarien aus Modelltest (MiL SiL HiL) Modell als Testorakel Modell als Basis für strukturorientierte Überdeckungsmessungen (Model Coverage) und Generierung von überdeckenden Testdaten

5 Modellüberdeckung Tools Tools zur Messung der Modellüberdeckung während der Testdurchführung Beispiel: Simulink Verification and Validation Tool Tools zur automatischen Generierung von überdeckenden Testdaten Beispiel 1: ATG (basiert auf Statecharts von Statemate) Beispiel 2: Conformiq Test Generator (basiert auf Statecharts von UML) Beispiel 3: Reactis (basiert auf Simulink / Stateflow)

6 Automatische Testdatengenerierung und das Orakel-Problem? Automatischer Testdatengenerator Testdaten Testergebnis Modell Eine funktionale Interpretation der automatisch generierten Testdaten meist sehr aufwändig Beurteilung des Testergebnisses problematisch Geeignete Einsatzszenarien

7 Einsatzszenario 1: Back-To-Back- und Regressionstests Back-to-Back-Tests dienen dem Nachweis der Äquivalenz zwischen verschiedenen Repräsentationsformen der Software, z.b. zwischen Modell und dem aus dem Modell generierten Programmcode. Regressionstests stellen sicher, dass die Modifikationen im Modell oder im Code die schon korrekt umgesetzte Funktionalität der älteren Version ebenfalls erfüllen. Testauswertung durch den Vergleich der Ausgangssignale; keine funktionale Testauswertung erforderlich.

8 Einsatzszenario 1: Testauswertung durch Signalvergleich Automatischer Testdatengenerator Automatische Testauswertung Testergebnis Automatische Testauswertung möglich, z.b. durch das Tool MEval OK NOK

9 Einsatzszenario 2: Entwicklungsbegleitende Tests Test kleiner Modellierungseinheiten durch die Entwickler Entwickler kennen die Struktur ihrer Artefakte sehr gut und sind in der Lage, die Ergebnisse der generierten Tests zu beurteilen. Automatischer Testdatengenerator Testdaten Testergebnis OK NOK Modul

10 Einsatzszenario 3: Effektive Teststrategie 1. Schritt: Funktionaler Test auf der Basis von Anforderungen; Messung der Modellüberdeckung während des Tests 2. Schritt: Struktureller Test zur Überdeckung der nicht durch den Black-Box-Test überdeckten Elemente (White-Box-Test) black-box test monitoring % white-box test requirements specification model test model coverage measurement model test

11 Einsatzszenario 3: Effektive Teststrategie: Testdatengenerierung Automatische Generierung von Testdaten beim 2. Schritt Funktional interessante Testfälle werden im 1. Schritt durchgeführt, deshalb keine funktionale Testauswertung im 2. Schritt erforderlich, nur Overflows, Deadlocks, toter Code,... black-box test monitoring % automatic test vector generation white-box test requirements specification model test model coverage measurement model test Testergebnis OK NOK

12 Einsatzszenario 4: Funktionale Tests Erstellung von Modellen zur Beschreibung des Testverhaltens (test objectives) Generierung von Testdaten zur Überdeckung von Testverhaltensmodellen Testverhalten Testergebnis Automatischer Testdatengenerator Testdaten OK NOK Testobjekt

13 Zusammenfassung Es gibt diverse Möglichkeiten zum Einsatz automatischer Testdatengenerierung im modellbasierten Test Der Einsatz automatischer Testdatengenerierung im modellbasierten Test führt zu: Erhöhung der Testeffizienz Reduzierung der Testkosten Verbesserung der Testqualität