Constraintbasierte Testdatenanalyse für eingebettete Steuerungssoftware

Transkript

1 Universität Stuttgart Institut für Automatisierungs- und Softwaretechnik Prof. Dr.-Ing. Dr. h. c. P. Göhner Constraintbasierte Testdatenanalyse für eingebettete Steuerungssoftware Paul Linder Simulations- und Testmethoden für Software in Fahrzeugsystemen IAS, Universität Stuttgart, Paul Linder

2 Motivation Trends in der Produktautomatisierung Steigende Komplexität Steigender Softwareanteil Steigender Testaufwand! Gegenmaßnahme: Effizienteres Testen durch Effiziente, standardisierte Testprozesse Beschleunigte Testdurchführung durch Testautomatisierung Qualifiziertes / belastbares Testende durch Testdaten definierter Güte Bewertung der Testdatengüte 2005 IAS, Universität Stuttgart, Paul Linder 2

3 Gliederung Bewertung von Testdaten Modellbasierte Testüberdeckungsmessung mit Constraints Rechnerunterstützte constraintbasierte Testdatenanalyse Zusammenfassung & Ausblick 2005 IAS, Universität Stuttgart, Paul Linder 3

4 Bewertung von Testdaten Testdaten und ihre Güte Gute Testdaten bewirken bei fehlerhaften Testobjekten andere Reaktionen als bei korrekten Testobjekten ( Testdaten als Diskriminante) Testdaten Anforderungen Sollergebnisse Stimuli, Testsignale, Testvektoren korrektes Testobjekt fehlerhaftes Testobjekt Impliziert unterschiedliche Verarbeitung der Testdaten Funktionalitätsunterschiede 2005 IAS, Universität Stuttgart, Paul Linder 4

5 Bewertung von Testdaten Bewertung der Testdatengüte 1. Testdatenbewertung anhand Fehlermodell Prinzip: Testdaten bewirken Aufdeckung von Standardfehlern bei betrachtetem Testobjekt Problem: Fehlermodell bei Software schwer ermittelbar! 2. Testdatenbewertung anhand Funktionalität Prinzip: Testdaten werden auf eine für das Testobjekt charakteristische Weise verarbeitet Präzise Ergebnisse nur bei präziser Informationsbasis z.b. anforderungsbezogene Testüberdeckungsmaße 2005 IAS, Universität Stuttgart, Paul Linder 5

6 Bewertung von Testdaten Signalflusspläne als Informationsbasis zur Testdatenanalyse Anforderungen an die Informationsbasis zur Testdatenanalyse Präzise Beschreibung relevanter Funktionalität Effiziente Integration in den Entwicklungsprozess Heterogene Modellierung Systemtheoretische Blöcke Logische Operatoren Zustandsdiagramme Modellbasiertes Entwicklungsvorgehen mit Signalflussplänen Funktionsmodell 3 Solltemperatur Funktionsmodell 1 (präskriptives (präskriptives Modell Modell 2 des des z > Raumtemperatur Automatisierungssystems) Automatisierungssystems) AND 1 1 HeizungAn BrennerAn 2 1 Außentemperatur Raumtemperatur BrennerAn /s 1e-6 Ziel: Funktionsbezogene formale Testdatenanalyse / Testdatenbewertung aufgrund der Modellinformation von heterogenen Signalflussplänen 2005 IAS, Universität Stuttgart, Paul Linder 6

7 Gliederung Bewertung von Testdaten Modellbasierte Testüberdeckungsmessung mit Constraints Rechnerunterstützte constraintbasierte Testdatenanalyse Zusammenfassung & Ausblick 2005 IAS, Universität Stuttgart, Paul Linder 7

8 Modellbasiertes Testüberdeckungsmessung mit Constraints Constraints als modellbasiertes Testüberdeckungsmaß Beispiel a b OR d Informationsbasis: Modell als Testobjekt ko Modell als Spezifikation c e ku Block Testansatz Constraints (vereinfacht) Prädikatenlogische Notation OR Sättigung Decision Coverage Äquivalenzklassen Zeitspannen 1. d(t) t [T 1,T 1 +τ] d(t) 2. d(t) t [T 2,T 2 +τ] d(t) 3. c(t) t [T > 3 ko,t 3 +τ] c(t) > ko 4. ku t [T > c(t) 4,T 4 +τ] > koku c(t) ko 5. c(t) t [T < 5 ku,t 5 +τ] c(t) < ku Zusammen mit Modellgleichungen: Constraint- Satisfaction-Problem Signalflüsse = Constraint- Variablen Testdaten = gesuchte Lösung zu Constraint- Satisfaction-Problem Vorteile: Hohe Ausdrucksmächtigkeit und Flexibilität 2005 IAS, Universität Stuttgart, Paul Linder 8

9 Modellbasiertes Testüberdeckungsmessung mit Constraints Constraint-Ermittlung mittels Mutationsbetrachtungen (1) Prinzip: 1. Testansätze lassen sich auf Mutationsbetrachtungen zurückführen 2. Aufdeckung von Mutationen kann abgebildet werden auf mathematisch als Constraint formulierbare Bedingungen (Funktions- und Pfadbedingung) Beispiel a b OR 01 e AND g c d ku ko f K h Bei wertekontinuierlichen Signalen: Toleranzen erforderlich Block Testansatz Mutationen Constraints (vereinfacht) OR Decision Coverage t [T 1,T 1 +τ] e(t) c(t) 2. t [T 2,T 2 +τ] e(t) c(t) Funktionsbedingung Pfadbedingung 2005 IAS, Universität Stuttgart, Paul Linder 9

10 Modellbasiertes Testüberdeckungsmessung mit Constraints Constraint-Ermittlung mittels Mutationsbetrachtungen (2) Blockspezifische Festlegung von Mutationen auf Grundlage bewährter Testansätze nach Testtiefen gestaffelt Logische Operatoren: Decision Coverage, MC/DC, Mehrfachbedingungen Relationale Operatoren: Decision Coverage Schalter: Zweigüberdeckung Arithmetische Operatoren: Fehlermodelle, Äquivalenzklassen Zustandsmodelle: Zustandsüberdeckung, Transitionsüberdeckung Ermittlung von Basis-Constraints zu einzelnen Blöcken anhand der Mutationen Komponentenbasierte Constraint-System-Ermittlung auf Grundlage der Modellvernetzung unter Verwendung der Basis-Constraints Verlässliche Aufdeckung definierter Einzelfehler (vgl. Mutationen) Gezielte Betrachtung des Signalflusses zur Vermeidung von Fehlerauslöschung bei Mehrfachfehlern 2005 IAS, Universität Stuttgart, Paul Linder 10

11 Gliederung Bewertung von Testdaten Modellbasierte Testüberdeckungsmessung mit Constraints Rechnerunterstützte constraintbasierte Testdatenanalyse Zusammenfassung & Ausblick 2005 IAS, Universität Stuttgart, Paul Linder 11

12 Rechnerunterstützte constraintbasierte Testdatenanalyse Verfahren und Toolunterstützung Überdeckungsprotokoll Blockfunktionen Basis- Constraints- Bibliothek Ermittlung durch Testexperten mittels Mutationsbetrachtungen Rechnerunterstützte constraintbasierte Testdatenanalyse in der Simulation Testdaten Signalflussplan Überarbeitung der Testdaten durch Testentwickler 2005 IAS, Universität Stuttgart, Paul Linder 12

13 Rechnerunterstützte constraintbasierte Testdatenanalyse Prototypische Umsetzung mit Matlab-Simulink Basis-Constraints-Bibliothek Testdaten Simulink/Stateflow-Modell Testdatenanalyse-Werkzeug Überdeckungsprotokoll 2005 IAS, Universität Stuttgart, Paul Linder 13

14 Ergebnisse und Erfahrungen + + +!!!! Rechnerunterstützte constraintbasierte Testdatenanalyse Definierte, skalierbare und erweiterte Testgüte Berücksichtigung des Systemkontexts Ansatz für Testdatengenerierung Sorgfältige Kalibrierung der Mutationen erforderlich Modellbezogene Testdatengüte Kein Ersatz sondern ergänzende Methode Probleme mit redundanten Modellstrukturen und Einwegfunktionen Komplexität der Constraints höher als Modellkomplexität 2005 IAS, Universität Stuttgart, Paul Linder 14

15 Gliederung Bewertung von Testdaten Modellbasierte Testüberdeckungsmessung mit Constraints Rechnerunterstützte constraintbasierte Testdatenanalyse Zusammenfassung & Ausblick 2005 IAS, Universität Stuttgart, Paul Linder 15

16 Zusammenfassung & Ausblick Zusammenfassung Modellbasierte Testdatenanalyse anhand von Signalflussplänen Funktionsbezogene Testdatenbewertung anhand präziser Informationsquelle Effiziente Integration in den Entwicklungsprozess Constraintbasiertes Konzept mithilfe von Mutationsbetrachtungen Flexibel, ausdrucksmächtig, automatisierbar Gewährleistet definierte Testgüte Präzise Kalibrierung der Mutationen erforderlich Ausblick Erweiterung Basis-Constraints-Bibliothek Algorithmen zur Testdatengenerierung Weiterentwicklung der Werkzeuge 2005 IAS, Universität Stuttgart, Paul Linder 16

17 Zusammenfassung & Ausblick Fragen & Diskussion IAS, Universität Stuttgart, Paul Linder 17