Modultest im Embedded Bereich

Transkript

1 Modultest im Embedded Bereich Konzept für einen Testrahmen für Rose Realtime Software Norbert Fleischmann Projektumfeld Rational Rose Realtime Entwicklung n Capsules n Komplexe, physikalische, eventuell verteilte Architekturobjekte, welche mit ihrer Umgebung über ein oder mehrere signalbasierte Grenzobjekte, sogenannte Ports, interagieren. n Ports n Schnittstelle einer Capsule zur Außenwelt: n Ports realisieren Protokolle. n Protokolle n Definiert den gültigen Informationsfluss (Signale). n vertragliche Verpflichtungen zwischen Capsules Ports Code Generierung Embedded Steuerung n Sensorik, Aktoren Zustandsautomaten Encapsulation shell (2) 1

2 Aufgabenstellung: Modultest Definieren und Erstellen eines Testkonzepts und einer Testumgebung für den Modultest, sowie Testfallerstellung und Testdurchführung. Definition Modultest n Test eines einzelnen Moduls eines modularisierten Softwaresystems. [BASIS2003] n Was ist ein Modul in Rose RT? n Package? n Capsule? n Klasse? n Methode? (3) Modultest - Zustandsbezogener Test Testfokus n Innenleben der Capsules n Zustandsautomaten n Zustände n Transitionen n Action-Code n Datentypen n Schnittstellen der Capsules n Ports n Protokolle n Signale Stop WaitingToStart Start Doing Überdeckungsmaße n Zustandsüberdeckung n Transitionsüberdeckung n Signalüberdeckung n White-Box-Überdeckungsmaße (Tool-Unterstützung notwendig, z.b.: Rose Realtime Test) (4) 2

3 Testunterstützung in Rational Rose Realtime Quality Architect in RoseRT n Verwendung von Sequenz- Diagrammen zur Testfall- Erstellung n Nur triviale Testfälle modellierbar (keine Schleifen etc.) n Nur explizite Parameter möglich Rational Rose Debugger n Manuelles Injizieren von Signalen n Protokollieren von Zustandswechseln (5) Testumgebung: Ideen Manuell Testen n Verwenden des RoseRT Debuggers zum Erzeugen von Teststimuli n Keine Testautomatisierung möglich Zugriff auf generierten Quellcode n Entwurf einer Testumgebung außerhalb von RoseRT. Test des generierten Quellcodes n Hoher Aufwand, die Testumgebung zu erstellen n Unübersichtliche und komplexe Testumgebung n Änderung im Modell kann komplette Änderung der Testumgebung nach sich ziehen Quality Architect von Rose RT RoseRT Testumgebung n Entwurf einer Testumgebung in RoseRT (6) 3

4 StartTC1 PreTC StartTC2 StartTC3 StartTC4 StartTC5 StartTC6 StartTC7 StartTC8 StartTC9 StartTC10 StartTC11 StartTC12 StartTC13 StartTC14 StartTC15 StartTC16 StartTC17 StartTC18 RoofOpened UnlockingVDKD1 UnlockingVDKD2 VDKDUnlocked1 VDKDUnlocked2 OpeningVDKD VDKDOpen MovingRoof RoofDocked ClosingVDKD VDKDClosed LoweringCSeg CSegVDKDUnlocked1 CSegVDKDUnlocked2 LockingCSegVDKD1 LockingCSegVDKD2 RoofClosed WindowsClosed OnUnguardedStartTC PostTC OnUnexpectedMessage OnTCTimeout In itia l T ru e T ru e W ind owp osition Ch a ng e d W a itin g Fa lse Lowe rwind o ws Lo we rwin d o ws Fa lse Are AllW in d owslo were d2 R e le ase W in do ws AreAllW in d owslo were d1 W a s pa ssie rt wen n Fe ns te r s ch lie ß en u nd wäh re nd de sse n k o mmt d ie Ab fag e? Ch e ck AllW ind o wslo we red W in do wsr elea se d Ex te rn ale ve n t RTUnit Teststeuerung Visual Basic Testmodell Rose RT Applikation Start Applikation Testsuite CUT capsule under test Starte Testfall Shutdown Applikation (7) Teststeuerung Sicherstellen eines definierten Anfangszustands für alle Tests Ansteuerung von Testgruppen Protokollierung von Testabläufen Erstellen eines Testreports (8) 4

5 Teststeuerung (9) Testmodell Eine Testgruppe ist eine Capsule Ein Testfall ist ein Zustand in der Testgruppe Testfälle können durch hierarchische Zustandsautomaten realisiert werden. Vererbung kann genutzt werden Testsuite stellt den Start des angeforderten Tests sicher Testsuite stellt Basisfunktionalität jedem Testfall zur Verfügung n Logging n Timer (10) 5

6 greentimeout True True Testabdeckung Zustandsüberdeckung n Jeder Zustand wird mindestens einmal eingenommen Transitionsüberdeckung n Jede Transition wird mindestens einmal gegangen Event Überdeckung n Jedes Event, welches zu einer Transition führt, wird getestet Test des Actioncode n Test des von Hand implementierten Actioncodes in einer Transition oder in Entry/Exit -Funktionen Kombinatorik von Zustandswechseln (11) Testmatrix: Beispiel flashingamber off on initializing msgfromotherlight msgfromotherlight msgfromotherlight IHavePriority False True IGoLater IGoFirst IGoLater IGoFirst msgfromotherlight IGoLater IGoLater IGoFirst working red otherred transitioning True 2 greentimeout green (12) 6

7 Tool zu Erstellung einer Testmatrix Rose RT script n Visual Basic ähnliche Scripting-Sprache n Zugriff auf alle Modell-Elemente Erzeugt aus dem Implementierungsmodell für eine ausgewählte Capsule eine Testmatrix n Alle Zustände (hierarchisch) der Capsule n Alle abgehenden Transitionen Gedacht als Hilfe für den Testentwickler, um nicht den Überblick zu verlieren (13) Testmatrix für Transitionsüberdeckung Model: C:\Programme\Rational\Rose RealTime\Examples\Models\C++\TrafficLights\TrafficLights.rtmdl Capsule: TrafficLightAustrian No of States: 14 Total Coverage: No of Transitons: 20 65,00% State Transition Coverage TC1 TC2 TC3 initializing(1) IGoFirst 1 1 initializing(1) IGoLater C IHavePriority(2) False 1 1 C IHavePriority(2) True 1 1 flashingamber(2) msgfromotherlight 1 1 on(3) 1 1 on(3) msgfromotherlight 0 off(3) 1 1 off(3) msgfromotherlight 0 green(2) greentimeout 1 1 transitioning(2) 0 transitioning(2) 2 0 amber(3) 1 1 flashinggreen(3) 1 1 lighton(4) 1 1 lightoff(4) 1 1 C flashedenough(4) False 1 1 C flashedenough(4) True 0 redandamber(3) 0 red(2) otherred (14) 7

8 Lessons Learned Rose RT eignet sich nicht nur für Softwareentwurf, sondern auch für die Testfallerstellung. Diese Testumgebung wird auch schon in der Entwickung eingesetzt, um Caspules zu testen, bevor das Gesamtsystem aus implementiert ist. n Die Entwickler können ihre gewohnte Entwicklungsumgebung benutzen um Testfälle zu erstellen. Reale Software hat eine Komplexität, welche eine Testautomatisierung erfordert. Das Testmodell übersteigt die Komplexität des zu testenden Modell um einiges (15) Ausblick Integration von White-Box- Testabdeckungswerkzeuge, um die Testabdeckung auf Quellcode-Ebene nachweisen zu können. n Z.B.: Rose Realtime Test Automatisches Messen der Zustands-und Transitions-Abdeckung beim Testablauf. Geeignet für den agilen test-first Ansatz, da die Entwickler in ihrer gewohnten Entwicklungsumgebung arbeiten können (16) 8

9 Literatur [BASIS2003] Basiswissen Softwaretest A. Spillner, T. Linz, dpunkt.verlag, 2003 Noch Fragen? (17) 9