Embedded Software Systeme systematisch und durchgängig Testen Stefan Lachmann, PikeTec GmbH stefan.lachmann@piketec.com Kurzfassung Sicherheitskritische eingebettete Systementwicklungen erfordern besondere Sorgfalt bei der Absicherung der Funktionstüchtigkeit. Die Durchführung der Verifizierung und Validierung einer Steuerungssoftware wird beispielhaft an einer Tempomatregelung gezeigt. Hierfür kommt die Methode "Time Partition Testing" (TPT) zum Einsatz. TPT ist ein spezialisiertes Testverfahren und ein Testwerkzeug für den automatischen Funktionstest von Software mit kontinuierlichem Verhalten, das insbesondere auch reaktive Tests unterstützt. Charakteristisch für TPT ist die gemeinsame modellbasierte Entwicklung aller relevanten Testfälle für ein Testobjekt, bei der alle testrelevanten Aspekte systematisch betrachtet werden. Alle Tests für das System werden systematisch ermittelt und in einem graphischen Modell abgebildet und dokumentiert. Diese Tests sind formal präzise und automatisch ausführbar. Durch eine integrierte automatisierte Testauswertung ist eine durchgängige Lösung von der Testmodellierung über die Testdurchführung bis zur Testauswertung und Dokumentation möglich. Zusätzlich sind in Sicherheitsnormen vorgeschriebene Tests und die Überwachung der Umsetzung von Anforderungen in den Tests automatisierbar.
1. Motivation Eingebettete sicherheitskritische Systeme - insbesondere eingebettete Regelungssysteme - weisen häufig kontinuierliches Verhalten auf. Testfälle für kontinuierliches Verhalten haben oft einen reaktiven Charakter, d.h. Tests sollen auf das Systemverhalten in Echtzeit reagieren. Im Beitrag wird eine Methode vorgestellt, mit der systematisch ausführbare Testfälle zum Test des kontinuierlichen Verhaltens eingebetteter sicherheitskritischer Softwaresysteme definiert werden können. Die Funktionstüchtigkeit kann auf diese Weise abgesichert werden. Das Time Partition Testing (TPT) ist ein spezialisiertes Testverfahren und ein Testwerkzeug für den automatischen Funktionstest. Unter anderem ist der Test automobiler Software mit kontinuierlichem Verhalten möglich, das insbesondere reaktive Tests unterstützt. Dabei wird das Verhalten des Systems mittels Simulation bestimmt. Unterschiedliche Testumgebungen können hier zum Einsatz kommen, zum Beispiel MiL, SiL und HiL. Auf diese Weise kann die Funktionstüchtigkeit eingebetteter Systeme schon während der einzelnen Entwicklungsschritte getestet werden. Die Plattformunabhängigkeit der Testfälle ermöglicht es, die gleichen Testfälle in allen Entwicklungsschritten einzusetzen und so alle Schritte testen zu können und zu dokumentieren. Charakteristisch für TPT ist die gemeinsame modellbasierte Entwicklung aller relevanten Testfälle für ein Testobjekt. Alle testrelevanten Aspekte können systematisch betrachtet werden. Die Basis ist eine graphische Notation der Testfälle, die auf der einen Seite mächtig genug ist, um komplexe automatisierte reaktive Tests zu beschreiben und auf der anderen Seite einen schnellen Überblick über die Funktionalität eines Testfalls ermöglicht. Die Modellierung erfolgt dabei unabhängig von der Simulationsplattform. Alle Testschritte können mit TPT dokumentiert werden. Ein Beispiel aus dem Fahrzeugbereich ist der Test des Verhaltens eines Tempomaten. Beim Erreichen einer bestimmten Geschwindigkeit wird dieser aktiviert. Im nächsten Schritt werden verschiedene Fahreraktivitäten ausgelöst. Diese haben einen Einfluss auf das Verhalten des Tempomaten. So kann der Fahrer zum Beispiel Gas geben, Bremsen oder die Sollgeschwindigkeit verändern. Das zu testende System wird für die Tests von TPT mit den notwendigen Signalen für den modellierten Testablauf stimuliert. Die Funktionstüchtigkeit des Tempomaten gilt es hierbei sicherzustellen und die einzelnen Testschritte zu dokumentieren. Mit Time Partition Testing ist es möglich, diese Klasse von Tests systematisch, intuitiv lesbar und dennoch automatisiert durchzuführen und die Ergebnisse zu dokumentieren. 2. Übersicht über Time Partition Testing In TPT können Tests modelliert, verwaltet, dokumentiert und ausgewertet werden. So sind für den Anwender die Möglichkeiten in einem Tool zusammengefasst. TPT ist für diese unterschiedlichen Anforderungen in verschiedene Bereiche unterteilt (Abbildung 1). Alle Testfälle für ein Testobjekt werden gemeinsam entwickelt. Dabei können alle testrelevanten Aspekte systematisch betrachtet werden. Die Basis für die Testmodellierung ist eine graphische Notation der Testfälle. Sie ermöglicht die Beschreibung komplexer automatisierter reaktiver Tests und einen schnellen Überblick über die Funktionalität eines Testfalls. Die Modellierung erfolgt dabei unabhängig von der Simulationsplattform. Verschiedene Simulationsplattformen für ein Testobjekt können mit TPT ebenso verwaltet werden. TPT bietet die Möglichkeit zu jedem Testfall und jedem Szenario Informationen und Beschreibungen zu hinterlegen. Auf diese Weise kann der Test in TPT dokumentiert werden und die Informationen werden in die Testauswertung und Testdokumentation automatisch übernommen.
Abbildung 1: Übersicht über Time Partition Testing Weiterhin bietet TPT die automatisierte Auswertung der Testfälle. So können die Tests auf zu erwartende Signalverläufe untersucht werden. Dabei ist die Auswertung nicht nur auf einfache Signalvergleiche beschränkt. Komplexe Berechnungen, die Auswertung von Signalbereichen und viele weitere Möglichkeiten stehen hier zur Verfügung. Dabei kann eine GUI-unterstützte Auswertung oder eine Skript-basierte Auswertung (Python und eine spezielle Python-Spracherweiterung) verwendet werden. Die Ergebnisse der Auswertung werden zusammen mit der Dokumentation in einem Report als Testdokumentation zusammengefasst. 3. Modellierung von Testfällen Mit TPT wird jeder Testfall mit Hilfe von hierarchischen hybriden Automaten modelliert [2]. Hierbei wird ein Testfall in eine Folge von einzelnen Zeitphasen zerlegt (Abbildung 2). Der Zeitpunkt des Übergangs zwischen den einzelnen Phasen/Automaten wird an Transitionsbedingungen geknüpft, die sowohl reaktive Tests als auch zeitliche Abfolgen ermöglichen. Gehen von einem Zustand mehrere Transitionen ab, sind auch Verzweigungen möglich, so dass der Test je nach Systemverhalten verschieden ablaufen kann. Für den Test eines Tempomaten kann der Ablauf wie in Abbildung 2 dargestellt modelliert werden. Hinter jedem Zustand/Automaten verbirgt sich auf unterster Ebene eine formale Beschreibung von kontinuierlichen Verläufen der zu stimulierenden Größen. Jede Größe wird dabei punktweise als Funktion über der Zeit definiert (Abbildung 3). Entsprechend ist jeder Transition eine formale Bedingung zugeordnet. Zum Beispiel SPEED > 50 für eine reaktive Bedingung oder t > 2s für eine zeitliche Bedingung.
Abbildung 2: Ablaufplan am Beispiel Tempomat Abbildung 3: Beschreibung von PEDAL und BRAKE beim Beschleunigen
Im Beispiel des Tempomaten werden die Größen BRAKE (Bremspedalstellung in Prozent), PEDAL (Gaspedalstellung in Prozent) und LEVER (Gewählter Modus) zur Stimulation des Testobjekts vorgegeben. Der Tempomat ist mit einem Fahrzeugmodell gekoppelt. Das Fahrzeug kann von TPT oder dem Tempomaten gesteuert werden. Auf diese Weise wird die Funktionalität des Tempomaten in einer Umgebung getestet. Die benötigten Signale werden für die Stimulation phasenweise konstant modelliert. Der Phasenübergang hängt zum Beispiel vom Wert der Systemgröße SPEED (Geschwindigkeit des Fahrzeugs) oder vom aktuellen Zustand des Tempomaten (ON / OFF) ab. Diese werden während der Laufzeit in TPT eingelesen und ermöglichen reaktive Tests. Alternativ kann zur Stimulation einer Größe ein vorhandenes Messsignal verwendet werden. Durch die Möglichkeit, Hierarchien von Automaten zu bilden, lassen sich selbst sehr komplexe Testszenarien übersichtlich modellieren. Durch die grafische Darstellung, sowie die Verwendung von Annotationen in natürlicher Sprache, können Testfälle auch von Nicht-Programmierern erstellt, gelesen und durchgeführt werden. TPT unterstützt die Modellierung weiterhin durch Techniken wie Actions an Transitionen, nicht-flüchtige Größen, finale Transitionen, benutzerdefinierte Funktionen, Signalverläufe, Funktionen u.v.m. 4. Systematische Strukturierung von Testfällen Die Vorstellung von TPT beschränkte sich bislang auf eine Sprache zur Modellierung von reaktiven, kontinuierlichen Testfällen. Die volle Mächtigkeit von TPT kommt erst dann zum Tragen, wenn zu einem Testobjekt die Menge aller relevanten Testfälle modelliert werden soll. Es lässt sich beobachten, dass sich Testfälle zu einem Testobjekt häufig nur in wenigen spezifischen, klar lokalisierbaren Details unterscheiden, während sich die Grobstruktur der Testfälle ständig wiederholt. Abbildung 4: Phase Initialize Speed für Cruise Control
Das bedeutet für das Beispiel Tempomat, dass einerseits eine Aktivierung bei verschiedenen Anfangsgeschwindigkeiten erfolgt (30, 50 oder 70 km/h) oder diese Geschwindigkeit unterschiedlich schnell erreicht wird (wenig Gas, Normal, Kickdown) (Abbildung 4). Bezogen auf TPT bedeutet dies, dass der grundsätzliche Ablauf einzelner Phasen des Tests ( Initialize Speed Activate Cruise Control Mode ) für alle Testfälle gleich ist. Das Verhalten innerhalb einer Phase unterliegt jedoch Variationen. Für den Tempomaten sind für die Phase Initialize Speed unterschiedliche testrelevante Varianten möglich: 1. wenig Gas geben 2. Normal beschleunigen 3. Kickdown, um eine gewünschte Geschwindigkeit zu erreichen. In der Phase Drive Cruise Controlled sind mögliche Fahreraktivitäten modelliert: 1. Bremsen 2. Kickdown 3. Sollgeschwindigkeit verändern. Hinter dem Zustand eines Automaten verbirgt sich demnach nicht nur eine formale Beschreibung, sondern beliebig viele unterschiedliche Varianten für diese Phase. Aus den unterschiedlichen Varianten der einzelnen Phasen können die einzelnen Testfälle zusammengestellt werden. Hierfür kann zum Beispiel die Klassifikationsbaum-Methode genutzt werden. Diese unterstützt die systematische Kombination von Varianten unterschiedlicher Aspekte [1, 3, 4]. Jeder Testfall ist durch die Auswahl der verwendeten Variante eindeutig und formal präzise beschrieben, so dass die so definierten Testfälle bereits ausführbar sind. In TPT kann jeder Testfall dokumentiert werden. Diese Dokumentation fließt später in den Ergebnisreport ein. Das bietet den Vorteil, dass einerseits der Testfall selbst in TPT dokumentiert ist und diese Dokumentation automatisch in den Report übernommen wird. Weiterhin bietet TPT die Möglichkeit, zu einzelnen Testfällen vorgegebene Requirements zuzuordnen. So kann sichergestellt werden, dass zum Beispiel alle vorgegebenen Requirements durch Testfälle abgedeckt sind und welche Requirements in welchen Testfällen berücksichtigt sind. 5. Testdurchführung Alle Testfälle können in TPT automatisch ausgeführt werden. Die mit TPT modellierten Testfälle haben eine präzise Semantik, die unabhängig von der konkreten Testumgebung oder der Plattform des Testobjekts ist. Dadurch kann TPT in den unterschiedlichsten Bereichen wie beispielsweise MiL, SiL und HiL zum Einsatz kommen. So können dieselben Tests in den einzelnen Entwicklungsschritten genutzt werden. Für die automatisierte Testdurchführung ist lediglich ein plattformspezifischer Testtreiber notwendig, der TPT-Testfälle ausführen kann. Falls ein solcher Treiber noch nicht existiert, kann dieser für die Anbindung erstellt werden. Weiterhin ist die Plattformunabhängigkeit äußerst nützlich, wenn ein und dasselbe System in unterschiedlichen Testumgebungen getestet werden soll, wie es bei eingebetteten Systemen üblich ist. In diesem Fall können die Testfälle unverändert in den verschiedenen Umgebungen wie MiL, SiL, HiL verwendet werden. Zurzeit existieren in TPT verschiedenste TPT-Testtreiber, z.b. für MATLAB/Simulink, TargetLink, LabVIEW, C-Code, CAN-Bus, INCA und verschiedene HiL-Systeme. Der Umfang an Plattformadaptern erweitert sich ständig.
6. Testauswertung TPT stimuliert auf der einen Seite ein Testobjekt. Zusätzlich zu den Stimulationssignalen werden die Antworten des Testobjekts von TPT mit aufgezeichnet. Damit kann das Systemverhalten des Testobjekts bewertet werden. TPT beinhaltet Techniken für die automatische Testauswertung. Die Auswerteregeln können durch eine GUI-Eingabe (Abbildung 5) erfolgen oder in der Skriptsprache Python verfasst werden. Hierfür stehen komplexe Hilfsmittel, wie beispielsweise zeitliche reguläre Ausdrücke, Grenzwert-, Minima- und Maximaüberwachung, der Vergleich mit Referenzmessungen, Analysen der Dauer bestimmter Testphasen, usw. zur Verfügung. Auf diese Weise können die Resultate der Durchführung hinsichtlich des Sollverhaltens bewerten werden. Die Auswerteregeln können über den gesamten Testfall oder einzelne Phasen erstellt werden. Es ist möglich Auswerteregeln für jeden Testfall individuell oder für alle Testfälle festzulegen. Die Testauswertung ist von der Durchführung entkoppelt und findet offline nach der Testausführung statt. Wie bereits bei der Testmodellierung ist es bei der Auswertung ebenso möglich, diese reaktiv auf Signale und Testphasen auszulösen. Dabei stehen dem Anwender schon während der Modellierung unterschiedliche Möglichkeiten zur Verfügung, für welche Testszenarien oder Testphasen die Auswertung erfolgen soll. So können für die Auswertung zum Beispiel verschiedene Szenarien zu Gruppen zusammengefasst werden, wenn für diese die gleichen Ergebnisse erwartet werden. Für den Tempomaten könnte für alle Testfälle mit einer Aktivierungsgeschwindigkeit von 50 km/h überprüft werden, ob im Cruise Controlled Modus die 50 km/h in einem Toleranzbereich bleiben. Ebenso ist es möglich, Auswertungen den einzelnen Testphasen zuzuordnen. So kann in der Phase Drive Cruise Controlled für den Fall Kickdown überprüft werden, ob der Cruise Control Mode deaktiviert wird. Wird in einem Testfall die Variante Kick Down verwendet, erfolgt automatisch eine Zuordnung dieser Auswerteregeln zu den Gesamtauswerteregeln des Testfalls. Auf diese Art entsteht ein modularer und sehr flexibler Aufbau der Auswertung. Die Ergebnisse der Überprüfungen können zusammen mit einem Kommentar in speziellen Assessment- Signalen abgelegt und in die Testdokumentation übernommen werden. Abbildung 5: GUI für die automatisierte Testauswertung
7. Dokumentation der Testergebnisse Mit TPT können die Ergebnisse der Testauswertung in einem Ergebnisreport zusammengefasst werden. Der Report gliedert sich dabei in verschiedene Teile, die im Folgenden dargestellt werden. Zum einen steht eine Übersicht über die Ergebnisse der Auswertung aller Testfälle zur Verfügung. Dieser Übersicht kann entnommen werden, welche Testfälle ausgeführt wurden, wie viele Testfälle erfolgreich waren und welche Auswerteregeln in den einzelnen Testfällen zu welchen Ergebnissen führten. Auf diese Art kann schnell ein Überblick über das Resultat aller Testfälle gewonnen werden. Die Ergebnisse jedes einzelnen Testfalls stehen ebenso detailliert zur Verfügung. Hier sind die Signalverläufe und Ergebnisse der Testauswertungen zusammengestellt. Die Dokumentation des Testfalls ist hier ebenfalls enthalten. Die verwendeten Parameter für den Testfall sind hier ebenso zu finden. Dieser Teil des Reports kann vom Benutzer individuell angepasst werden. So können zum Beispiel verschiedene Signalverläufe in Grafiken zusammengefasst und Teilergebnisse in unterschiedlichen Tabellen dargestellt werden. 8. Praktischer Einsatz TPT ist nicht nur eine Methode sondern ist gleichzeitig ein Testwerkzeug. TPT wurde bei der Daimler AG entwickelt und wird nun als eigenständiges Werkzeug von der PikeTec GmbH weiterentwickelt und vertrieben. Folgende Referenzprojekte sind zu nennen: Die Mercedes PKW-Elektronikentwicklungsbereiche der Daimler AG setzen TPT erfolgreich seit mehreren Jahren durchgängig in allen Projekten für die Entwicklung der Innenraumelektronik ein. Die LKW-Elektronikentwicklung der Daimler AG setzt TPT zur Systemvalidierung des Notbremsassistenten Active Brake Assist (ABA), Lane Departure Warning (LDW) und Active Cruise Control (ACC) im Mercedes-Benz ACTROS erfolgreich ein. Die Hybrid-Antriebsentwicklung der Daimler AG setzt TPT beim Software-Modultest für die Antriebssteuerung erfolgreich ein. Die MB-technology GmbH setzt TPT für Modelltests und HiL-Tests ein. Hella setzt TPT für den Steuergerätetest ein. 9. Literatur [1] Matthias Grochtmann. Test Case Design Using Classification Trees. In Proceedings of STAR 94, pages 93 117, Washington, DC, 1994. [2] Thomas A. Henzinger. The Theory of Hybrid Automata. In 11th IEEE Symposium on Logics of Computer Science, pages 287 293, 1996. [3] Eckard Lehmann and Joachim Wegener. Test Case Design by Means of the CTE XL. In 8th European International Conference on Software Testing, Analysis & Review (EuroSTAR 2000), Copenhagen, Denmark, 2000. [4] Eckard Bringmann, Andreas Krämer. Systematic Testing of the Continuous Behavior of Automotive Systems. In Proceedings of the 3rd International Workshop on Software Engineering for Automotive Systems. Shanghai. Mai 2006.