Vector Software W H I T E P A P E R. Automatisierte On-Target Software Tests mit VectorCAST

Transkript

1 W H I T E P A P E R Automatisierte On-Target Software Tests mit VectorCAST Einleitung Bei vielen Projekten ist es eine wahre Herausforderung, die Embedded Anwendungen auf dem Zielgerät schnell und einfach zu testen sei es mithilfe eines Simulators, einer Testplattform (Processor-In-the-Loop: PIL) oder über die Produktionshardware (Hardware-in-the-Loop: HIL). PIL- und HIL- Tests sind besonders bei sicherheitskritischen Anwendungen von großer Bedeutung. In Branchen wie der Luftfahrt, der Automobilindustrie, der Medizintechnik und auch der Bahn gehören diese Tests meist zu den Voraussetzungen für die Zertifizierung. Auch bei Projekten mit weniger strengen Testanforderungen helfen die Tests eine größere Anzahl an Fehlern zu finden, wenn die Testumgebung der späteren Produktionsumgebung so ähnlich wie möglich ist. Die Herausforderungen von Tests, die auf Hardware basieren, sind unter Anderem: der Umgang mit begrenzten Zielressourcen, die Minimierung der Auswirkungen auf die Ausführungszeit, die Automatisierung von Zielkommunikationsmechanismen für die Datenerhebung und das Schulen von Testingenieuren um die Zielausführung zu konfigurieren und Fehler zu finden. bietet eine Reihe von Werkzeugen, um Probleme durch die Automatisierung der Testkonfiguration und des Ausführungsprozesses zu lösen. So können sich die Entwickler auf den Aufbau und die Ausführung präziser und effektiver Software-Tests konzentrieren. Mit VectorCAST werden zwei Schlüsselbereiche des zielbasierten Testens vereinfacht: Software Unit und Integrations- Tests, um die Richtigkeit der Anwendung zu beweisen Code Coverage Analyse während der Tests, um die Vollständigkeit zu gewährleisten Dieses Whitepaper wird die Vorteile von auf Hardware basierenden Tests ausführlich erläutern und beschreiben, wie VectorCAST mit einer Vielzahl von Compilern, Emulatoren und Ziel- Hardware verwendet werden kann. Unit- und Integrationstests Bei der Durchführung von Software Unit- und Integrationstest wird ein Teil des Anwendungscodes isoliert. In der Regel handelt es sich hierbei um C-, C + +-Quelldateien oder

2 Ada- Pakete. Um sicher zu stellen, dass diese Teilmenge einwandfrei funktioniert und die Low- Level Anforderungen erfüllt wird, ist es erforderlich die Tests sehr sorgfältig durchzuführen. Die Code Coverage Analyse erkennt, welche Teile des Anwendungscodes ausgeführt wurden. Code Coverage ist der einfachste Weg die Gründlichkeit von Testaktivitäten zu ermitteln. So kann der Zeitpunkt, zu dem ausreichend viele Tests durchgeführt wurden, leichter bestimmt werden. Mithilfe der VectorCAST Produkte, ist es simpel, für alle embedded Ziele Testsuiten zu erstellen. Die gespeicherten Erwartungswerte für diese Tests formalisieren die korrekte Vorgehensweise der Anwendung. Die Ermittlung der erreichten Code Coverage quantifiziert die Vollständigkeit der Tests. Da die Anzahl der Tests im Laufe der Zeit natürlicherweise zunimmt, können sie in regelmäßigen Abständen automatisch in einem Regressiontest- Szenario ausgeführt werden. So sind die Dashboard- Berichte des aktuellen Teststatus jederzeit verfügbar. VectorCAST/C++ pass/fail Ergebnisse und Code Coverage Viewer Page2

3 Simultane Code Coverage Analyse bei System Tests Die Sorgfältigkeit mit der die Tests durchgeführt werden ist auch bei Systemtests relevant. Die einzig vernünftige Metrik zur Beurteilung der Funktionsfähigkeit von Systemtests ist die Code Coverage Analyse. VectorCAST/Cover kann verwendet werden, um eine Anwendung während der Entwicklung automatisch zu Instrumentieren. Die daraus resultierende Anwendung erfasst Code Coverage Metriken während die normale Systemprüfung simultan durchgeführt wird. Die VectorCAST/Cover Instrumentierung wurde optimiert, um die in embedded Umgebungen üblichen Größen- und Zeitbeschränkungen zu berücksichtigen. VectorCAST/Cover integriert sich problemlos in die bestehenden Entwicklungstools von jedem Entwicklungsteam. Die Coverage Metriken können entweder an das IDE I/O- Fenster oder an eine serielle On- Target Schnittstelle gesendet werden. Die Code Coverage von Einzelprüfungen kann unabhängig voneinander innerhalb von VectorCAST/Cover ermittelt werden, sodass die Möglichkeit sowohl zur differentiellen, als auch zur aggregierten Coverage Analyse besteht. VectorCAST und Cross- Compiler Wird VectorCAST/C++ oder VectorCAST/Ada mit dem VectorCAST Run-Time Support Package (RSP) kombiniert, wird das vollständige automatisierte Testen von Hardware zur Realität. VectorCAST/RSP liefert eine Abstraktionsebene für den Compiler und die Zielhardware. So ist es möglich Tests einfach per Knopfdruck auszuführen, egal wie komplex der notwendige Prozess ist um die Tests für die jeweilige Anwendung zu erstellen und auszuführen. VectorCAST nutzt zugrunde liegende Compiler und Emulator-Tools zur Unterstützung einer Vielzahl von Chip-Architekturen, JTAG-Emulatoren und Entwicklungsboards und bietet so die modernste und nahtloseste Zieltestumgebung, die möglich ist. Die VectorCAST Werkzeuge sind bei mehr als 30 verschiedenen Compilergruppen, Hunderten von Compilerkombinationen, Emulatoren und Hardware-Geräten integriert, unter anderem bei: Green Hills Wind River IAR Systems Open source (gcc/gnu) Microsoft Code Composer (TI) Keil / ARM CodeWarrior (Freescale) AdaCore Analog Devices Sobald ein Nutzer die entsprechende Compiler- und Soll-Konfiguration von der GUI ausgesucht hat, verfügt VectorCAST bereits über alle notwendigen Informationen, um die Tests mit dem gewählten Compiler zu erstellen und zu verknüpfen. Zu den VectorCAST Zielkonfigurationen gehört auch ein Ausführungsskript, das automatisch eine Verbindung mit dem Debugger Page3

4 herstellt, der die Testumgebung lädt, die Ausführung startet und die Testergebnisse und Daten zur Codeabdeckung sammelt. Die VectorCAST Compiler-Einstellungen können problemlos vom Anwender geändert werden, um spezifischen Build-Einstellungen wie Prozessorvarianten und Optimierungsstufen zu entsprechen. VectorCAST vereinfacht diese Änderungen durch den direkten Zugriff auf alle Konfigurationsparameter. Zusätzlich zur automatisierten Testausführung unterstützt der VectorCAST/RSP Quellcode Fehlerkorrekturen der zugrunde liegenden Compiler-Debugger IDE. So kann das fehlschlagen von Tests einfach korrigiert werden. Durch den modularen Aufbau VectorCAST/RSP, ist es in kürzester Zeit möglich, neue oder noch nicht bekannte IDE-Versionen und Prozessoren zu unterstützen. Da die VectorCAST Testfälle von den Compilern und Soll-Konfigurationen isoliert sind, können Nutzer die gleichen Tests mit einer beliebigen Kombination von Compiler-Versionen und Mikroprozessoren durchführen, indem Sie einfach einen neuen Compiler Konfigurationsknoten innerhalb von VectorCAST erstellen. Tests für neue Designs können zunächst mithilfe eines eigenen Compilers oder Instruktionsset- Simulators durchgeführt werden. Darauf folgt die Endprüfung auf der Produktionshardware. Die drei Hauptmerkmale von VectorCAST/RSP sind: Vollständige Unterstützung für alle C, C++ oder Ada Spracherweiterungen, die vom Compiler definiert wurden Automatisches Herunterladen der auszuführenden Testumgebung auf das Ziel oder den Simulator. Automatische Erfassung der Testergebnisse während der Ausführung Einen Test mit VectorCAST durchzuführen ist so simpel wie einen Knopf zu drücken! Fazit Letztlich bietet die Nutzung von VectorCAST Werkzeugen in Kombination mit einer Cross- Compiler IDE sehr elegante und effektive Problemlösungen. Eines der Unternehmensziele ist es, die Qualität ihrer Embedded Anwendungssoftware stetig zu erhöhen. VectorCAST Werkzeuge bieten Hardware-in-the-Loop und Processor-in-the-Loop Tests auf Knopfdruck, sodass sich Ingenieure auf die Testentwicklung konzentrieren können. VectorCAST unterstützt pass/fail Analysen simultan zu Software Unit- und Integrationstests von C, C++ und Ada Anwendungen. Ebenso unterstützt VectorCAST die Code Coverage Analyse während der gesamten Softwareentwicklung. Code Coverage Analyse ist der einfachste Weg die Sorgfältigkeit schon während der Tests beurteilen zu können. Page4

5 Über ist der weltweit führende Anbieter von Software Test Lösungen für sicherheitskritische und geschäftskritische embedded Applikationen. Weltweit vertrauen Unternehmen in Luft und Raumfahrt, Militär, Medizintechnologie, Automobilindustrie, Bahnverkehr und anderer Industriezweige in geschäftskritischen Sektoren auf s VectorCAST. Durch die Automatisierung und die Bewältigung komplexer Aufgaben im Zusammenhang mit Modul, Integrationsund Systemlevel Tests, erleichtert VectorCAST Unternehmen, deren Entwicklungen zu beschleunigen und die Beständigkeit Ihrer eingebetteten Software Applikationen zu gewährleisten., Inc South County Trail, Suite 310 East Greenwich, RI USA T: F: Golden Cross House 8 Duncannon Street London W1B 5DG, UK T: F: St. Töniser Str 2a Kempen Germany T: F: Rm 403, Building 6, No.88 Daerwen Rd, Zhangjiang Hi-tech Park Pudong New Area Shanghai China T: F: E: info@apac.vectorcast.com Page5