Software-Test für Embedded Systems

Transkript

1 Software-Test für Embedded Systems Ein Praxishandbuch für Entwickler, Tester und technische Projektleiter von Stephan Grünfelder 1. Auflage Software-Test für Embedded Systems Grünfelder schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG Thematische Gliederung: Großrechner, Server, eingebettete Systeme dpunkt.verlag 2013 Verlag C.H. Beck im Internet: ISBN

2 ix 1 Einleitung 1.1 Motivation Abgrenzung des Buchs zu ISTQB-Lehrplänen Zur Gliederung dieses Buchs Die wichtigsten Begriffe kurz erklärt Definition von Fachbegriffen Zu Definitionen und TesternInnen Ein Überblick über das Umfeld des Software-Testing Ursachen von Softwarefehlern Warum Programmfehler nicht entdeckt werden Angebrachter Testaufwand Der Tester und der Testprozess Modellieren der Software-Umgebung Erstellen von Testfällen Ausführen und Evaluieren der Tests Messen des Testfortschritts Testdesign und Testdokumentation im Entwicklungsprozess Verschiedene Teststufen und deren Zusammenspiel Andere Verifikationsmethoden als Ergänzung zum Test Agile Prozessmodelle Der Softwaretest in agilen Vorgehensmodellen Wer testet die Tester? Anforderungen und Test Die Bedeutung textueller Anforderungen Requirements Engineering im Projekt Arten und Quellen von Anforderungen

3 x 2.4 Warum Anforderungen dokumentiert werden sollen Die Review von Anforderungen Testbarkeit von Anforderungen Modifizierbarkeit und Erweiterbarkeit Relevanz von Anforderungen Der Umgang mit natürlicher Sprache Einfache Sprache gegen Missverständnisse Gelenkte Sprache Hinweise zur Dokumentenform Die Spezifikation an der Schnittstelle zum Test-Team Konfiguration von Testdesigns Vollständigkeit von Spezifikationen Werkzeuge zur Review von Anforderungen Diskussion Verifikation beim Requirements Engineering mit Augenmaß Bewertung der Rolle des RE für den Testprozess Fragen und Übungsaufgaben Review des Designs Ziele der Review des Architekturdesigns Ziele der Review des Detaildesigns Eigenschaften von gutem Software-Design Hinweise zur Architekturdesignreview Embedded Design Sicherheit, Verfügbarkeit & Co Wartbarkeit des Geräts Ressourcenverbrauch Design von Echtzeitsystemen Diskussion Fragen und Übungsaufgaben Automatische statische Code-Analyse Motivation zum Einsatz von Analyse-Werkzeugen Techniken von Analyse-Werkzeugen im unteren Preissegment Sprachspezifische Fallstricke Kontrollflussanalyse

4 xi Datenflussanalyse, Initialisation Tracking Datenflussanalyse, Value Tracking Semantische Analyse Starke Typenprüfung Techniken von Analysewerkzeugen im oberen Preissegment Größerer Komfort für den Benutzer Concurrency Checks Stack-Analyse und erweiterte Kontrollflussanalyse Erschöpfende Analyse des Zustandsbaums Statische Security-Analyse (SSA) Code-Metriken Werkzeuge für die Automatische Code-Analyse Diskussion Fragen und Übungsaufgaben Code-Reviews Review-Arten Code-Inspektionen Walkthrough Peer-Review Pair Programming Werkzeuge zur Code-Review Diskussion Fragen und Übungsaufgaben Unit-Tests Der Unit-Test im Entwicklungsprozess Zur Definition von Unit-Test und Modultest Black-Box-Testfälle beim White-Box-Test Äquivalenzklassenbildung Grenzwertanalyse Andere Methoden Stubs und Treiber Verschiedene Typen von Werkzeugen beim White-Box-Test Unit-Test-Frameworks Werkzeuge zur Testerstellung Werkzeuge zur Messung der Testabdeckung

5 xii 6.6 Testabdeckung Statement Coverage Branch Coverage und Decision Coverage Decision/Condition Coverage Modified Condition/Decision Coverage Andere Testabdeckungen Testabdeckung bei modellbasierter Entwicklung Messung der Testabdeckung Basis Path Testing Host oder Target Testing? Den Code immer unverändert testen? Unit-Tests bei objektorientierten Sprachen Grenzen des Unit-Tests Werkzeuge für den Unit-Test Unit-Test-Frameworks Werkzeuge zur Testerstellung Coverage-Analyse Diskussion Testabdeckung Organisation von Unit-Tests Fragen und Übungsaufgaben Integrationstests Software/Software-Integrationstest Bottom-up-Unit-Tests als Integrationstest Strukturierter Integrationstest Testabdeckung der Aufrufe von Unterprogrammen Vergleich der Teststrategien Grenzen des Software/Software-Integrationstests Diskussion des Software/Software-Integrationstests Ressourcentests Statischer Ressourcentest Dynamischer Ressourcentest Hardware/Software-Integrationstest Bottom-up-Verfahren Regressionsverfahren Black-Box-Verfahren Test und Analysen bei Sicherheitsrelevanz Diskussion des Hardware/Software-Integrationstests

6 xiii 7.4 Systemintegrationstest Werkzeuge für den Integrationstest Fragen und Übungsaufgaben Systemtests Funktionale Systemtests Zuordnung funktionaler Systemtests zu Anforderungen Äquivalenzklassen und Grenzwerte im Black-Box-Test Zustandsbasierter Test Ursache-Wirkungs-Analyse CECIL-Methode Entscheidungstabellentechnik Paarweises Testen und Klassifikationsbaum-Methode Back To Back Testing Erfahrungsbasierter Test Diskussion des Black-Box-Tests Auswahl eines Black-Box-Testverfahrens für eine Aufgabe Werkzeuge für Funktionstests Test der Benutzerschnittstelle Grafische Benutzerschnittstelle Werkzeuge für GUI-Tests Eingebettete Benutzerschnittstellen Werkzeuge für den Test von eingebetteten Benutzerschnittstellen Performanztest und Lasttest Stresstest Volumentest Failover und Recovery Testing Ressourcentests Installationstests Konfigurationstests Security-Tests Dokumententests Testumgebung und Testdaten Formale Methoden Symbolischer Test Deduktive Verifikation von funktionalen Anforderungen Model Checking

7 xiv 8.14 Automation von Systemtests Vor- und Nachteile der Testautomation Tipps zur Automation von Systemtests Dokumentation des Testdesigns und der Testergebnisse Grenzen des Systemtests Fragen und Übungsaufgaben Testen von RTOS und Middleware Definition und Motivation White-Box-Requirements-Test Test eines Interrupt-Managers Test eines Schedulers Fragen und Übungsaufgaben Race Conditions Definition von Data Races Dynamische Data-Race-Analyse Eraser Lamports Happens-Before-Relation Statische Data-Race-Analyse Ansätze zur statischen Data-Race-Analyse Vergleich zur dynamischen Data-Race-Analyse Werkzeuge für die Data-Race-Analyse Diskussion Fragen und Übungsaufgaben Deadlocks Über die Entstehung von Deadlocks Verschiedene Arten der Deadlock-Analyse Dynamische Deadlock-Analyse Statische Deadlock-Analyse Werkzeuge zur Deadlockdetektion Diskussion Fragen und Übungsaufgaben

8 xv 12 Echtzeit-Verifikation Antwortzeiten bei funktionalen Tests WCET-Analyse Problemstellung Laufzeitanalyse Werkzeuge für die WCET-Analyse Diskussion Fragen und Übungsaufgaben Schedulability-Analyse Aufgaben der Schedulability-Analyse Definitionen Diskussion der Scheduling-Strategien Statisches Scheduling Dynamisches Scheduling Analyse bei Fixed-Priority-Single-CPU-Systemen Optimale Prioritätsvergabe Rate Monotonic Analysis Exakte Antwortzeitenanalyse Gegenseitiger Ausschluss Aperiodische Aufgaben Kontextwechsel Cache und Out Of Order Execution Input-Jitter Interrupts Multi-CPU-Systeme Multicore- und Multi-Prozessor-Systeme Verteilte Systeme Scheduling-Analyse für CAN Werkzeuge Diskussion Fragen und Übungsaufgaben

9 xvi 14 Hardware/Software-Interaktionsanalyse Die FMEA als Grundlage der HSIA Die HSIA als Quelle für Software-Anforderungen Software-Kritikalitätsanalyse Software-FMEA Werkzeuge Diskussion Fragen und Übungsaufgaben Modellbasierter Test Begriffsdefinition MBT und Testautomation Modelle Statecharts SDL Message Sequence Charts UML Version SysML Funktions-Modellierung Testmodell vs. Implementierungsmodell Werkzeuge Diskussion Fragen und Übungsaufgaben Testmanagement Testplanung Teststeuerung Abweichungsmanagement Bewertung und Anpassung des Testprozesses Formale Reifegradmodelle für den Software-Test Prozessbewertung in agilen Projekten Mit Augenmaß ins Kostenoptimum Risikobasierter Test Werkzeuge

10 xvii 16.7 Diskussion Fragen und Übungsaufgaben Qualitätsmanagement Definition Qualitätsmanagement-Standards Kosten und Haftungsrelevanz des Qualitätsmanagement Umsetzung des Qualitätsmanagements Die Rolle des Qualitätsmanagers Mit Metriken die Qualität steuern Die Wirtschaftlichkeit von Qualitätsmanagement Werkzeuge Diskussion Fragen und Übungsaufgaben Softwaretest und Haftungsrisiko Ein Softwarefehler im Sinne des Gesetzes Vertragliche Gewährleistung und Haftung Vertragliche Beschränkung der Haftung Produzentenhaftung bei Software Produkthaftung Sorgfaltspflicht des Software-Herstellers Technische Normen mit Bezug zum Softwaretest DIN IEC 56/575/CD IEEE Std IEEE Std IEEE Std ISO/IEC IEC/EN ISO Normenreihe 250XX Tipps vom Rechtsanwalt und vom Techniker Fragen und Übungsaufgaben

11 xviii Nachwort 319 Anhang Anhang A Lösungen zu Übungsaufgaben 323 Anhang B Dokumentation des Testdesigns 349 Anhang C Software-Verifikationsplan 351 Anhang D Software-Verifikations-Report 355 Quellenverzeichnis 357 Index 367