Testautomatisierung: Ein akademisches Thema?

Transkript

1 Testautomatisierung: Ein akademisches Thema? Sadegh Sadeghipour

2 Agenda Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

3 Das Unternehmen Gründung: Juni 2000 Standorte: Berlin und Dortmund Mitarbeiter: 12 Unternehmensgegenstand Dienstleistungen für Entwicklung und Test eingebetteter Software Anforderungsmanagement Systematisches Testen Modellbasierte Entwicklung Industriebranchen Automotive Medizintechnik

4 Agenda Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

5 Test Test Eine Aktivität, worin ein Testobjekt unter bestimmten Bedingungen ausgeführt wird, die Ergebnisse beobachtet oder protokolliert werden, und eine Auswertung in Bezug auf die Aspekte des Testobjekts erfolgt. (IEEE : Standard Glossary of Software Engineering Terminology) Edsgar W. Dijkstra: Program testing can be used to show the presence of bugs, but never to show their absence! Trotzdem ist das Testen das effektivste Mittel für die Entdeckung von Software-Fehlern die Bildung des Vertrauens in die Qualität der Software

6 Automatisierung Automatisierung Die mit Hilfe von Maschinen realisierte Übertragung von Arbeit vom Menschen auf Automaten. Testmanagement Testplanung Testspezifikation Testdurchführung Testauswertung Testdokumentation

7 Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

8 Nutzen der Testautomatisierung für Industrie Effektiveres und effizienteres Testen Größere Testabdeckung durch Automatisierung Höhere Qualität durch Operationalisierung Reproduzierbare und nachweisbare Testqualität Erfüllung von Normanforderungen Hohes Einsparpotential - Personal - Zeit

9 Test eingebetteter Systeme State-of-the-Practice Verschiedene potentielle Testumgebungen o o o o o Model-in-the-Loop (MiL) Software-in-the-Loop (SiL) Processor-in-the-Loop (PiL) Hardware-in-the-Loop (HiL) Produkttest in der realen Umgebung, z.b. Fahrzeugtest Tendenz zur modellbasierten Entwicklung und Durchführung von Tests in frühen Entwicklungsphasen Verbale Testspezifikation und manuelle Testdurchführung noch weit verbreitet

10 Aktueller Bedarf der Industrie an Testautomatisierung Testdurchführung, Testdurchführung, Testdurchführung! Testmanagement Testplanung Testspezifikation Testdurchführung Testauswertung Testdokumentation

11 Voraussetzungen einer Testautomatisierung Formale Testspezifikation Formale Testspezifikation Für die Automatisierung der Testdurchführung muss die Testspezifikation maschinenlesbar sein! Beispiele: Excel-Tabelle mit Eingabewerten CTE Spezifikationen TTCN-3 Testbeschreibungen Message Sequence Charts Python-Skripte Zu Bedenken: Maschinen lesbar Menschen lesbar Operationalisierte, automatisierte Tests sind in der Spezifikation aufwändiger als manuelle Tests, mindestens ~1.5 fach!

12 Formale Testspezifikationen: Excel Beispiel: Excel Signal-Setzungen Beschreibungen Wartezeiten zwischen Setzungen [ms]

13 Formale Testspezifikationen: Sequenzdiagramme Sequenzdiagramme Ablaufbeschreibungen, Aufrufsequenzen von Methoden oder Ereignissen formal und ausführbar

14 Formale Testspezifikationen: CTE

15 Formale Testspezifikationen: TTCN-3 testcase PassengerUpDownObstacle () runs on Tester { setverdict(pass); Passenger_Up:= 0.0; Passenger_Down:=1.0; } //testcase log("start test case"); log("window Down"); cont {} until {[duration > 0.2] {}} cont {assert( position >= position.prev() );} until {[duration > 4.0] {Passenger_Down:= 0.0;}} log("window Up"); Passenger_Up:= 1.0; log(position); cont {} until {[duration > 0.2] {}} log("check Window Up"); cont { assert( position <= position.prev() )} until {[position < 4.0] {Obstacle:=1.0;}} cont {assert( position >3.5 )} until {[duration > 2.0] {}} Obstacle:=0.0; cont {} until {[position < 0.0] {}} Passenger_Up:= 0.0; Passenger_Down:=0.0;

16 Voraussetzungen einer Testautomatisierung Testumgebung Testumgebung Eine Umgebung, bestehend aus Hardware, Instrumentierungen, Simulatoren, Software-Tools und anderen unterstützenden Artefakten, die für die Testausführung notwendig sind. Testbett als Kernstück einer Testumgebung: Generierung von Test-Treibern Ausführung mit Testdaten Erfassung der Testergebnisse und Auswertung Testbett

17 Hardware-Testumgebung Manuelle Testdurchführung Stromversorgung Steuergerät Sensoren Kommunikationssysteme Aktuatoren

18 Hardware-in-the-Loop Umgebung Testrechner Entwicklungsrechner Stromversorgung Steuergerät Aktuelle Probleme Aufbau und Inbatriebnahme sehr aufwändig (Analoge Ein- und Ausgänge mit verschiedenen Eigenschaften, Bus-Schnittstellen, ) Sensoren Kommunikationssysteme Aktuatoren Harte Realzeitanforderungen Proprietäre Testumgebungen,; sehr teure Standard- Umgebungen Präsentationsnotation der Testspezifikationen

19 Voraussetzungen einer Testautomatisierung Umgebungsmodell Umgebungsmodell Abstraktion der Umgebung eines eingebetteten Systems. Streckenmodell, modellierte Regelstrecke des Reglers. Open-Loop Tests für Steuerungen, einfaches Umgebungsmodell Sollwert Steuerung Sensor Istwert Regler Regelwert Regelstrecke Aktuator Closed-Loop Tests für Regler, komplexes Umgebungsmodell Sollwert Regler Sensor Istwert Regler Regelwert Regelstrecke Aktuator

20 Umgebungsmodell Beispiel Luftzufuhr-Regler Die Luftzufuhr zu einem Motor soll elektronisch angesteuert werden. Für die Tests der Algorithmen wird die Umgebung in Form der Drosselklappenansteuerung mit modelliert. Umgebungsmodell Luftzufuhr-Regler Zu Bedenken: Hoher Aufwand realitätsnaher Modellierung der Umgebung

21 Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

22 Testautomatisierung in akademischer Forschung Fokus: Automatische Generierung von Testszenarien aus Modellen Testmanagement Testplanung Testspezifikation Testdurchführung Testauswertung Testdokumentation

23 Automatische Generierung von Testszenarien aus Modell Grundidee Überdeckung der Pfade des endlichen Automaten, der dem Modell zugrunde liegt W-Methode (Chow, 1978) Korrektheitsnachweis der Implementierung gegen das Modell anhand einer charakteristischen Menge von Pfaden als Testsequenzmenge Testhypothese: # Implementierungszustände = # Modellzustände Unabhängig von der Testhypothese repräsentiert die generierte Testsequenzmenge eine sinnvolle Auswahl von Testsequenzen Auch der Einsatz von Model Checking Algorithmen zur Generierung von Testsequenzen

24 Automatische Generierung von Testszenarien aus Modell Notationen der Modellbeschreibung Aktivitätsdiagramme, Zustandsdiagramme (UML) Statecharts (Statemate), Stateflow (MATLAB/Simulink) Testbasis Implementierungsmodell: Detailiertes Modell aus Entwickler Sicht Testmodell: Abstraktes Modell aus Tester Sicht

25 Implementierungsmodell als Testbasis Automatische Generierung ausführbarer Testsequenzen Problem: Zuordnung der generierten Testsequenzen zu Anforderungen Orakelproblem bei der Testauswertung Anwendungsfall: Back-to-Back-Test!

26 Testmodell als Testbasis Generierung abstrakter Testsequenzen, die eventuell manuell verfeinert werden. Funktionale Interpretation der generierten Testsequenzen möglich Beschränkung des Raums der Fehlerfindung auf die modellierten Aspekte

27 Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

28 Automatisierung der Testauswertung eingebetteter Systeme 1. Es existiert eine validierte Referenz des Testobjekts Back-to-Back-Test Back-to-Back-Tests überprüfen die Äquivalenz zwischen verschiedenen Repräsentationen eines Testobjekts, z.b. zwischen Modell und dem daraus generierten Programmcode. Regressionstest Regressionstests stellen sicher, dass die Modifikationen im Testobjekt die schon korrekt umgesetzte Funktionalität der älteren Version ebenfalls erfüllen. 2. Es existiert keine validierte Referenz des Testobjekts Schwierigkeit der genauen Berechnung des erwarteten Verhaltens bei regelnden Systemen qualitative Beschreibung des Sollverhaltens

29 Back-to-Back-Test: Testauswertungsproblem Problem: Diskretisierung und Rundung führen zu systematischen Abweichungen in den Signalwerten und Zeitverläufen! Aufgabe: Abweichungen, hervorgerufen durch Diskretisierung und Rundung, müssen erkannt und kontrolliert toleriert werden

30 Back-to-Back-Test: Vergleich von Signalverläufen = tube Diskretisierungs- und Rundungsfehler müssen erkannt und kontrolliert toleriert werden. Statistische Verfahren unterdrücken Peaks. Aufgabe: Detektion möglicher vorhandener Fehler und Lokalisierung der Fehlerstellen Lösung: Reparametrisierung des Signalverlaufs, Differenzmatrixverfahren, Dynamic Adaption

31 Automatische Testauswertung ohne Referenzobjekt Signalmerkmale t 0 t 1 t 2 t 3 1. Identifikation relevanter Merkmale und ihr gefordertes Auftreten Beispiel: 2. Zeitpartitionierung des Signales gemäß der geforderten Merkmale Beispiel: t 0, t 1 t 2 t 3 Falls eine solche Partitionierung existiert, erfüllt das Signal die geforderten Merkmalseigenschaften. Abhängigkeiten darüber definierbar und testbar!

32 Hintergrund Testautomatisierung aus der Sicht der Industrie Testautomatisierung in der akademischen Forschung Automatisierung der Testauswertung Fazit

33 Fazit Eine Testautomatisierung kann die Testspezifikation, die Testdurchführung oder die Testauswertung im Fokus haben. Ein Großteil der Entwickler eingebetteter Software kämpfen noch mit den Problemen der automatischen Testdurchführung. Diese Probleme sind unter anderem: Auswahl, Einführung und Einsatz einer Beschreibungsnotation für Testfälle Modellierung der Umgebung Aufbau der Hardware-Testumgebung. Testplanung Testspezifikation Testdurchführung Testauswertung Methoden der automatischen Generierung von Testszenarien aus Modellen werden höchstwahrscheinlich erst später in der Industrie eingebetteter Systeme praktische Relevanz erfahren. Automatisierung der Testauswertung eingebetteter Systeme ist ein sowohl für die Industrie als auch für die wissenschaftliche Forschung interessantes Thema.

34 Vielen Dank für Ihre Aufmerksamkeit!