Testframework für Eckelmann SFT

Transkript

1 Testframework für Eckelmann SFT Prof. Dr. R. Kröger Kai Beckmann Marcus Thoss Laborgespräch an der Hochschule RheinMain Wiesbaden, Labor für Verteilte Systeme

2 Agenda Ausgangspunkt und Ziele Ansatz Anforderungsumsetzung Architektur Testmodellierung Bewertung Erwartete Vorteile Ausblick SFT Testframework 2 Labor für Verteilte Systeme

3 Testframework - SFT Ausgangspunkt Existierendes Projekt / Entwicklungsprozess / Systemmodelle Existierende manuelle Tests Ziel Entwicklung Testframework Automatisiertes Testen / Regressionstests Offene Lösung, Erweiterbar auf andere Anwendungsfälle / Firmen Modellbasierter/ -getriebener Testprozess Anpassen an existierende Umgebung Testgegenstand Verteilte Zustandsautomaten (SFT) Manuell implementierte Kommunikation und Synchronisation der verteilten SFTs SFT Testframework 3 Labor für Verteilte Systeme

4 Anforderungsumsetzung Testframework basierend auf TPTP Testautomation, Testauswertung, Testadministration Mächtige Eclipse-Umgebung für modellbasierte Prozesse Wiederverwendung SFT-Systemmodelle Integration / Import in Testframework Basis für Testfallspezifikation Testmodellierung mit Domänenspezifischer Sprache (DSL) Angepasst an Bedürfnisse des Testteams Bestehende Testmuster + neue Möglichkeiten durch Testframework Anbindung System-under-Test (SUT) WCF-basierte Testschnittstelle Modelltechnische Integration in Testframework SFT Testframework 4 Labor für Verteilte Systeme

5 Grobarchitektur Systemmodellierungswerkzeug (DSL) (DSL) StateCase XML XML import Eclipse / TPTP EMF EMF Systemmodell Auswahl TPTP/Eclipse Testmodellierungs- Werkzeug Werkzeug (DSL) (DSL) Eclipse-Editor Testfall textuell textuell Testfall Modell Ergebnis + Trace TPTP TPTP Test-Ausführung DSL/ SFT (HSRM) Generisch (HSRM) Eckelmann QVT-Transformation Windows /.Net SFT-TCM Testcode Testcode SFTTrace- Server XMI XMI Linux SFT-AgentClient Java Java SFT-Agent TPTP TPTP // C++ C++ SFT Testframework 5 Labor für Verteilte Systeme

6 Integration SFT Systemmodellierungswerkzeug (DSL) (DSL) StateCase XML XML import Eclipse / TPTP EMF EMF Systemmodell Auswahl TPTP/Eclipse Testmodellierungs- Werkzeug Werkzeug (DSL) (DSL) Eclipse-Editor Testfall textuell textuell Testfall Modell Ergebnis + Trace TPTP TPTP Test-Ausführung DSL/ SFT (HSRM) Generisch (HSRM) Eckelmann QVT-Transformation Windows /.Net SFT-TCM Testcode Testcode SFTTrace- Server XMI XMI Linux SFT-AgentClient Java Java SFT-Agent TPTP TPTP // C++ C++ SFT Testframework 6 Labor für Verteilte Systeme

7 Integration SFT Import von StateCase SFT-Dateien XML -> Eclipse-Umgebung Entkopplung von StateCase-Versionen Abstraktes Automatenmodell definiert Unabhängigkeit, Wiederverwertbarkeit Verwendung für Testmodellierung Integration in Eclipse Drag & Drop Automatische Umwandlung im Hintergrund SFT Testframework 7 Labor für Verteilte Systeme

8 Testspezifikation Systemmodellierungswerkzeug (DSL) (DSL) StateCase XML XML import Eclipse / TPTP EMF EMF Systemmodell Auswahl TPTP/Eclipse Testmodellierungs- Werkzeug Werkzeug (DSL) (DSL) Eclipse-Editor Testfall textuell textuell Testfall Modell Ergebnis + Trace TPTP TPTP Test-Ausführung DSL/ SFT (HSRM) Generisch (HSRM) Eckelmann QVT-Transformation Windows /.Net SFT-TCM Testcode Testcode SFTTrace- Server XMI XMI Linux SFT-AgentClient Java Java SFT-Agent TPTP TPTP // C++ C++ SFT Testframework 8 Labor für Verteilte Systeme

9 Testspezifikation Textuelle Testmodellierungssprache (DSL) Wiederverwertung des SFT-Systemmodells Inhalt: Deployment, Teststruktur, Testtreiber, Sollverhalten DSL ebenfalls entkoppelt vom Testframework -> Einfach anpassbar Komfortabler Eclipse-Editor Syntax-Highlighting Autovervollständigung Wichtig: Rückkopplung und Feedback von Anwendern Gemeinsame Sammlung von Anforderungen, Features Vorstellung von Prototypen, Evaluation durch Eckelmann Iterative Verbesserungen SFT Testframework 9 Labor für Verteilte Systeme

10 Testspezifikation (2) Testausführung sequenziell TestSuite enthält TestCases, enthält Treiberschritte und Sollverhaltenvalidierungen Testtreiber Forcen von Events : Zustandsübergänge Warten auf Eintreten von Zuständen Kein Zugriff auf Systemvariablen des SUT Sollverhalten Prädikate über Pfaden a -> b -> c Wildcards, Ausschlüsse, Alternativen, Timeouts Auch verteilte Zustandsmaschinen ( Globale Pfade ) SFT Testframework Labor für Verteilte Systeme

11 Testspezifikation Beispiel Zumachen/ Tür_zu 3 Offen Sensor_auf Schließend Sensor_zu Zumachen/ Tür_zu Aufmachen/ Tür_auf Geschlossen Öffnend 2 Aufmachen/ Tür_auf 1 Gedrückt Drücken/ Schalter_gedrückt Loslassen Losgelassen SFT Testframework Labor für Verteilte Systeme

12 Ergebnisse / Erfahrungen Testautomatisierung verspricht erwartungsgemäße Produktivitätssteigerung Manuelle Tests sind nicht 1 zu 1 umsetzbar Interaktion mit Testkomponenten ist komplex und vielseitig Abstrakte Black-Box-Tests Bessere Ausdrucksfähigkeit, testbare Eigenschaften Feingranulare Kontrolle über SFTs in den Tests Komplexe Ausdrücke über Systemverhalten formulierbar Schnellere Reaktion auf Systemveränderung möglich Zeitliche Eigenschaften, Anforderungen definierbar Enge Abstimmung und kontinuierliche Praxistests TPTP / Eclipse ist eine mächtige und offene Technologie SFT Testframework Labor für Verteilte Systeme

13 Ausblick Nach Vervollständigung des Prototypen: Test, Validierung gegen Anforderungen durch Eckelmann Tests von zeitlichen / Echtzeiteigenschaften Anpassung der Reporterstellung mit BIRT an Bedürfnisse Hinzufügen weiterer Zielplattform: SPS Bereitstellung der (generischen) Ergebnisse als Open Source Nutzung / Unterstützung für interessierte Unternehmen möglich SFT Testframework Labor für Verteilte Systeme

14 Vielen Dank für die Aufmerksamkeit! SFT Testframework Labor für Verteilte Systeme