State-of-the-Art in Software Product Line Testing and Lessons learned

Transkript

1 State-of-the-Art in Software Product Line Testing and Lessons learned Sebastian Oster Sebastian Oster Tel ES Real-Time Systems Lab Prof. Dr. rer. nat. Andy Schürr Dept. of Electrical Engineering and Information Technology Dept. of Computer Science (adjunct Professor) author(s) of these slides 2008 including research results of the research network ES and TU Darmstadt otherwise as specified at the respective slide

2 Status Quo SPL-Testing Ohne Wiederverwendung Mit Wiederverwendung Inkrementelles Testen Wiederverwendung von Testergebnissen Anforderungsbasiertes Testen Z.B. lbasiertes Testen Wiederverwendung von Testartefakten Repräsentative Teilmengen Anforderungsbasiert Kombinatorisch Produktlinien im Kontext PIK 2011 SPL-Testing

3 MBT-Ansätze für SPLs Produktlinien im Kontext PIK 2011 SPL-Testing

4 SPL - V-l Produktlinien im Kontext PIK 2011 SPL-Testing Siehe Quelle [1]

5 CADeT - Konzept Elicitation Feature Diagram Use Cases Activity Diagrams Feature Based System Testing Test Test Case Integration Testing Module Testing Use Cases System Testing Test Test Case Integration Testing Siehe Quelle [1] Produktlinien im Kontext PIK 2011 SPL-Testing Module Testing

6 ScenTED - Konzept Elicitation Use Cases Activity Diagrams Sequence Diagrams System Testing Test Test Case Integration Testing Module Testing Use Cases Activity Diagrams Sequence Diagrams System Testing Test Test Case Integration Testing Siehe Quelle [1] Produktlinien im Kontext PIK 2011 SPL-Testing Module Testing

7 Hartmann et al. - Konzept Elicitation Activity Diagrams System Testing Test Test Case Integration Testing Module Testing Activity Diagrams System Testing Test Test Case Integration Testing Siehe Quelle [1] Produktlinien im Kontext PIK 2011 SPL-Testing Module Testing

8 Kang et al. - Konzept Elicitation Use Cases As Sequence Diagrams PL Test Architecture Sequence Diagrams System Testing Test Test Case Integration Testing Module Testing Product Description Product Test Architecture Grouped Sequence Diagrams System Testing Test Test Case Integration Testing Siehe Quelle [1] Produktlinien im Kontext PIK 2011 SPL-Testing Module Testing

9 Kishi et al. - Konzept Elicitation System Testing Testing Integration Testing Test Test Case Module Testing System Testing Testing Integration Testing Test Test Case Siehe Quelle [1] Produktlinien im Kontext PIK 2011 SPL-Testing Module Testing

10 Weißleder et al. - Konzept Elicitation State Machine OCL constraints within the state machine System Testing Test Test Case Integration Testing Module Testing Subclass OCL constraints System Testing Test Test Case ParTeG Integration Testing Module Testing Produktlinien im Kontext PIK 2011 SPL-Testing

11 Bewertung der Ansätze Produktlinien im Kontext PIK 2011 SPL-Testing

12 Nutzen von MBT Systematische Wiederverwendung von Testartefakten Testfallgenerierung automatisierbar Für Statechart-Ansätze viele Tools verfügbar ABER: Jedes Produkt wird einzeln getestet le ggf. umständlich zu erstellen und zu warten gilt aber für jede Art von Beschreibung des Systemverhaltens Produktlinien im Kontext PIK 2011 SPL-Testing

13 Repräsentative Teilmengen Produktlinien im Kontext PIK 2011 SPL-Testing

14 Kombinatorisches SPL Testing Generieren einer möglichst kleinen Menge von Konfigurationen, die alle n-wise Feature-Interaktionen abdeckt. Aktuell 2 systematische Ansätze bekannt [2], [3] Produktlinien im Kontext PIK 2011 SPL-Testing

15 Nutzen von kombinatorischen Testen Kombinatorisches Testen als sneak preview Viele Fehler können auf n-wise-interaktion zurückgeführt werden ABER: Ansätze berechnen eine Menge an Konfigurationen/Produkten Für diese Produkte werden Testfälle benötigt Produktlinien im Kontext PIK 2011 SPL-Testing

16 Integration der Testansätze Integration der Testansätze: Produktlinien im Kontext PIK 2011 SPL-Testing

17 MoSo-PoLiTe Konzept Engineering Reusable Test model of SPL under test Feature Flat Feature Mapping Flattening Engineering Test model Product 1 Test model Product 2 Subsets of the Test Test Case Generation Mapping Mapping Subsets of the Feature Feature Product 1 Product Instantiation Feature Product 2 Subset Extraction Product 1 Product 2 Set of products covering all valid pairs of features Product 1 Test Product 2 Test Product 1 Product Produktlinien im Kontext PIK 2011 SPL-Testing

18 Demo Bei Interesse an einer Demo bitte an den Autor Produktlinien im Kontext PIK 2011 SPL-Testing

19 Literatur [1] S. Oster, A. Wübbeke, G. Engels, and A. Schürr, - Based Software Product Lines Testing Survey, in based Testing for Embedded Systems, J. Zander, I. Schieferdecker, and P. Mosterman, Eds. CRC Press/Taylor&Francis, 2011, to appear. [2] Oster, S., Ritter, P., Schürr, A.: Featuremodellbasiertes und kombinatorisches Testen von Software-Produktlinien. In: Proceedings of the SE2010. GI-Edition Lecture Notes in Informatics, Gesellschaft für Informatik (2010) [3] Perrouin, G., Sen, S., Klein, J., Baudry, B., Traon, Y.L.: Automated and scalable t-wise test case generation strategies for software product lines. In: Third International Conference on Software Testing, Verication and Validation. (2010) Produktlinien im Kontext PIK 2011 SPL-Testing