Code Generator Certification: A Test Suite-oriented Approach

Transkript

1 Code Generator Certification: A Test Suite-oriented Approach DaimlerChrysler AG, Research E/E and Information Techlogy {Mirko.Conrad Ingo.Stuermer@DaimlerChrysler.com Überblick Motivation Ziele der Arbeiten Bestandteile einer Testsuite Aufbau der Testfälle Grundprinzip und Problemstellungen TargetLink TestSuite unter AutomationDesk/MTest Fazit

2 Motivation Codegenerierung: invative, junge Techlogie; häufige Versionswechsel; vergleichsweise begrenztes Erfahrungswissen Begleitung des Codegeneratoreinsatzes durch eine umfassende Absicherungsstrategie, d.h. eine ausgewogene Kombination unterschiedlicher Maßnahmen anwendungsunabhängige Absicherung anwendungsspezifische Absicherung Automatisierte Testsuites als praxistaugliche Methode für Absicherung von C und Ada und Compilern (Konformitätstest). modulare Codegenerator Testsuite als wesentlicher Baustein der Absicherungsstrategie für Codegeneratoren Ziele der Arbeiten Schaffung einer Infrastruktur für die CG Testsuite (Testverwaltung, Ablaufsteuerung, Testdokumentation) Fokus: MIL, SIL, PIL Bereitstellung von Komponenten für die Testsuite systematische Prüfung der Optimierungen hausinterne Benchmarkmodelle

3 Bestandteile einer Testsuite für Codegeneratoren offener, modularer Aufbau (Baukastenprinzip) verschiedene Einsatzszenarien: je nach Einsatzzweck kommen unterschiedliche Teile zum Einsatz (z.b. Test beim CG Hersteller, Test beim Anwender) Komplexee (Kunden) Sonstiges (z.b.robustheit) bekannte Fehler und Probleme Konformität ANSI C, MISRA C Optimierungen Basisblöcke... Targetspezif Probleme Problemfälle und Randprobleme aus Compilerbau Aufbau der Testfälle Testfälle sind Simulink/Stateflow e (Testmodelle), die durch geeignete Testdatensätze (Testvektoren) stimuliert werden müssen (ein Testvektor sorgt i.d.r. nicht für eine ausreichende Überdeckung!) Beide Aspekte müssen beim Aufbau der Testsuite ausreichend berücksichtigt werden Testfälle 2.Ordnung Testvektor 1.1 Testmodell 1 Testfälle 1.Ordnung Testvektor 1.m 1 Testvektor n.1 Testmodell n Testvektor n.m n

4 Testsuite Grundprinzip und Problemstellungen Testmodell x Testoutput x.y Mod Testvektor x.y Code- generator? /* pictrl */ #def i ne " dst ypes. h #def i ne G1 ( I nt 32) x voi d pictrl(uint16 r { I nt 16 e, S2, G_1, x1, UI nt 8 i ; e = ( I nt 16) ( r ef >> G_1 = ( I nt 16) ( ( ( a> x1 = ( e >> 4) +x1; G_2 = ( I nt 16) ( ( ( a> *u = G2 + G1; C Code Testoutput x.y Code Testvektorgnerierung erzeugung Testauswertung Infrastruktur erzeugung: Systematischer Test der Optimierungsregeln Spezifikation Optimierungsregel i {A3 E2 [C2] {A2 E1 [C1] {A1 If (E1 && C1) { A1; else { if (E2 && C2) { A2; else { A3 ; If-then-else transition Graphregel K-Baum T1 T2 T3 Testmodelle i.1 i.n TC 1 TC 2 A1 C1 E1 A2 C2 E2 A3 C3 E3 {i=3; [C2] {i=2; [C1] {i=1;

5 Testvektorgenerierung: - und Code-Coverage t_vek j.1 t_vek j.3 C1 C2 1 1 Testmodell j {i=3; [C2] {i=2; [C1] {i=1; Testvektoren für -Coverage Testvektoren für Code-Coverage Goals C1 C2 1, 2 (F), t_vek 4 (F), j.4 6, 7 4 (T), t_vek (T), 3 j merge Code- generator /* pictrl */ #def i ne " dst ypes. h #def i ne G1 ( I nt 32) x voi d pictrl(uint16 r { I nt 16 e, S2, G_1, x1, UI nt 8 i ; e = ( I nt 16) ( r ef >> G_1 = (Int16)(((a> x1 = ( e >> 4) +x1; G_2 = (Int16)(((a> *u = G2 + G1; C Code Testauswertung: Robuster Signalvergleich Testmodell j ===================== Original Signals ================== Reference Signal bls_anf Output Signal bls_anf Code- generator /* pictrl */ #def i ne " dst ypes. h #def i ne G1 ( I nt 32) x voi d pictrl(uint16 r { I nt 16 e, S2, G_1, x1, UI nt 8 i ; e = ( I nt 16) ( r ef >> G_1 = (Int16)(((a> x1 = ( e >> 4) +x1; G_2 = (Int16)(((a> *u = G2 + G1; C Code Testoutput j.k Mod? Testoutput j.k Code dev. of ref reparam. dev. of output reparam. Difference in Parametrizing absolute Differenzbildung Preprocessing: Standard Procedure lead to a reparametrization deviation larger than.5 - Differenzmatrixverfahren ===================== Comparison Results ================ Differences of original signals by absolute difference 1 diff ==================== Total Result: ======================== Comparison Method: absolute difference The signals differ more than maximal deviation: 1 MEval: ITPower Consultants

6 Infrastruktur: Testverwaltung, Ablaufsteuerung, Testdokumentation Testmodell x erzeugung Testoutput x.y Mod Testvektorgenerierung Testvektor x.y Code- /* pictrl */ #def i ne " dst ypes. h #def i ne G1 ( I nt 32) x voi d pictrl(uint16 r { I nt 16 e, S2, G_1, x1, UI nt 8 i ; e = ( I nt 16) ( r ef >> G_1 = (Int16)(((a> x1 = ( e >> 4) +x1; G_2 = (Int16)(((a> *u = G2 + G1; C Code generator MIL SIL PIL? Testoutput x.y Code AutomationDesk, MTest: dspace GmbH TargetLink TestSuite unter AutomationDesk/MTest Vision Die Testsuite für den wird unter AutomationDesk/MTest verfügbar gemacht. Sie stellt dem Anwender mehrere Bestandteile zur Verfügung Basis-Block-Testsuite von dspace Optimierungsregel-Testsuite (Ergebnis Dissertation. Hr. Stürmer) Custom-Model-Testsuite (hier kann der jeweilige Anwender aufwandsarm eigene e integrieren) Umsetzungsidee pro Bestandteil ein MTest Projekt Basis-Block-Testsuite Optimierungsregel-Testsuite Custom-Model-Testsuite

7 TargetLink TestSuite unter AutomationDesk/MTest: Genereller Aufbau Testmodelle Testsuitemodule TargetLink TestSuite unter AutomationDesk/MTest: Optimierungsregel-Testsuite (1) Testmodelle für Optimierungsregel #1 Rule_n_1 Rule_n_2 Rule_n_3 Testmodelle für Optimierungsregel #2 Testmodelle für Optimierungsregel #n

8 TargetLink TestSuite unter AutomationDesk/MTest: Optimierungsregel-Testsuite (2) Simulink (automatisch erzeugt, Dissertation I.Stürmer) zugehörige Testvektoren für 1% abdeckung (automatisch erzeugt, Reactis Tester) zugehörige Testvektoren für 1% Codeabdeckung (automatisch erzeugt, ET-Tool) Das Simulink- dient als Referenz für den C-Code: - sind die Systemreaktionen (Testoutputs) von und Code hinreichend ähnlich und - gibt es 1)- wie Code 2) -seitig eine ausreichende Strukturüberdeckung gilt der Test als erfolgreich und damit die zu testende Codegeneratortransformation als korrekt ausgeführt. 1) Messung mit SL-Coverage Tool in Verbindung mit MTest 2) Messung mit Code-Coverage-Komponente von TargetLink Fazit Bereitstellung von Komponenten für die Testsuite Optimierungen sind (potentiell) fehleranfällige Teile von Übersetzern und sollten daher systematisch geprüft werden testmethodisch fundierter Ansatz zur systematischen Prüfung der Optimierungen erzeugung aus Optimierungsregelbeschreibungen coverage-basierte Testvektorgenerierung für und Code robuster Signalvergleich Verfahren zur Testvektorgenerierung für beliebige Testmodelle Automatische Testauswertung für beliebige -/Codepaare Infrastruktur zur Testverwaltung, Ablaufsteuerung, Testdokumentation regressionsfähige TargetLink TestSuite unter AutomationDesk/MTest (MIL, SIL, PIL)

9 Literatur I. Stürmer, M. Conrad: Test Suite Design for Code Generation Tools. 18th IEEE Int. Conf. on Automated Software Engineering (ASE '3), Montreal, Canada Oct. 23 I. Stürmer, M. Conrad: Code Generator Testing in Practice. GI Jahrestagung, Workshop Software Engineering for Automotive Systems (SAES'4), Ulm, Sep. 24 I. Stürmer, M. Conrad: Code Generator Certification: A Testsuite-oriented Approach. Workshop Automotive - Safety & Security 24 - Sicherheit und Zuverlässigkeit für automobile IT, Stuttgart, Okt. 24 M. Conrad, I. Fey, H. Pohlheim: Automatisierung der Testauswertung für Steuergerätesoftware. 11. Int. Kongress "Elektronik im Kraftfahrzeug", Baden-Baden, Sep. 23 A. Baresel, M. Conrad, S. Sadeghipour: The Interplay between Model Coverage and Code Coverage. EuroSTAR 23, Kopenhagen, NL, Dec. 23 Dr.-Ing. Mirko Conrad Methods and Tools (REI/SM) Mirko.Conrad@DaimlerChrysler.com DaimlerChrysler AG Research and Techlogy Alt-Moabit 96 A D-1559 Berlin Phone +49-() Fax +49-() Ingo Stürmer Methods and Tools (REI/SM) Ingo.Stuermer@DaimlerChrysler.com DaimlerChrysler AG Research and Techlogy Alt-Moabit 96 A D-1559 Berlin Phone +49-() Fax +49-()