Testen von sicherheitskritischer Embedded Software mit frei verfügbaren Tools. - ein Erfahrungsbericht

Transkript

1 Testen von sicherheitskritischer Embedded Software mit frei verfügbaren Tools - ein Erfahrungsbericht Martin Mühlemann CSA Engineering AG, CH-4500 Solothurn

2 Ausgangslage Embedded-Firmware testen für ein Bahntechnik Projekt Sicherheits-Level 4 (SIL4) System Es kommen Normen ins Spiel (EN 50126, EN 50128, EN 50129) Wir haben uns zusammen mit dem Kunden entschieden, dies mit frei verfügbaren Tools zu realisieren 2

3 Agenda Was brauchen wir / Was wollen wir Eingesetzte Tools und deren Zusammenspiel Validierung der Tools Fazit 3

4 Was brauchen wir Was wollen wir

5 Von der Norm gefordert (EN 50128): Code Coverage: Statement, Branch, Compound Condition Bestimmen der Code-Coverage Testresultate dokumentieren Traceability sicherstellen Tools müssen validiert werden 5

6 Was wir wollen komfortabel arbeiten Tests auf dem Host ausführen so viel wie möglich automatisieren Features vom Testframework ausnützen (mit Mocks) Testresultate in Polarion importieren «nur machen was wir müssen» 6

7 Workflow Input: Zu testender Code Verarbeitung: Mocks generieren Source + Tests kompilieren Tests ausführen Code Coverage bestimmen Output: Test-Report (xunit XML zum importieren in Polarion) Coverage- Report 7

8 Eingesetzte Tools und deren Zusammenspiel 8

9 Ausgewählte Tools 9

10 GoogleTest/GoogleMock Google Test/Mock Testframework von Google Testframework für C++ mit entsprechenden Interfaces kann aber auch C-Code getestet werden 10

11 Code Generatoren Generieren der Wrapper- Code- Generator (Python) Generieren der Mocks Funktionen 11

12 gcovr GCOV gcovr GCOV: Profiler-Tool in GNU- Toolchain gcovr: Tool um Code Coverage zu visualisieren Generiert HTML oder XML Datei 12

13 GCC / make GCC Make (MSYS MinGW) Buildumgebung Compiler 13

14 Jenkins Continuous Integration-Server Führt die Builds aus (bei jedem Commit) Jenkins Führt die Tests aus Visualisiert Coverage (Cobertura Plugin) Stellt Artefakte (Testreport, Coverage Report) zum Download bereit 14

15 Polarion Polarion Application Lifecycle Management (ALM) Stellt Traceability sicher Polarion ist nicht ein freies Tool 15

16 Eclipse Eclipse IDE Tests werden in Eclipse implementiert 16

17 Zusammenspiel der Tools Google Test/Mock Jenkins Polarion Eclipse GCC Make (MSYS MinGW) Code- Generator (Python) GCOV gcovr 17

18 Buildprozess I/II Jenkins Make Generate Code Build Unit-Tests Execute Unit-Tests Coverage- Report Eclipse Test-Report Coverage Report Coverage Summary 18

19 Buildprozess II/II Coverage Report Test-Report Coverage Summary <<Import>> <<Import>> (semi-automatic) Jenkins Polarion 19

20 Import in Polarion 20

21 Integration in Jenkins 21

22 Tools validieren 22

23 Validierung der Tools Klassifizierung der Werkzeuge (EN 50128) Die Norm EN fordert: T1: erzeugt keine Ausgaben die direkt oder indirekt zum ausführbaren Code [ ] beitragen T2: unterstützt den Test oder die Verifikation des Entwurfs oder ausführbaren Codes, bei dem Fehler im Werkzeug zur Nicht-Erkennung von Fehlern führen können, jedoch in der ausführbaren Software keine Fehler direkt erzeugen können T3: erzeugt Ausgangsdaten, die direkt oder indirekt zum ausführbaren Code (einschließlich Daten) des sicherheitsrelevanten Systems beitragen 23

24 Validierung I Tool Klasse Art der Validierung Jenkins T1 Keine Validierung nötig Eclipse T1 Keine Validierung nötig 24

25 Validierung II Tool Klasse Art der Validierung Google Test/Mock T2 GoogleTest/GoogleMock ist ein bekanntes und bewährtes Tool Versions-History und Release-Notes sind vorhanden Es ist eine ausführliche Dokumentation vorhanden GCC Make (MSYS MinGW) T2 GCC ist ein sehr bewährter Compiler Dokumentation ist vorhanden 25

26 Validierung III Tool Klasse Art der Validierung GCOV gcovr T2 User-Guide vorhanden Eine Liste mit Bugs ist vorhanden (Bug-Tracker) Es gibt kaum Referenz-Projekte Code- Generator T2 Kein User-Guide / Dokumentation vorhanden Scripts müssen explizit getestet/validiert werden 26

27 Validierung IV Google Test/Mock Jenkins Polarion Eclipse Code- GCC Generator Make (Python) (MSYS MinGW) GCOV gcovr 27

28 Validierung IV Spezifischer Code und Testcases implementiert um die Funktion des Testframeworks zu testen (positiv- und negativ Tests) Review 28

29 Fazit 29

30 Fazit Es gibt viele gute Tools die frei verfügbar sind Die Qualität der Tools ist gut Es konnte ein Testframework zusammengestellt werden das die Anforderungen und Erwartungen erfüllt Tools mit hohem Bekanntheitsgrad haben eine fundierte Community, für quasi jedes Problem gibt es eine Lösung im Internet Zeitaufwand um die Tools zu integrieren darf man nicht unterschätzen bei einem gekauften Tool ist dieser Zeitaufwand aber auch nicht Null! 30

31 Fragen CSA Engineering AG Hans Huber-Strasse 38 CH-4500 Solothurn Fon: +41 (0) Fax: +41 (0) Web: Mail: 31