"VON A BIS Z": TESTAUTOMATISIERUNG FÜR FORTGESCHRITTENE IN DER PRAXIS. Dr. Roman Nagy

Größe: px

Ab Seite anzeigen:

Download ""VON A BIS Z": TESTAUTOMATISIERUNG FÜR FORTGESCHRITTENE IN DER PRAXIS. Dr. Roman Nagy"

Ernst Schuster
vor 5 Jahren
Abrufe

1 "VON A BIS Z": TESTAUTOMATISIERUNG FÜR FORTGESCHRITTENE IN DER PRAXIS Dr. Roman Nagy

2 SOFTWARE IM FAHRZEUG. 90% DER INNOVATIONEN DURCH SOFTWARE.

System Schaltzentrum Lenksäule Adaptive Cruise Control Digitale Diesel /Motor Elektronik 1 1-Achs- Luftfeder Park

A-Säule rechts Aktive Roll- Stabilisierung Digitale Diesel /Motor Elektronik 2 Bedienzentrum Mittelkonsole

Antennentuner Videomodul Navigationssystem Multi Media Changer Audio-CD Wechsler Kopfhörerinterface Türmodul

Sitzmodul Beifahrer hinten B-Säule links Sitz Fahrer Tür vorne links Security and Information Modul B-Säule links

Feststellbremse Adaptive Light Control Elektronische Dämpferkontrolle Drehratensensor (kein SG) Lichtschaltmodul

3 SOFTWARE IM FAHRZEUG. 90% DER INNOVATIONEN DURCH SOFTWARE. Body Domain Controller Diebstahlwarnanlage Anhängemodul Fahrzeugzentrum Mensch- Maschine- Interface Car Access System Schaltzentrum Lenksäule Adaptive Cruise Control Digitale Diesel /Motor Elektronik 1 1-Achs- Luftfeder Park Distance Control Audio System Kontroller Kombiinstrument Türmodul Fahrertür Türmodul Beifahrer A-Säule links A-Säule rechts Aktive Roll- Stabilisierung Digitale Diesel /Motor Elektronik 2 Bedienzentrum Mittelkonsole Reifendruckkontrolle Regensensor Bedienzentrum Mittelkonsole Fond Chassis Integration Module Schiebehebedach Antennentuner Videomodul Navigationssystem Multi Media Changer Audio-CD Wechsler Kopfhörerinterface Türmodul Fahrerseite hinten Sitzmodul Fahrer Sitzmodul Fahrer hinten Türmodul Beifahrerseite hinten Sitzmodul Beifahrer Sitzmodul Beifahrer hinten B-Säule links Sitz Fahrer Tür vorne links Security and Information Modul B-Säule links Sitz Beifahrer Tür vorne rechts Dynamische Stabilitätskontrolle Elektronische Getriebesteuerung Elektromech. Feststellbremse Adaptive Light Control Elektronische Dämpferkontrolle Drehratensensor (kein SG) Lichtschaltmodul Wischermodul Verstärker Spracheingabesystem Heckklappenlift Powermodul Sitz hinten Heizungsbedienteil Heizungsbedienteil (Fond) Controller Telefoninterface - Mehr als 120 Funktionen - Mehr als 2 Mio LOC - Ca. 80 SW-Entwickler

-Coverage Lasten -heft HiL-Tests SWC- Tests TestCase Application SWC1 SWC2 SWC4 SWC3 Req.

4 Unit Tests SWC Tests HIL Tests SOFTWARE TESTKONZEPT. 3-EBENEN. FIT LabCars Systemtests TestCase ECU Application RTE BSW Req.-Coverage Lasten -heft HiL-Tests SWC- Tests TestCase Application SWC1 SWC2 SWC4 SWC3 Req.-Coverage Lasten -heft Unit- Tests Autosar SWC TestCase Modul 01 Modul 02 CodeCoverage Modul 03 Jede Ebene adressiert eine andere Art von Fehlern. Nur durch Kombination der Methoden können Fehler effizient gefunden werden.

Test-Set ausführen Testlauf überwachen Rote Testfälle analysieren: SW Bug? Testfall veraltet? HW Problem?

5 TESTPROZESS. AUSFÜHRUNG UND ANALYSE. Testfall anlegen/anpassen Prepare Execute Analyse Report HiL-Station konfigurieren ECU flashen Kodierung aktivieren Test-Set auswählen Test-Set ausführen Testlauf überwachen Rote Testfälle analysieren: SW Bug? Testfall veraltet? HW Problem? Fehlerursachen identifizieren und dokumentieren JIRA-Tickets erstellen/anpassen Report für das Testmanagement erstellen Fehler aus der Prepare/Execute Phasen zeigen ihre Auswirkung meistens in der Analyse- Phase Viele rote Testfälle, die angeschaut werden müssen.

DEZENTRALE TESTAUTOMATISIERUNG. HIL TESTPLATZ.

Morgens manueller Merge der Ergebnisse zum

HW-Konfiguration des Testplatzes (Schalter)

Morgens kein Testreport vorhanden Aufwändiges

6 DEZENTRALE TESTAUTOMATISIERUNG. HIL TESTPLATZ. BDC HIL Testplatz Testobjekt I/O Ports Bus Kommunikation Typischer Ablauf: 1. Abends wird PDX generiert 2. Manuell geflasht auf alle Testplätze 3. Über Nacht automatische Testdurchführung 4. Morgens manueller Merge der Ergebnisse zum Testreport CAN Probleme: Falsche HW-Konfiguration des Testplatzes (Schalter) Eingefrorene Testfälle blockieren das System Morgens kein Testreport vorhanden Aufwändiges Mergen: Testreport zu spät Analyse der Fehlerursachen dauert fast den ganzen Tag Keine Zeit für neue Testfälle

7 TESTAUSFÜHRUNG UND ANALYSE. REDUZIERUNG DES MANUELLEN AUFWANDS UM 90%. Time to Last Ticket Prepare Execute Analyse Report Ziel: 90%

8 ZENTRALE STEUERUNG DER TESTAUSFÜHRUNG. ASIA ENTSTEHT. Automated Software Integration & Analysis Automatische Testablaufsteuerung: Holt Artefakte aus Repositories, Buildserver, Dateisystem, HiL Testfarm Testreport Überbrückt zeitweise Ausfälle Baut Testfall-Executables Konfiguriert und flasht Steuergeräte der Testfarm Verteilt Testfälle auf die Testfarm Sammelt Ergebnisse, generiert Testreport Für SiL und HiL Multiprojekt-fähig, hoch generisch Fehlertolerant gegenüber Partnersystemen

ZENTRALE STEUERUNG DER TESTAUSFÜHRUNG. ERSTE ERGEBNISSE. Prepare Execute Analyse Report Anzahl Testfälle. Anstieg 1.000 12.

9 ZENTRALE STEUERUNG DER TESTAUSFÜHRUNG. ERSTE ERGEBNISSE. Prepare Execute Analyse Report Anzahl Testfälle. Anstieg Anzahl gefundene Fehler Anzahl ausgeführte Testfälle pro gefundenen Fehler Anzahl analysierte rote Testfälle pro gefundenen Fehler Anzahl der Testfälle steigt an Die Ausführungszeit zu hoch Mehr Testfälle Analysezeit zu lang

10 LÖSUNGEN. Verbindung zum Ticket-System Root-Cause Analyse zum Nachhalten der bestehenden Causes Nicht wiederholt analysieren Intelligente Testauswahl Testfälle optimal selektieren Weniger ist mehr Analyse priorisieren Automatisches Identifizieren der Root-Causes Was sich lohnt zuerst

11 LÖSUNGEN. Verbindung zum Ticket-System Root-Cause Analyse zum Nachhalten der bestehenden Causes Nicht wiederholt analysieren Intelligente Testauswahl Testfälle optimal selektieren Weniger ist mehr Analyse priorisieren Automatisches Identifizieren der Root-Causes Was sich lohnt zuerst

VERBINDUNG ZUM TICKET-SYSTEM. NICHT WIEDERHOLT ANALYSIEREN.

Test-2345 Test-3782 Root-Cause für Build 18 noch zu beheben; vorerst keine

Fehleranalyse identifiziert den Root-Cause Tester erstellt Ticket an die

12 VERBINDUNG ZUM TICKET-SYSTEM. NICHT WIEDERHOLT ANALYSIEREN. Tests Gescheiterte Testfälle Build 17 Gescheiterte Testfälle Build 18 Test-2345 Test-3782 Root-Cause für Build 18 noch zu beheben; vorerst keine weitere Analyse nötig. Fehleranalyse identifiziert den Root-Cause Tester erstellt Ticket an die SW-Entwicklung Gescheiterte Tests werden mit Ticket verlinkt Zeigt, wo manuelle Aktion nötig/nicht nötig ist Keine wiederholte Analyse nötig solange das Ticket ungelöst ist

13 LÖSUNGEN. Verbindung zum Ticket-System Root-Cause Analyse zum Nachhalten der bestehenden Causes Nicht wiederholt analysieren Intelligente Testauswahl Testfälle optimal selektieren Weniger ist mehr Analyse priorisieren Automatisches Identifizieren der Root-Causes Was sich lohnt zuerst

14 INTELLIGENTE TESTAUSWAHL. KRITERIEN. Code Änderungen Zuordnung Steuergeräte-Software Test Geänderter Code muss getestet werden Tests die oft zwischen rot und grün gewechselt Tests haben oft Fehler gefunden Neue Funktionalität Neue Steuergeräte-Funktionalität wurde implementiert Zugehörige Tests müssen ausgeführt werden Historische Testergebnisse Test- Ticket Link Es gibt Ticket zur Fehlerbehebung Zugehörige Tests müssen nicht ausgeführt werden

15 INTELLIGENTE TESTAUSWAHL. ABLAUF. Entwicklungs-Artefakte Test Scheduler Test-Ausführung Test- Ticket Link Scheduling Historische Testergebnisse Test- Ergebnis Korrelation Code Änderungen Neue Funktionalität Abhängigkeits- Graph Priorisierter Testplan Tests für Basis- Funktionalität Abhängigkeits- Analyse

Code muss getestet werden Welcher Test durchläuft welchen Code?

16 INTELLIGENTE TESTAUSWAHL. AUSBLICK. Code Änderungen Zuordnung Steuergeräte-Software Test Geänderter Code muss getestet werden Welcher Test durchläuft welchen Code? Direkt auf dem Steuergerät messen! Vergleichen mit aktuellen Code-Änderungen Relevante Tests identifizieren

17 LÖSUNGEN. Verbindung zum Ticket-System Root-Cause Analyse zum Nachhalten der bestehenden Causes Nicht wiederholt analysieren Intelligente Testauswahl Testfälle optimal selektieren Weniger ist mehr Analyse priorisieren Automatisches Identifizieren der Root-Causes Was sich lohnt zuerst

Roter Bereich: Testergebnisse müssen analysiert werden. Ein Root-Cause durch genau einen Testfall identifiziert. Grüner Bereich: Testergebnisse i.o.

18 PRIORISIERUNG FÜR DIE ANALYSEREIHENFOLGE. ZUERST ANALYSIEREN WAS SICH LOHNT. 200 Tests Gelber Bereich: Testergebnisse brauchen nicht analysiert zu werden; Root-Causes wie rote Tests. Roter Bereich: Testergebnisse müssen analysiert werden. Ein Root-Cause durch genau einen Testfall identifiziert. Grüner Bereich: Testergebnisse i.o. Test 1 Test 2 Test 3 Test 4 Test 5 Test 6 Test 7 Test 8 Testfälle mit identischem Root-Cause X Testfälle mit identischem Root-Cause Y Testläufe Gruppieren der Testergebnisse nach möglichen Root-Causes Analyseaufwand deutlich reduziert Schnellere Rückmeldung an die SW-Entwickler

19 ZUSAMMENFASSUNG. ZAHLEN. Laufzeiteffizienz: Anzahl ausgeführte Tests für ein neues Jira-Ticket Analyseeffizienz: Anzahl analysierte rote Tests für ein neues Jira-Ticket

20 ZUSAMMENFASSUNG. ÜBERSICHT. Dezentrale Steuerung - Fehleranfällig Zentrale Steuerung + Deterministisch + Performant + Produktiv - Analyse skaliert nicht Intelligente Auswahl und Analyse + Nur die relevanten Tests + Schneller zum Ergebnis + Hohe Fehlerfindungsquote + Redundante Analyse vermieden + Schneller zum Bug-Ticket Prepare Execute Analyse Report

21 VIELEN DANK Q & A. roman.nagy@bmw.de

Ähnliche Dokumente

BMW Forschung u. Technik GmbH. 25th Anniversary of a Think Tank. ITDrive.

BMW Forschung u. Technik GmbH. 25th Anniversary of a Think Tank. ITDrive. Contents. Automotive electronics today. Automotive electronics vision. IT-Motive 2020. BMW Key. Multifunctional car key. More than