Prüfstands-Qualifizierung im Kontext der ISO 26262

Transkript

1 Optimierung der Realitätsnähe eines HiL-Prüfstands und Ermittlung nicht-funktionale Qualitätseigenschaften für elektronische Fahrzeugsysteme Prüfstands-Qualifizierung im Kontext der ISO Dominik Mader Christopher Robinson-Mallett Dr. C. Robinson-Mallett

2 Hardware-In-The-Loop Prüfstände Simulation und Prüfung im Verbund von Funktions-HW und -SW Simulations-HW und SW Kommunikationssystem Mess- und Testtechnik Beispiel eines Integrations-Prüfstand Konfigurationsmöglichkeiten HW/SW-Stände der Funktion HW/SW-Stände der Simulation HW/SW-Stände des Kommunikationssystems HW/SW-Stände der Mess- und Testtechnik Vernetzung Eignungsnachweis für sicherheitskritische Anwendung(2 zentrale Fragen) Ist der Prüfstand repräsentativ für das Zielsystem? Ist der Prüfstand fehlersensitiv? 2

3 Einsatz und Eignung von HiL-Prüfständen Eingabe dient Prüfung elektronischer Systeme (ES), einschl. Fahrassistenzsystemen (FAS) geteilte, knappe Ressource häufige und kurzfristige Änderungen in der Konfiguration Prüfstand ist deutlich komplexer und umfangreicher als zu prüfendes System Prüfstand ist von ähnlicher Komplexität und Umfang wie nachgebildetes elektronisches Verbundsystem im Kfz Eignungsnachweis ist sehr komplex und aufwändig Y HiL Ausgabe Y Kfz Theorie Eignung liegt vor, wenn immer Y HiL =Y Kfz gilt. Praxis Eignung liegt vor, wenn Y HiL hinreichend ähnlich zu Y Kfz, mit einer mindestens dem Anwendungsfall entsprechenden Zuverlässigkeit ist. 3

4 Eignungsnachweis Normative und gesetzliche Anforderungen Sorgfaltspflicht dient der Vermeidung unnötiger Risiken für andere und Haftung bei Fahrlässigkeit Einhaltung des Stand der Technik Gegenteil von Sorgfalt ist Fahrlässigkeit Einhaltung des Stand der Technik Normen und Vorschriften zum Eignungsnachweis von eingesetzten SW-Tools - IEC Abschnitt For each tool in class T3, evidence shall be available that the tool conforms to its specification or documentation. - RTCA / DO 178B Qualification of a tool is needed when processes of this document are eliminated, reduced, or automated by the use of a software tool without its output being verified as specified in section 6. - EU GMP Annex 11 decisions on the extent of validation ( ) should be based on a justified and documented risk assessment of the computerised system. - ISO 26262, Abschnitt The relevant software tool use-cases shall be analysed and evaluated to determine the possibility that a safety requirement ( ) is violated if the software tool is malfunctioning or producing erroneous output Stand der Technik (lt. DIN EN 45020:2006) "... entwickeltes Stadium der technischen Möglichkeiten zu einem bestimmten Zeitpunkt, soweit Produkte, Prozesse und Dienstleistungen betroffen sind, basierend auf entsprechenden gesicherten Erkenntnissen von Wissenschaft, Technik und Erfahrung 4

5 Konzept zum Eignungsnachweis von HiL-Prüfständen Back-to-Back Test (Identische) Ausführung identischer Eingabedaten auf Fahrzeug und HiL Vergleich der Ausgabedaten von Fahrzeug und HiL Behandlung großer Datenmengen Statistische Maße verdichten Messdaten Statistische Werkzeuge liefern hinreichend zeitnahe Ergebnisse Test-Ausführung Kleinste Unterschiede der Testausführung bewirken oft große Veränderungen in den Ausgaben Test-Automation empfohlen 5

6 Anwendungskonzepte Regressionstest HiL vs. HiL Vergleich verschiedener Konfigurationen eines Prüfstands Prüfung von Konfigurationsvarianten Eignungstest vor Testdurchführung Back-to-Back Test HiL vs. HiL Vergleich verschiedener HiL-Prüfstände Abgleich mehrerer Prüfstände Prüfung von Prüfstandsvarianten Referenztest Vergleich HiL-Prüfstand vs. Fahrzeug Kalibrierung des Prüfstands Eignungsnachweis Tag 1 Tag 2 Tag 3 Konf A Konf B Konf A Prüfstand 1 Prüfstand 1 Prüfstand 1 T Y 1 Y 2 Konf A Konf A Prüfstand 1 Prüfstand 2 Y 1 Y 2 Konf A Prüfstand Konf A Fahrzeug 6 Y 1 Y 2

7 MESSINA Kamera-HiL Prüftstandsaufbau Hardware 1 - Echtzeitrechner 2 - Simulations PC 3 - Black Box 4 - Bildschirm 5 - Optischer Controller Software Windows, RTOS MESSINA Simulations-SW Einsatzzweck Funktionale Tests von kamerabasierten FAS Nicht-funktionale Tests nur eingeschränkt sinnvoll 7

8 Nutzen und Grenzen des Kamera-HiL Frühe, automatisierte Ausführung von funktionalen Tests in einer virtuellen, idealisierten Umgebung Abschätzung der Erkennungsrate im Feldeinsatz nur eingeschränkt sinnvoll und möglich Keine realen Umweltbedingungen und Störgrößen nachgebildet Keine umgebungsspezifischen Verteilungen und Abfolgen von Verkehrsschildern Akzeptierte Fehler des Prüfstands verschlechtern Messergebnisse 8

9 Ansätze zur Verbesserung der Realitätsnähe Videoaufnahmen realer Fahrszenarien Umweltbedingungen und Störgrößen z.b. Niederschlag, Verwitterung, Blendung Szenarien werden ausgewählt, verdichtet und attributiert Aufnahmen liefern empirische Daten zu Verteilung und Abfolgen von Verkehrsschildern Modellbasiertes, statistisches Testen Modellierung von statistischen Verteilungen und Abfolgen der Verkehrsschildtypen mittels Markowketten Automatische Testfallgenerierung mittels stochastischem Prozess Statistische Testdatenauswertung 9

10 Erweiterter MESSINA Kamera-HiL Prüftstands-Erweiterungen Unveränderte Hardware Software-Erweiterungen 6 - Video-DB 7 - Statistisches Testmodul Einfahren von Videorohdaten mittels HD-Kamera Aufbereitete Videodaten werden in DB vorgehalten Statistisches Testmodul Stochastische Testfallgenerierung Statistische Auswertung Kamera 1 10

11 Beispiel eines statistischen Testmodells für Autobahnfahrten Markowkette Mealy-Automat Wahrscheinlichkeitsbewertungen Mealy-Struktur Auf Schild folgt Aufhebung Abhängigkeiten in der Schildfolge erst in erweitertem Modell Operationales Profil Wahrscheinlichkeiten basieren auf den aus Szenarien-DB ermittelten Schildverteilungen Profile für Überland und Stadtfahrt in Entwicklung 11

12 Beispiel statistisches Testen Testfallgenerierung Zufallsexperiment Wahrscheinlichkeiten bestimmen Folgezustände Auswahl aus Video-DB erfolgt entsprechend Zustandsabfolge Ergebnisauswertung Fehlermodell 0 - Schild nicht erkannt 1 - Schild erkannt Statistische Analysen Spezifisch für Schildtypen, Schildzustand Umweltbedingungen, Lichtverhältnisse, Fahrzustand,... Prognose der zu erwartenden Feldfehlerraten HiL C1 HiL C2 Testdata 1 98,81 % 99,60 % Testdata 2 84,40 % 86,00 % Testdata 3-99,80 % 12

13 Ergebnisse und Validation Back to Back Ansatz * Prüfstand vs. Prüfstand Testdatensätze 1: Auswahl Videodaten mit hoher Detektionsrate 2: Zufallsauswahl Videodaten aus Modell 3: Virtuelle Szenarien HiL-Prüfstände C1: Prototypischer Controller C2: Seriencontroller Ergebnisse Felderkennungsrate 0,84 R C1 0,99 Felderkennungsrate 0.86 R C2 0,99 HiL C1 HiL C2 Testdaten 1 98,81 % 99,60 % Testdaten 2 84,40 % 86,00 % Testdaten 3 99,30% 99,80 % R R max R min 1 C1 C2 * C. Robinson-Mallett, H. Heers, Qualifizierung der Konfiguration eines Integrations-HiL zum Nachweis einer Fahrerassistenzfunktion im Kontext der ISO 26262, VDI Tagung Elektronik im Kfz, Baden-Baden,