Design for Testability: Effizienzsteigerung für den gesamten Produktlebenszyklus

Transkript

1 Design for Testability: Effizienzsteigerung für den gesamten Produktlebenszyklus Markus Rentschler, Hirschmann Automation & Control Berlin,

2 Agenda 1. Motivation 2. Design for Testability 3. Produktlebenszyklus 4. Testaktivitäten im Produktlebenszyklus 5. Testarten im Produktlebenszyklus 6. Quantifizierung der Testkosten 7. ROI-Ermittlung 8. Lösungsansatz Design for System Testability Methodik Prozess 9. Fazit Rentschler, Markus: "Design for Testability - The Holistic Future of Testing?". In: Testing Experience (2011), 12, Nr. 16 2

3 Industrial Ethernet Produkte Field Level Switches IP67-Industrial Switches Control Level Switches Security FiberINTERFACES Wireless LAN Control Room Switches Backbone Switches Ruggedized Switches Network Management 3

4 In der Automatisierungspyramide 4

5 Design for Testability Definition DFT is a design characteristic that enables the diagnosis and/or test of a product to be accomplished easily, in a timely fashion, and cost effectively. Ziele - Kosten und Aufwand für das Testen und die Diagnose senken (und zwar in allen Lebenszyklusphasen) Vorgehensweise ALANEN, J. ; UNGAR, L.Y.: Comparing software design for testability to hardware DFT and BIST. In: AUTOTESTCON, 2011 IEEE, ISSN , S Technische Möglichkeiten aufzeigen Methoden definieren - Umsetzung erzwingen Prozesse definieren 5

6 Produktlebenszyklus Anforderungsanalyse Abnahmetest Produktion Wartung/Support Weiterentwicklung funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus 6

7 Testaktivitäten im Produktlebenszyklus Anforderungsanalyse Abnahmetest Produktion Wartung/Support Weiterentwicklung funktionaler Systemtest technischer Komponentenspezifikation Integrationstest Komponententest Tests Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus 7

8 Testarten Definitionen 1 Komponententest Test einer einzelnen Softwareeinheit Produktion Wartung/Support Anforderungsanalyse Abnahmetest funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Weiterentwicklung Entstehungszyklus Produktionszyklus Betriebszyklus Systemtest Test eines integrierten Systems, um sicherzustellen, das es spezifizierte Anforderungen erfüllt. Produktion Produktionszyklus Wartung/Support Betriebszyklus Anforderungsanalyse Abnahmetest funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Weiterentwicklung Regressionstest Erneuter Test eines bereits getesteten Programms bzw. einer Teilfunktionalität nach deren Modifikation mit dem Ziel, nachzuweisen, dass durch die vorgenommenen Änderungen keine Fehler eingebaut oder (bisher maskierte Fehler) freigelegt wurden. Anforderungsanalyse Abnahmetest Produktion Wartung/Support funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus [Spillner] Weiterentwicklung 8

9 Testarten Definitionen 2 Produktionstest Am Ende der Serienproduktion wird im Rahmen der Qualitätssicherung an jedem produzierten Gerät die Basisfunktionalität mittels in der Gerätesoftware implementierter Testroutinen getestet. Produktion Produktionszyklus Wartung/Support Betriebszyklus Anforderungsanalyse Abnahmetest funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Weiterentwicklung Anforderungsanalyse Abnahmetest Produktion Wartung/Support Weiterentwicklung Wartungstest In der Betriebsphase des Produkts werden aus folgenden Gründen Tests durchgeführt: -Im Rahmen einer Neuinstallation -Reguläre Wartungsarbeiten -Nach einer Betriebsstörung -Erneuter Test nach Fehlerbehebung (Nachtest) funktionaler Systemtest technischer Integrationstest Komponentenspezifikation Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus 9

10 Testkosten im Produktlebenszyklus Anforderungsanalyse Abnahmetest Produktion Wartung/Support Weiterentwicklung funktionaler Systemtest technischer Komponentenspezifikation Integrationstest Komponententest Tests Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus Gesamtkosten für Tests (pro Feature) c Gesamt = c KT + c ST + c PT + c WT 10

11 Wirtschaftlichkeitskennzahl Return on Investment (ROI) ROI = Einsparungen Investitionskosten Investitionskosten Ziele Testkosten über alle Lebenszyklusphasen hinweg ermitteln. Maßnahmen für Einsparungen ermitteln. Investitionskosten für die Einsparungen ermitteln. Nachweis eines signifikanten ROI (>>1). 11

12 Aufwand für einzelnen Test 12

13 Kostenfaktoren Testkostenbeeinflussende Faktoren Arbeitskosten (Arbeitszeit x Personalkostensatz) Infrastrukturkosten (Hardware, Software,...) 13

14 Wiederholungen im Lebenszyklus Development N = i * j * Y Maintenance + m * D Increment 2 j test cycles Increment 1 Increment i... Y variants m maintenance cycles Maintenance End of product life cycle D Deployments Entwicklungsphasen Wartungszklen 14

15 Kostenfaktoren Komponententest c KT = c TE,KT + n ( c TD,KT + c MD,KT ) System- & Regressionstest c ST = c TE,ST + m ( c TD,ST + c MD,ST ) Produktionstest Kosten für Testdurchführung j k n m >> 1 Automatisierung ist lohnend! c = c + PT TE, PT k( ctd, PT Wartungstest c WT = c TE,WT + j ( c TD,WT + c MD,WT ) ) c TE,xx Kosten für Testentwicklung c TD,xx Kosten für Testdurchführung c MD,xx Kosten für manuelle Diagnose n Anzahl der Komponententests (m-1) Anzahl der Regressionstests j Anzahl der Wartungstests 15

16 Lösungsanalyse - Testautomatisierung-Lösungen meist nur auf den Ebenen des Modulund Systemtests geeignet (nicht für Tests in der Produktions- und Betriebsphase) - Leistungsmessung und Fehlerdiagnose wird in den unterschiedlichen Testphasen meist mit jeweils unterschiedlichen Werkzeugen durchgeführt Können hier Synergien geschaffen werden? 16

17 Lösungsansatz - Das zu erahnende Einsparungspotenzial, das durch einheitliche Tests entstehen könnte, aufzeigen und beschreiben. - Aufbauend auf dem Entwurfsansatz Design for Testability (DfT) die Entwicklung des Ansatzes Design for System Testability (DfST) - Entwurfsmethoden für einheitliche Testansätze definieren - Im Entwurfsprozess diese Entwurfsmethoden verpflichtend machen 17

18 Einsparungspotenzial c Gesamt = c KT + c ST + c PT + c WT Einsparungspotenzial durch den DfST Ansatz: Die Testunterstützung muss nur noch einmal entwickelt werden Einsparung von bis zu drei Testentwicklungen Produktionstests sind oft bereits BISTD-Ansätze, werden jedoch nur in einer Phase genutzt Für alle Phasen nutzbar machen! Reduktion der Testzeiten geringere Testdurchführungskosten Bessere Diagnosefunktionen Reduktion der Diagnosekosten Reduktion der Durchführungszeiten erlaubt höhere Testrate Steigerung der Produktqualität weniger Wartungstests 18

19 Einsparungspotenzial? ROI >> 1? Investition ROI = Einsparungen Investitionskosten Investitionskosten -Höhere Kosten für BISTD-Testentwicklung Einsparungen -Weniger Testentwicklungen -Geringere Testdurchführungskosten -Reduktion der Diagnosekosten -Reduktion der MTTR 19

20 Technische Umsetzung von DfST? 20

21 Betrachtung der Systemarchitektur Technisches System Input Gerät 1 Gerät 2 Output Gerät 3 System-Ebene Testobjekt Testobjekt Input Technisches System Systemfeature Feature 1 Output Input Gerät Lokales Feature Feature 1 Output Feature 2 Feature 2 Feature n Feature n Blackbox-Ebene Testobjekt Whitebox-Ebene Feature n 21

22 Testbarkeitsanforderungen Technisches System oder Gerät Input PoC Feature 1 Feature 2 PoO Output Feature n Blackbox-Ebene Testobjekt Whitebox-Ebene Feature n PoC PoO Point of Control (PoC) Schnittstellen, über die das Testobjekt mit Testdaten versorgt wird Point of Observation (PoO) Schnittstelle, an der die Reaktionen und Ausgaben des Testobjekts beobachtet und aufgezeichnet werden 22

23 Testautomatisierung Normale Testautomatisierung Testautomatisierung Testobjekt Input PoC Feature 1 Feature 2 PoO Output Feature n Nur in den Entwicklungsphasen anwendbar 23

24 Built In (Self) Test and Diagnosis (1) Eingebaute Testautomatisierung 24

25 Built In (Self) Test and Diagnosis (2) Verteilt eingebaute Testautomatisierung Technisches System Gerät 1 Gerät 3 BISTD 1 Feature 1 BISTD 3 Feature 3 Input Gerät 2 Feature m Output BISTD 1 Feature 1 Feature 2 BISTD n Feature n 25

26 Verteiltes System Roundtrip Methode Roundtrip Methode SUT TA TA POO POC Sub-feature n.1 Sub-feature n.2 POC POO Populäres Beispiel: PING 26

27 Einsatzmöglichkeiten Für welche Tests ist der DfST-Ansatz geeignet? Validierung funktionaler Anforderungen Test von (Hardware-)Teilkomponenten in Embedded Systems Nicht funktionale Anforderungen (z.b. Performance) Regressionstest funktionaler Anforderungen 27

28 Einführung von DfST in den Entwicklungsprozess? 28

29 Produktentstehungszyklus Anforderungsanalyse Abnahmetest Fertigung Wartung/Support Weiterentwicklung Design Phase funktionaler technischer Komponentenspezifikation Systemtest Integrationstest Komponententest Programmierung Entwicklungszyklus Testzyklus Entstehungszyklus Produktionszyklus Betriebszyklus 29

30 Entwicklungsprozesse In der Design Phase keine Testbarkeitsanalyse PM LE/ST PL PM Project Manager LE Lead Engineer / Software Architect ST System Test Manager PL Project Leader CRS Customer Requirement Specification PSS Product Solution Study SAS System Architecture Specification 30

31 Neuer Produktentwicklungsprozess PM LE/ST PL Neue Design Phase PM LE/ST PL 31

32 DfST Elicitation & Management Einfache Toolunterstützung: 32

33 Fazit Design for System Testability ist ein vielversprechender systematischer Ansatz vor allem für mechatronische Systeme mit eingebetteter Software erlaubt die Entwicklung von gemeinsamen Testlösungen für Entwicklung, Systemtest, Wartung Umsetzung in bestehender Entwicklungskultur schwierig Management-Unterstützung notwendig Kompetenter System-/Software-Architekt als Treiber notwendig 33

34 Vielen Dank für Ihre Aufmerksamkeit! Fragen? 34