Best Practices zur Standardisierung von Testmetriken als Teilaspekt zur Erreichung von Automotive SPICE Level 3 [ASPICE 3.0]

Transkript

1 Best Practices zur Standardisierung von Testmetriken als Teilaspekt zur Erreichung von Automotive SPICE Level 3 [ASPICE 3.0] Max Hefke EDQ Lemförder Electronic GmbH 1

2 Agenda 1. Firmenportrait 2. Einführung / Motivation 3. Grundlagen 4. Best Practices zur Standardisierung 5. Standardisierte Testmetriken 6. Anwendung 2

3 Firmenportrait Lemförder Electronic GmbH (LE) 3

4 Lemförder Electronic GmbH Historie Historie 04/2000 Gründung der LE als Joint Venture zwischen ZF Lemförder Schaltungssysteme GmbH und HÜCO electronic GmbH 12/2002 Zertifizierung nach der ISO/TS16949 Fakten Umsatz 2014: ca. 62 Mio. ca. 280 Mitarbeiter Unternehmenssitz: Ostwestfalen 01/2004 Serienanlauf der ersten Industrieanwendung 03/2006 Serienanlauf des ersten mechatronischen Moduls 01/2008 Serienanlauf des ersten Steuergerätes mit SIL 2 10/2012 Automotive SPICE Level 2 Assessment 07/ % Tochter der ZF-Friedrichshafen AG 4

5 Lemförder Electronic GmbH Produktfamilien Produktfamilien Elektronik für Schaltungssysteme Elektronik für Lenksäulen/-räder Elektronik für Fahrzeugsitze 5

6 Einführung / Motivation 1) 6

7 Einführung / Motivation Für ENG.6 nach ASPICE PAM V2.5 [8] (Softwareerstellung) n OEM übergreifende Standardisierungen von Metriken (z.b. MISRA, HIS-Source Code Metriken) 7

8 Einführung / Motivation Für ENG.8 nach ASPICE PAM V2.5 [8] (Softwaretest) n OEM übergreifend keine Standardisierung vorhanden n Interne Vergleiche der Projekte durch stets wechselnde Testmetriken nicht möglich n Projektabhängige Erstellung der Testmetriken mit hohem Aufwand verbunden Hinweis: Im folgenden beschränkt sich die Definition der Testmetriken nur auf den SW-Test. 8

9 Einführung / Motivation Steigende Testkomplexität durch n Vernetzung neuer Sicherheitssysteme (Safety und Security) n Autonomes fahren n Elektromobilität Dies führt zu eine immer größer werdenden Anzahl von Softwareanforderungen n Mehr Softwareanforderungen à mehr Softwaretestfälle n Mehr Softwaretestfälle à komplexere Traceability-Matrix REQ. REQ. REQ. Testcase Testcase Testcase Testcase Testcase Testcase Testcase Testcase à Einen Ansatz zur Beherrschung dieser höheren Testkomplexität stellen standardisierte und automatisierte Testmetriken dar. 9

10 Einführung / Motivation Lösungsansatz und Vorteile von automatisierten und standardisierten Testmetriken für den Softwaretestprozess: n Minderung der Testkomplexität durch: Aufwandsersparnis für die Erfassung der Metriken und den Testreport Einheitliches Verständnis intern im Unternehmen und extern z.b. beim Lieferanten oder OEM Vergleichbarkeit der Testmetriken Überwachung und effiziente Steuerung des Testprozesses (IST/SOLL-Vergleich) n Projektübergreifende und stabile Auswertung der Testmetriken n Teilaspekt zur Erreichung von Automotive SPICE Level 3 3) 10

11 Grundlagen 2) 11

12 Grundlagen Metriken Metrik* n Griech. Zählung oder Messung n Allgemein: Eine Menge von Symbolen, Bezeichnungen oder Zahlen Testmetrik* n Verfahren als auch Größe selbst, mit denen bestimmte Eigenschaften von Messobjekten auf der Testebene vermessen werden n Erlauben quantitative Aussagen bezüglich Der Produktqualität Der Qualität des Testprozesses n Grundlage für eine transparente und nachvollziehbare Planung und Steuerung des Testprozesses * nach [1] 12

13 Grundlagen Metriken Äußere Metriken - Nach außen sichtbar (für Kunden, Stakeholder) - Dient zur Steuerung und Testfortschrittsüberwachung (z.b. Anforderungsabdeckung) - Auch abgeleitete oder zusammengesetzte Metriken genannt 5) Innere Metriken - Metriken, die nach außen nicht sichtbar sind (für TM, PL, SWPQ) - Meist einfache Zahlenwerte (z.b Anforderungen) - Dienen als Basis zur Zusammensetzung von äußeren Metriken - Auch Basis Metriken genannt 13

14 [2] 14

15 Grundlagen Automotive SPICE Zeitachse TR (Technical Report) ASPICE ISO ASPICE PAM V2.2, V2.3, V2.4 ASPICE PAM V2.5 ASPICE PAM V3.0 (Freigabe Juli 2015) Etablierung von standardisierten Testmetriken bei LE... ENG.8 Level 2 fully Unter Berücksichtigung V

16 Grundlagen Automotive SPICE 3.0 SWE.1 SW Requirements Analysis SWE.6 SW Qualification Testing SWE.2 SW Architectural Design SWE.5 SW Integration & Testing SWE.3 SW Detailed Design & Unit Construction SWE.4 SW Unit Verification In Anlehnung an [6] 16

17 Grundlagen Reifegradstufen nach Automotive SPICE Level 5: Optimizing PA 5.1 Process innovation PA 5.2 Process optimization Optimiert Kontinuierliche Verbesserung der Standard Prozesse und sofortige Anpassung in Projekte Level 4: Predictable PA 4.1 Process measurement PA 4.2 Process control Vorhersagbar Prozessdurchführung wird quantitativ gemessen und analysiert. Ermöglicht objektive Vorhersagen und sofortiges reagieren Level 3: Established PA 3.1 Process definition PA 3.2 Process deployment Etabliert Prozess wird definiert und in spezifischen Projekten genutzt/angepasst Level 2: Managed PA 2.1 Performance management PA 2.2 Work product management Geführt Prozess und dazugehörige Aktivitäten werden geplant. Verantwortlichkeiten sind klar definiert. Level 1: Performed PA 1.1 Process performance Intuitiv Prozess wird ohne Planung durchgeführt. Arbeitsergebnisse sind erkennbar. Level 0: Incomplete Durchführung der Basispraktiken und Resultate nicht erkennbar. 17

18 Grundlagen Elemente der Reifegradstufe 3 für den Softwaretest 18

19 Best Practices zur Standardisierung 4) 19

20 Best Practices Übersicht ASPICE Anforderungen analysieren Einheitliche Definitionen festlegen Testmetriken Existente Ansätze analysieren (unternehmensinterne Dokumentation, aktuelle Projekte, Literatur, ) OEM Anforderungen analysieren Kategorisieren ( optional / verpflichtend ) Standardisierte Testmetriken Automatisieren ASPICE Prozessdefinition 3.1 ASPICE Prozessanwendung Standardisierte und automatisierte Testmetriken Analysieren von zusätzlichen projektspezifischen / standortspezifischen Anforderungen Tailoring auf Basis der Kategorisierung Anwendung getailorte Projektmetriken

21 Best Practices Existente Ansätze analysieren ID Metrik Metrikkategorie Metriktyp 1 Definierter Testfälle 2 Durchgeführte Testfälle 3 Definierte sicherheitsrelevante Testfälle 4 Testfälle in Ordnung 5 Sicherheitsrelevante Testfälle nicht in Ordnung 6 Zahl automatisch ausführbarer Tests 7 Zahl automatisch ausgeführter Tests 8 Zahl automatisch ausführbarer sicherheitsrelevanter Tests 9 Zahl automatisch ausgeführter sicherheitsrelevanter Tests 12 Zahl Testfälle in Work 13 Zahl Testfälle in Review 14 Zahl Testfälle Agreed 15 Zahl sicherheitsrelevante Testfälle in Work 16 Zahl sicherheitsrelevante Testfälle in Review 17 Zahl sicherheitsrelevante Testfälle Agreed 18 Zahl positiver Tests 19 Zahl negativer Tests Auszug aus einem Satz von inneren Metriken, welche 2011 in einem LE internen Tool implementiert waren. Testfallbasierte Metriken Innere Metriken 21

23 Best Practices Automotive SPICE PAM V3.0 Anforderungen analysieren (Traceability) Auszug aus [2] 23

24 Best Practices Automotive SPICE Anforderungen analysieren (Reifegradstufen) Etabliert Testmetriken sind generisch und projektunabhängig standardisiert. Aussagen über den Testprozess können getroffen werden. Projektübergreifende Auswertungen können durchgeführt werden. Testmetriken werden automatisiert erfasst. Level 3: Established PA 3.1 Process definition PA 3.2 Process deployment Testmetriken: + Fehlerfindungsrate + Fehler Cluster Analyse TM- Cockpit: - Trendanalyse - Zielgerichtete Verbesserung Geführt Testmetriken sind projektabhängig, können aber Aussagen über das Projekt treffen. Testmetriken werden teilweise automatisiert erfasst. Testmetriken: + Restaufwand + Restbudget Level 2: Managed PA 2.1 Performance management PA 2.2 Work product management Intuitiv Testmetriken sind projektabhängig definiert. Testmetriken werden manuell erfasst Level 1: Performed PA 1.1 Process performance Testmetriken: - Prozessreife Level 1 - Testbarkeitsgrad - Anforderungsabdeckungsgrad - Produktreifegrad - Testfallspezifikationsgrad - Testautomatisierbarkeitsgrad - Testimplementierungsgrad - Fehlerstatus/Fehlertrend (- Produktreifegrad Safety) Die Bezeichnungen haben sich im Laufe der Standardisierung geändert 24

25 Best Practices Automotive SPICE Anforderungen analysieren (Reifegradstufen) Etabliert Testmetriken sind generisch und projektunabhängig standardisiert. Aussagen über den Testprozess können getroffen werden. Projektübergreifende Auswertungen können durchgeführt werden. Testmetriken werden automatisiert erfasst. Level 3: Established PA 3.1 Process definition PA 3.2 Process deployment Testmetriken: + Fehlerfindungsrate + Fehler Cluster Analyse TM- Cockpit: - Trendanalyse - Zielgerichtete Verbesserung Geführt Testmetriken sind projektabhängig, können aber Aussagen über das Projekt treffen. Testmetriken werden teilweise automatisiert erfasst Level 2: Managed PA 2.1 Performance management PA 2.2 Work product management Testmetriken: + Restaufwand + Restbudget Intuitiv Testmetriken sind projektabhängig definiert. Testmetriken werden manuell erfasst Level 1: Performed PA 1.1 Process performance Testmetriken: - Prozessreife Level 1 - Testbarkeitsgrad - Anforderungsabdeckungsgrad - Produktreifegrad - Testfallspezifikationsgrad - Testautomatisierbarkeitsgrad - Testimplementierungsgrad - Fehlerstatus/Fehlertrend (- Produktreifegrad Safety) Die Bezeichnungen haben sich im Laufe der Standardisierung geändert 25

26 Best Practices Automotive SPICE Anforderungen analysieren (Reifegradstufen) Etabliert Testmetriken sind generisch und projektunabhängig standardisiert. Aussagen über den Testprozess können getroffen werden. Projektübergreifende Auswertungen können durchgeführt werden. Testmetriken werden automatisiert erfasst. Level 3: Established PA 3.1 Process definition PA 3.2 Process deployment 2014 Testmetriken: + Fehlerfindungsrate + Fehler Cluster Analyse TM- Cockpit: - Trendanalyse - Zielgerichtete Verbesserung Geführt Testmetriken sind projektabhängig, können aber Aussagen über das Projekt treffen. Testmetriken werden teilweise automatisiert erfasst Level 2: Managed PA 2.1 Performance management PA 2.2 Work product management Testmetriken: + Restaufwand + Restbudget Intuitiv Testmetriken sind projektabhängig definiert. Testmetriken werden manuell erfasst Level 1: Performed PA 1.1 Process performance Testmetriken: - Prozessreife Level 1 - Testbarkeitsgrad - Anforderungsabdeckungsgrad - Produktreifegrad - Testfallspezifikationsgrad - Testautomatisierbarkeitsgrad - Testimplementierungsgrad - Fehlerstatus/Fehlertrend (- Produktreifegrad Safety) Die Bezeichnungen haben sich im Laufe der Standardisierung geändert 26

27 Best Practices Automotive SPICE Anforderungen analysieren (Elemente der Reifegradstufe 3, SW-Test) Elemente Reifegradstufe 3;; PA 3.1: PA Standardisierte Arbeitsprodukte - Standardisierte Infrastruktur - Definition der Schnittstellen zu anderen Prozessen - Definition der Testaktivitäten inkl. der VMI-Matrix Tailoring - Standardisiertes Rollenmodell - Standardisierte Testmetriken - Definition geeigneter Methoden zur Überwachung der Effektivität des definierten Testprozesses Prozessdefinition Prozessanwendung PA

29 Best Practices OEM Anforderungen analysieren Vorgabe Dokumente LSV s Anforderungsabdeckung Abdeckung der (System-) (Anzahl der mit mindestens einem Anforderungen Testfall abgedeckten durch die Testfälle Anforderungen/alle Anforderungen) konform zu Testspezifikation Definierte Übergabeberichte zu jedem Release ENG.1/2 (ASPICE PAM V2.5) ENG.8/10 (ASPICE PAM V2.5) ENG.8 (ASPICE PAM V2.5) Anforderungsabeckung (bezeichnet den Umfang der Abdeckung der Anforderungen durch spezifizierte Testfälle) 29

31 Best Practices Einheitliche Definitionen festlegen Abdeckung der Anforderungen in % SW- Anforderungsabdeckung Teststatus Anzahl der Anf. die durch einen Test abgedeckt sind Anforderungs -abdeckung Anforderungabdeckungsgrad Abdeckungsgrad Anzahl der abgedeckten Anforderungen 6) 31

32 Best Practices Einheitliche Definitionen festlegen Herleitung/Lösungsansatz n Anlehnung an den neuen Standard ISO , Beispiel Test coverage [3]: degree, expressed as a percentage, to which specified test coverage items have been exercised by a test case or test cases Prozentuale Darstellung einem oder mehreren Testfällen SW- Anforderungen Durchgeführte SW-Anforderungstestdurchführungsstatus* = Anzahl akzeptierter und testbarer SW- Anforderungen mit mindestens einem eingehen Link von einem ausgeführten Testfall dargestellt zu Gesamtzahl akzeptierter und testbarer SW-Anforderungen * Im Rahmen der Diskussionen sind einige Testmetrik Bezeichnungen verändert worden. 32

33 Best Practices Einheitliche Definitionen festlegen Prozentuale Darstellung 33

35 Best Practices Kategorisieren von Testmetriken Kategorisierung in 2 Typen n Mandatory Für jedes Projekt verpflichtend / mandatory anzuwenden n Optional Das Projekt kann entscheiden, ob diese Metrik angewendet wird Auszug aus Definition (SW-Anforderungstestbarkeitsanalysestatus) 7) n Standortübergreifende Standardisierung à kleinster gemeinsamer Nenner = mandatory 35

37 Standardisierte Metriken Softwaretest 8) 37

38 Standardisierte Testmetriken Vorbedingungen Testmetrik Testmetriken en Testfallspezifikation Anforderungsspezifikation Priorisierung Testfall Herleitung Rückverfolgbarkeit Testfallergebnis Rückverfolgbarkeit passed, failed In Anlehnung an [5] Vorbedingungen: n Analyse der Anforderungen Anforderungen können akzeptiert werden, wenn sie: ausreichend beschrieben sind, verständlich sind, im Kontext sinnvoll umsetzbar sind. Testbare Anforderungen sind vorhanden, wenn [4]: Testbedingungen festgelegt werden können, sich feststellen lässt, ob die Anforderung erfüllt ist. n Rückverfolgbarkeit 38

39 Standardisierte Testmetriken Innere Testmetriken Anzahl akzeptierter und testbarer SW-Anforderungen Gesamtzahl akzeptierter SW-Anforderungen Äußere Testmetrik SW-Anforderungstestbarkeitsanalysestatus Beispiel (Auszug aus DOORS): 39

40 Standardisierte Testmetriken Innere Testmetriken Anzahl akzeptierter und testbarer SW-Anforderungen mit mindestens einem eingehenden Link von einem Testfall Äußere Testmetrik SW-Anforderungstestspezifikationsstatus Gesamtzahl akzeptierter und testbarer SW- Anforderungen Beispiel (Auszug aus DOORS): 40

41 Standardisierte Testmetriken Übersicht Generische* Metriken (standortübergreifend) n (SW) - Anforderungstestbarkeitsanalysestatus ü n (SW) - Anforderungstestspezifikationsstatus ü n (SW) - Anforderungstestdurchführungsstatus n (SW) - Anforderungstestergebnisstatus Testfälle bereits (vollständig) durchgeführt? Wie ist der Status der Anforderungen? Sind alle spezifizierten und verlinkten Testfälle zur jeweiligen Anforderung vollständig passed? 41 n (SW) - Testfallergebnisstatus Wie ist der Status der Testfälle? Anzahl Testfälle passed, failed? * Generisch: auf eine andere Stufe (ENG.10, nach ASPICE 2.5) übertragbar

42 Standardisierte Testmetriken Übersicht Weitere Metriken (standortspezifisch) Wie viel Budget ist noch vorhanden? n Restbudget Welcher Aufwand ist noch zu leisten? 9) Restbudget Restaufwand n Restaufwand n Fehlerfindungsrate (DDP*) Wo wurden die Fehler gefunden? (Testing/Kunde) n Fehler-Cluster-Analyse Was ist die Ursache des Vorfalls? * In der Literatur oft als Defect Detection Percentage (DDP) bezeichnet [7] 42

44 Testreporting Automatische Generierung der standardisierten Testmetriken (Vereinfachte Darstellung) Extraktion der Daten aus DOORS Auslesen der relevanten Daten aus der Datenbank Einfügen der berechneten Daten in die vorgesehenen Platzhalter DOORS Fehlermanagementwerkzeug Datenbank Zwischen- Programm Testbericht Dokumentierung der Anforderungen, Testfälle, Ergebnisse und Vorfälle 44 Zwischenspeicherung der Metriken zugehörig zu den Testgruppen und Attributen Auswahl der Teststufe, Art des Berichtes, der Testgruppe, Musterphase und Baseline. Berechnung der Testmetriken - Status Testbericht - Stufen Testbericht - Master Testbericht

46 Standardisierte Testmetriken Voraussetzungen zur Anwendung der Testmetriken auf Reifegradstufe 3 Voraussetzungen n Standardisierte Testmetriken n Testmetriken werden in einer Datenbank abgelegt n Testmetriken werden projektübergreifend betrachtet Ziel: Die Effektivität des Testprozesses, auf der Basis von standardisierten Testmetriken, wird bewertbar. 46

47 Standardisierte Testmetriken Anwendung - Ziele werden identifiziert und festgelegt (z.b. 100% Anforderungsabdeckung für Safety-Anteile) - mandatory Testmetriken verwenden - optionale Testmetriken auswählen - Testaufwand planen Plan Do - Testausführung - Ausgewählte Testmetriken werden automatisiert erfasst - Testkosten planen - Optimierung z.b.: - Abdeckung erhöhen - Auslieferungstermin unverändert - Ressourcen aufstocken innerhalb des vorh. Budgets Act Check - Testfortschrittsüberwachung - Werden die Ziele eingehalten? - Ist der Restaufwand mit den vorhandenen Restbudget abgedeckt? - Testreporting 47

48 Quellenangaben Literaturhinweise 48 [1] Spillner, A. et al.;; Praxiswissen Softwaretest Testmanagement;; Heidelberg;; [2] Automotive SPICE Process Reference Model, Process Assessment Model;; VDA QMC Working Group 13 / Automotive SIG;; Version 3.0;; [3] ISO/IEC/IEEE ;; Software and System engineering Software testing;; Part 1 Concepts and definitions;; [4] German Testing Board;; Glossare;; April 2014;; URL: Datum des Abrufs: [5] software engineering heidelberg;; People Dipl.-Inf. Timea Illes-Seifert;; April 2015;; URL: Datum des Abrufs: [6] Bella, F.;; Präsentation: Automotive SPICE 3.0, 11th Workshop Automotive SPIN Italia;; Milan, 2013;; URL: Datum des Abrufs: [7] Van Ewijk A. et al.;; TPI NEXT Geschäftsbasierte Verbesserung des Testprozesses;; Heidelberg;; [8] Automotive SPICE Process Assessment Model;; Automotive SIG;; [9] IEEE 829;; Standard for Software and System Test Documentation;; [10] ISO/IEC/IEEE ;; Software and System engineering Software testing;; Part 3 Test documentation;; [11] Spillner, A.;; Linz, T.;; Basiswissen Softwaretest;; Heidelberg;; 2012.

49 Quellenangaben Abbildungen 1) 2) 3) 4) 5) 6) 7) 8) 9) 10) 49

50 Vielen Dank für Ihre Aufmerksamkeit 50 Lemförder Electronic GmbH behält sich sämtliche Rechte an den EDQ, gezeigten Best technischen Practices Informationen zur Standardisierung einschließlich der von Rechte Testmetriken, zur Hinterlegung Öffentlich von Schutzrechtsanmeldungen und an daraus entstehenden Lemförder Schutzrechten Electronic im In- und GmbH, Ausland vor Lemförder Electronic GmbH reserves all rights regarding the shown technical information including the right to file industrial property right applications and the industrial property rights resulting from these in Germany and abroad.

51 Backup 51

52 Standardisierte Testmetriken Reifegradstufe 3 Innere Testmetriken Anzahl der bestätigten Fehler des Testings (in einem festgelegten Zeitraum) Anzahl der bestätigten Fehler des Testings + bestätigte Fehler des Kunden (in einem festgelegten Zeitraum) Äußere Testmetrik SW-Fehlerfindungsrate* Wurden mehr Fehler beim Kunden, als in der Testabteilung gefunden? Projekt A à FFR = 82% Projekt B à FFR = 78% Projekt C à FFR = 80% Durchschnittlich ca. 20% aller Fehler wurden nicht von der internen Testing Abteilung, sondern vom Kunden entdeckt. 52

53 Standardisierte Testmetriken Reifegradstufe 3 Projekt A à DDP = 82% 18% Fehler vom Kunden Projekt B à DDP = 78% 22% Fehler vom Kunden Projekt C à DDP = 80% 20% Fehler vom Kunden 23% 10% 15% 7% 31% 8% 19% 48% 22% 56% 10% 51% SW-Testing Anforderungsmanagement SW-Design SW-Implementierung SW-Testing Anforderungsmanagement SW-Design SW-Implementierung SW-Testing Anforderungsmanagement SW-Design SW-Implementierung * Voraussetzungen: Ursache des Fehlers ist wählbar, Fehlermelder ist wählbar 53

54 Testreporting Umsetzung bei LE (Ampelsteuerung) Auszug aus Vorlage Testbericht LE: 54

55 Lemförder Electronic GmbH Entwicklungsprozess 55

56 Best Practices Automotive SPICE Anforderungen analysieren (Reifegradstufe 3) PA 3.2 Prozessanwendung fordert: n [ ] n GP 3.2.6: Erhebung und Analyse von Daten über die Durchführung des definierten Prozesses, um die Eignung und Effektivität des Prozesses nachzuweisen. 56

57 Arten von Metriken Metrik Kategorie Welche Arten von Metriken zur Überwachung des Testfortschritts lassen sich unterscheiden? n Fehlerbasierte Metriken: Anzahl gefundener Fehlerzustände bzw. erstellter Fehlermeldungen (pro Testobjekt) im jeweiligen Release, in Abhängigkeit der Fehlerklasse und des Fehlerstatus, ggf. bezogen auf Größe des Testobjekts (lines of code), Testdauer o.ä. Testmetriken werden in einer Datenbank abgelegt n Testfallbasierte Metriken Anzahl spezifizierter oder geplanter Tests, Anzahl blockierter Tests (z. B. wegen nicht beseitigter Fehlerzustände), Anzahl gelaufener, nicht Fehler aufdeckender Testfälle, Anzahl gelaufener Fehler aufdeckender Testfälle. n Testobjektbasierte Metriken Codeabdeckung, Dialogabdeckung, abgedeckte Installationsvarianten, Plattformen usw n Kostenbasierte Metriken Aufgelaufene Testkosten, vermutete Kosten-Nutzen-Relation des Testens usw. 57

58 Arten von Metriken Metrik Kategorie 58

59 Grundlagen Automotive SPICE 3.0 DRAFT [6] 59

60 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Testplanungsaufgaben beinhalten: [12] Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities end con control - Identifikation der Testziele - Festlegung/Bestimmung von Testvorgehensweise - Einzusetzende Testmetriken neben mandatory festlegen - Bestimmung des Umfangs - Bestimmung der Testorganisation, notwendigen Rollen und der Kommunikation der Teams, die am Testen beteiligt sind - Festlegung der Testumgebung - Festlegung von Testendekriterien - Test (Level) Plan - Master Test Plan 60

61 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities con control Teststeuerung Testaktivitäten werden beobachtet und überwacht: - Messung, Analyse und Bewertung der Ergebnisse - Überwachung und Dokumentation des Fortschritts, der Testabdeckung und der Testendekriterien - Initiierung von Korrekturmaßnahmen [12] end 61

62 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities con control Analyse und Design hat u.a. die folgenden Aufgaben: - Review der Testbasis (z.b. Anforderungen, Architektur, Entwurf, Schnittstellen) - Entwurf der Tests - Evaluierung der Testbarkeit der Anforderungen des Systems - Aufsetzen des Entwurfes der Testumgebung und der Identifikation der gesamten Infrastruktur und der Werkzeuge [12] end 62

63 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities con control Realisierung und Durchführung hat u.a. die folgenden Aufgaben: - Entwicklung und Priorisierung der Testfälle - Implementierung von (automatisierten) Testskripten - Manuelle oder automatisierte Ausführung der Testfälle gemäß der geplanten Reihenfolge - Protokollierung des Ergebnisses der Testausführung - Vergleich der tatsächlichen mit den erwarteten Ergebnissen [12] end 63

64 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities con control Bewertung Testendekritien und Testreporting: hat u.a. die folgenden Aufgaben: - Evaluierung von Testergebnissen und Testendekriterien - Überprüfen von Testprotokollen mit den Testendekriterien der Testplanung - Bewertung, ob weitere Tests benötigt werden - Erstellung eines zusammenfassenden Testberichts je Testzyklus [12] end 64

65 Standardisierte Testmetriken Anwendung nach dem fundamentalen Testprozess begin Test planning and Test analysis and design Test implementation and execution Evaluation exit criteria and reporting Test closure activities con control Abschluss der Testaktivitäten hat u.a. die folgenden Aufgaben: - Prüfung, ob die geplanten Ergebnisse geliefert wurden, Abschluss von Fehler- und Abweichungsberichten, - Abschluss und Archivierung der Testmittel, der Testumgebung und Testinfrastruktur für die spätere Wiederverwendung - Analyse der Lessons Learned zur Verbesserung von künftigen Projekten [12] end 65

66 Testreporting 10) 66

67 Testreporting Anforderungen aus Automotive SPICE (Basispraktiken SWE.6/ENG.8) Auszug aus ASPICE PAM 3.0 [2] Auszug aus ASPICE PAM 2.5 [8] 67

68 Testreporting Anforderungen (in Anlehnung an ISO/IEC/IEEE [10]) Testdurchführung Fehlerbericht Status Test Bericht ENG.6 Status Test Bericht ENG.10 Stufenspezifisch Stufen Test Bericht ENG.6 Stufen Test Bericht ENG.10 Mastertestbericht Stufenübergreifend 68

69 Testreporting Generische Umsetzung bei LE Verschiedene Perspektiven werden festgelegt Auszug aus Vorlage Testbericht LE 69

70 Testreporting Umsetzung bei LE (Auszug aus aktuellem Tool) 70

73 Testreporting Anforderungen Automotive SPICE Reifegradstufe 3 Auszug aus ASPICE PAM 3.0 [2] 73

74 Testreporting Dashboard 12% 9 8 Projekt A 88% DDP SW-Testfallergebnisstatus SW-Anf.- ergebnisstatus Projekt B 86% 14% DDP SW-Testfallergebnisstatus SW-Anf.- ergebnisstatus Projektübergreifende Analyse und Bewertung der Testmetriken zum besseren Verständnis 20% Projekt C 80% DDP SW-Testfallergebnisstatus SW-Anf.- ergebnisstatus Hinweis: Aufgrund der Vertraulichkeit werden hier keine internen Zahlen bekanntgegeben, es handelt sich lediglich um Beispielwerte 74