Agentenbasiertes Testmanagement beim Systemtest

Transkript

1 Universität Stuttgart Institut für Automatisierungs- und Softwaretechnik Prof. Dr.-Ing. Dr. h. c. P. Göhner Agentenbasiertes Testmanagement beim Systemtest Christoph Malz VDI-Expertenforum Agenten in der Automatisierungstechnik 04./05. Oktober IAS, Universität Stuttgart 1

2 Motivation ix-studie Software-Testmanagement (2006) Zahlen aus der ix-studie: Ca. 84,4 Mrd. umfassen die geschätzten jährlichen Verluste durch Softwarefehler in Mittelstand- und Großunternehmen in Deutschland Umfrage unter Managern dieser Unternehmen für die ix-studie: Über 68% sind der Meinung, dass zu viele Produkte ohne ausreichendes Testen in Betrieb gehen 78 % hätten gern mehr Zeit für das Testen, damit neue Produkte die Kunden- und Marktanforderungen besser erfüllen können Wichtige geforderte Maßnahme in der ix-studie: Testen an den richtigen Stellen Dieses Forschungsthema trägt zu dieser Maßnahme bei: Automatisierung und Optimierung der Priorisierung von Testfällen, um an den richtigen Stellen zu testen 2

3 Gliederung Überblick über das Adaptive Testmanagementsystem Agentenbasierte Priorisierung von Testfällen Aufbau des Gesamtsystems und Beispiel Zusammenfassung und Ausblick 3

4 Testprozess Teststeuerung Testplanung Testspezifikation Testausführung Testauswertung Testplanung: Priorisierung der Testfälle Neue und sich ändernde nach jedem Testzyklus: Rückmeldungen vom Test Updates von der Entwicklung Menschliche Faktor Teststeuerung notwendig : Anpassung der Priorisierung 4

5 Aktuelle Problematik und Vision Aktuelle Problematik Passive Unterstützung von Testplanung und steuerung durch Testmanagementwerkzeuge Keine konstruktive Unterstützung der Testplanung Oft intuitive Bestimmung der Testfallprioritäten Keine aktive und kontinuierliche Teststeuerung Keine systematische Reaktion auf dynamische Ereignisse Unsere Vision aus dem Test aus der Entwicklung Menschliche Faktor über Ressourcen Adaptives Testmanagementsystem Testspezifikation Testausführung Testauswertung 5

6 Adaptives Testmanagementsystem Adaptive Testfallpriorisierung beim Systemtest Ziel: Anzahl aufgedeckter Fehler erhöhen Aktuelle Testgüte Adaptives Testmanagementsystem (ATMS) Priorisierung von Testfällen Anpassung der Priorisierung aufgrund dynamischer Priorisierte Testfälle Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) 6

7 und Testfälle beim Systemtest Systemtest: Test eines integrierten Softwaresystems Aktuelle Testgüte ATMS Priorisierte Testfälle Softwaresystem: Eine Zusammenstellung von Softwaremodulen, um eine Menge von Systemfunktionen zu erfüllen Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TE 1 TE 4 Softwaremodul Testeinheit (TE) Softwaresystem TE 2 TE 3 Modulfunktionen : Testeinheiten und ihre Beziehungen Eigenschaften einer Testeinheit Testfälle beim Systemtest: Test der Systemfunktionen Testfall (TF) TF 1 TE 1 TE 4 : Testfälle und ihre Beziehungen zu den Testeinheiten Eigenschaften von Testfällen TE 2 TE 3 TF 2 7

8 Aktuelle Testgüte Summe aufgedeckter gewichteter Fehler = n i= 1 Anzahl _ Fehler Schwere * Gewichtung i Schwere i n: Anzahl der Fehlerschwerestufen Aktuelle Testgüte ATMS Priorisierte Testfälle Bewertung der Testgüte: Fehlerentdeckungsgrad = [SRWL08] Summe aufgedeckter gewichteter Fehler im Test Summe aufgedeckter gewichteter Fehler gesamt Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) Alternative Bewertung der Testgüte: Aus Test und Betrieb Abschätzung durch Umfangs- und Komplexitätsmetriken Testeffektivität: [SRWL08] Anzahl aufgedeckter gewichteter Fehler pro Testfall Summe aufgedeckter gewichteter Fehler / Anzahl ausgeführter Testfälle Testeffizienz: [SRWL08] Anzahl aufgedeckter gewichteter Fehler pro Zeiteinheit Summe aufgedeckter gewichteter Fehler / Testzeit 8

9 Adaptive Priorisierung Aktuelle Testgüte ATMS Priorisierte Testfälle Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) Aktuelle Testgüte Änderungsaufträge ATMS Priorisierte Testfälle Testobjektänderung Fehlerdaten Testausführung Dynamische Status der Testfälle, Fehlerdaten Änderungen, Faktor Mensch Durchlauf durch den Testprozess (Testzyklus) Fehlerkorrektur- und Änderungsaufträge Korrektur der Fehler und Umsetzung der Änderung Test der neuen Version notwendig Anpassung der Testfallpriorisierung unter Berücksichtigung der dynamischen 9

10 Gliederung Überblick über das Adaptive Testmanagementsystem Agentenbasierte Priorisierung von Testfällen Aufbau des Gesamtsystems und Beispiel Zusammenfassung und Ausblick 10

11 Ansatz der Priorisierung der Testfälle Ansatz: Aktuelle Testgüte Priorisierung aus der Perspektive der Testeinheiten und Testfälle Vertretung von Testeinheiten und Testfällen durch Softwareagenten ATMS Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) Priorisierte Testfälle TE 1 Testeinheit- Agent 1 TF 1 Testfall- Agent 1 Aktuelle Testgüte Agent 1 Agent 2 Priorisierte Testfälle Agent 3 Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) 11

12 Testeinheit Agent: Bestimmung der Testwichtigkeit einer Testeinheit (1) Testwichtigkeit (TW): Wie wichtig ist es die Testeinheit im nächsten Testzyklus zu testen? zur Bewertung der Testwichtigkeit Basisinformationen, z.b.: Kritikalität der Testeinheit Dynamische, z.b.: Änderungen (Anzahl und Art) in der Testeinheit Faktor Mensch (Belastung und Erfahrung der Entwickler der Testeinheit) TE 1 TW 1 Dynamische bezüglich anderer Testeinheiten, z.b.: Berücksichtigung von Seiteneffekten von Änderungen über lokale Änderungen in abhängigen Testeinheiten Änderung Aufruf TE 2 TE 1 12

13 Testeinheit Agent: Bestimmung der Testwichtigkeit einer Testeinheit (2) Testeinheit-Agent 1 TE 1 Wissen Ziel Fähigkeiten Umgebung Verhalten Wahrnehmung Beeinflussung Testmanagementdatenbanken Testeinheit- Agent 2 Umgebungsmodell Ziel: Erhöhung der Testgüte Verhalten: Erfassung der aus der Umgebung Evaluierung der Schlussfolgerung treffen : zur Bestimmung der Testwichtigkeit Umgebungsmodell Kenntnis über Beziehungen zu Testeinheit-Agenten Fähigkeiten: Sammlung, Ableitung (z.b. Belastung des Entwicklers) und Weitergabe relevanter Bestimmung der Testwichtigkeit Wissen Regeln, um Schlussfolgerungen aus den zu treffen 13

14 Testeinheit Agent: Bestimmung der Testwichtigkeit einer Testeinheit (3) Unscharfes Expertenwissen als verbal formulierte Regeln verfügbar Bestimmung der Testwichtigkeit ist keine einfache Ja/Nein-Entscheidung Aus Indikatoren abgeleitete Bewertung ist immer mit Unsicherheiten behaftet Fuzzybasiertes Regelwerk bietet eine gute Möglichkeit solche unscharfen menschlichen Bewertungsmaßstäbe, Denkmuster und Schlussfolgerungsabläufe nachzubilden Regelbasis Anzahl Änderungen Belastung der Entwickler Kritikalität e1 ex WENN... DANN... WENN... DANN... WENN... DANN... Testwichtigkeit en Regelwerkauszug: Fuzzifizierung Inferenz Defuzzifizierung WENN Anzahl Änderungen ist hoch DANN Testwichtigkeit ist sehr hoch WENN Anzahl Änderungen ist mittel DANN Testwichtigkeit ist hoch WENN Anzahl Änderungen ist niedrig DANN Testwichtigkeit ist mittel WENN Entwicklerbelastung ist hoch DANN Testwichtigkeit ist hoch 14

15 Testfall Agent: Bestimmung der lokalen Prioritäten eines Testfalls (1) TF 1 LP 11 TE 1 LP 21 TF 2 LP 12 TE 2 Lokale Priorität (LP): Priorität eines Testfalls bezogen auf eine Testeinheit zur Bewertung der lokalen Priorität: Basisinformationen, z.b.: Anzahl überdeckter Funktionen Dynamische, z.b.: Status des Testfalls Anzahl aufgedeckter Fehler Dynamische bezüglich Testeinheiten, z.b.: Änderungen der Testeinheit 15

16 Testfall Agent: Bestimmung der lokalen Prioritäten eines Testfalls (2) Testfall-Agent [Wag08] TF 1 Wissen Ziel Fähigkeiten Umgebung Verhalten Umgebungsmodell Wahrnehmung Beeinflussung Test managementdatenbanken Testeinheit- Agent 1 Ziel: Erhöhung der Testgüte Verhalten: Erfassung der aus der Umgebung Evaluierung der Schlussfolgerung treffen : zur Bestimmung der lokalen Priorität Umgebungsmodell Kenntnis über Beziehungen zu Testeinheit-Agenten Fähigkeiten: Sammlung und Ableitung (z.b. Abdeckung von Änderungen) relevanter Bestimmung der lokalen Priorität Wissen Regeln, um Schlussfolgerungen aus den zu treffen Fuzzybasiertes Regelwerk 16

17 Testfall Agent: Bestimmung der globalen Priorität eines Testfalls GP 1 TF 1 LP 12 LP 11 TE 2 TW 1 TE 1 LP 21 TF 2 GP 2 GP 1 GP 2 = = ( LP * TW ) + ( LP * TW ) 11 1 TW 1 + TW 12 ( LP * TW ) + ( 0* TW ) 21 TW TW TW 2 Global Priorität: Priorität des Testfalls im Vergleich zu allen anderen Testfällen des Systems zur Bestimmung der globalen Priorität : Lokale Prioritäten Testwichtigkeiten Testfall- Agent 1 TW 1 Testeinheit- Agent 1 Global Priorität = Gewichteter Mittelwert der lokalen Prioritäten TW 2 Testeinheit- Agent 2 = GP x n LPxiTW Gewichtungsfaktor i i= 1 = TW 0 n i i= 1 TW i n = Anzahl der Testeinheiten 17

18 Zusammenfassung des Priorisierungsablaufs Aktuelle Testgüte Änderungsaufträge Bestimmung Testwichtigkeit Bestimmung Lokale Priorität Bestimmung Globale Priorität Priorisierte Testfälle Testobjektänderung Fehlerdaten Testausführung Dynamische Status der Testfälle, Fehlerdaten Änderungen, Faktor Mensch 18

19 Gliederung Überblick über das Adaptive Testmanagementsystem Agentenbasierte Priorisierung von Testfällen Aufbau des Gesamtsystems und Beispiel Zusammenfassung und Ausblick 19

20 Aufbau des Gesamtsystems Testmanager ATMS Agent 1 Agent 2 Priorisierte Testfälle Änderungsmanagementdatenbank Architekturmodel Testmanagementdatenbank Fehlerdaten Fehlerdaten über Änderungen Fehlermanagementdatenbank Tester, Entwickler 20

21 Beispiel - Szenario Softwaresystem bestehend aus 3 Komponenten als Testobjekt 4 Testfälle vorhanden Testobjekt: Automatisierungssoftwaresystem Testfälle: TF 1 Regler UI TF 2 TF 3 Datenerfassung TF 4 21

22 Beispiel - Aktuelle Testgüte TE 1 TE 2 ATMS Priorisierte Testfälle Regler UI Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) Fk Fl Kritikalität = 9 Erfahrung =2 Fm Kritikalität = 1 Erfahrung =8 TE 3 Datenerfassung Kritikalität = 5 Erfahrung =5 über das Testobjekt aus dem Architekturmodell: Vorhandene Testeinheiten Aufrufbeziehungen zwischen den Testeinheiten Funktionen einer Testeinheit Kritikalität einer Testeinheit (Skala: 0 bis 10 (hoch)) Erfahrung des / der Entwickler einer Testeinheit (Skala: 0 bis 10 (hoch)) 22

23 Beispiel - Dynamische Aktuelle Testgüte ATMS Priorisierte Testfälle Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TE 1 Regler TE 2 UI 3 kritische Fehler 10 leichte Fehler Fk Fl Änderungen Anzahl gewichteter Fehler = 0 Anzahl Änderungen = 0 Belastung = 0 Fm Anzahl gewichteter Fehler = 3 * * 2 = 44 Anzahl Änderungen (Change Requests) = 10 Belastung = 3 Änderungen pro Tag TE 3 Datenerfassung Anzahl gewichteter Fehler =0 Anzahl Änderungen = 7 Belastung = 2 Änderungen pro Tag über das Testobjekt aus der Fehlermanagementdatenbank: Gewichtete Fehler in einer Testeinheit über das Testobjekt aus der Änderungsmanagementdatenbank: Änderungen in einer Testeinheit 23

24 Beispiel - Bestimmung der Testwichtigkeit Aktuelle Testgüte TE 2 UI ATMS Priorisierte Testfälle Fl Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) Fm Anzahl gewichteter Fehler = 44 Anzahl Änderungen = 10 Belastung = 3 Änderungen pro Tag TE 2 Agent Änderungen TE 3 Agent TE 3 Datenerfassung Anzahl Änderungen = 7 Kritikalität = 1 Regelbasis Erfahrung = 8 Fehler = 44 WENN... DANN... WENN... DANN... WENN... DANN... TW 2 = 8,2 Änderungen = 10 Belastung = 3 Abh. Änderungen = 7 Fuzzifizierung Inferenz Defuzzifizierung 24

25 Beispiel - über die Testfälle TF 1 TF 2 Aktuelle Testgüte ATMS Priorisierte Testfälle Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TE 1 TE 2 Regler UI Fk Fl Anzahl überdeckter Funktionen = 1 TF 4 TF 3 Fm TE 3 Datenerfassung Anzahl überdeckter Funktionen = 1 aus der Testmanagementdatenbank: Vorhandene Testfälle Aufgerufene Funktionen einer Testeinheit bei Ausführung eines Testfalls 25

26 Beispiel - Dynamische Aktuelle Testgüte TF 1 TF 2 ATMS Priorisierte Testfälle Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TE 1 TE 2 Regler UI Fk Fl Aufgedeckte gewichtete Fehler = 7 TF 4 TF 3 Fm Status = gelaufen TE 3 Datenerfassung Aufgedeckte gewichtete Fehler = 0 aus der Testmanagementdatenbank: Status eines Testfalls (z.b. nicht gelaufen, gelaufen, fehlgeschlagen, ) Aufgedeckte Fehler in einer Testeinheit 26

27 Beispiel - Bestimmung der lokalen Prioritäten Fl TE 2 UI Aktuelle Testgüte ATMS Priorisierte Testfälle Fm TF 3 Aufgedeckte gewichtete Fehler = 7 TE 2 Agent TE 3 Agent Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TE 3 Datenerfassung Status = gelaufen Änderung von F2 TF 3 Agent Änderung von F2 Regelbasis Anzahl überdeckter Funktionen = 1 WENN... DANN... Status = gelaufen Aufgedeckte gewichtete Fehler = 7 WENN... DANN... WENN... DANN... LP 32 = 8,9 Überdeckung geänderter Funktionen = 1 Fuzzifizierung Inferenz Defuzzifizierung 27

28 Beispiel - Bestimmung der globalen Prioritäten TE 1 Agent TE 2 Agent TE 3 Agent Aktuelle Testgüte ATMS Priorisierte Testfälle TW1 = 4,4 TW 2 = 8,2 TW3 = 7,1 Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TF 3 Agent LP 32 LP 33 = 8,9 = 7,6 GP 3 = ( LP * TW ) + ( LP * TW ) 32 TW TW TW 3 3 (8,9 * 8,2) + (7,6 * 7,1) = = 6,5 4,4 + 8,2 + 7,1 28

29 Beispiel - Priorisierungsergebnis GP1 = 1,3 GP2 = 0,8 Aktuelle Testgüte ATMS Priorisierte Testfälle TF 1 TF 2 Dynamische (z.b. Fehlerdaten, Änderungen, Belastung der Entwickler) TW 1 TE 1 Regler TE 2 = 4,4 TW 2 = 8,2 UI Fk Fl TF 4 Fm TF 3 GP 4 TE 3 = 4,0 GP 3 = 6,5 Datenerfassung TW 3 = 7,1 29

30 Gliederung Überblick über das Adaptive Testmanagementsystem Agentenbasierte Priorisierung von Testfällen Aufbau des Gesamtsystems und Beispiel Zusammenfassung und Ausblick 30

31 Zusammenfassung und Ausblick Zusammenfassung Priorisierung aus der Perspektive von Testeinheiten und Testfällen Vertretung von Testeinheiten und Testfällen durch Agenten Fuzzybasiertes Regelwerk zur Einbeziehung von unscharfem Expertenwissen Kooperation von Agenten zur Beschaffung von zur Priorisierung Ziel: Anzahl aufgedeckter Fehler erhöhen Anzahl Aufgedeckter Fehler mit ATMS ohne ATMS Ausblick t1 t2 = Ende des Tests Evaluierung anhand eines simulierten Softwaresystems Evaluierung anhand von Beispieldaten der Firma ZF Friedrichshafen Zeit 31

32 Fragen und Diskussion Vielen Dank für Ihr Interesse! 32