Haben wir das Richtige getestet? Erfahrungen mit Test-Gap-Analyse für ABAP

Größe: px

Ab Seite anzeigen:

Download "Haben wir das Richtige getestet? Erfahrungen mit Test-Gap-Analyse für ABAP"

Adrian Gärtner
vor 5 Jahren
Abrufe

1 Haben wir das Richtige getestet? Erfahrungen mit Test-Gap-Analyse für ABAP DSAG AK Development Walldorf, 5. Juli 2018 Uwe Proft (Munich Re), Christian Pfaller (CQSE)

2 Über uns Uwe Proft Dipl.-Wirtschaftsinformatiker IT Sourcing Manager Munich Re Dr. Christian Pfaller Dipl.-Informatiker (TU München) Promotion Software Engineering CQSE GmbH 2

3 1 Test-Gap-Analyse für ABAP Überblick 3

4 Informationen über Änderungen 4

5 Testen von Änderungen Nicht alle Änderungen dokumentiert Unklar was getestet werden muss (insb. bei Wartungs-CRs) 5

6 Wie viele Änderungen sind ungetestet? Studie: C# Release A: 15% Code geändert, >50% ungetestet Getesteter Bestandscode Getestete Änderungen Ungetestete Änderungen Release B: 15% Code geändert, >60% ungetestet Feldfehlerwahrscheinlichkeit 5x höher für ungetestete Änderungen! Eder, Juergens, : Did We Test Our Changes? Assessing Alignment between Tests and Development in Practice. AST@ICSE

7 Test-Gap-Analyse Änderungen Ausführung Test-Gap-Analyse Ungetestete Änderungen 7

9 GUI.Dialogs Authentication UI Controls GUI.Base Data Validation

12 Änderungen Ausführung Test-Gap-Analyse Ungetestete Änderungen

13 Neu Geändert

14 Änderungen Ausführung Test-Gap-Analyse Ungetestete Änderungen

15 Ausgeführt im Test

16 Ausgeführt im Test

17 Änderungen Ausführung Test-Gap-Analyse Ungetestete Änderungen

18 Neu & ungetestet Ge t & ungetestet

19 100% Change Coverage 100% Change Coverage 0 Fehler

20 Technische Infrastruktur AS ABAP (Test System) SCOV (Lite) collects coverage COVRES 19

21 Technische Infrastruktur AS ABAP (Test System) (external server, Java) performs Test Gap Analysis SCOV (Lite) COVRES collects coverage 19

22 Technische Infrastruktur AS ABAP (Test System) Connector for SAP RFC (external server, Java) performs Test Gap Analysis SCOV (Lite) COVRES collects coverage 19

23 Technische Infrastruktur AS ABAP (Test System) enables lite mode Connector for SAP RFC (external server, Java) performs Test Gap Analysis SCOV (Lite) COVRES collects coverage 19

24 Technische Infrastruktur AS ABAP (Test System) enables lite mode SCOV (Lite) Connector for SAP reads changed code & coverage RFC (external server, Java) performs Test Gap Analysis collects coverage COVRES REPOSRC TADIR 19

25 Technische Infrastruktur enables lite mode SCOV (Lite) AS ABAP (Test System) Connector for SAP reads changed code & coverage RFC retrieves changed code and coverage 10 min (external server, Java) performs Test Gap Analysis collects coverage COVRES REPOSRC TADIR 19

26 Technische Infrastruktur enables lite mode SCOV (Lite) AS ABAP (Test System) Connector for SAP reads changed code & coverage RFC retrieves changed code and coverage 10 min (external server, Java) performs Test Gap Analysis publishes live results collects coverage COVRES REPOSRC TADIR 19

changed code and coverage 10 min (external server, Java) performs Test

27 Technische Infrastruktur enables lite mode SCOV (Lite) AS ABAP (Test System) Connector for SAP reads changed code & coverage RFC retrieves changed code and coverage 10 min (external server, Java) performs Test Gap Analysis publishes live results collects coverage COVRES REPOSRC TADIR 20

28 2 Nutzungsszenarien bei der Munich Re 21

29 Nutzungsszenarien bei der Munich RE Unterstützung klassischer Testphasen (Regression- / Release-Test) Unterstützung des Tests in agilen Projekten Analyse von Regressionstest Suiten Hotfixes besser absichern Unterstützende Prozesse 22

30 Unterstützung klassischer Testphasen (Regression- / Release-Test) 23

31 Unterstützung klassischer Testphasen (Regression- / Release-Test) 23

32 Unterstützung klassischer Testphasen (Regression- / Release-Test) 24

33 Nutzungsszenarien bei der Munich RE Unterstützung klassischer Testphasen (Regression- / Release-Test) Unterstützung des Tests in agilen Projekten Analyse von Regressionstest Suiten Hotfixes besser absichern Unterstützende Prozesse 25

34 Unterstützung des Tests in agilen Projekten 26

35 Unterstützung des Tests in agilen Projekten 26

36 Unterstützung des Tests in agilen Projekten 26

37 Nutzungsszenarien bei der Munich RE Unterstützung klassischer Testphasen (Regression- / Release-Test) Unterstützung des Tests in agilen Projekten Analyse von Regressionstest Suiten Hotfixes besser absichern Unterstützende Prozesse 27

38 Analyse von Regressionstest Suiten 28

39 Analyse von Regressionstest Suiten 29

40 Nutzungsszenarien bei der Munich RE Unterstützung klassischer Testphasen (Regression- / Release-Test) Unterstützung des Tests in agilen Projekten Analyse von Regressionstest Suiten Hotfixes besser absichern Unterstützende Prozesse 30

41 Hotfixes besser absichern 31

42 Hotfixes besser absichern 32

43 Hotfixes besser absichern 33

44 Nutzungsszenarien bei der Munich RE Unterstützung klassischer Testphasen (Regression- / Release-Test) Unterstützung des Tests in agilen Projekten Analyse von Regressionstest Suiten Hotfixes besser absichern Unterstützende Prozesse 34

45 TGA Report 35

46 TGA Report 35

47 Monatliches Assessment 36

48 Danke für die Aufmerksamkeit. Fragen? Kontakt Uwe Proft, Dr. Christian Pfaller, Hintergrund-Informationen zur Test-Gap-Analyse: OBJEKTspektrum 02/2018: Haben wir das Richtige getestet? Erfahrungen mit Test-Gap-Analyse in der Praxis CQSE Blog:

Ähnliche Dokumente

Test-Gap-Analyse. Wie erkennen wir ungetestete Änderungen, bevor sie ins Release gehen? Dr. Andreas Göb XP Days Germany 2015

Test-Gap-Analyse. Wie erkennen wir ungetestete Änderungen, bevor sie ins Release gehen? Dr. Andreas Göb XP Days Germany 2015 Test-Gap-Analyse Wie erkennen wir ungetestete Änderungen, bevor sie ins Release gehen? Dr. Andreas Göb XP Days Germany 2015 Über mich Forschung Modellierung von Softwarequalität Wartbarkeit, Software-Architektur