Von der Ökonomie des Softwaretests

Größe: px

Ab Seite anzeigen:

Download "Von der Ökonomie des Softwaretests"

Holger Keller
vor 8 Jahren
Abrufe

1 Von der Ökonomie des Softwaretests bbv Software Services AG Norbert Fahrni Luzern, September 2011

2 Über mich bbv Software Services AG CSS Versicherung AG: Projektleiter Financial Selling Office Testfactory SBB Informatik: Test Manger Ticketautomaten, onesbb, Rail Control System Swisscom Projektleiter, Teilprojektleiter: Billing-System Datendienste, Anpassung Schnittstellen Test Manager: Workplace, CRM-System, Enterprise Solutions Workbench, Shared Hosted Services Platform, einheitliches Lohnmeldeverfahren Einführung Mercury Test Director/HP Quality Center, Aufbau strukturierter Testprozess

3 Agenda Was ist ROI (Return on Investment) Zum Test ROI - Value-Driven Testing bbv Test ROI Kalkulation & Kennzahlensystem

4 Was ist ROI? Betriebswirtschaftliche Kennzahl. Rendite gemessen am Gewinn im Verhältnis zum eingesetzten Kapital (Kapitalrendite). ROI = Gewinn / Investitionskosten ROI > 0 Gesamtvermögen Anlagevermögen Kapitalumschlag Umlaufvermögen ROI Netto- Umsatz Netto- Umsatz Umsatzrentabilität Fixe Kosten Erfolg Variable Kosten Deckungsbeitrag Netto- Umsatz 60 60

5 Test ROI Ertrag Kosten Fehlerkorrekturkosten in Produktion, Produktionsausfälle, Vertragspflichten, Folgekosten bei Kunden Testnutzen (Benefits) Testkosten Fehlerkorrekturkosten, Testkosten, Management, Infrastruktur, Business Value Verluste ROI = (Ertrag Kosten) / Kosten Test ROI = (Testnutzen Testkosten) / Testkosten

6 Value-Driven Software Engineering Aufgrund einer Schätzung werden jedem Feature sein Wert und seine Entwicklungskosten zugewiesen. Ein heute berechneter ROI kann morgen falsch sein. Durch Wiederverwendung bis zu 55% Einsparung bei den Entwicklungskosten [1]. Quelle: [1] Boeckle G, Clements P, McGregor J, Muthig D (2004) Calculating ROI for software product lines, IEEE Software

Verluste durch Software Fehler Fehler beeinflussen die Produktivität negativ durch Ausfallstunden der Nutzer und höhere Kosten. ALU II: jährlicher Verlust 80 Mio.

7 Verluste durch Software Fehler Fehler beeinflussen die Produktivität negativ durch Ausfallstunden der Nutzer und höhere Kosten. ALU II: jährlicher Verlust 80 Mio. Euro. Testen steigert die Kosten und verlängert die Zeit bis zur Auslieferung. Testen senkt die Wartungskosten während des Lifecycles und verringert Folgekosten.

8 Lifecycle Kosten Initiale Entwicklung 34% Erweiterung 40% Wartung & Weiterentwicklung 66% Erweiterung 27% Fehlerbehebung 17% Verbesserung 9% Anpassung 13% Fehlerbehebung 26% Verbesserung 14% Anpassung 20%

9 Ansätze zur Fehlervermeidung Keine Auswirkungen: Positive Auswirkungen: In 40 Jahren Software Engineering hat sich, trotz guter und konstruktiver Ansätze, die Fehlerrate nicht wesentlich verbessert. Die Wiederverwendung qualitativ hoher Komponenten, z. B. Frameworks, Klassenbibliotheken, Webservices, verbessert die Fehlerrate wesentlich. Psychologische Ansätze, wie z. B. Gewinnbeteiligung, Quality Grades, Geldstrafen Fehlerrate im GEOS Projekt in Wien: verbleibende Fehler/PT konstant während 5 Jahren trotz Personalfluktuation und trotz aller Massnahmen zur Qualitätsverbesserung.

10 Ansätze zur Fehlerkorrektur Die Kosten zur Fehlerkorrektur sollten nicht höher sein, als das Fehlverhalten selbst kostet. Modultests allein sind nicht ausreichend. Inspektionen (Prüfungen) offenbaren mehr Fehler als Testen. Inspektionen plus automatische Code Analyse decken bis 60% aller bekannten Fehler auf.

11 Basiswerte für die Test ROI Kalkulation Aufstieg zum Gipfel

12 Fehlerbehebungskosten in Abhängigkeit vom Zeitpunkt der Behebung Fagan (IBM), 1977 Remu (IBM), 1983 Modultest/Analysis Modultest/Analysis 1.5 h System Test 3.0 h System Test 20.0 h Produktion 28.0 h Produktion 82.0 h Kan (IBM AS400 Labor), 1995 Endres (IBM Labor), 2003 Modultest/Analysis Modultest/Analysis System Test 13.0 h System Test 4.0 h Produktion 92.0 h Produktion 13.0 h Teichmann (GEOS Projekt), 2004 Median Modultest/Analysis Modultest/Analysis 1.5 h System Test 6.0 h System Test 6.0 h Produktion 18.0 h Produktion 28.0 h

13 Fehlerhäufigkeit Hewlett-Packard: 6 9 Fehler/1000 Statements nach Entwicklertest Nach Systemtest: Anwendungsdomäne Projekte Fehler/1000 Statements Mittelwert Financial Services Militär (gesamt) Wissenschaft Telekommunikation Eingebettete Systeme Webapplikationen

14 Anzahl benötigter Solltestfälle (Systemtest) Anwendung Anweisungen Testfälle SI/Testfall Webportal 33'000 1' GEOS 2'500' ' Gebühreneinzugssystem 162'000 8' Median 20.8 Mindestens 1 Testfall pro 20 Statements Abdeckung funktionaler und nicht funktionaler Anforderungen Für ROI: Modul-, Unittest Out of Scope

15 Testaufwand berechnen COCOMO-II (Constructive Cost Model) modifiziert für Testaufwände Anzahl der Solltestfälle (TF) 5'000 angestrebte Testüberdeckung (TU) 60% manuelle Testproduktivität in Testfällen pro Personentag (TP) 7.3 Grad der Testautomatisierung (TA) 20% Testbarkeitsmetrik (TB) 0.45 mittlere Testbarkeit (Mean) 0.5 Testskalierungsexponent (TE) 1.03 Justierungsfaktor (ST) 1.0 Testaufwand d Kursive Werte nicht bzw. nur sehr vorsichtig ändern! * Wert mit Testpunktanalyse (TPA) errechnet. *

16 bbv Test ROI

17 bbv Kalkulation Test ROI Zu erwartende Fehler nach Modultest 700 Benefits: Produktionsausfall 577' Benefits: Vertragspflicht Benefits: Wartungskosten (Fehlerkorrekturkosten) Testnutzen (Benefits) Systemtest: Fehlerkorrekturkosten Systemtest: Testkosten 332' Integrationstest: Testkosten Management-, Infrastrukturkosten, Business Value Verluste Testkosten ROI 1.15

18 bbv Kennzahlensystem Test ROI Test ROI Kalkulation komplett als Kennzahlensystem, auf Basis ROI Baum Anspruchsvoll, Fokus auf CFO Soll/Ist-Vergleich möglich Referenzwerte: rot umrandet = nicht ändern Kundenspezifische Werte: orange umrandet = ändern Berechnungswerte: grün umrandet = ändern

19 Vorteile, Nutzen & Möglichkeiten Transparente Kalkulation bbv Kennzahlensystem speziell für CFO s Berechnungsgrundlage auf Basis verifizierter Werte Vergleich zweier Kalkulationsszenarien möglich Vollständiger Einbezug aller Kosten- und Nutzenvariablen

20 Danke! Norbert Fahrni

21 Referenzen Software Quality Engineering, Proceedings of the Conquest 2009, 12th International Conference on Quality Engineering in Software Technology, Nürnberg Mehr Testwirtschaftlichkeit durch Value-Driven Testing, Harry M. Sneed & Stefan Jungmayr

Ähnliche Dokumente

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit.

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit. BEKA: Frankfurt, 25. Oktober 2012 T-Systems Angebot Umsetzung des globalen Telematikprojekts für den ÖPNV im Großherzogtum Luxemburg.