Vector Software. Eine Gegenüberstellung der Kosten für die Fehlerbehebung vs. Fehlervermeidung

Transkript

1 W H I T E P A P E R Eine Gegenüberstellung der Kosten für die Fehlerbehebung vs. Fehlervermeidung Wenn die Softwarequalität verbessert werden soll, wird oft zunächst an die Kosten für neue Entwicklungswerkzeuge und die zusätzliche Arbeitszeit von Entwicklern gedacht, die bei der Umsetzung entstehen. Des Weiteren beschäftigt man sich sicher auch mit den Verzögerungen im Entwicklungszyklus, die durch die zusätzlichen Prozesse entstehen. Oft werden jedoch die Kosten die für das Finden und Beheben von Fehlern im Produkt- Lebenszyklus aktuell in ihrem Unternehmen entstehen übersehen oder unterschätzt. Selten wird, abgesehen von diesen direkten Kosten, an die Opportunitätskosten gedacht, die durch die Verzögerung von Release- Terminen, unzufriedene Kunden oder Produktrückrufe entstehen. In dem Buch How Google Tests Software Help me test like Google beschreibt der Autor die Entwicklung des Google Software Test Prozesses von seinen Anfängen bis heute i. Fehler, die durch unvollständiges Testen entstanden sind, wurden zu einer der größten Hürden für Googles kontinuierlichen Erfolg. Google konnte einen Zusammenhang zwischen den Kosten zur Behebung schlechter Qualität und der Anzahl der in der Fehlerbehebung involvierten Entwickler feststellen. Daraufhin entwickelten sie den Plan, die Softwarequalität durch kontinuierliches Testen zu verbessern. Da die Software daraufhin viel früher im Entwicklungsprozess getestet wurde, konnten die selben Entwickler nun mehr Zeit für die Erarbeitung neuer Funktionen nutzen und so die Konkurrenz am Markt übertreffen.

2 Ein auf den Daten von Google basiertes Beispiel für eine Kalkulation, wie sie in einem mittelgroßen Automotive-Projekt auf der Basis eines Jahres aussehen könnte, stellt sich wie folgt dar: 1. Generierte Quelltextzeilen (KSLOC) pro Jahr Durchschnittliche Anzahl an Fehlern pro 1000 SLOC ii x 8 3. Anzahl an Fehlern im Code = 1, Durchschnittskosten für die Behebung eines Fehlers iii x $1, Gesamtkosten der Fehlerbehebung pro Jahr = $2,400, Jährliche Kosten für einen Entwickler iv / $150, Anzahl der mit der Fehlerbehebung beschäftigten Entwickler = Größe des Entwicklungsteams / Mit der Fehlerbehebung beschäftigte Mitarbeiter in Prozent = 40% Tabelle 1: Metriken von Google Um die eigenen Kosten abzuschätzen, kann die folgende Tabelle verwendet werden: 10. Generierte Quelltextzeilen (KSLOC) pro Jahr 11. Durchschnittliche Anzahl an Fehlern pro 1000 SLOC v x Anzahl an Fehlern im Code = 13. Durchschnittskosten für die Behebung eines Fehlers vi x 14. Gesamtkosten der Fehlerbehebung pro Jahr = 15. Jährliche Kosten für einen Entwickler vii / 16. Anzahl der mit der Fehlerbehebung beschäftigten Entwickler = 17. Größe des Entwicklungsteams / 18. Mit der Fehlerbehebung beschäftigte Mitarbeiter in Prozent = Tabelle 2: Metriken für Ihr Projekt Es ist sehr wahrscheinlich, dass auf der Grundlage dieser Tabelle festgestellt wird, dass das Entwicklerteam 30-50% der Zeit damit verbringt Fehler zu beheben. Hierbei handelt es sich jedoch lediglich um die direkten Kosten. Es ist kaum vorstellbar wie viel mehr dieser kostbaren Zeit für Produktinnovationen und die Implementierung neuer Funktionen verwendet werden könnte. Zusätzlich können die Kosten des Kundensupports reduziert werden, weil viel weniger Fehler zu den Kunden gelangen. Zufriedene Kunden kaufen mehr Produkte! Erfolgreiche Unternehmen wie Google, die einen kontinuierlichen Softwarequalitätsanstieg erreicht haben, stellten fest, dass das Einführen von automatisierten Softwaretests in den Entwicklungsprozess zu sehr hohen Dividenden führte. Ein Hauptelement dieses Ansatzes ist die Testplattform, die sicherstellte, dass Fehler so früh wie möglich im Entwicklungsprozess gefunden werden wenn sie am kostengünstigsten zu beheben sind. Seite2

3 Im Folgenden werden die von Google ermittelten Kosten für einen in verschiedenen Testphasen gefundenen Fehler beispielhaft aufgelistet. Dies verdeutlicht, dass das frühere Aufdecken eines Fehlers direkt zu geringeren Kosten pro Fehler führt viii. Software Test Phase In der Fehler gefunden Geschätzte Kosten pro Fehler wurde System Test $5000 Integrations- Test $500 Full Build $50 Unit Test / Test Driven Development $5 Tabelle 3: Kosten der Fehlerbehebung bei Google Aufgrund der besseren Vorstellung von den Kosten der Fehlerbehebung für das Entwicklerteam, stellt sich als nächstes die Frage, welches die beste Möglichkeit ist Fehler zu reduzieren und die Qualität zu verbessern. Die durchschnittlichen Kosten der Fehlerentdeckung und deren Behebung werden dadurch nicht geringer werden, aber das Verbessern und Automatisieren des Testprozesses wird die Wartungskosten signifikant reduzieren. Der folgende Graph zeigt, wie die Schaffung eines robusteren Testprozesses zu einer Verringerung der Software- Wartungskosten führt. Abbildung 1: Die Software- Wartungskosten fallen mit dem Fortschritt des Software- Testprozesses Jedes Unternehmen kann sich an allen Stellen dieses Spektrums wieder finden; manche haben vielleicht keine formalisierte Test- Infrastruktur, und Andere, wie Google, haben das Problem bereits gelöst. Es ist sehr wahrscheinlich, dass sich die meisten Unternehmen irgendwo zwischen diesen beiden Extremen befindet. Seite3

4 Wo muss begonnen werden, um eine Verbesserung der Qualität zu erreichen? Wie bei den meisten Herausforderungen der Softwareentwicklung ist ein stufenweiser Prozess der effektivste Weg zur Verbesserung. Jede Veränderung sollte auf der Grundlage der vorherigen Verbesserungen geschehen, so wie es in der folgenden Grafik dargestellt ist. Abbildung 2: Schritt für Schritt zu einem Software Testprozess Mithilfe eines Ansatzes, der das Hauptaugenmerk auf die Prävention statt auf die Fehlerbehebung setzt, können wertvolle Entwicklungsressourcen für die Innovation und die Entwicklung neuer Produkte freigesetzt werden, so dass eine größere Marktdurchdringung erreicht werden. Zu Beginn einer solchen Entwicklung sollten Werkzeuge für die statische Analyse und der Ermittlung der Code Coverage eingeführt werden. Die Implementierung dieser Werkzeuge geschieht ohne die Arbeitsschritte Ihres Entwicklungsteams zu verändern und erbringt ausführbare Metriken zur Qualitätssteigerung. Das VectorCAST/Lint Static Analysis Tool untersucht Codierungs- Konstrukte, welche sich in der Vergangenheit als problematisch und als schwer einzuhalten erwiesen haben. Das VectorCAST/Cover Code Coverage Werkzeug beschäftigt sich damit, welche Teile des Quellcodes bereits getestet wurden, und wichtiger noch, welche Teile noch nicht getestet wurden. Aufgrund der mehr als zwanzigjährigen Erfahrung kann den Interessenten helfen herauszufinden, wo sie sich mit Ihrer Software Test Process Maturity befinden. Gemeinsam mit Ihrem Team werden die individuellen Herausforderungen im Unternehmen erarbeitet. So kann dazu beitragen, einen Prozess Verbesserungsplan zu entwerfen um eine größere Anzahl an Fehlern zu vermeiden, das Time-to-Market und die Wirtschaftlichkeit zu verbessern um einen soliden Return on Investment zu erreichen. Seite4

5 Google ist eine Handelsmarke von Google Inc. Alle Rechte vorbehalten. Google und das Google Logo sind eingetragene Handelsmarken von Google Inc. i Whittaker, James, Jason Arbon, Jeff Carollo. How Google Tests Software. Westford, MA: Addison-Wesley, ii Copeland, Patrick (2010). Innovation Factory: Testing, Culture, & Infrastructure (PowerPoint slides). Retrieved from Slide 33. iii Ibid, Slide 29. iv Burridge, Brian. When calculating development costs, the hourly rate is only half the equation. August 26, Brian Burridge blog. v Copeland, Patrick (2010). Innovation Factory: Testing, Culture, & Infrastructure (PowerPoint slides). Retrieved from Slide 33. vi Ibid, Slide 29. vii Burridge, Brian. When calculating development costs, the hourly rate is only half the equation. August 26, Brian Burridge blog. viii Copeland, Patrick (2010). Innovation Factory: Testing, Culture, & Infrastructure (PowerPoint slides). Retrieved from Slide 29. Über ist der weltweit führende Anbieter von Software Test Lösungen für sicherheitskritische und geschäftskritische embedded Applikationen. Weltweit vertrauen Unternehmen in Luft und Raumfahrt, Militär, Medizintechnologie, Automobilindustrie, Bahnverkehr und anderer Industriezweige in geschäftskritischen Sektoren auf s VectorCAST. Durch die Automatisierung und die Bewältigung komplexer Aufgaben im Zusammenhang mit Modul, Integrationsund Systemlevel Tests, erleichtert VectorCAST Unternehmen, deren Entwicklungen zu beschleunigen und die Beständigkeit Ihrer eingebetteten Software Applikationen zu gewährleisten., Inc South County Trail, Suite 310 East Greenwich, RI USA T: F: Golden Cross House 8 Duncannon Street London WC2N 4JF, UK T: F: St. Töniser Str 2a Kempen, Germany T: F: Rm 403, Building 6, No.88 Daerwen Rd, Zhangjiang Hi-tech Park Pudong New Area Shanghai China T: F: E: info@apac.vectorcast.com Seite5