Testprozessverbesserung, wie geht das?

Transkript

1 Testprozessverbesserung, wie geht das? MSc, Dipl.-Ing.(FH) Markus Rentschler, Head of System Testing Dept., Hirschmann Automation and Control GmbH, Neckartenzlingen 1 Einleitung Was ist Testen? Was ist ein Testprozess? Kernbereiche des Testprozesses Das TPI -Modell Die TPI -Matrix Der Verbesserungsprozess Fazit Literaturangaben Einleitung Testen ist als analytische Qualitätssicherungsmaßnahme wichtiger Bestandteil des Systemund Softwarelebenszyklus. Die Gestaltung des Testprozesses hat großen Einfluss auf die Produktqualität und die Projektkosten. Daher kommt dem Testprozess und dessen Optimierung einige Bedeutung zu. In vielen Organisationen kann die Frage nach der Qualität des Testprozesses aber nicht objektiv beantwortet werden. Testen wird oftmals lediglich als lästiger, schwer kontrollierbarer, zeit- und kostenintensiver Vorgang angesehen. Die tatsächliche Qualität des Testprozesses wird meist nicht oder nur schlecht gemessen und es kann auch keine fundierte Aussage gemacht werden, in welchem qualitativen Zustand sich die getesteten Systeme befinden. Eine verlässliche Einschätzung der potenziellen Risiken ist auf dieser Basis nicht möglich. In solchen Fällen kann in der Regel davon ausgegangen werden, dass eine Verbesserung des Testprozesses notwendig ist. Aber auch hier gilt: Was man nicht messen kann, kann man nicht verbessern! Deshalb wurden in den letzten Jahren Modelle zur Beschreibung und Verbesserung von Softwareentwicklungs- und auch Testprozessen entwickelt. Da der Testprozess bei den gängigen Reifegradmodellen eher oberflächlich behandelt wird, wurden spezielle Testprozessverbesserungsmodelle entwickelt [1] (Bild 1). TPI von Sogeti [2][3] konnte sich seit 1999 als eine führende praxisorientierte Methode zur Bewertung der Testprozeßreife eines Unternehmens oder eines Projekts etablieren. In diesem Beitrag soll das TPI -Modell und seine Anwendung vorgestellt werden. Markus Rentschler 3.STARTS Workshop / HS AlbSig /

2 TCMM TMM TIM TAP (ca. 1995) MMAST (ca. 1994) TOM TSM TMMI (ca. 2005) TPI (ca. 1999) TPI-Automotive (ca. 2004) TestSPICE (ca. 2010) TPI-Next (ca. 2009) Bild 1: Testprozessverbesserungsmodelle [1][2][3][4][5][6] 2 Was ist Testen? Testen ist ein Verfahren, um Vertrauen in die Realisierung eines Systems zu schaffen Aussagen über die Qualität des Systems zu machen Aber zuerst und vor allem, Fehler zu finden. Diese Aufgabe soll der Test So früh wie möglich So kostengünstig wie möglich Für die wichtigsten Fehler zuerst leisten Grundsätzliche Testarten werden unterschieden in Statisch (Reviews, Codeanalyse) Dynamisch (stichprobenhafte Ausführung des Testobjekts) Testen ist eine stichprobenartige Prüfung und kann nicht die Fehlerfreiheit des Systems garantieren. Die eigentliche Fehlerbehebung, das so genannte Debugging, ist Aufgabe der Implementierung. Testen sollte zeitgleich mit dem Projektstart beginnen. Die Erfahrung hat gezeigt, dass es umso teurer wird, je später Fehler in der Software entdeckt werden. So sind Mängel, die man in der Anforderungsphase findet mit wesentlich weniger Folgekosten verbunden, als Fehler, die erst nach Auslieferung des Produktes entdeckt werden. Jeder gute Testprozess muss deshalb das Ziel haben, Fehler so früh wie möglich aufzudecken. Markus Rentschler 3.STARTS Workshop / HS AlbSig /

3 3 Was ist ein Testprozess? Der allgemeine Testprozess ist ein mit dem Entwicklungsprozess eng verzahnter, aber eigenständiger Prozess, der im wesentlichen die folgenden Aktivitäten umfasst: 1. Testplanung und Steuerung 2. Testanalyse und Testdesign 3. Testrealisierung und Testdurchführung 4. Testauswertung und Bericht 5. Abschluss der Testaktivitäten Diese Aktivitäten werden zum Teil zeitlich überlappend oder parallel ausgeführt. Der allgemeine Testprozess muss für jede Teststufe geeignet gestaltet werden. Bild 2: Der fundamentale Testprozess in jeder Stufe des V-Modells nach ISTQB [7] Der fundamentale Testprozess stellt sicher, dass in jeder Teststufe nach einem definierten Vorgehen getestet wird. Je nach Komplexität des zu testenden Systems variiert der Aufwand für die verschiedenen Phasen pro Teststufe. Der Testprozess liegt aber meist immer auf dem Kritischen Pfad, d.h. der Zeitrahmen für die Testdurchführung ist eng und kann nur selten erweitert werden, ohne direkten Projektverzug zu bewirken. Bild 3: Der fundamentale Testprozess nach TMap [8] Markus Rentschler 3.STARTS Workshop / HS AlbSig /

4 Die ebenfalls von Sogeti entwickelte Methode TMap (Test Management Approach) [8] bietet einen vollständigen Methoden- und Werkzeugsatz für das Testen und unterstützt die Arbeit unter folgenden Aspekten: Techniken (wie wird getestet?) Infrastruktur (wo und womit wird getestet?) Organisation (wer testet?) TPI befindet sich damit auf der projektübergreifenden Management-Ebene, während TMap die im konkreten Projekt eingesetzten Methoden liefert. Der dem TPI -Modell zugrundeliegende TMap - Testprozess ist inhaltlich dem des ISTQB [7] sehr ähnlich (Bild 3). 4 Kernbereiche des Testprozesses Ein Modell, dass die Bewertung eines Testprozesses ermöglichen soll, muss dessen Bestandteile in hinreichender Granularität erfassen, beschreiben und kategorisieren. Hierzu wird das recht grosse Themengebiet in kleinere überschaubare Einheiten strukturiert, die dann einzeln betrachtet werden können. Das TPI -Modell strukturiert die verschiedenen zu betrachtenden- Aspekte des Testprozesses in 20 sogenannte Kernbereiche, welche sich inhaltlich meist an High-Level- Tests wie z. B. System- und Abnahmetest orientieren. Für Low-Level-Tests (Modul-, Integrationstest) und Prüfen wurden einige gesonderte Kernbereiche definiert (Bild 4). 1 Inwieweit basieren die Testaktivitäten auf einer Teststrategie definierten Strategie? 2 Welche Phasen werden innerhalb des Testprozesses Phasenmodell unterschieden 3 Wann werden Tester in den Entwicklungsprozess Zeitpunkt der Beteiligung einbezogen? 4 Etat und Planung Gibt es einen fundierten Etat und eine Planung? 5 Testfallermittlungstechniken Werden informelle/formelle Techniken eingesetzt? 6 Statische Testtechniken Umfang der Anwendung auf die Testbasis? 7 Metriken Welche Metriken kommen zum Einsatz? 8 Testautomatisierung Ín welchem Umfang exisitiert Automatisierung? 9 Testumgebung Wie ist der Zugriff auf die Testumgebung geregelt? 10 Testarbeitsplatz Werden Testarbeitsplätze frühzeitig geplant? 11 Engagement und Motivation Wie ist Testen im Unternehmen angesehen? 12 Funktionen und Ausbildung Wie gut sind diese Punkte organisiert? 13 Reichweite der Methodik Welchen Anspruch hat die eingesetzte Methodik? 14 Auf welchen Ebenen sind Test-relevante Kommunikation Besprechungen organisiert? 15 Berichterstattung Welche Qualität haben die Testberichte? 16 Fehlermanagement Wie ist die Fehlerverwaltung organisiert? 17 Testwaremanagement Wie ist die Verwaltung der Testartefakte organisiert? 18 Testprozeßmanagement Wie umfassend ist das Management ausgerichtet? 19 Prüfungen, Reviews Welche Techniken und Strategien sind im Einsatz? 20 White-Box-Testarten Welche Techniken und Strategien sind im Einsatz? Bild 4: Kernbereiche im TPI -Modell Markus Rentschler 3.STARTS Workshop / HS AlbSig /

5 5 Das TPI -Modell Jeder der Kernbereiche im TPI -Modell wird in bis zu vier Ebenen unterteilt, die mit den Buchstaben A bis D bezeichnet sind. Durch die Einteilung in Ebenen kann die Reife eines Testprozesses gezielter ermittelt und darauf fokussierte Optimierungsmassnahmen vorgeschlagen werden. Bild 6: Aufbau des TPI -Modell Die Ebene wird anhand von Kontrollpunkten für jeden Kernbereich ermittelt. Konkrete Verbesserungsvorschläge für die insgesamt 320 Kontrollpunkte liefern direkte Hilfestellung zur Verbesserung des Testprozesses an der jeweiligen Stelle. Die Kontrollpunkte werden dabei kumulativ betrachtet, das heisst, um z.b. Ebene B zu erreichen, muss der Testprozess die Kontrollpunkten von Ebene B und auch von Ebene A erfüllen. Markus Rentschler 3.STARTS Workshop / HS AlbSig /

6 Bild 5: Einige Kernbereiche und deren Ebenen TPI definiert auf diese Weise wie eine höhere Reifegradstufe in der TPI -Systematik erreicht werden kann. Ein höherer Level bedeutet dabei jeweils die Optimierung von Qualität, Kosten und Zeitaufwand. Bei den höheren Ebenen wird allgemein angestrebt: Projektübergreifende Testkonzeption Früherer Start des Tests Stärkere Beteiligung in den frühen Entwicklungsphasen Steigender Automatisierungsgrad Professionalisierteres Vorgehen Markus Rentschler 3.STARTS Workshop / HS AlbSig /

7 6 Die TPI -Matrix Die Zusammenhänge zwischen Kernbereichen, Ebenen und Reifegrad werden in der sog. TPI Matrix übersichtlich dargestellt. Nicht jeder Kernbereich ist zunächst gleich wichtig und darüber hinaus bestehen Abhängigkeiten zwischen den Ebenen der verschiedenen Kernbereiche. Bild 7: Die TPI -Matrix Reifegrad steigt! In der TPI -Matrix sind vertikal die Kernbereiche aufgelistet und horizontal befinden sich 13 Entwicklungsstufen ( Skala ), auf die die Ebenen (A-D) verteilt sind. Die unterste Stufe 0 stellt die Startstufe da, bei der noch keine Anforderungen erfüllt sind. Die leeren Matrixfelder zeigen, dass das Erreichen einer Ebene vom Entwicklungsgrad anderer Kernbereiche abhängt. So macht es keinen Sinn schon Projektmetriken (Kernbereich Metriken, Ebene A) einzuführen und auszuwerten, wenn noch gar keine Daten zu Abweichungen und Testaufwänden gesammelt werden. Deshalb müssen zuerst die Kernbereiche Berichterstattung und Fehlermanagement bis zu einer gewissen Ebene erfüllt sein. Genauso wäre es unsinnig, eine umfassende Testautomatisierung anzustreben, wenn grundlegende Teststrategien und Testmethodiken noch nicht erfüllt sind. Die verschiedenen Entwicklungsstufen werden zusätzlich noch in drei Reifegrad-Kategorien eingeteilt, die die Reife des Testprozesses beschreiben: Markus Rentschler 3.STARTS Workshop / HS AlbSig /

8 In der Kategorie beherrschbar geht es um die Verwaltung eines kontrollierbaren Testprozesses. Die Kategorie effizient legt den Schwerpunkt auf Abstimmung, Integration und Automatisierung. Die Kategorie optimierend fokussiert auf ständige Verbesserung und Anpassung des Testprozesses an veränderte Verhältnisse. Ein weiteres Hauptziel der Matrix besteht darin, die Stärken und Schwächen des derzeitigen Testprozesses übersichtlich darzustellen ( Dashboard, Scoreboard ) und die Prioritätensetzung für eine Optimierung zu unterstützen. Eine ausgefüllte Matrix liefert allen Beteiligten ein übersichtliches Bild davon, auf welchem Niveau sich der Testprozess in welchem der Kernbereiche befindet, um darauf aufbauend Überlegungen zur Optimierung stattfinden zu lassen. 7 Der Verbesserungsprozess Die Anwendung von TPI zur Verbesserung des Testprozesses ist sehr einfach durchführbar mit Hilfe des verfügbaren Excel-Tools [9]: 1) Ist-Analyse: In einem (Self-)Assessment werden die 320 Kontrollfragen zu den 20 Kernbereichen beantwortet und damit der aktuelle Reifegrad ermittelt (Bild 7, grüne Felder in der TPI -Matrix) 2) Der gewünschte Zielreifegrad für die 20 Kernbereiche wird festgelegt. 3) Optimierungsvorschläge aus dem TPI -Modell werden umgesetzt, 4) Wiederholung der Schritte 1) bis 3), bis definierter Zielreifegrad erreicht wird. Bild 8: Ausschnitt der TPI -Matrix vor und nach der Optimierung Markus Rentschler 3.STARTS Workshop / HS AlbSig /

9 8 Fazit TPI bietet einen generischen Bezugsrahmen für die Einstufung des Testprozesses in einen Reifegrad. Die Einstufung wird unterstützt durch 20 Kernbereiche, 4 Ebenen, Abhängigkeiten zwischen den Ebenen, 320 Kontrollpunkte und zahlreiche Optimierungsvorschläge je Kontrollpunkt. TPI konnte sich als ein akzeptiertes Reifegradmodell für den Software-Testprozess etablieren. Die TPI-Matrix bietet ein sehr übersichtliches Scoreboard. Ein Self-Assessment / Quickscan erlaubt eine erste grobe Einstufung. Ein komfortables freies Excel-Tool [9] unterstützt die einfache Durchführung dieser Aktivitäten. 9 Literaturangaben [1] Link, Sabine: Definition und Anwendung eines Prozess-Assessment- Modells zur Testprozessverbesserung., Fernuniversität Hagen, Master-Thesis [2] Pol, M.; Koomen, T.; Spillner, A.: Management und Optimierung des Testprozesses Ein praktischer Leitfaden für erfolgreiches Testen von Software mit TPI und TMap. dpunkt.verlag, Heidelberg, [3] [4] [5] [6] [7] [8] [9] Markus Rentschler 3.STARTS Workshop / HS AlbSig /