enables & delivers TEST MANAGEMENT ERNI Essentials, 2015 Edition ERNI

Transkript

1 enables & delivers TEST MANAGEMENT ERNI Essentials, 2015 Edition ERNI

2 test management 3 Vorwort Die Entwicklung von Software ist sehr komplex, und dieser Trend wird sich durch die zunehmende Vernetzung der Systeme weiter verstärken. Obwohl viele Gründe dafür sprechen, intensiv und systematisch zu prüfen, hat das Software-Testing in vielen Entwicklungsabteilungen noch immer einen untergeordneten Stellenwert. Dabei liegen die Vorteile auf der Hand: Zentrale Bedeutung hat die Überprüfung des tatsächlichen Verhaltens der Software im Vergleich zu den definierten Anforderungen. Je eher diese Prüfung vorgenommen wird, desto früher können Fehler gefunden und hohe Folgekosten vermieden werden. Werden die Möglichkeiten, die sich aus diesem Prozess ergeben, genutzt, ist das Testen ein mächtiges Controlling-Instrument, das eine nachvollziehbare Qualitätskontrolle während des gesamten Entwicklungsprozesses liefert. Fundierte Erfahrungen zeigen: Hochwertige Software lässt sich heute nur noch durch einen verzahnten Entwicklungs- und Testprozess herstellen. Mateusz Kasprzak mateusz.kasprzak@erni.ch Senior Consultant und Certified Testmanger bei ERNI

3 test management 5 Inhalt 1. Vorwort 3 2. Einleitung 7 3. SoftwarETESTS 9 4. Die 10-Punkte-CheckliSTE Testplanung V-Modell METhodische TESTfallerstelluNG KombiNATorische Explosionen VErmeiDEN TestfallkATAlog TESTAUTOMATISIERUNG TestprozESS ProfESSionelle TESTEr Testmanager Testarchitekt Testdesigner Testautomatisierer Tester DokuMENTVorlAGEN Testkonzept Testfallspezifikation Testbericht Testwerkzeuge WeiterführENDE informationen Literatur Normen und Standards Weblinks 63

4 test management 7 2. Einleitung Software zu testen, ist extrem aufwendig und schwierig. Doch weshalb? Wer das erste Mal versucht, Software systematisch zu testen, kapituliert vor der astronomisch hohen Anzahl von Testfällen. Sie ergeben sich aufgrund der kombinatorischen Explosion von Eingangsdaten und internen Softwarezuständen. Oft bleibt für das Testen keine Zeit mehr, da die Entwicklung länger dauert als geplant und der Ausliefertermin immer näher rückt. Testen wird als überflüssige und unattraktive Arbeit angesehen. Software-Testing ist eine junge Disziplin des Software Engineerings, die die Hochschulen lange Zeit vernachlässigt haben. Vielerorts versteht das Management das Testen ausschliesslich als Kostenfaktor, obwohl es ein wertschöpfender und qualitätssteigernder Teil der Produktionskette und des Controlling-Prozesses ist. notiz Unqualifizierte Tester, der Drang, alles vollständig testen zu wollen, und enge Rahmenbedingungen in Projekten führen dazu, dass Software ungenügend getestet wird.

5 test management 9 3. SoftwarETESTS: Gesetze, Regeln und Prinzipien Vor Testbeginn hilft es, sich die folgenden Erfahrungswerte in Erinnerung zu rufen: Die Testkosten machen 40 bis 60 Prozent des gesamten Projektaufwandes aus (Harry M. Sneed, Stefan Jungmayr: «Produkt- und Prozessmetriken für den Softwaretest», in Informatik-Spektrum, Springer-Verlag, Bd. 29, Heft 1, Feb. 2006, S ). Je höher die geforderte Qualität, desto höher ist der Testaufwand. Vor systematischen Tests enthält jede Software auf 1000 Zeilen Code durchschnittlich 10 bis 30 Fehler (Umfrage unter Softwareentwicklern). Die geforderte Qualität der Software bewegt sich je nach Anwendungsfeld zwischen 0,5 und 1,0 Fehlern pro 1000 Programmzeilen. Pro 1000 Zeilen zu testenden Codes müssen die Tests 9,0 bis 29,5 Fehler aufdecken. Der Aufwand, um in gut getesteter Software weitere Fehler zu finden, steigt stark an. Die Fehlerdichte in Softwaremodulen variiert stark. Im Durchschnitt enthalten 30 Prozent der Softwaremodule eines Systems 70 Prozent der Fehler. Es ist kostengünstiger, Fehler in einem frühen Entwicklungsschritt zu beheben als in einem späten.

6 test management 11 Fehlleistungskosten sind der bestimmende Faktor in den F&E- Kosten! Fehlerkosten wachsen exponentiell in der Zeitspanne zwischen ihrer Entstehung und ihrer Entdeckung beziehungsweise Behebung. Folgende Erfahrungswerte verdeutlichen diesen Zusammenhang: Abb. 1 Es gibt kein «bestes» Testverfahren. Am effektivsten ist eine Mischung aus Reviews, Entwicklertests und Tests durch eine unabhängige Testgruppe. notiz Ein kleines, spezialisiertes Testteam, das die Rollen Testmanager, Testdesigner und Tester professionell abdeckt, ist effizienter und effektiver als grosse Ad-Hoc-Testteams. Analyse/ Design Anforderungsspez. Implementierung Intergrationstest Systemtest Feld = relative Fehlerkosten Effektives Testen beginnt nicht erst am Schluss, sondern bereits mit der Erstellung und dem Review der Anforderungen. Am Anfang der Produktionskette sind die Fehlerbeseitigungskosten am geringsten, und der Nutzen ist am höchsten. Alle nachfolgenden Produktionsschritte profitieren von der höheren Anforderungsqualität.

7 test management Die 10-Punkte-CheckliSTE Folgende Checkliste unterstützt Testmanager, die ein Projekt ohne expliziten Testprozess übernehmen. Sie hilft, in kurzer Zeit objektiv messbare Fortschritte zu erzielen. 1. Verschaffen Sie sich einen Überblick über das zu testende System und organisieren Sie ein grosses Systemübersichtsbild. 2. Bringen Sie beim wichtigsten Stakeholder das Businessziel für die Tests in Erfahrung. 3. Ermitteln Sie die Anforderungen und Spezifikationen. Eine grobe, durchnummerierte Liste von zu testenden Punkten genügt (siehe Kapitel 9, Testfallkatalog). 4. Priorisieren Sie die Spezifikationspunkte, Businessabläufe, Datenübernahmen und Systemteile gemäss einem nachvollziehbaren Raster (siehe Kapitel 9, Testfallkatalog). 5. Definieren Sie Teststufen (siehe Kapitel 6, V-Modell) und ordnen Sie jeder Stufe ein zuständiges Testteam zu. 6. Erstellen Sie einen groben Projektplan für die Testaktivitäten, um wichtige Termine nicht aus den Augen zu verlieren und die Abstimmung mit Beteiligten und Betroffenen zu erleichtern. 7. Sorgen Sie dafür, dass jedes Team mindestens ein Mitglied hat, das sich zu 100 Prozent den Tests widmet. Coachen Sie dieses Mitglied zum Erfolg, indem Sie ihm beispielsweise zeigen, wie man zielgerichtet und effizient Testfälle und Testdaten aus den Anforderungen ableitet.

8 test management Messen Sie die Testergebnisse, visualisieren Sie diese als Trend-Charts und machen Sie sie regelmässig allen Projektbeteiligten bekannt. Damit wird das Testen von allen als wirksamer Controlling-Prozess verstanden. 9. Sorgen Sie für einen angepassten Informationsaustausch. Bewährt haben sich tägliche Stand-up-Meetings mit den Testteams sowie moderierte wöchentliche Testkoordinationsmeetings mit dem Gesamtprojektleiter und allen Testteamleitern. 10. Stimmen Sie sich als Testmanager mit dem Projektleiter in punkto Planung ab und helfen Sie im Change Control Board mit, die Changes zu priorisieren und in die Planung einfliessen zu lassen.

9 test management TESTPlanuNG: TESTS iterativinkrementell planen Best Practice Tests werden parallel zu anderen Disziplinen durchgeführt, nicht danach. Dazu eignet sich besonders das iterativ-inkrementelle Vorgehen. In jeder Iteration werden Tests für ein weiteres Inkrement vorbereitet respektive durchgeführt: Erarbeitung der Tests nach der Erstellung eines Anforderungspakets. Durchführung der Tests unmittelbar nach der Umsetzung der Anforderungen in der Software. Abb. 2 Anforderungsspez. Entwicklung Inkr. 1 Inkr. 2 Inkr. 3 Inkr. 1 Inkr. 2 Inkr. 3 Testdesign Inkr. 1 Inkr. 2 Inkr. 3 Testdurchführung Inkr. 1 Inkr. 2 Inkr. 3 Iterationsnummer n 2 n 1 n n + 1 n + 2

10 test management 19 Regeln Nutzen Beim iterativ-inkrementellen Vorgehen laufen Anforderungsdefinition, Entwicklung, Testdesign und Testdurchführung parallel ab. In jeder Iteration (n) erstellt das Anforderungsteam die Anforderungen für das nächste Inkrement (n + 1). erstellt das Entwicklungsteam die Software für das aktuelle Inkrement (n). Das Testdesignteam erstellt die Testfälle dazu. führt das Testteam die Testfälle für das vorhergehende Inkrement durch und meldet die Fehler. Iteratives Testen schafft frühzeitig Vertrauen in die Qualität des Systems. Es ist eine laufende objektive Beurteilung des Projektfortschritts und der Softwarequalität möglich. Die frühe Fehlererkennung führt zu Kosteneinsparungen. Teststaus werden verhindert. Erfahrungsgemäss fehlt für deren Abarbeitung am Ende des Projekts die Zeit. Erfolgsfaktoren Analysieren Sie die Liste der funktionalen und nichtfunktionalen Anforderungen. Verschaffen Sie sich eine Übersicht über die Architektur und die Abhängigkeiten der Komponenten. Priorisieren Sie die Anforderungen und die Komponenten (risikobasiert) aus Testsicht (siehe Kapitel 9, Testfallkatalog). Definieren Sie den Umfang der Inkremente so, dass jedes für sich getestet werden kann.

11 test management V-Modell: In welcher Reihenfolge die TESTSTufen durchlaufen werden Best PrACTice Auf jeder Stufe des V-Modells sind Tests notwendig. Die Erstellung der Testfälle beginnt top-down, sobald die Anforderungen respektive die Spezifikationen vorhanden sind. Die Testerstellung beginnt mit den Systemtests. Danach folgen Integrationstests und zuletzt die Unit-Tests. Die Durchführung der Tests erfolgt bottom-up. Ist eine Unit/ Komponente fertiggestellt, beginnen umgehend die Unit- Tests. Danach folgen Integrations- und Systemtests.

12 test management 23 Abb. 3 Erfolgsfaktoren Entwicklung Systemanforderung/ -spezifikation Architektur (Komponente/Subsystem) Tests Systemtest Integrationstest Definieren Sie Übergabekriterien zwischen den Teststufen. In der Regel wird ein Satz von Testfällen definiert, die fehlerlos ablaufen müssen, bevor das Testobjekt an die nächste Teststufe übergeben wird. Diese Testfälle heissen im Fachjargon «Smoke Tests», «Basic Sanity Tests», «Basic Operation» Nutzen Regeln Unit/Modul Code/Implementierung Unit-Test Mit der Testfallerstellung auf Systemebene kann früh im Projekt begonnen werden. Dadurch wird sichergestellt, dass in der zeitkritischen Schlusstestphase alle durchzuführenden Tests fertig dokumentiert vorliegen. Durch die Regelung der Übergabekriterien erhöht sich die Zuverlässigkeit der späteren Teststufen. Dadurch läuft das Testobjekt stabil und die Mehrzahl der Tests liefert aussagekräftige Ergebnisse. Planung und Erstellung der Testfälle erfolgen top-down, das heisst, die Systemtests werden zuerst entworfen. Die Durchführung der Testfälle erfolgt bottom-up und beginnt mit den Unit-Tests.

13 test management Methodische TESTfallerSTElluNG: Wie man aus AnforderuNGEN TESTfälle ableitet Best PrACTice Leiten Sie für jede funktionale (Use Case) und jede nichtfunktionale Anforderung (NFA) einen oder mehrere Testfälle ab. Leiten Sie für jeden Use-Case (UC) 1 bis n Test-Cases (TC) ab: 1 UC -> n TCs Leiten Sie für jede nichtfunktionale Anforderung 1 bis n Test Cases ab: 1 NFA -> n TCs Abb. 4 Funktionale Anforderung (Use Case) Nichtfunktionale Anforderung (NFA) 1...n n Testfall (Test Case) Durchsatz, Reaktionszeit, Verfügbarkeit, Sicherheit etc.

14 test management 27 Regeln Erfolgsfaktoren Regeln zur Ableitung von Testfällen für funktionale Anforderungen: Formulieren Sie für jede funktionale Anforderung mindestens einen Testfall, der den Normalfall überprüft. Beachten Sie, dass je nach Komplexität weitere Testfälle notwendig sind, um das korrekte Verhalten für alternative Abläufe zu überprüfen. Regeln zur Ableitung von Testfällen für nichtfunktionale Anforderungen: Formulieren Sie für jede nichtfunktionale Anforderung mindestens einen Testfall, der die Einhaltung der geforderten Leistungs- oder Qualitätsangaben garantiert. Beachten Sie, dass je nach Komplexität weitere Testfälle notwendig sind, um das korrekte Verhalten unter verschiedenen Bedingungen zu überprüfen (Datenvolumen, Zugriffsrate, Umgebungsbedingungen, Konfiguration). Bessere Schätzwerte erhält man, wenn für eine repräsentative Gruppe von Anforderungen je nach Komplexität exemplarisch die Anzahl der Testfälle bestimmt wird. Beispielsweise so: Ein Testfall für nichtkomplexe Anforderungen, drei bis fünf Testfälle für mittelkomplexe und zehn bis 20 Testfälle für sehr komplexe Anforderungen. Nutzen Einheitliches Vorgehen für alle Arten von Anforderungen. Aus der Liste der funktionalen und nichtfunktionalen Anforderungen lassen sich der grobe Testumfang und der Aufwand leicht abschätzen.

15 test management KombiNATorische Explosionen vermeiden: Wie viele TESTfälle pro Use Case nötig sind Best PrACTice Ist es notwendig, für jede denkbare Kombination von Alternativen einen Testfall zu definieren? Nein, denn in der Praxis schliessen sich Alternativen häufig aus. Im dargestellten Beispiel eines Bankautomaten schliessen sich «abgelaufene Karte» und «falscher PIN-Code» aus, weil eine abgelaufene Karte entweder eingezogen oder zurückgewiesen wird. Es gibt nur neun mögliche Testfälle und nicht 24. Abb Karte einschieben ungültig gesperrt abgelaufen 2. PIN-Code eingeben falsche PIN 3. Betrag eingeben Anzahl Testfälle = 9 4 x 2 x 3 = 24

16 test management 31 Regeln Erste Priorität: Testen Sie den Normalablauf. Zweite Priorität: Testen Sie die alternativen Abläufe. Dritte Priorität: Testen Sie die in der Praxis möglichen Kombinationen von alternativen Abläufen. Erfolgsfaktoren Testen Sie zuerst den Normalablauf der Use Cases und stellen Sie sicher, dass keine «show-stopper» auftreten. Testen Sie danach die alternativen Abläufe und ihre möglichen Kombinationen. Nutzen Mit dieser Regel ist die Anzahl der Testfälle nur proportional und nicht exponentiell zur Anzahl alternativer Abläufe.

17 test management TESTfallkATAlog: Wie TESTS risikobasiert priorisiert werden Best PrACTice Es ist aus Qualitätssicht sinnvoll, die Testintensität nach dem Risiko eines fehlerhaften Verhaltens zu richten. Wo ein Fehler grossen Schaden anrichten und mit hoher Wahrscheinlichkeit auftreten könnte, sollte intensiv getestet werden. Eine bewährte Formel zur Einschätzung des Risikos lautet: R = B x K x N Dabei bedeutet R = Risiko B = Businessrelevanz K = Komplexität, das heisst Fehlerwahrscheinlichkeit N = Nicht-Entdeckbarkeit eines Fehlers ohne gezielte Testvorkehrungen

18 test management 35 Abb. 6 Regeln Der Testfallkatalog besteht aus einer gewichteten Liste von zu tes- Businessrelevanz (B) Komplexität (K) Nicht- Entdeckbarkeit (N) Risiko (R = B x K x N) tenden Punkten und legt fest, wie viele Tests nötig sind und wie detailliert sie zu spezifizieren sind. Zu testender Punkt Kundenanforderungen Vertrag erstellen Prämie verbuchen Schaden eröffnen Schnittstellen FTP Webservice Potenzielle Fehlerquellen Verwechslung des Kunden Erstellen Sie eine strukturierte Liste von Kundenanforderungen (funktionale sowie Leistungs- und Qualitätsanforderungen) Gesetzen, Vorschriften, Normen technischen Spezifikationen (funktionale und nichtfunktionale) Schnittstellen Daten potenziellen Fehlerquellen Gefahren aus Sicht des Betriebs, des Unternehmens (Finanzen) und der Endanwender 2. Lassen Sie die einzelnen Risikofaktoren von den Vertretern aus den verschiedenen Abteilungen bewerten und überprüfen: Businessrelevanz aus Sicht des Unternehmens Komplexität aus Sicht der Entwicklung Nicht-Entdeckbarkeit aus Sicht des Testmanagements 3. Sortieren Sie die Listen nach Risiko und definieren Sie, für welche Risikohöhe wie viele Tests in welchem Detaillierungsgrad zu beschreiben und durchzuführen sind. Beispielsweise:

19 test management 37 Hohe Risiken: Zehn bis 20 Testfallspezifikationen mit detaillierter Beschreibung der einzelnen Testschritte Mittlere Risiken: Drei bis fünf Testfallspezifikationen mit grober Beschreibung des Testablaufs Tiefe Risiken: Ein Testfall mit Beschreibung des Testziels Erfolgsfaktoren Falls kein Testmanagementtool vorhanden ist, genügt eine Excel-Liste mit separaten Arbeitsblättern für jede Gruppe. Lassen Sie die Liste von verschiedenen Abteilungen überprüfen. Lassen Sie die Punkte von denjenigen bewerten, die das höchste Fachwissen haben. Verwalten Sie die Testfälle mit den zugehörigen Testfallspezifikationen in Excel oder einem Testmanagementtool (siehe Kapitel 14, Testwerkzeuge). Nutzen Ein Testfallkatalog macht den Umfang der Tests fassbar und managebar. Der Begriff «Testabdeckung» ist einheitlich definiert. 100 Prozent Testabdeckung bedeutet: Alle zu testenden Punkte sind getestet. Der Aufwand pro zu testendem Punkt ist transparent, planbar und steuerbar. Alle Abteilungen werden berücksichtigt. Sie geben an, welche Tests für sie wichtig und sinnvoll sind.

20 test management TESTAutoMATisieruNG: EffizienzSTEigeruNG bei RegressioNSTESTS Best PrACTice Die Testautomatisierung erhöht die Anzahl durchgeführter Tests pro Iteration/ Release drastisch. Dies führt zu einer höheren Qualität bei weniger Testaufwand. Die Testeffizienz steigt. ist wichtig bei zahlreich erwarteten Änderungen (Hotfixes, Patches oder Releases), die nacheinander in sehr kurzer Zeit zu testen sind. kommt vor allem bei Regressionstests zum Einsatz. Diese Tests stellen die kontinuierliche Systemstabilität und -funktionalität nach Änderungen sicher.

21 test management 41 Abb. 7 Erfolgsfaktoren Testautomatisierung setzt Programmierkenntnisse voraus Einspeisen von autom. Testscripts HW (Web-)Client Server DB «Gateway» zu Umsystem Server und muss wie ein Softwareentwicklungsprojekt abgewickelt werden. Der Erfolgsfaktor liegt in der kontinuierlichen und wirtschaftlichen Pflege der automatisierten Testfälle während der ganzen Lebensdauer der zu testenden Software. Die Verwaltung der Testscripts in einem Versionsverwaltungstool und die kontinuierliche Anpassung an sich ändernde Anforderungen und Spezifikationen sind permanente Tätigkeiten. Nutzen Regeln Die Testautomatisierung beinhaltet folgende Hauptschritte: Testfallspezifikationen erstellen und die manuelle Durchführung mit einem «Capture & Replay Tool» aufzeichnen, das dann automatisch Testscripts erstellt. Testscripts programmtechnisch mit Eingangsdaten und Konfigurationsangaben für verschiedene Testumgebungen ergänzen. Testmetriken wie die Anzahl durchgeführter Testfälle und die Anzahl «pass/fail» pro Schweregrad sowie Empfehlung zu generieren. Automatisierte Tests dienen der Testeffizienzsteigerung und garantieren eine einheitliche Qualitätskontrolle. Testautomatisierung erfordert eine grosse Investition in Testwerkzeuge und automatisierte Testscripts. Dieser Aufwand rechnet sich nur für die risikoreichsten Tests (siehe Kapitel 9, Testfallkatalog), die häufig und rasch durchzuführen sind.

22 test management TESTProzess: Wie Rollen, Phasen, Tätigkeiten und Dokumente zusammenwirken Best PrACTice Der Testprozess gliedert sich in vier Phasen, die auf jeder Teststufe gleich sind: Testplanung Testdesign Testdurchführung Testauswertung Zumindest auf der Systemteststufe sind folgende Dokumente zu erstellen: Testplan Testfallspezifikation Testprotokoll und Fehlermeldungen Testbericht Regeln

23 test management 45 Die vier Phasen bestehen aus folgenden Tätigkeiten: Testplanung Der Testmanager definiert die Vorgehensweise in einem Testkonzept (Teststufen, Testziele, Automatisierung, etc.) und erstellt einen Testplan (Aktivitäten, Beteiligte, Ressourcen, Termine). Testdesign Die Testdesigner entwerfen die Testfallspezifikationen für die Anforderungen respektive die identifizierten Testfälle. Besetzen Sie die Rollen mit Testspezialisten (siehe Kapitel 12, Professionelle Tester). Verfassen Sie für jede Stufe einen Testplan. Diese Pläne können je ein separates Dokument sein oder für alle Stufen in einem Mastertestplan zusammengefasst werden. Stellen Sie Vorlagen für die Testdokumente zur Verfügung. Definieren Sie, was die Fehlermeldungen enthalten müssen, damit die Entwickler den Fehler reproduzieren und seine Ursache finden können. Nutzen Testdurchführung Die Tester führen die Tests gemäss den Testfallspezifikationen durch und vergleichen die tatsächlichen Resultate mit den im Testfall erwarteten Resultaten. Sie protokollieren die Umstände der Durchführung und die Ergebnisse in einem Testprotokoll. Bei Abweichungen verfassen sie eine Fehlermeldung. Testauswertung Der Testmanager wertet die Testprotokolle und die Fehlermeldungen aus und fasst sie in einem Testbericht zusammen. Dieser enthält zudem seine Empfehlung für oder gegen eine Freigabe des Testobjekts. Erfolgsfaktoren Die Einhaltung des Prozesses führt zu vier Hauptvorteilen: Nachvollziehbare Testergebnisse. Die Tests erfolgen gegenüber dem Qualitätsmassstab der Anforderungen und nicht intuitiv aufgrund des Wissens von Testern. Entwickler können die Fehler reproduzieren und beheben, ohne die Tester zeitlich zu belasten. Abteilungsübergreifende Change-Management-Meetings ermöglichen die Beurteilung jedes einzelnen Fehlers. Das Team fällt die Entscheidung, den Fehler zu korrigieren oder erneut zu testen. (Siehe grafische Darstellung «Testprozess» auf der letzten Umschlagseite)

24 test management Professionelle TESTEr: Spezifisches AnforderuNGSprofil für jede TESTrolle Ein professionelles Testteam deckt die Rollen Testmanager, Testdesigner und Tester ab. Dieses Kapitel listet die Aufgaben und Anforderungen an diese Rollen in Form von Checklisten auf. Die Listen helfen, geeignete Kandidaten zu finden und in die Rollen einzuweisen Testmanager Führt, organisiert und entscheidet Der Testmanager leitet das Testteam, ist entscheidungsstark und bringt Erfahrung im Testen mit. Aufgaben Passt den Testprozess den Erfordernissen des Projekts an. Plant Testvorbereitung und -durchführung, stimmt den Plan mit dem Gesamtprojektleiter und dem Release- Manager ab und budgetiert die Testaufwände. Organisiert und leitet das Team von Testdesignern und Testern. Koordiniert die Planung mit dem Anforderungsteam und stellt sicher, dass die Anforderungen überprüft werden. Beauftragt die Testdesigner mit der Erstellung der Testfälle und stellt deren Qualität durch Reviews sicher.

25 test management 49 Verwaltet die Testfälle in einem Testverwaltungswerkzeug und stellt ihren Bezug zu den Anforderungen her. Nimmt an Change-Management-Meetings teil, beurteilt die Auswirkungen von Fehlern, Anforderungsänderungen und Softwareanpassungen in Bezug auf den Aufwand, um Testfälle neu zu erstellen oder anzupassen und Tests zu wiederholen oder neu durchzuführen. Beauftragt die Tester mit der Durchführung von Tests und überwacht ihre Arbeit. Organisiert die Testinfrastruktur (Testwerkzeuge, Testsysteme, Testaufbau). Weist instabile und ungenügend vorgetestete Software zurück. Überwacht und berichtet über Testfortschritt, Qualität und Kosten. Fasst Testergebnisse im Testprotokoll zusammen, interpretiert die Resultate und erstellt den Testbericht mit Empfehlung für Freigabe oder Nachbessern der Software. Anforderungsprofil Idealerweise ISTQB/ASQF-Certified Tester Advanced Level (Testmanager). Entscheidungsstärke und Verhandlungsgeschick. Erfahrung als Testdesigner, eventuell als Anforderungsspezialist oder als Entwickler. Kommuniziert gut und wird auf der Stufe SW-/IT-Entwicklungsleiter, Projektleiter, Projektmanagement und Qualitätsmanagement akzeptiert TESTArchitekt Optimiert die Testkosten für mehrere Produkte Der Testarchitekt berät den Testmanager in fachlicher Hinsicht. Er analysiert die Anforderungen, kennt sich mit den Softwarearchitekturen der entwickelten Systeme aus und gibt den Testdesignern und -automatisierern die fachlichen Vorgaben. Aufgaben Stellt kommerzielle Überlegungen hinsichtlich Testsynergien zwischen verschiedenen Produktlinien an. Führt eine Kosten-Nutzen-Analyse für verschiedene Teststrategien durch. Definiert den fachtechnischen Teil der Testpläne (Testkonzept). Erstellt auf ökonomischer Basis eine Triage, welche Tests intern, bei Softwarepartnern oder in spezialisierten Testzentren durchgeführt werden. Stellt sicher, dass die Testdesigner bewährte Testpatterns wiederverwenden. Anforderunsprofil Idealerweise ISTQB/ASQF-Certified Tester Advanced Level (Testmanager). Denkt analytisch und unternehmerisch. Hat den Überblick über die Produktpalette der Firma. Erfahrung als Testdesigner, Anforderungsspezialist und Softwarearchitekt. Kommuniziert gut und wird von den Softwarearchitekten,

26 test management 51 dem Leiter der Anforderungsspezialisten, dem SW-/IT-Entwicklungsleiter und dem Management akzeptiert TestdesiGNEr Entwirft wirksame Testfälle Testdesigner können Anforderungen rasch erfassen. Sie erstellen methodisch strukturierte Testfälle und kommunizieren Abweichungen sachlich und nachvollziehbar. Anforderungsprofil Idealerweise ISTQB/ASQF-Certified Tester Foundation Level. Hochschulstudium als Informatiker respektive Ingenieur. Findet sich mit komplexen Systemen und Anforderungen zurecht. Erfahrung in der Anforderungsanalyse. Erfahrung in der Softwareentwicklung. Verfügt über eine präzise schriftliche Ausdrucksweise. Akzeptanz bei den Softwareentwicklern und Anforderungsspezialisten. Aufgaben Analysiert Produktanforderungen, technische Spezifikationen und den Aufbau des Systems. Leitet Testfälle von den funktionalen und nichtfunktionalen Anforderungen ab und beschreibt sie so, dass sie von Testern und Entwicklern einfach verstanden und ausgeführt werden können. Entwickelt automatisierte Integrations- und Systemtests (evtl. separate Rolle Testautomatisierer). Erstellt beziehungsweise beschafft die notwendigen Testdaten. Kommuniziert gut mit den Anforderungsspezialisten und den Softwareentwicklern. Analysiert die entdeckten Fehler und hilft, die Fehlerauswirkungen und -ursachen zu beurteilen TESTAutoMATisierer Automatisiert wiederkehrende Testfälle Testautomatisierer können die wichtigsten Bedienungsabläufe eines Systems sowie die Steuerung von umliegenden Systemen (Testtreiber und Stubs) rasch in einem Testautomatisierungswerkzeug erfassen, wiederkehrende Testfälle anhand dieser Abläufe automatisieren, fehlerhafte Abläufe analysieren sowie Fehler sachlich und nachvollziehbar kommunizieren. Aufgaben Analysiert Anforderungen an das automatisierte Testen, plant den Einsatz der Testautomatisierungswerkzeuge und setzt sie auf. Erstellt ein Framework der wichtigsten Bedienungsabläufe des

27 test management 53 Systems sowie der Steuerung von umliegenden Systemen. Automatisiert und unterhält Testfälle und führt sie aus. Kommuniziert gut mit den Anforderungsspezialisten und den Softwareentwicklern. Analysiert die entdeckten Fehler und hilft, die Fehlerauswirkungen und -ursachen zu beurteilen. Anforderungsprofil Idealerweise ISTQB/ASQF-Certified Tester Foundation Level. Erfahrung in der Softwareentwicklung. Findet sich in komplexen Systemen und Anforderungen zurecht. Kenntnisse in der Anforderungsanalyse. Verfügt über eine präzise schriftliche Ausdrucksweise. Akzeptanz bei den Softwareentwicklern TESTEr Stellt die notwendigen Testdaten bereit. Führt die einzelnen Testschritte gemäss Testfallspezifikation durch und beobachtet das Verhalten des Systems. Protokolliert Durchführung und beobachtet Resultate. Bewertet jedes Testresultat danach, ob es erfüllt oder nicht erfüllt ist. Trägt Fehler in die Fehlerdatenbank ein. Unterstützt Entwickler beim Reproduzieren der Fehler. Anforderungsprofil Erfahrung im Umgang mit dem zu testenden System, zum Beispiel als Anwender. Gewissenhafte Vorgehensweise. Zuverlässigkeit bei der Protokollierung und der Eintragung in der Fehlerdatenbank. Akzeptanz bei den Softwareentwicklern und Anforderungsspezialisten. Arbeitet zuverlässig und exakt Tester führen Tests gemäss Testfallspezifikation gewissenhaft und zuverlässig durch und berichten Abweichungen in einem entsprechenden Tool. Aufgaben Orientiert sich über die durchzuführenden Tests anhand der Testspezifikationen (Testfälle, Testdaten). Bereitet das System für die Testdurchführung vor.

28 test management DokuMENTVorlagen: Welche GliederuNGEN sich in der Praxis bewähren Jedes Unternehmen, jeder Entwicklungsprozess, jedes Qualitätsmanagementsystem und jeder Referenzprozess hat eigene Dokumentvorlagen. Die nachfolgenden Vorschläge für Inhaltsverzeichnisse zeigen, wie die Vielzahl von Informationen systematisch eingeordnet und wieder aufgefunden werden kann TESTkonzEPT 1. Einführung, Allgemeines 2. Testziele (aus Unternehmenssicht) 3. Strategie zur Zielerreichung, Teststrategie 3.1 Teststufen und ihre Testziele 3.2 Testtools 4. Identifikation der Testobjekte beziehungsweise der zu testenden Anforderungen 5. Testdurchführung, Testaufträge 5.1 Zusammenstellung der Testaufgaben Allgemeine Vorgaben Testaktivitäten und eventuell spezifische Testziele Weitere wichtige Aktivitäten 5.2 Investitionen in die Testinfrastruktur 5.3 Testorganisation 5.4 Beurteilung der Testaufwände 5.5 Koordination und Absprachen

29 test management Zeitliche Abhängigkeiten, Meilensteine 6. Berichterstattung, Testdokumentation 6.1 Fehlererfassung 6.2 Testberichte 6.3 Testdokumentation 7. Kennzahlen 8. Risikobetrachtung No. 5.4 Nachbereitung (Aktionen, um das System eventuell wieder in den Anfangszustand zurückzusetzen) Abb. 8 Testschritt-beschreibung/Input Erwartetes Resultat Tatsächliches Resultat Beurteilung (erfüllt/nicht erfüllt) TestfallSPEzifikation Einführung, Allgemeines 2. Testüberblick 2.1 Teststrategie für die zu testende Einheit 2.2 Spezielle Eigenschaften der zu testenden Einheit 2.3 Kritikalität der zu testenden Einheit 3. Testumgebung 3.1 Tools 3.2 Testdaten 3.3 Testkonfiguration 4. Generelles Vorgehen bei der Testdurchführung 4.1 Vorbereitung 4.2 Durchführung, Fehlererfassung 4.3 Auswertung, Aufzeichnung 5. Testfälle 5.1 Titel der zu testenden Anforderung, Funktion, Use Case etc. 5.2 Vorbedingung 5.3 Beschreibung der einzelnen Testschritte in Tabellenform 13.3 Testbericht 1. Identifikation des Testobjekts 2. Zusammenfassende Beurteilung der Testendkriterien, Freigabeempfehlung 3. Begründung der Freigabeempfehlung 3.1 Kennzahlen und ihre Interpretation 3.2 Testzyklen, Testergebnisse, Testaufwände 3.3 Abschätzung Restfehlerrate 4. Beurteilung der Zielerreichung 4.1 Testziel 4.2 Kosten, Termine 4.3 Abweichung vom Testplan 5. Nicht getestete, offene Punkte, Massnahmen

30 test management TESTwerkzeuge: Welches Tool sich wofür eignet Die folgende Liste gibt einen Überblick über einige der bekannteren Tools. Sie ist bei weitem nicht endgültig. Im Internet finden sich aktuelle und kommentierte Zusammenstellungen von weiteren Testtools. Abb. 9 Einsatzgebiet HERSTELLER: ProDUKTname Testverwaltung IBM Rational: TestManager mercury: TestDirector microsoft: Excel, Word Systemtestautomatisierung IBM Rational: Robot, FunctionalTester (.Net) mercury: Winrunner, Quicktest (.Net) Integrationstestautomatisierung IBM Rational: Test RealTime Unit-Testtools IPL: Cantata, Cantata++ JUnit, CppUnit, NUnit

31 test management Weiterführende InforMATionen: Wo sich DAS Nachschlagen lohnt 15.1 Literatur «Basiswissen Softwaretest: Aus- und Weiterbildung zum Certified Tester-Foundation Level nach ISTQB-Standard», von Andreas Spillner, Tilo Linz, dpunkt.verlag, 5. überarbeitete und aktualisierte Auflage, September 2012, 290 Seiten, gebunden, ISBN: Sehr gute Vorbereitung für die Prüfung «ISTQB Certified Tester Foundation Level». Verbindet Theorie und Praxis des Softwaretestens. «Lehrbuch der Softwaretechnik: Softwaremanagement», von Helmut Balzert, 2. Auflage, Springer-Verlag, 2008, ISBN: «Software-Prüfung. Eine Anleitung zum Test und zur Inspektion», von Karol Frühauf, Jochen Ludewig und Helmut Sandmayr, Vdf Hochschulverlag, 6. überarbeite und aktualisierte Auflage, 2006, ISBN: «Methodisches Testen von Programmen» von G. J. Myers, Verlag R. Oldenbourg, 7. Auflage, 2001, ISBN: Ein viel zitiertes Buch zum Testen. Geeignet für Tester, Testdesigner, Testmanager oder Testprozessgestalter.

32 test management 63 «Management und Optimierung des Testprozesses (mit TPI und TMap)», von Martin Pol, Tim Koomen und Andreas Spillner, dpunkt.verlag, 2. aktualisierte Auflage, 2002, ISBN: Hilft, den Testprozess in einem Unternehmen systematisch zu optimieren. «Testing Embedded Software» von Bart Broekman und Edwin Notenboom, Addison-Wesley Longman, 2002, ISBN: Gute Vorgehenspraktiken, beispielsweise auch für Sicherheitsanalysen (Safety). Viele tabellenartig dargestellte Instrumente. «Software Testing: Tests, Verfahren, Werkzeuge; Die Praxis des Rapid Application Testings; Agiles Qualitätsmanagement», von Manfred Rätzmann, Galileo Press, 2002, ISBN «Lessons Learned in Software Testing: A Context-Driven Approach», von Cem Kaner, James Bach und Bret Pettichord, Wiley, 2002, ISBN Richtet sich vor allem an Tester. Zeigt Vor- und Nachteile des IEEE-Standardtemplates für Softwaretestpläne. «Basiswissen Testautomatisierung: Konzepte, Methoden und Techniken», von Richard Seidl, Manfred Baumgartner und Thomas Bucsics, Dpunkt Verlag, 2011, ISBN Gibt einen toolunabhängigen Überblick über die Automatisierung 15.2 Normen und STANDArds IEEE Std , IEEE Standard for Software Test Documentation IEEE Std , IEEE Standard for Software Unit Testing IEEE SWEBOK «Guide to the Software Engineering Body of Knowledge», Chapter 5 «Software Testing» ISO/IEC Software Engineering Software Product Quality Requirements and Evaluation (ersetzt ISO/IEC 9126) FDA «General Principles of Software Validation; Final Guidance for Industry and FDA Staff», January 11, Weblinks Swiss Testing Board Website zum Buch «Basiswissen Softwaretest» «The Economic Impacts of Inadequate Infrastructure for Software Testing», National Institute of Standards & Technology, USA, May ERNI Experiences über Testen

33 test management 65 Testprozess: Wie Rollen, Phasen, Tätigkeiten und Dokumente zusammenwirken Abb. 10 Projektplan Anforderungsliste Testplanung i i i i Testmanager Testfallkatalog Anforderungen Testdesign Testdesigner Testfallspezifikation Test- DURCHFüHRUng Tester Testprotokoll Fehlermeldungen Testauswertung Testmanager Testbericht Planung Entwicklung Durchführung Auswertung SYSTEMTEst INTEGRATIONSTEST EINZEL-/MODultEst Der Testprozess besteht aus den gleichen vier Aktivitäten auf jeder Stufe des Testens: Planung, Entwicklung, Durchführung und Auswertung von Tests. Der Testmanager ist für die Planung und Auswertung der Tests verantwortlich. Der Testdesigner entwickelt die Testfälle, während die Tester für die Durchführung der Tests verantwortlich sind.

34

35 enables & delivers