Harry M. Sneed Manfred Baumgartner Richard Seidl. Der Systemtest. Anforderungsbasiertes Testen von Software-Systemen HANSER

Transkript

1 - Harry M. Sneed Manfred Baumgartner Richard Seidl Der Systemtest Anforderungsbasiertes Testen von Software-Systemen HANSER

2 Inhalt 1 Einführung in den Systemtest Das Wesen eines Systemtests Von Entwicklern und Anwendern zu Testern Warum wir testen müssen Die Systemtestziele Der Systemtestprozess Die Systemtestwerkzeuge Die Systemtester Zur Systemtestbarkeit Testbarkeit der Anwendungsfälle Testbarkeit der Benutzeroberflächen Testbarkeit der Systemschnittstellen Testbarkeit der Datenbanken Testen ohne Benutzeroberfläche 18 2 Testanforderungsanalyse Ansätze zur Formulierung der Anforderungen Ansätze zur Normierung der Anforderungsdokumentation Zur Praxis der Anforderungsdokumentation Zur Analyse natursprachlicher Anforderungen Anforderungsbasierte Testfallermittlung Beispiel der Testfallermittlung Zur Automatisierung der Testfallermittlung 41 3 Systemtestplanung Zweck der Testplanung Voraussetzungen einer systematischen Testplanung Schätzung der Testaufwände Schätzung der Testdauer Testprojektorganisation Organisation der Testressourcen 58 V

3 3.5.2 Organisation des Testpersonals Testrisikoanalyse Festlegung der Testendekriterien Gestaltung des Testplans Testkonzept-ID Testeinführung Zu testende Objekte Zu testende Funktionen Nicht zu testende Funktionen Testvorgehensweise Testendekriterien Testabbruchkriterien Testergebnisse Testaufgaben Testumgebung Testverantwortlichkeiten Testpersonalbedarf Testzeitplan Testrisiken und Risikomanagement Genehmigungen 69 4 Spezifikation der Testfälle Aufbau der Testfälle nach ANSI-Standard Das Testfallkennzeichen Der Testfallzweck Die Testfallquelle Die Testanforderung Der Testvorgang Die Testobjekte Die Testfallvorzustände Die Testfallnachzustände Die Vorgängertestfälle Die Nachfolgetestfälle Die Testumgebung Die Testfallargumente Die Testfallergebnisse Der Testfallstatus Darstellung der Testfälle Testfälle im Textformat Testfälle im Tabellenformat Testfälle im XML-Format Testfälle in einer formalen Sprache Erstellung der Testfälle Generierung der Rahmendaten aus dem Anforderungstext Ergänzungen der Testfälle Speicherung der Testfälle 88

4 4.4.1 Testfälle als Texte Testfälle als Tabellen Testfälle als XML-Format Qualitätssicherung der Testfälle Testfallquantität Messung der Testfallkomplexität Messung der Testfallqualität Wartung und Weiterentwicklung der Testfälle 96 5 Bereitstellung der Testdaten Testdatenquellen Die Anforderungsdokumentation als Quelle von Testdaten Die Entwurfsdokumentation als Quelle von Testdaten Der Source-Code als Quelle von Testdaten Die alten Testdaten als Quelle von Testdaten Die Produktionsdaten als Quelle von Testdaten Testdatenerstellungsansätze Der blinde Ansatz zur Testdatenerstellung Der gezielte Ansatz zur Testdatenerstellung Der kombinierte Ansatz Der Mutationsansatz Testdatentypen Datenbanken Systemschnittstellen Benutzeroberflächen Testdatengenerierung Datengenerierung aus den Testfällen Datengenerierung aus Testprozeduren Datengenerierung aus dem Source-Code Datengenerierung aus vorhandenen Daten Werkzeuge für die Testdatengenerierung Datenbankgeneratoren Schnittstellengeneratoren Oberfiächengeneratoren Systemtestausführung Systemtypen Standalone-Systeme Integrierte Systeme Verteilte Systeme Web-basierte Systeme Vollautomatische Systeme Eingebettete Echtzeitsysteme Test alleinstehender Systeme Test integrierter Systeme Funktionstest 129

5 Inhalt Belastungstest Benutzbarkeitstest Test verteilter Systeme Interaktionstest Testverfolgung im Netz Sicherheitstest Test Web-basierter Systeme Test der Web-Architektur Test der Web-Anwendung Test vollautomatisierter Systeme Werkzeuge für den automatisierten Test Tester für den automatisierten Test Test eingebetteter Systeme Systemregressionstest Kein System ist wie das andere Auswertung des Systemtests Zweck der Testauswertung Auswertung der Testergebnisse Sichtbare und unsichtbare Ergebnisse Möglichkeiten der Ergebniskontrolle Begründung der Ergebniskontrolle Automatisierte Ergebniskontrolle Messung der Testüberdeckung Testüberdeckungsmaße Function-Point-Überdeckung Anforderungsüberdeckung Überdeckung bisheriger Funktionalität Fehlerüberdeckung Fehleranalyse Fehlerlokalisierung Fehlermeldung Systemtestmetrik Testüberdeckungsmaße Fehleranalysemaße Messung der Testeffektivität Testpflege und -fortschreibung Analyse der Änderungs- und Ergänzungsanträge Fortschreibung des Testplans Fortschreibung der Testziele Fortschreibung der Testobjekte Fortschreibung der zu testenden Funktionen Fortschreibung der Teststrategie und Testendekriterien Fortschreibung der Testergebnisse Fortschreibung der Testaufgaben 169 VIII

6 8.2.7 Fortschreibung des Personalplanes Fortschreibung der Testrisiken Rekalkulation der Testkosten Impaktanalyse der Software Statische Impaktanalyse Dynamische Impaktanalyse Fortschreibung der Testfälle Spezifikation neuer Testfälle Anpassung bestehender Testfälle Anreicherung der Testdaten Direkte Anreicherung der Daten Indirekte Anreicherung der Daten Ausfuhren der Regressionstests Eigenarten eines Regressionstests Der Test im Dialogmodus Der Test im Batch-Modus Zur Notwendigkeit der Testautomatisierung beim Regressionstest Auswertung des Regressionstests Kontrolle der Regressionstestüberdeckung Kontrolle der Regressionstestergebnisse Protokollierung der Regressionstestvorkommnisse Werkzeuge für den Systemtest Das Mercury Quality Center TestDirector WinRunner QuickTest Professional Der Business Process Tester Das Compuware QACenter QADirector QARun TrackRecord QALoad File-AID Die Imbus Testbench Anforderungsbasierte Testplanung Anforderungsbasierter Testfallentwurf Testautomatisierung Testauswertung Der ANECON Testerarbeitsplatz Der Textanalysator Der Testdatengenerator Der Testergebnisvalidator Der Testausführungsmonitor Der Testfallanalysator Die Empirix e-test Suite 203

7 9.5.1 e-manager Enterprise e-tester e-load Die Zukunft der Testautomatisierung Testmanagement Notwendigkeit des Systemtestmanagements Die Hauptaufgaben des Systemtestmanagements Testplanung und Umsetzung des Testkonzeptes Laufendes Controlling aller Testaktivitäten Sicherstellung der Qualität der Testergebnisse Management des Testteams Anhang Anhang A: Testplan nach ANSI/IEEE Anhang Bl: Schema für die Testfallspezifikation Anhang B2: Beispiel einer Testfallspezifikation für den Test der Auftragsbearbeitung Anhang Cl: Testdatengenerierungsskript Anhang C2: Testergebnisvalidierungsskript 240 Literatur 241 Register 253