Der Systemtest HANSER. Von den Anforderungen zum Qualitätsnachweis. Harry M. Sneed Manfred Baumgartner Richard Seidl

Transkript

1 Harry M. Sneed Manfred Baumgartner Richard Seidl Der Systemtest Von den Anforderungen zum Qualitätsnachweis 2., aktualisierte und erweiterte Auflage HANSER

2 Inhalt Vorwort Die Autoren XIII XV 1 Einführung in den Systemtest Das Wesen eines Systemtests Von Entwicklern und Anwendern zu Testern Warum wir testen müssen Ziele des Systemtests Der Systemtestprozess Die Systemtestwerkzeuge Die Systemtester Zur Systemtestbarkeit Testbarkeit der Anwendungsfälle Testbarkeit der Benutzeroberflächen Testbarkeit der Systemschnittstellen Testbarkeit der Datenbanken Testen ohne Benutzeroberfläche 18 2 Testanforderungsanalyse Ansätze zur Formulierung der Anforderungen Formale Spezifikation Semiformale Spezifikation Strukturierte Spezifikation Informale Spezifikation Ansätze zur Normierung der Anforderungsdokumentation Zur Praxis der Anforderungsdokumentation Das V-Modell-XT Lastenheft Zur Analyse natursprachlicher Anforderungen Anforderungsbasierte Testfallermittlung Beispiel der Testfallermittlung Zur Automatisierung der Testfallermittlung Erfahrung mit der automatisierten Anforderungsanalyse 48 V

3 3 Systemtestplanung Zweck der Testplanung Voraussetzungen einer systematischen Testplanung Schätzung der Testaufwände Test-Points Testproduktivität Komplexität und Qualität Die COCOMO-II Gleichung Schätzung der Testdauer Testprojektorganisation Organisation der Testressourcen Organisation des Testpersonals Testrisikoanalyse Festlegung der Testendekriterien Gestaltung des Testplans nach ANSI/IEEE Testkonzept-ID Einführung Zu testende Objekte Zu testende Funktionen Nicht zu testende Funktionen Testvorgehensweise Testendekriterien Testabbruchkriterien Testergebnisse Testaufgaben Testumgebung Testverantwortlichkeiten Testpersonalbedarf Testzeitplan Testrisiken und Risikomanagement Genehmigungen Die Prüfspezifikation nach V-Modell-XT Einleitung Prüfziele Prüfobjekte Prüffälle Prüfstrategie Prüfkriterien Prüfergebnisse Prüfaufgaben Prüfumgebung Prüffallzuordnung Prüfaufwand Risikovorkehrungen 81

4 4 Spezifikation der Testfälle Aufbau der Testfälle nach ANSI-Standard Das Testfallkennzeichen Der Testfallzweck Die Testfallquelle Die Testanforderung Der Testvorgang Die Testobjekte Die Testfallvorzustände Die Testfallnachzustände Die Vorgängertestfälle Die Nachfolgetestfälle Die Testumgebung Die Testfallargumente Die Testfallergebnisse Der Testfallstatus Darstellung der Testfälle Testfälle im Textformat Testfälle im Tabellenformat Testfälle im XML-Format Testfälle in einer formalen Sprache - TTCN Erstellung der Testfälle Generierung der Rahmendaten aus dem Anforderungstext Ergänzungen der Testfälle Speicherung der Testfälle Testfälle als Texte Testfälle als Tabellen Testfälle als XML-Format Qualitätssicherung der Testfälle Testfallquantität Messung der Testfallkomplexität Messung der Testfallqualität Überführung der Testfälle in einen Testentwurf Wartung und Weiterentwicklung der Testfälle Bereitstellung der Testdaten Testdatenquellen Die Anforderungsdokumentation als Quelle von Testdaten Die Entwurfsdokumentation als Quelle von Testdaten Der Source-Code als Quelle von Testdaten Die alten Testdaten als Quelle von Testdaten Die Produktionsdaten als Quelle von Testdaten Testdatenobjekte Testdatenerstellungsansätze Derblinde Ansatz zur Testdatenerstellung Der gezielte Ansatz zur Testdatenerstellung 121

5 Inhalt Der kombinierte Ansatz Der Mutationsansatz Testdatentypen Datenbanken Systemschnittstellen Benutzeroberflächen Testdatengenerierung Datengenerierung aus den Testfällen Datengenerierung aus Testprozeduren Datengenerierung aus dem Source-Code Datengenerierung aus vorhandenen Daten Werkzeuge für die Testdatengenerierung Datenbankgeneratoren Schnittstellengeneratoren Oberflächengeneratoren Systemtestausführung Systemtypen Alleinstehende Systeme Integrierte Systeme Verteilte Systeme Web-basierte Systeme Service-orientierte Systeme Vollautomatische Systeme Eingebettete Echtzeitsysteme Test alleinstehender Systeme Test integrierter Systeme Funktionstest Belastungstest Benutzbarkeitstest Test verteilter Systeme Interaktionstest Testverfolgung im Netz Sicherheitstest Test Web-basierter Systeme Test der Web-Architektur Test der Web-Anwendung Test Service-orientierter Systeme Vorbereitung des Servicetests Ausführung des Web Service-Tests Test vollautomatisierter Systeme Werkzeuge für den automatisierten Test Tester für den automatisierten Test Test eingebetteter Systeme Kein System ist wie das andere 159 VIII

6 7 Auswertung des Systemtests Zweck der Testauswertung Auswertung der Testergebnisse Sichtbare und unsichtbare Ergebnisse Möglichkeiten der Ergebniskontrolle Begründung der Ergebniskontrolle Automatisierte Ergebniskontrolle Messung der Testüberdeckung Testüberdeckungsmaße Function-Point-Überdeckung Anforderungsüberdeckung Überdeckung bisheriger Funktionalität Fehlerüberdeckung Fehleranalyse Fehlerlokalisierang Fehlermeldung Systemtestmetrik Testüberdeckungsmaße Fehleranalysemaße Messung der Testeffektivität Systemtestmessung in der Praxis Testpflege und -fortschreibung Analyse der Anderungs- und Ergänzungsanträge Fortschreibung und Optimierung des Testplans Fortschreibung der Testziele Fortschreibung der Testobjekte Fortschreibung der zu testenden Funktionen Fortschreibung der Teststrategie und Testendekriterien Fortschreibung der Testergebnisse Fortschreibung der Testaufgaben Fortschreibung des Personalplanes Fortschreibung der Testrisiken Rekalkulation der Testkosten Impaktanalyse der Software Statische Impaktanalyse Dynamische Impaktanalyse Fortschreibung der Testfälle Spezifikation neuer Testfälle Anpassung bestehender Testfälle Anreicherung der Testdaten Direkte Anreicherung der Daten Indirekte Anreicherung der Daten Ausführen der Regressionstests Eigenarten eines Regressionstests Der Test im Dialogmodus 196

7 Inhalt Der Test im Batch-Modus Zur Notwendigkeit der Testautomatisierung beim Regressionstest Auswertung des Regressionstests Kontrolle der Regressionstestüberdeckung Kontrolle der Regressionstestergebnisse Protokollierang der Regressionstestergebnisse Automatisierung des Regressionstests Der Regressionstest in Migrationsprojekten Voller Regressionstest Selektiver Regressionstest Werkzeuge für den Systemtest Das HP/Mercury Quality Center TestDirector WinRunner QuickTest Professional Der Business Process Tester Das Compuware QACenter QADirector QARun TrackRecord QALoad File-AID Das SQS-TEST/Professional Testmanagementfunktionen Testspezifikationsfunktionen Testausführangsfunktionen Die Imbus Testbench Anforderungsbasierte Testplanung Anforderungsbasierter Testfallentwurf Testautomatisierung Testauswertung Der Rational Functional Tester Die Empirix e-test Suite e-manager Enterprise e-tester e-load Die TOSCA Testsuite von TRICENTIS Das Konzept der Business Dynamischen Steuerung" Die TOSCA Engines Der TOSCA Commander Der ANECON Tester-Arbeitsplatz Der Textanalysator Der Testdatengenerator Der Testergebnisvalidator Der Testausführungsmonitor 235

8 9.8.5 Der Testfallanalysator Die Zukunft der Testautomatisierung Testmanagement Notwendigkeit des Systemtestmanagements Die Hauptaufgaben des Systemtestmanagements Testplanung und Umsetzung des Testkonzeptes Laufendes Controlling aller Testaktivitäten Sicherstellung der Qualität der Testergebnisse Testprozessmanagement Testprozessgestaltung Testprozessreife Testteamführung Anhang Anhang A: Testplan nach ANSI/IEEE Anhang Bl: Schema für die Testfallspezifikation Anhang B2: Beispiel einer Testfallspezifikation für den Test der Auftragsbearbeitung Anhang Cl: Testdatengenerierangsskript Anhang C2: Testergebnisvalidierungsskript 275 Literatur 277 Register 289