Inhaltsverzeichnis. Harry M. Sneed, Manfred Baumgartner, Richard Seidl. Der Systemtest. Von den Anforderungen zum Qualitätsnachweis

Transkript

1 Inhaltsverzeichnis Harry M. Sneed, Manfred Baumgartner, Richard Seidl Der Systemtest Von den Anforderungen zum Qualitätsnachweis ISBN: Weitere Informationen oder Bestellungen unter sowie im Buchhandel. Carl Hanser Verlag, München

2 Inhalt Vorwort XIII Die Autoren....XV 1 Einführung in den Systemtest Das Wesen eines Systemtests Von Entwicklern und Anwendern zu Testern Warum wir testen müssen Ziele des Systemtests Der Systemtestprozess Systemtestnormen Systemtestwerkzeuge Systemtester Zur Systemtestbarkeit Testbarkeit der Anwendungsfälle Testbarkeit der Benutzeroberflächen Testbarkeit der Systemschnittstellen Testbarkeit der Datenbanken Testen ohne Benutzeroberfläche Testanforderungsanalyse Ansätze zur Formulierung der Anforderungen Formale Spezifikation Semiformale Spezifikation Strukturierte Spezifikation Informale Spezifikation Ansätze zur Normierung der Anforderungen Die Praxis der Anforderungsdokumentation Das V-Modell-XT Lastenheft Die Analyse natursprachlicher Anforderungen Anforderungsbasierte Testfallermittlung Ein Beispiel der Testfallermittlung Zur Automatisierung der Testfallermittlung Erfahrung mit der automatisierten Anforderungsanalyse...47

3 VI Inhalt 3 Modellbasierte Testspezifikation Woher kommt das Modell? Übernahme des Entwicklermodells Erstellung eines eigenen Testmodells Gewinnung eines Modells aus der Anforderungsdokumentation Gewinnung eines Modells aus dem Code Ableitung der Testfälle aus einem UML Modell Testfälle aus den UseCase-Diagrammen Testfälle aus den Sequenzdiagrammen Testfälle aus den Aktivitätsdiagrammen Testfälle aus den Zustandsdiagrammen Vereinigung der Testfälle Vom Testmodell zur Testausführung Alternative zum modellbasierten Test Testen gegen die Vorstellungen des Testers Testen gegen das Benutzerhandbuch Testen gegen die Anforderungsdokumentation Testen gegen das bestehende System Beurteilung des modellbasierten Testens Modellbasiertes Testen im Vergleich mit Testen gegen die Testervorstellungen Modellbasiertes Testen im Vergleich zum Testen gegen das Benutzerhandbuch Modellbasiertes Testen im Vergleich zum Testen gegen ein bestehendes System Testen gegen ein Modell im Vergleich zum Testen gegen die Anforderungsspezifikation Der optimale Testansatz ist situationsbedingt Systemtestplanung Zweck der Testplanung Voraussetzungen zur Testplanung Schätzung der Testaufwände Test-Points Testproduktivität Komplexität und Qualität Die COCOMO-II Gleichung Schätzung der Testdauer Testprojektorganisation Organisation der Testressourcen Organisation des Testpersonals Testrisikoanalyse Festlegung der Testendekriterien Gestaltung des Testplans nach ANSI/IEEE Testkonzept-ID Einführung...86

4 Inhalt VII Zu testende Objekte Zu testende Funktionen Nicht zu testende Funktionen Testvorgehensweise Testendekriterien Testabbruchkriterien Testergebnisse Testaufgaben Testumgebung Testverantwortlichkeiten Testpersonalbedarf Testzeitplan Testrisiken und Risikomanagement Genehmigungen Die Prüfspezifikation nach V-Modell-XT Einleitung Prüfziele Prüfobjekte Prüffälle Prüfstrategie Prüfkriterien Prüfergebnisse Prüfaufgaben Prüfumgebung Prüffallzuordnung Prüfaufwand Risikovorkehrungen Spezifikation der Testfälle Aufbau der Testfälle Das Testfallkennzeichen Der Testfallzweck Die Testfallquelle Die Testanforderung Der Testvorgang Die Testobjekte Die Testfallvorzustände Die Testfallnachzustände Die Vorgängertestfälle Die Nachfolgetestfälle Die Testumgebung Die Testfallargumente Die Testfallergebnisse Der Testfallstatus Darstellung der Testfälle Testfälle im Textformat...106

5 VIII Inhalt Testfälle im Tabellenformat Testfälle im XML-Format Testfälle in einer formalen Sprache TTCN Erstellung der Testfälle Generierung der Grunddaten aus dem Anforderungstext Ergänzungen der Testfälle Speicherung der Testfälle Testfälle als Texte Testfälle als Tabellen Testfälle als XML-Format Qualitätssicherung der Testfälle Testfallquantität Messung der Testfallkomplexität Messung der Testfallqualität Überführung der Testfälle in einen Testentwurf Wartung und Weiterentwicklung der Testfälle Bereitstellung der Testdaten Testdatenquellen Die Anforderungsdokumentation als Quelle von Testdaten Das Entwurfsmodell als Quelle von Testdaten Der Source-Code als Quelle von Testdaten Die alten Testdaten als Quelle von Testdaten Die Produktionsdaten als Quelle von Testdaten Die fachlogischen Testfälle als Quelle von Testdaten Testdatenobjekte Testdatenerstellungsansätze Der blinde Ansatz zur Testdatenerstellung Der gezielte Ansatz zur Testdatenerstellung Der kombinierte Ansatz Der Mutationsansatz Testdatentypen Datenbanken Systemschnittstellen Benutzeroberflächen Testdatengenerierung Datengenerierung aus den Testfällen Datengenerierung aus Testprozeduren Datengenerierung aus dem Source-Code Datengenerierung aus vorhandenen Daten Werkzeuge für die Testdatengenerierung Datenbankgeneratoren Schnittstellengeneratoren Oberflächengeneratoren

6 Inhalt IX 7 Systemtestausführung Systemtypen Alleinstehende Systeme Integrierte Systeme Verteilte Systeme Web-basierte Systeme Service-orientierte Systeme Vollautomatische Systeme Eingebettete Echtzeitsysteme Test alleinstehender Systeme Test integrierter Systeme Funktionstest Belastungstest Benutzbarkeitstest Test verteilter Systeme Interaktionstest Testverfolgung im Netz Sicherheitstest Test Web-basierter Systeme Test der Web-Architektur Test der Web-Anwendung Test Service-orientierter Systeme Vorbereitung des Servicetests Ausführung des Web Service-Tests Simulierter Test der Geschäftsprozesse Integration der Services mit den Geschäftsprozessen Test vollautomatisierter Systeme Werkzeuge für den automatisierten Test Tester für den automatisierten Test Test eingebetteter Systeme Kein System ist wie das andere Auswertung des Systemtests Zweck der Testauswertung Auswertung der Testergebnisse Sichtbare und unsichtbare Ergebnisse Möglichkeiten der Ergebniskontrolle Begründung der Ergebniskontrolle Automatisierte Ergebniskontrolle Messung der Testüberdeckung Testüberdeckungsmaße Function-Point-Überdeckung Anforderungsüberdeckung Überdeckung bisheriger Funktionalität Fehlerüberdeckung

7 X Inhalt 8.4 Fehleranalyse Fehlerlokalisierung Fehlermeldung Systemtestmetrik Testüberdeckungsmaße Fehleranalysemaße Messung der Testeffektivität Systemtestmessung in der Praxis Testpflege und fortschreibung Analyse der Änderungsanträge (CRs) Fortschreibung und Optimierung des Testplans Fortschreibung der Testziele Fortschreibung der Testobjekte Fortschreibung der zu testenden Funktionen Fortschreibung der Teststrategie und Testendekriterien Fortschreibung der Testergebnisse Fortschreibung der Testaufgaben Fortschreibung des Personalplanes Fortschreibung der Testrisiken Rekalkulation der Testkosten Impaktanalyse der Software Statische Impaktanalyse Dynamische Impaktanalyse Fortschreibung der Testfälle Spezifikation neuer Testfälle Anpassung bestehender Testfälle Anreicherung der Testdaten Direkte Anreicherung der Daten Indirekte Anreicherung der Daten Ausführen des Regressionstests Eigenarten eines Regressionstests Der Test im Dialogmodus Der Test im Batch-Modus Testautomatisierung beim Regressionstest Auswertung des Regressionstests Kontrolle der Regressionstestüberdeckung Kontrolle der Regressionstestergebnisse Protokollierung der Regressionstestergebnisse Automatisierung des Regressionstests Der Regressionstest in Migrationsprojekten Voller Regressionstest Selektiver Regressionstest

8 Inhalt XI 10 Systemtestautomation Ein Modell für die Testautomatisierung Testeingaben Testausgaben Testobjektbeziehungen Testereignisse Planende Testereignisse Vorbereitende Testereignisse Ausführende Testereignisse Abschließende Testereignisse Zusammenfassung der Testereignisse Zur Automation der Testereignisse Automatische Ableitung der logischen Testfälle aus der Anforderungsdokumentation Automatisierte Erzeugung eines Testplans Automatische Erstellung eines Testentwurfs Automatische Generierung der Testdaten Automatisierte Erzeugung physikalischer Testfälle Automatische Generierung der Testprozeduren Automatische Instrumentierung des Codes Die automatische Testausführung Die automatische Ergebnisprüfung Automatische Kontrolle der Testüberdeckung Automatisch generierte Testmetrik Voraussetzungen der Testautomation Formalisierung der Anforderungsspezifikation Standardisierung der Testdokumente Definition der Datenwertebereiche Qualifizierung der Tester Systemtestautomation als eigenständiges Projekt Erste Automatisierungsstufe Zweite Automatisierungsstufe Dritte Automatisierungsstufe Vierte Automatisierungsstufe Fünfte Automatisierungsstufe Alternative zum automatisierten Test Erste Alternative = weniger Testen Zweite Alternative = massiver Personaleinsatz Vergangenheit und Zukunft der Testautomation Werkzeuge für den Systemtest Werkzeugkategorien Einsatzgebiete Funktionalität und Auswahlkriterien Werkzeuge aus Projekten: Der Testarbeitsplatz...247

9 XII Inhalt 12 Testmanagement Notwendigkeit des Systemtestmanagements Hauptaufgaben des Systemtestmanagements Testplanung und Umsetzung des Testkonzeptes Laufendes Controlling aller Testaktivitäten Inhaltscontrolling Controlling der Planungsgrößen Controlling der Testendekriterien Sicherstellung der Qualität der Testergebnisse Qualität des Testdesigns und der Testfälle Qualität der Protokollierung der Testdurchführung Qualität des Fehlermanagements Testprozessmanagement Testprozessgestaltung Testprozessreife Testteamführung Anhang Anhang A: Testplan nach ANSI/IEEE Anhang B1: Schema für die Testfallspezifikation Anhang B2: Beispiel einer Testfallspezifikation für den Test der Auftragsbearbeitung Anhang C1: Testdatengenerierungsskript Anhang C2: Testergebnisvalidierungsskript Literatur Register...305