DER SYSTEMTEST VON DEN ANFORDERUNGEN ZUM QUALITÄTSNACHWEIS

Transkript

1 harry m. SNEED manfred BAUMGARTNER richard SEIDL DER SYSTEMTEST VON DEN ANFORDERUNGEN ZUM QUALITÄTSNACHWEIS 3. Auflage EXTRA: Mit kostenlosem E-Book Onlinebonus: Nützliche Systemtest-Tools zum (teils) kostenlosen Download

2 Sneed/Baumgartner/Seidl Der Systemtest vbleiben Sie einfach auf dem Laufenden: Sofort anmelden und Monat für Monat die neuesten Infos und Updates erhalten.

3

4 Harry M. Sneed Manfred Baumgartner Richard Seidl Der Systemtest Von den Anforderungen zum Qualitätsnachweis 3., aktualisierte und erweiterte Auflage

5 Die Autoren: Harry M. Sneed, Arget Manfred Baumgartner, Maria Enzersdorf (A) Richard Seidl, Potsdam Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autoren und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autoren und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden Carl Hanser Verlag München, Lektorat: Margarete Metzger Herstellung: Irene Weilhart Copy editing: Manfred Sommer, München Layout: Manuela Treindl, Fürth Umschlagdesign: Marc Müller-Bremer, München Umschlagrealisation: Stephan Rönigk Datenbelichtung, Druck und Bindung: Kösel, Krugzell Ausstattung patentrechtlich geschützt. Kösel FD 351, Patent-Nr Printed in Germany print-isbn: e-book-isbn:

6 Inhalt Vorwort XIII Die Autoren....XV 1 Einführung in den Systemtest Das Wesen eines Systemtests Von Entwicklern und Anwendern zu Testern Warum wir testen müssen Ziele des Systemtests Der Systemtestprozess Systemtestnormen Systemtestwerkzeuge Systemtester Zur Systemtestbarkeit Testbarkeit der Anwendungsfälle Testbarkeit der Benutzeroberflächen Testbarkeit der Systemschnittstellen Testbarkeit der Datenbanken Testen ohne Benutzeroberfläche Testanforderungsanalyse Ansätze zur Formulierung der Anforderungen Formale Spezifikation Semiformale Spezifikation Strukturierte Spezifikation Informale Spezifikation Ansätze zur Normierung der Anforderungen Die Praxis der Anforderungsdokumentation Das V-Modell-XT Lastenheft Die Analyse natursprachlicher Anforderungen Anforderungsbasierte Testfallermittlung Ein Beispiel der Testfallermittlung Zur Automatisierung der Testfallermittlung Erfahrung mit der automatisierten Anforderungsanalyse...47

7 VI Inhalt 3 Modellbasierte Testspezifikation Woher kommt das Modell? Übernahme des Entwicklermodells Erstellung eines eigenen Testmodells Gewinnung eines Modells aus der Anforderungsdokumentation Gewinnung eines Modells aus dem Code Ableitung der Testfälle aus einem UML Modell Testfälle aus den UseCase-Diagrammen Testfälle aus den Sequenzdiagrammen Testfälle aus den Aktivitätsdiagrammen Testfälle aus den Zustandsdiagrammen Vereinigung der Testfälle Vom Testmodell zur Testausführung Alternative zum modellbasierten Test Testen gegen die Vorstellungen des Testers Testen gegen das Benutzerhandbuch Testen gegen die Anforderungsdokumentation Testen gegen das bestehende System Beurteilung des modellbasierten Testens Modellbasiertes Testen im Vergleich mit Testen gegen die Testervorstellungen Modellbasiertes Testen im Vergleich zum Testen gegen das Benutzerhandbuch Modellbasiertes Testen im Vergleich zum Testen gegen ein bestehendes System Testen gegen ein Modell im Vergleich zum Testen gegen die Anforderungsspezifikation Der optimale Testansatz ist situationsbedingt Systemtestplanung Zweck der Testplanung Voraussetzungen zur Testplanung Schätzung der Testaufwände Test-Points Testproduktivität Komplexität und Qualität Die COCOMO-II Gleichung Schätzung der Testdauer Testprojektorganisation Organisation der Testressourcen Organisation des Testpersonals Testrisikoanalyse Festlegung der Testendekriterien Gestaltung des Testplans nach ANSI/IEEE Testkonzept-ID Einführung...86

8 Inhalt VII Zu testende Objekte Zu testende Funktionen Nicht zu testende Funktionen Testvorgehensweise Testendekriterien Testabbruchkriterien Testergebnisse Testaufgaben Testumgebung Testverantwortlichkeiten Testpersonalbedarf Testzeitplan Testrisiken und Risikomanagement Genehmigungen Die Prüfspezifikation nach V-Modell-XT Einleitung Prüfziele Prüfobjekte Prüffälle Prüfstrategie Prüfkriterien Prüfergebnisse Prüfaufgaben Prüfumgebung Prüffallzuordnung Prüfaufwand Risikovorkehrungen Spezifikation der Testfälle Aufbau der Testfälle Das Testfallkennzeichen Der Testfallzweck Die Testfallquelle Die Testanforderung Der Testvorgang Die Testobjekte Die Testfallvorzustände Die Testfallnachzustände Die Vorgängertestfälle Die Nachfolgetestfälle Die Testumgebung Die Testfallargumente Die Testfallergebnisse Der Testfallstatus Darstellung der Testfälle Testfälle im Textformat...106

9 VIII Inhalt Testfälle im Tabellenformat Testfälle im XML-Format Testfälle in einer formalen Sprache TTCN Erstellung der Testfälle Generierung der Grunddaten aus dem Anforderungstext Ergänzungen der Testfälle Speicherung der Testfälle Testfälle als Texte Testfälle als Tabellen Testfälle als XML-Format Qualitätssicherung der Testfälle Testfallquantität Messung der Testfallkomplexität Messung der Testfallqualität Überführung der Testfälle in einen Testentwurf Wartung und Weiterentwicklung der Testfälle Bereitstellung der Testdaten Testdatenquellen Die Anforderungsdokumentation als Quelle von Testdaten Das Entwurfsmodell als Quelle von Testdaten Der Source-Code als Quelle von Testdaten Die alten Testdaten als Quelle von Testdaten Die Produktionsdaten als Quelle von Testdaten Die fachlogischen Testfälle als Quelle von Testdaten Testdatenobjekte Testdatenerstellungsansätze Der blinde Ansatz zur Testdatenerstellung Der gezielte Ansatz zur Testdatenerstellung Der kombinierte Ansatz Der Mutationsansatz Testdatentypen Datenbanken Systemschnittstellen Benutzeroberflächen Testdatengenerierung Datengenerierung aus den Testfällen Datengenerierung aus Testprozeduren Datengenerierung aus dem Source-Code Datengenerierung aus vorhandenen Daten Werkzeuge für die Testdatengenerierung Datenbankgeneratoren Schnittstellengeneratoren Oberflächengeneratoren

10 Inhalt IX 7 Systemtestausführung Systemtypen Alleinstehende Systeme Integrierte Systeme Verteilte Systeme Web-basierte Systeme Service-orientierte Systeme Vollautomatische Systeme Eingebettete Echtzeitsysteme Test alleinstehender Systeme Test integrierter Systeme Funktionstest Belastungstest Benutzbarkeitstest Test verteilter Systeme Interaktionstest Testverfolgung im Netz Sicherheitstest Test Web-basierter Systeme Test der Web-Architektur Test der Web-Anwendung Test Service-orientierter Systeme Vorbereitung des Servicetests Ausführung des Web Service-Tests Simulierter Test der Geschäftsprozesse Integration der Services mit den Geschäftsprozessen Test vollautomatisierter Systeme Werkzeuge für den automatisierten Test Tester für den automatisierten Test Test eingebetteter Systeme Kein System ist wie das andere Auswertung des Systemtests Zweck der Testauswertung Auswertung der Testergebnisse Sichtbare und unsichtbare Ergebnisse Möglichkeiten der Ergebniskontrolle Begründung der Ergebniskontrolle Automatisierte Ergebniskontrolle Messung der Testüberdeckung Testüberdeckungsmaße Function-Point-Überdeckung Anforderungsüberdeckung Überdeckung bisheriger Funktionalität Fehlerüberdeckung

11 X Inhalt 8.4 Fehleranalyse Fehlerlokalisierung Fehlermeldung Systemtestmetrik Testüberdeckungsmaße Fehleranalysemaße Messung der Testeffektivität Systemtestmessung in der Praxis Testpflege und fortschreibung Analyse der Änderungsanträge (CRs) Fortschreibung und Optimierung des Testplans Fortschreibung der Testziele Fortschreibung der Testobjekte Fortschreibung der zu testenden Funktionen Fortschreibung der Teststrategie und Testendekriterien Fortschreibung der Testergebnisse Fortschreibung der Testaufgaben Fortschreibung des Personalplanes Fortschreibung der Testrisiken Rekalkulation der Testkosten Impaktanalyse der Software Statische Impaktanalyse Dynamische Impaktanalyse Fortschreibung der Testfälle Spezifikation neuer Testfälle Anpassung bestehender Testfälle Anreicherung der Testdaten Direkte Anreicherung der Daten Indirekte Anreicherung der Daten Ausführen des Regressionstests Eigenarten eines Regressionstests Der Test im Dialogmodus Der Test im Batch-Modus Testautomatisierung beim Regressionstest Auswertung des Regressionstests Kontrolle der Regressionstestüberdeckung Kontrolle der Regressionstestergebnisse Protokollierung der Regressionstestergebnisse Automatisierung des Regressionstests Der Regressionstest in Migrationsprojekten Voller Regressionstest Selektiver Regressionstest

12 Inhalt XI 10 Systemtestautomation Ein Modell für die Testautomatisierung Testeingaben Testausgaben Testobjektbeziehungen Testereignisse Planende Testereignisse Vorbereitende Testereignisse Ausführende Testereignisse Abschließende Testereignisse Zusammenfassung der Testereignisse Zur Automation der Testereignisse Automatische Ableitung der logischen Testfälle aus der Anforderungsdokumentation Automatisierte Erzeugung eines Testplans Automatische Erstellung eines Testentwurfs Automatische Generierung der Testdaten Automatisierte Erzeugung physikalischer Testfälle Automatische Generierung der Testprozeduren Automatische Instrumentierung des Codes Die automatische Testausführung Die automatische Ergebnisprüfung Automatische Kontrolle der Testüberdeckung Automatisch generierte Testmetrik Voraussetzungen der Testautomation Formalisierung der Anforderungsspezifikation Standardisierung der Testdokumente Definition der Datenwertebereiche Qualifizierung der Tester Systemtestautomation als eigenständiges Projekt Erste Automatisierungsstufe Zweite Automatisierungsstufe Dritte Automatisierungsstufe Vierte Automatisierungsstufe Fünfte Automatisierungsstufe Alternative zum automatisierten Test Erste Alternative = weniger Testen Zweite Alternative = massiver Personaleinsatz Vergangenheit und Zukunft der Testautomation Werkzeuge für den Systemtest Werkzeugkategorien Einsatzgebiete Funktionalität und Auswahlkriterien Werkzeuge aus Projekten: Der Testarbeitsplatz...247

13 XII Inhalt 12 Testmanagement Notwendigkeit des Systemtestmanagements Hauptaufgaben des Systemtestmanagements Testplanung und Umsetzung des Testkonzeptes Laufendes Controlling aller Testaktivitäten Inhaltscontrolling Controlling der Planungsgrößen Controlling der Testendekriterien Sicherstellung der Qualität der Testergebnisse Qualität des Testdesigns und der Testfälle Qualität der Protokollierung der Testdurchführung Qualität des Fehlermanagements Testprozessmanagement Testprozessgestaltung Testprozessreife Testteamführung Anhang Anhang A: Testplan nach ANSI/IEEE Anhang B1: Schema für die Testfallspezifikation Anhang B2: Beispiel einer Testfallspezifikation für den Test der Auftragsbearbeitung Anhang C1: Testdatengenerierungsskript Anhang C2: Testergebnisvalidierungsskript Literatur Register...305

14 Vorwort Das Thema Softwaretest ist ein breites Feld. Es umfasst viele unterschiedliche Tätigkeiten, die von unterschiedlichen Akteuren zu verrichten sind. Zu unterscheiden ist zwischen dem Unittest (White-Box-Test), dem Integrationstest (Grey-Box-Test) und dem Systemtest (Black-Box-Test). Der Unittest gehört eindeutig in den Zuständigkeitsbereich des Entwicklers. Wer die Komponente erstellt, soll sie auch testen. Die Zuständigkeit für den Integrationstest hängt von der Projektgröße ab. Bei kleineren Projekten liegt sie vielleicht bei einem oder zwei Entwicklern. Bei größeren Projekten lohnt es sich, dafür Tester einzusetzen. Der Systemtest ist wiederum klare Aufgabe eines separaten Testteams. Hierfür werden professionelle, ausgebildete Tester benötigt. Der Beruf des Softwaretesters bzw. Testingenieurs ist erst in den letzten 15 Jahren entstanden, obwohl schon lange davor getestet wurde. Er folgt aus der zunehmenden Spezialisierung und Arbeitsteilung innerhalb der Informationstechnologie. Jetzt erscheinen zunehmend Stellenanzeigen, in denen Softwaretester gesucht werden. Früher hätte man diesen Begriff nicht benutzt, weil man damit potenzielle Bewerber eventuell abgeschreckt hätte. Mittlerweile hat sich der Begriff eingebürgert. Es gibt Weintester und Lebensmittelprüfer, warum nicht auch Softwaretester bzw. Softwareprüfer. In den USA sind Tester neben Entwicklern, Designern und Analytikern gleichwertige Partner. Dort gibt es bereits Universitäten, die Softwaretesten als Curriculum anbieten, wie etwa das Florida Institute of Technology. Die Bedeutung des Testens nimmt in dem Maße zu, wie immer mehr kritische Geschäftsprozesse automatisiert werden und immer mehr Betriebe von der Qualität ihrer IT abhängig sind. An der europäischen Testkonferenz EuroSTAR sowie der deutschen Testkonferenz ignite nehmen Jahr für Jahr mehrere Hundert Teilnehmer teil, die sich als Softwaretester bezeichnen. Sie sind nur die Spitze des Eisberges. Man schätzt, dass in Europa heute mehr als Menschen als Softwaretester tätig sind. Mit jedem Jahr wächst deren Zahl um ca %. Es ist also dringend notwendig, diesen Menschen eine systematische Ausbildung anzubieten. Das ISTQB (International Software Testing Qualifications Board) ist bemüht, ein fundiertes Schulungsprogramm für Tester anzubieten, das letztlich zu einer Zertifizierung als Softwaretester oder als Softwaretestmanager führt. Dennoch fehlt eine konkrete Anleitung, wie bei einem Systemtest vorzugehen ist. Der Großteil aller Testliteratur, vor allem der deutschsprachigen, befasst sich mit dem Unit- und Integrationstest und richtet sich an die Softwareentwickler. Der Systemtest wurde bisher vernachlässigt, weil er so wenig verstanden wurde. Dieses Buch legt einen anderen Weg nahe. Es richtet sich an die Software-Systemtester und Testmanager. Die Aufgabe der Systemtester ist, stellvertretend für die anonymen Anwender zu testen. Sie haben dafür zu sorgen, dass Fehler und Schwachstellen in der Software aufgedeckt werden, bevor die Software den Anwender erreicht. Natürlich können sie nicht alle Fehler finden, aber es müssen so viele sein, dass die Software nach deren Beseitigung einsatzfähig ist. Darüber hinaus müssen sie genügend Beweise liefern, dass ausreichend getestet wurde, damit der Anwender bereit ist, die Software anzunehmen. Auf diese Weise entlasten sie ihn von der lästigen

15 XIV Vorwort Pflicht, selbst alles ausprobieren zu müssen. Wie dies zu bewerkstelligen ist, beschreibt das vorliegende Buch. Ein Test ist immer ein Test gegen etwas. Zu jedem Test gehört ein Test-Orakel, etwas, das vorgibt, wie der Testgegenstand sich verhalten sollte. Dieses Etwas könnte ein geschriebener Text, eine Reihe zusammenhängender Bilder oder gar ein vergleichbares System sein. Der Test gegen das geschriebene Wort wird als Anforderungsbasierter Test bezeichnet, der Test gegen die gezeichneten Bilder als Modellbasierter Test. In diesem Buch liegt die Betonung nach wie vor auf Anforderungsbasiertem Testen, aber in dieser dritten Auflage kommt der Modellbasierte Test ebenfalls zum Tragen. Bisher war die Meinung verbreitet, dass ein Softwaresystem in den Anforderungsdokumenten vollständig beschrieben werden sollte. Demnach ist das System als korrekt zu betrachten, wenn es der Anforderungsdokumentation entspricht. Wenn hier etwas fehlt, haben die Tester dafür zu sorgen, dass es in das Anforderungsdokument aufgenommen wird. Die Anforderungsdokumentation ist die Basis, auf der ein System entwickelt und getestet wird. Sie ist der Vertrag zwischen den Anwendern und den Entwicklern bzw. zwischen dem Kunden und dem Produktlieferant. Schon 1988 hat Bill Hetzel in seinem Buch The Complete Guide to Software Testing diesen Grundsatz als Requirements-Based Systems Testing postuliert. In den letzten Jahren hat sich hier einiges geändert. Zum einen hat sich das Systemmodell als Alternative zur Anforderungsdokumentation als Testbasis herausgestellt. Statt alles in Wörter zu fassen, kann das erwartete Verhalten eines Systems auch in Modellen erfasst werden. Die Summe der Modelle ergibt das Systemmodell. Viele sind der Meinung, dass ein Modell das bessere Test-Orakel ist. Im neuen dritten Kapitel wird darauf eingegangen. Zum Zweiten setzen immer mehr Neuentwicklungen auf agile Testmethoden. Darauf wird in diesem Buch nicht eingegangen, da der Übergang zum Test in agilen Projekten ein sehr gravierender Paradigmenwechsel ist, der den Rahmen des Buches sprengen würde. Ein anderes Thema wird in diesem Buch jedoch stärker betont: das Thema der Testautomatisierung. In den letzten Jahren erscheinen immer mehr Testwerkzeuge auf dem Markt, und die bestehenden Werkzeuge werden immer weiter ausgebaut. Das Ziel ist eine lückenlose Automatisierung des Systemtests von der Analyse der Anforderungen bzw. des Systemmodells bis zur Bewertung der Testergebnisse. Das Ziel ist hochgesteckt, aber wir kommen ihm immer näher. Es ist nur eine Frage der Zeit, bis wir es erreichen. Automation ist die einzige Antwort auf die Forderung, Testkosten zu senken und gleichzeitig mehr und besser zu testen. Ein zusätzliches Kapitel liefert ein Modell für die Testautomation. Dieses Buch ist von Testern für Tester geschrieben worden. Es kombiniert theoretische Erkenntnisse aus der reichhaltigen Testliteratur mit den vielfältigen Erfahrungen der Autoren. Alle drei Autoren arbeiten als Softwaretester und Testmanager im deutschsprachigen Raum. Daraus haben die Autoren ihre Erfahrungen gewonnen und wollen sie hier weitergeben. Insofern ist dieses Buch ein Tribut an alle Tester, ob jung oder alt. Es soll ihnen helfen, besser, schneller und systematischer zu testen sowie vor allem noch mehr Fehler zu finden. Denn Fehler zu finden, Vertrauen zu schaffen und Qualität zu beurteilen, sind die Früchte ihrer Arbeit. Harry M. Sneed, Budapest, im Sommer 2011