Über die Autoren Andreas Spillner Tilo Linz

Transkript

1

2 Über die Autoren Andreas Spillner ist Professor für Informatik an der Hochschule Bremen, Fakultät für Elektrotechnik und Informatik. Er war über 10 Jahre Sprecher der Fachgruppe TAV»Test, Analyse und Verifikation von Software«der Gesellschaft für Informatik e. V. (GI) und bis Ende 2009 Mitglied im German Testing Board e. V ist er zum Fellow der GI ernannt worden. Seine Arbeitsschwerpunkte liegen im Bereich Softwaretechnik, Qualitätssicherung und Testen. Tilo Linz ist Vorstand der imbus AG, eines führenden Dienstleisters für Softwaretest. Er ist Leiter des German Testing Board e. V. und war von 2002 bis 2005 Vorsitzender des ISTQB. Zu seinen Arbeitsschwerpunkten zählen die Themen Berufsbild und Ausbildung im Softwaretest sowie die Optimierung von Softwaretestprozessen.

3 Andreas Spillner Tilo Linz Basiswissen Softwaretest Aus- und Weiterbildung zum Certified Tester Foundation Level nach ISTQB-Standard 5., überarbeitete und aktualisierte Auflage

4 Andreas Spillner Tilo Linz Lektorat: Christa Preisendanz Copy-Editing: Ursula Zimpfer, Herrenberg Herstellung: Birgit Bäuerlein Umschlaggestaltung: Helmut Kraus, Druck und Bindung: M.P. Media-Print Informationstechnologie GmbH, Paderborn Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. ISBN: Buch PDF epub , überarbeitete und aktualisierte Auflage 2012 Copyright 2012 dpunkt.verlag GmbH Ringstraße 19 b Heidelberg Die vorliegende Publikation ist urheberrechtlich geschützt. Alle Rechte vorbehalten. Die Verwendung der Texte und Abbildungen, auch auszugsweise, ist ohne die schriftliche Zustimmung des Verlags urheberrechtswidrig und daher strafbar. Dies gilt insbesondere für die Vervielfältigung, Übersetzung oder die Verwendung in elektronischen Systemen. Es wird darauf hingewiesen, dass die im Buch verwendeten Soft- und Hardware-Bezeichnungen sowie Markennamen und Produktbezeichnungen der jeweiligen Firmen im Allgemeinen warenzeichen-, markenoder patentrechtlichem Schutz unterliegen. Alle Angaben und Programme in diesem Buch wurden mit größter Sorgfalt kontrolliert. Weder Autor noch Verlag können jedoch für Schäden haftbar gemacht werden, die in Zusammenhang mit der Verwendung dieses Buches stehen

5 v Vorwort Der»Certified Tester«hat seinen festen Platz in der Aus- und Weiterbildung, sowohl in Deutschland als auch weltweit. Ende 2011 hat die Zahl der insgesamt ausgestellten Softwaretest-Zertifikate die überschritten. Chris Carter, Vizepräsident des»international Software Testing Qualifications Board«(ISTQB), sagt:»i think the scheme has been so successful because we freely offer our syllabi and glossary to the public, which helps to standardise professional terminology. We also offer certifications at a range of levels, from foundation through advanced to expert, allowing testing professionals to be supported right through their careers and keeping them up-to-date with the world s best practices«([url: GTB Presse1]). Auch in Deutschland hat im Jahr 2011 die Anzahl der gut ausgebildeten Softwaretester eine neue Rekordmarke erreicht. Das»German Testing Board«(GTB) hat das ste Zertifikat»Certified Tester Foundation Level«vergeben ([URL: GTB Presse2]). Wie gut die ISTQB-Ausbildung bekannt und anerkannt ist, belegen ebenso die Ergebnisse einer Umfrage zum Softwaretest in der Praxis, die 2011 im deutschsprachigen Raum durchgeführt wurde. Fast drei Viertel aller Befragten ist das ISTQB-Ausbildungsschema bekannt und von denen haben über 70 % bereits ein Foundation-Level-Zertifikat erworben. Circa 90 % fanden die Ausbildung hilfreich. Die Ergebnisse der Umfrage sind abrufbar unter [URL: Umfrage2011]. Vor zehn Jahren Ende 2002 erschien die erste Auflage dieses Buches. Die vorliegende 5. Auflage umfasst den aktuellen Lehrplan für den»certified Tester Foundation Level«(Version 2011). Zehn Jahre sind für die IT-Industrie eine Zeitspanne, in der vieles passiert, neue Entwicklungen propagiert und eingesetzt werden und immer neue Weiterentwicklungen von Werkzeugen zur Verfügung stehen. Auf der anderen Seite gibt es auch in der Informatik Grundlagenwissen, das kaum Änderungen unterliegt. Von Anfang an haben wir den ersten Teil unseres Buchtitels»Basiswissen«ernst genommen und ganz bewusst keine Themen behandelt, die sich erst noch in der Praxis»beweisen müssen«. Auch»Spezialdisziplinen«im Testen, wie beispielsweise der Test von Webapplikationen, Testen im agilen Umfeld oder der Test von eingebetteten Systemen, gehören für uns nicht zu den Grundlagen. Hier müssen wir auf entsprechende aktuelle Literatur zu den Spezialthemen verweisen. Weltweite Erfolgsgeschichte»Certified Tester«in Deutschland Zehn Jahre Basiswissen Softwaretest

6 vi Vorwort Bücher zum Advanced Level Das»Certified Tester«-Ausbildungsschema ist dreistufig aufgebaut (Näheres hierzu in Kap. 1). Neben dem Grundlagenwissen (Foundation Level), das in diesem Buch ausführlich beschrieben ist, steht ebenso für den Advanced Level der komplette Lehrplan in Buchform zur Verfügung. Die beiden entsprechenden deutschsprachigen Bücher 1 vervollständigen somit die zweite Qualifizierungsstufe: Praxiswissen Softwaretest Testmanagement [Spillner 11a] Praxiswissen Softwaretest Test Analyst und Technical Test Analyst [Bath 11b] Wissen in der IT-Welt gefragt An den Hochschulen gelehrt Danksagung Was hat sich geändert? Folgende Lehrpläne für den Expert Level liegen vor:»improving the Test Process«und»Test Management«. An den Lehrplänen zu»test Automation«und»Security Testing«wird derzeit gearbeitet. Die breite Akzeptanz des Ausbildungsschemas wird durch den starken und kontinuierlichen Mitgliederzuwachs im ISTQB deutlich: Mehr als 70 Länder sind in 47 Testing Boards vertreten 2. Vor zehn Jahren waren es eine Handvoll Mitglieder, inzwischen ist das ISTQB in allen Teilen der Welt vertreten. Der»Certified Tester«ist zu einer festen Marke weltweit in der IT-Industrie geworden und hat zur Stärkung des Testens im Softwareentwicklungsprozess erheblich beigetragen. Die Zahl der Hochschulen und nicht kommerziellen Bildungseinrichtungen, die das Ausbildungsschema in ihr Lehrangebot integriert haben, ist nicht minder beeindruckend: Von A wie Aachen bis W wie Wismar wird der Lehrstoff im deutschsprachigen Bereich vermittelt. Welche Hochschulen aktuell entsprechende Lehrveranstaltungen anbieten bzw. planen, diese anzubieten, ist auf den Seiten des»german Testing Board«nachzulesen [URL: GTB Hochschulen]. 5 % 7 % aller Prüfungen sind studentische Prüfungen. In vielen Stellenanzeigen spiegelt sich dieser Umstand bereits wider. Auch bei Berufseinsteigern erwarten die Firmen Grundkenntnisse im Testbereich am besten durch das Zertifikat nachgewiesen. Erfolg hat meist viele Väter und Mütter so auch hier. Wir möchten uns recht herzlich bei allen Kolleginnen und Kollegen des»german Testing Board«und des ISTQB bedanken. Ohne deren Engagement hätte das»certified Tester«-Ausbildungsschema nicht den geschilderten Erfolg und weltweite Akzeptanz erhalten. Warum gibt es eine weitere Auflage des Buches? In der 5. Auflage wurden Fehler, Unklarheiten und Ungenauigkeiten soweit uns 1. Die Bücher sind auch in Englisch erschienen ([Spillner 07], [Bath 11a]), ebenso das Basiswissen-Buch ([Spillner 11b]). 2. Aktuelle und detaillierte Informationen zur Zusammensetzung des ISTQB sind zu finden unter: [URL: ISTQB-Members].

7 Vorwort vii bekannt korrigiert. Herzlichen Dank an die Leser, die uns die Unklarheiten und Fehler mitgeteilt haben. Des Weiteren wurden Begriffe präzisiert und an das überarbeitete und aktualisierte ISTQB-Glossar angepasst. Die Auflage des Buches ist konform zum Lehrplan in der Version Das Quellenverzeichnis wurde aktualisiert, neue Bücher und Standards wurden aufgenommen. Die Angaben zu den Internetseiten (URLs) wurden kontrolliert und ggf. geändert bzw. ergänzt. Um die Leser über zukünftige Aktualisierungen am Lehrplan und am Glossar, die in dieser Auflage des Buches ja noch nicht enthalten sein können, zu informieren, haben wir eine Internetseite eingerichtet [URL: softwaretest-knowledge]. Auf der Seite werden ggf. auch notwendige Korrekturen zum Buchtext aufgeführt. Wir wünschen allen Lesern gutes Gelingen bei der Umsetzung der im Buch beschriebenen Testansätze in der Praxis und wenn das Buch die Grundlage für die Vorbereitung zur Prüfung zum»certified Tester Foundation Level«ist viel Erfolg bei der Beantwortung der Prüfungsfragen. Webseite Andreas Spillner und Tilo Linz Bremen, Möhrendorf September 2012

8 viii Vorwort

9 ix Inhalt 1 Einleitung 1 2 Grundlagen des Softwaretestens Begriffe und Motivation Fehlerbegriff Testbegriff Softwarequalität Testaufwand Fundamentaler Testprozess Testplanung und Steuerung Testanalyse und Testdesign Testrealisierung und Testdurchführung Testauswertung und Bericht Abschluss der Testaktivitäten Psychologie des Testens Allgemeine Prinzipien des Softwaretestens Ethische Leitlinien Zusammenfassung Testen im Softwarelebenszyklus Das allgemeine V-Modell Komponententest Begriffsklärung Testobjekte Testumgebung Testziele Teststrategie Integrationstest Begriffsklärung Testobjekte Testumgebung Testziele Integrationsstrategien

10 x Inhalt 3.4 Systemtest Begriffsklärung Testobjekt und Testumgebung Testziele Probleme in der Systemtestpraxis Abnahmetest Test auf vertragliche Akzeptanz Test auf Benutzerakzeptanz Akzeptanz durch Systembetreiber Feldtest Test nach Änderungen Testen nach Softwarewartung Testen nach Weiterentwicklung Testen bei inkrementeller Entwicklung Grundlegende Testarten Funktionaler Test Nicht funktionaler Test Strukturbezogener Test Änderungsbezogener Test und Regressionstest Zusammenfassung Statischer Test Strukturierte Gruppenprüfungen Grundlagen Reviews Grundlegende Vorgehensweise Rollen und Verantwortlichkeiten Reviewarten Statische Analyse Compiler als statisches Analysewerkzeug Prüfung der Einhaltung von Konventionen und Standards Durchführung der Datenflussanalyse Durchführung der Kontrollflussanalyse Ermittlung von Metriken Zusammenfassung

11 Inhalt xi 5 Dynamischer Test Blackbox-Verfahren Äquivalenzklassenbildung Grenzwertanalyse Zustandsbezogener Test Ursache-Wirkungs-Graph-Analyse und Entscheidungstabellentechnik Anwendungsfallbasierter Test Allgemeine Bewertung der Blackbox-Verfahren Whitebox-Verfahren Anweisungstest Zweigtest/Entscheidungstest Test der Bedingungen Weitere Whitebox-Verfahren Allgemeine Bewertung der Whitebox-Verfahren Instrumentierung und Werkzeugunterstützung Intuitive und erfahrungsbasierte Testfallermittlung Zusammenfassung Testmanagement Testorganisation Testteams Aufgaben und Qualifikation Testplanung Qualitätssicherungsplan Testkonzept Priorisierung des Tests Kriterien für Teststart und Testende Kosten- und Wirtschaftlichkeitsaspekte Fehlerkosten Testkosten Schätzung des Testaufwands Wahl der Teststrategie Vorbeugender vs. reaktiver Ansatz Analytischer vs. heuristischer Ansatz Testen und Risiko

12 xii Inhalt 6.5 Management der Testarbeiten Testzyklusplanung Testzyklusüberwachung Testzyklussteuerung Fehlermanagement Testprotokoll Fehlermeldung Fehlerklassifikation Fehlerstatus Anforderungen an das Konfigurationsmanagement Relevante Normen und Standards Zusammenfassung Testwerkzeuge Typen von Testwerkzeugen Werkzeuge für Management und Steuerung von Tests Werkzeuge zur Testspezifikation Werkzeuge für statischen Test Werkzeuge für dynamischen Test Werkzeuge für nicht funktionalen Test Auswahl und Einführung von Testwerkzeugen Wirtschaftlichkeit der Werkzeugeinführung Werkzeugauswahl Werkzeugeinführung Zusammenfassung Anhang A Testkonzept nach IEEE B Wichtige Hinweise zum Lehrstoff und zur Prüfung zum Certified Tester 237 C Übungsaufgaben 239 Glossar 243 Quellenverzeichnis 273 Index 283

13 xiii Vorwort zur 1. Auflage Warum haben wir ein Buch zum Thema Softwaretest geschrieben, wo es doch eine ganze Reihe von Büchern in diesem Bereich bereits gibt? Wir beide beschäftigen uns seit vielen Jahren mit Themen und Fragestellungen im Bereich Softwaretest. Der eine mit einer eher wissenschaftlichen Ausrichtung, der andere mit der täglichen Anwendung der Prüfverfahren in der Praxis. Beide sind wir der Auffassung, dass der systematische Einsatz von Prüfverfahren in der Praxis in vielen Firmen verbesserungsfähig ist und es einen großen Mangel an qualifiziertem Personal gibt. Die Initiative des ISEB (Information Systems Examination Board), ein dreistufiges Qualifizierungsprogramm im Bereich Softwaretest zu definieren, Kursanbieter in diesem Bereich zu akkreditieren und den Teilnehmern die Möglichkeit zu bieten, sich einer unabhängigen Prüfinstanz zu stellen und ein Zertifikat zu erhalten, ist von uns von Beginn an mit starkem Interesse verfolgt worden. Die Initiative ist vom ASQF (Arbeitskreis Software-Qualität in Franken e. V.) und der Fachgruppe TAV (Test, Analyse und Verifikation von Software) der Gesellschaft für Informatik aufgegriffen worden. Eine ausführliche Beschreibung der Zusammenhänge findet sich in der Einleitung des Buches. Die Lehrpläne für das Qualifizierungsprogramm sind in Gremien von mehreren europäischen Fachexperten erarbeitet worden und bündeln das derzeitige Wissen im Bereich Softwaretest. Die Inhalte sind in vielen Büchern zu finden, aber eben nicht in einem einzigen Buch. Die Lehrpläne listen die einzelnen Punkte auf, die zu behandeln sind, enthalten aber weder detaillierte Beschreibungen der einzelnen Verfahren und Vorgehensweisen beim Testen von Software noch erläuternde Beispiele. Die Idee, ein»passendes«buch zu schreiben, fanden wir sehr nahe liegend. Grundlage für unser Buch ist der Lehrplan»Grundlagen des Softwaretestens«ASQF Certified Tester, Foundation Level [URL: GTB Lehrpläne]. Die ersten Erfahrungen mit dem Lehrplan zum Foundation Level führten zu dem Wunsch einer leichten Überarbeitung, die derzeit von einem Gremium des ISTQB (International Software Testing Qualifications Board) in Angriff genommen wird. Wir beide haben durch die Arbeit am Buch kleinere Schwachstellen im Lehrplan erkannt und beteiligen uns aktiv an dessen Überarbeitung. Die nach Beendigung der Arbeit beschlossenen Änderungen, die sich auf den Inhalt des Buches auswirken, werden wir auf der WWW-Seite zum Buch [URL: dpunkt] aktuell dokumentieren. Motivation für ein weiteres Testbuch

14 xiv Vorwort zur 1. Auflage Drei Geleitworte Prof. David Parnas Ph.d, Dr. h.c., Dr. h.c., FRSC, P.Eng. Martin Pol Der Titel unseres Buches»Basiswissen Softwaretest«sagt eigentlich schon alles. Wir sind davon überzeugt, dass jeder im Bereich der Softwareentwicklung Tätige sei es beispielsweise in der Programmierung, in der Qualitätssicherung, in der Projektleitung oder im Management ein Grundwissen im Softwaretest besitzen sollte, um seine tägliche Arbeit besser verrichten und den oft vernachlässigten Bereich Testen besser einschätzen oder überhaupt verstehen zu können. Die Aussage trifft selbstverständlich auch für die zukünftig Tätigen, die Studierenden und Auszubildenden im IT-Bereich, zu. Auch so mancher Lehrende wird sein Wissen mithilfe des Buches vervollständigen können. Wir haben uns bemüht, ein leicht verständliches und kompaktes Buch zu schreiben, um dem großen Kreis an möglichen Lesern gerecht zu werden. Vorwissen im Bereich Testen oder Qualitätssicherung ist nicht erforderlich, Grundkenntnisse der Softwareentwicklung sind sicherlich hilfreich. Unser Buch hat zwar den Lehrplan zum»certified Tester, Foundation Level«als Grundlage, es besteht aber keine zwanghafte Kopplung, auch das entsprechende Zertifikat zu erwerben. Warum gibt es drei Geleitworte in Englisch und Deutsch in unserem Buch? Durch unsere langjährigen Aktivitäten im Bereich Softwaretest haben wir zahlreiche internationale Kontakte aufbauen können. Als unser Buchprojekt konkrete Formen annahm, haben wir drei Personen um Geleitworte gebeten. Da alle drei viel gefragte und beschäftigte Persönlichkeiten sind, haben wir eher mit zurückhaltenden Reaktionen gerechnet. Um so erfreuter waren wir, dass wir tatsächlich drei Geleitworte innerhalb der Termine erhalten haben. Unsere»Risiko«- Planung war somit völlig unnötig. Da jedes Geleitwort einen anderen Aspekt vertieft, haben wir uns entschlossen, alle drei aufzunehmen. David Parnas, der Begründer der Modularisierung und des Geheimnisprinzips (information hiding), engagiert sich seit langem in Fragen der Ausbildung im Bereich Informatik. Für ihn muss die Informatik-Ausbildung eine Professionalität erreichen wie bei den Medizinern oder in den Rechts- und Ingenieurwissenschaften. Die allgemein anerkannte Festlegung von Lehrinhalten und der Nachweis des erworbenen Fachwissens, beispielsweise im Bereich Softwaretest, sieht er als einen Schritt in die richtige Richtung an. Teile des Buches sind während des Forschungsaufenthalts von Andreas Spillner auf Einladung von David Parnas an der McMaster University in Hamilton, Ontario in Kanada entstanden. Ausführliche Informationen zu David Parnas sind zu finden unter [URL: Parnas]. Martin Pol gehört wohl zu den bekanntesten Persönlichkeiten im Testbereich in Europa, wenn nicht gar weltweit. Er ist Mitautor von T-Map (Test Management Approach) und TPI (Test Process Improve-

15 Vorwort zur 1. Auflage xv ment) erhielt er den»european Testing Excellence Award«. In seinem Geleitwort hebt er die Bedeutung des Testens im Softwareentwicklungsprozess hervor und wie wichtig Basiswissen im Softwaretest für alle im IT-Bereich arbeitenden Personen ist. Ausführliche Informationen zu Martin Pol sind abrufbar unter [URL: Pol]. Dorothy Graham, seit vielen Jahren Beraterin und Trainerin im Softwarequalitäts- und Testbereich, hat das ISEB Software Testing Board mitgegründet und gehört ihm seitdem an. Ohne das große Engagement von Dorothy Graham wäre die ISEB-Initiative wohl nicht so weit vorangeschritten und die erfolgte Internationalisierung noch in weiter Ferne. Sie ist Mitautorin von Büchern zu den Themen»Software- Inspektionen«und»Softwaretest-Automatisierung«. Der»European Testing Excellence Award«wurde ihr 1999 zuerkannt. In ihrem Geleitwort macht Dorothy Graham die Vorteile einer Akkreditierung und Zertifizierung durch eine unabhängige Instanz deutlich. Ausführliche Informationen zu ihrer Person sind unter [URL: Graham] zu finden. Wir möchten Dorothy Graham, Martin Pol und David Parnas für ihre Unterstützung und die aufgewendete Zeit recht herzlich danken. Wie es sich für ein Projekt mit einem Qualitätsanspruch gehört, haben wir unsere Arbeit externen Reviewern vorgelegt. Wir haben viele Anregungen und Hinweise zur Verbesserung des Textes und der Beispiele erhalten. Wir möchten uns für die vielen geopferten Stunden Freizeit ganz herzlich bedanken bei Uwe Hehn, Ruth Keys, Karin Vosseberg und Mario Winter. Darüber hinaus gilt unser Dank den Kolleginnen und Kollegen der imbus AG, die ebenfalls durch zahlreiche Anmerkungen und konstruktive Diskussionen zum Gelingen des Buches beigetragen haben. Besonders erwähnen möchten wir Matthias Daigl und Thomas Roßner. Bedanken möchten wir uns auch bei den Mitarbeiterinnen und Mitarbeitern des dpunkt.verlags. Zu Beginn unseres Projekts hatten wir uns eine Deadline gesetzt, was bei jedem Projekt erfolgen sollte. Auch Dank der großen Unterstützung des Verlags ist es gelungen, den von uns geplanten Fertigstellungstermin zu halten. Wir wünschen allen Lesern des Buches erfolgreiche Stunden in dem Sinne, dass Testen nicht mehr als notwendiges Übel der Softwareentwicklung am Projektende betrachtet wird, sondern als herausfordernde, kreative Tätigkeit, die projektbegleitend erfolgt und neben der Aufdeckung von Fehlern auch zum Nachweis der Qualität der erstellten oder geänderten Software dient. Testen kann und soll auch Spaß machen. Dorothy Graham A.B., M.Sc. Danksagung Andreas Spillner und Tilo Linz Bremen, Möhrendorf September 2002