Strategies for Random Contract-Based Testing

Transkript

1 DISS. ETH NO Strategies for Random Contract-Based Testing A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by ILINCA CIUPA Dipl. Eng., Technical University of Cluj-Napoca, Romania born November 11th, 1980 citizen of Romania accepted on the recommendation of Prof. Dr. Bertrand Meyer, examiner Prof. Dr. Thomas Gross, co-examiner Prof. Dr. Mark Harman, co-examiner 2008

2 ABSTRACT Testing plays a central role in software quality assurance. Although this is widely agreed upon, many software projects in industry suffer from improper testing. Inadequate testing tools and underestimation of the costs of thorough testing are among the reasons. The research community has been trying to address some of the challenges of testing through automated solutions, which aim at taking most of the burden of devising, running, and evaluating tests off the shoulders of programmers and testers. This thesis is part of this effort: it proposes several strategies for automatically testing contracted object-oriented software, that is software built according to the principles of Design by Contract. One of these strategies is based on the notion of object distance : a measure of how different two objects are, taking into account the objects types, their direct values, and a recursive application of the distance on their common attributes. Using this notion, the proposed strategy (called ARTOO) selects test inputs with the greatest distance between them and thus maximizes the diversity of the inputs. Proposing a new testing strategy must be accompanied by a thorough evaluation of the performance of this strategy, both in absolute terms and compared to other testing strategies. This thesis hence also presents the results of such evaluations, for the newly introduced algorithms and for existing ones. These results offer insights into the performance of random testing for object-oriented software on such issues as the evolution of the number of found faults over time, the predictability of random testing, and the types of faults found through random testing, through manual testing and by users of the software. Experimental evaluation indicates that the newly introduced ARTOO strategy requires on average 5 times less tests to uncover faults than a random strategy combined with boundary-value testing. The proposed and examined testing strategies are based on the presence of executable specification in the form of contracts in the software vii

3 under test. A further contribution lies in evaluating how automatically inferred contracts can be used to improve manually-written ones. A case study we performed shows that the two approaches are complementary: an assertion inference tool generates more contracts than programmers write, but also does not find all manually-written contracts. The contributions of this thesis hence include: proposing new automated testing algorithms, investigating ways of improving the executable specification embedded in software a central component in automated testing and evaluating the performance of existing and of the newlyintroduced testing strategies. viii

4 ZUSAMMENFASSUNG Testen spielt eine zentrale Role in der Qualitätssicherung von Software. Obwohl man sich dessen bewusst ist, leiden viele Softwareprojekte in der Industrie an mangelhaftem Testen. Unpassende Tools und die Unterschätzung der Kosten für gründliches Testen sind unter anderem Gründe dafür. Die Forschungsgemeinschaft versucht, einige der Schwierigkeiten beim Testen durch automatisierte Lösungen anzusprechen. Das Ziel solcher Lösungen ist, die Programmierer und Tester vom grössten Teil des Entwerfens, der Ausführung und der Auswertung der Tests zu entlasten. Diese Dissertation ist Teil dieser Anstrengungen: Sie führt mehrere Strategien für das automatisierte Testen von objekt-orientierter und mit Verträgen versehener Software (d.h. Software die nach den Prinzipien von Design by Contract entwickelt wurde) ein. Eine dieser Strategien basiert auf dem Begriff Objektdistanz, einem Mass für die Verschiedenheit zweier Objekte, unter Berücksichtigung ihrer Typen, ihrer direkten Werte und einer rekursiven Anwendung der Distanz auf ihre gemeinsamen Attribute. Die vorgeschlagene Strategie (namens ARTOO) benutzt dieses Mass um maximal distanzierte Testinputs auszuwählen und auf diese Weise die Diversität der Inputs zu maximieren. Das Vorschlagen einer neuen Teststrategie muss von einer gründlichen Analyse ihrer Leistung begleitet werden, sowohl in absoluter Hinsicht als auch im Vergleich zu anderen Teststrategien. Daher stellt diese Dissertation die Ergebnisse solcher Evaluierungen für die neu eingeführten und die bereits vorhandenen Algorithmen dar. Diese Ergebnisse geben Einblick in die Leistung zufallsbasierten Testens für objekt-orientierte Software in Fragen wie der Entwicklung der Anzahl gefundener Fehler pro Zeit, der Vorhersagbarkeit für zufallsbasiertes Testen und der Arten von Fehlern, welche durch zufallsbasiertes Testen, durch manuelles Testen und von den Benutzern der Software gefunden werden. Die experimentelle Evaluierung deutet darauf hin, dass die neu eingeführte ARTOO Strateix

5 gie durchschnittlich fünfmal weniger Tests braucht um Fehler zu finden als das Testen mit einer Zufallsstrategie kombiniert mit Grenzwerten. Die vorgeschlagenen und begutachteten Teststrategien basieren auf der Existenz von ausführbaren Spezifikationen in Form von Verträgen in der zu testenden Software. Ein weiterer Beitrag dieser Dissertation evaluiert, wie automatisch abgeleitete Verträge benutzt werden können um die manuell geschriebenen Verträge zu verbessern. Eine von uns durchgeführte Fallstudie deutet darauf hin, dass die beiden Ansätze komplementär sind: Ein Tool, das Verträge ableiten kann, generiert mehr Verträge als Programmierer schreiben, findet aber nicht alle manuell geschriebenen Verträge. Die Beiträge dieser Dissertation umfassen folglich: Die Einführung neuer automatisierter Testalgorithmen, das Erforschen von Methoden, welche die ausführbaren und in der Software integrierten Spezifikationen ein zentraler Bestandteil automatisierten Testens verbessern und die Evaluierung der Leistung der bereits vorhandenen und neu eingeführten Teststrategien. x