Automatisierung von GUI-Tests

Transkript

1 Datum: 25. Februar 2010 Themendossier Seite 1

2 Einführung in das Thema Der Testprozess eines Softwareprojekts nimmt einen erheblichen Anteil an den Gesamtkosten ein. Folglich erscheint es sinnvoll zu untersuchen, ob sich einige Phasen des Testprozesses automatisieren lassen, um langfristig die Kosten für die Qualitätssicherung zu senken und gleichzeitig die Qualität aufrecht zu erhalten. Für die Applikationslogik sind Automatisierungen des Testens bereits verbreitet. Die graphische Oberfläche (GUI) der Anwendung bietet genauso Potential für die Automatisierung der Tests, was in diesem Themendossier gezeigt werden soll. Die graphische Oberfläche einer Anwendung sollte besonders intensiv getestet werden, denn sie gilt als Face to Costumer, da sie die Anwendung nach außen präsentiert, jedoch nur eine Hülle der gesamten Anwendung mit ihren Funktionalitäten ist. Trotzdem testen GUI-Tests nicht allein die graphische Oberfläche, sondern das System als Ganzes aus der Sicht des Anwenders. Für GUI-Tests sind drei Testarten üblich. Zum einen testen Konsistenzchecks, ob die Benutzeroberfläche der Anwendung mit der Spezifikation übereinstimmt. Plausibilitätschecks untersuchen, ob die Reaktionen auf Aktionen gemäß der Spezifikation erfolgen. Bei datengesteuerten Akzeptanztests bekommt die Anwendung fixe Eingabedaten, deren berechnete Werte der GUI mit den erwarteten übereinstimmen müssen. Zur Durchführung der Tests sind zwei Testkonzepte verbreitet, die sich mit Testwerkzeugen realisieren lassen. Mit dem Capture/Replay-Verfahren werden Benutzerinteraktionen zunächst aufgezeichnet und können dann wiedergegeben und als Testfälle verwendet werden. Ein weiteres Konzept sind GUI-Unit- Tests, die sich an klassischen Unit-Tests orientieren und graphische Oberflächen in kleine Einheiten unterteilen, die systematisch getestet werden. Die beiden Konzepte bieten Vor- und Nachteile und sollten in Kombination verwendet werden. Webanwendungen als spezielle Art von Anwendungen finden immer mehr Verbreitung, daher sollten die Möglichkeiten zur Testautomatisierung auch für diese Art von Anwendungen untersucht werden. Die zunehmende Komplexität, die durch neue Technologien (Stichworte Rich Internet Application und AJAX) erfolgt, macht eine ausgefeilte Teststrategie auch für Webanwendungen unabdingbar. Für Webanwendungen existieren Testwerkzeuge zur Testautomatisierung, von denen einige kostenlos verfügbar sind. Der Einsatz von automatisierten GUI-Tests führt zu Kosteneinsparungen des Testprozesses. Jedoch tritt der ROI für automatisierte Tests erst nach einigen Entwicklungsiterationen ein. In dem vorliegenden Themendossier möchten wir Ihnen weiterführende Literatur vorstellen, die für automatisierte GUI-Tests von besonderer Bedeutung sind. Wir wünschen Ihnen eine angenehme Lektüre und stehen Ihnen für Rückfragen gern zur Verfügung. Ihr Team der Softwareforen Leipzig Seite 2

3 Inhaltsverzeichnis Allgemeines Automatisiertes Testen graphischer Benutzeroberflächen Wann lohnt sich GUI-Testautomatisierung? Manager's Guide to GUI Test Automation Why GUI Test Automation is Popular and Tempting? Part I - Business context Boon and Bane of GUI Test Automation: How to get the most from GUI Test Automation Automation of GUI testing using a model-driven approach Automatische Tests grafischer Benutzeroberflächen Testautomatisierung Testautomatisierung ein Tool-Vergleich Seven Steps to Test Automation Success Testautomatisierung in der Automobilbranche Werkzeuge Effective GUI Testing Automation: Developing an Automated GUI Testing Tool Wie von Geisterhand, Automatisierte GUI-Tests mit NUnitForms Automatisiertes GUI-Testen von RCP-Anwendungen Testautomatisierung für Webanwendungen Automatisches Testen von Webanwendungen mit Selenium un Watij Webtest Canoo Webtest & OpenQA Selenium Seite 3

4 Automatisiertes Testen graphischer Benutzeroberflächen Quelle: beck et al projects Autor: Siegfried Lautenbacher Datum: September 2003 Dieser Artikel widmet sich einführend dem automatisierten Testen von grafischen Benutzeroberflächen. Die Benutzeroberfläche wird in die Darstellungsschicht (Anordnung der dargestellten Elemente) und die Objektebene (Zuordnung der dargestellten Elemente zu den dahinterliegenden Objekten) unterteilt. Die zu testende Ebene sollte genau unterschieden werden. Beim automatisierten Testen sollten auch die Besonderheiten von GUIs beachtet werden. Hierbei sind die verschiedenen Ebenen (z. B. unterschiedliche Auflösungen), der Umgang mit Ereignissen und die Synchronisation der Ereignisse wichtig. Der Autor unterscheidet in dem Dokument zu den Testarten zwischen Konsistenzchecks, Plausibilitätschecks und datengesteuerten Akzeptanzchecks. Bei Konsistenzchecks wird die Übereinstimmung des Aufbaus der Oberfläche mit der Spezifikation überprüft. Plausibilitätschecks überprüfen das Verhalten der GUI gemäß deren Spezifikation. Mit datengesteuerten Akzeptanztests wird überprüft, ob die Berechnungen der Anwendung mit fixen Eingabedaten korrekt sind. Für die Ausführung der Tests sind zwei Konzepte von Bedeutung. Beim Capture/Replay-Verfahren werden Benutzeraktionen aufgezeichnet und schließlich abgespielt und ausgewertet. Ein zweites Konzept sind die GUI-Unit-Tests, bei denen auf der Objektebene die Einheiten einer GUI systematisch automatisiert getestet werden. In dem Artikel werden weiterhin noch die beiden Konzepte miteinander verglichen. Als Fazit stellt der Autor fest, dass viele Benutzer die GUI als die komplette Anwendung wahrnehmen und daher automatisierte GUI- Tests sehr wichtig sind. Die Kosten und Aufwände für automatisierte Oberflächentests sollten nicht vernachlässigt werden und diese Art von Tests sollte als Teil des Entwicklungsprozesses angesehen werden, damit der Testprozess strukturierter und die Benutzerakzeptanz erhöht wird. Wann lohnt sich GUI-Testautomatisierung? Quelle: Quality First Software GmbH Autor: Martin Moser Datum: 2007 In den Folien setzt sich der Autor damit auseinander, unter welchen Bedingungen sich der Einsatz von GUI-Testautomatisierung für Softwareprojekte lohnt. Es wird festgestellt, dass die Kosten für automatisierte GUI-Tests erst ab dem vierten Entwicklungszyklus geringer als bei manuellen Tests sind. Weiterhin werden Phasen des Testprozesses ausfindig gemacht, die wenig Einfluss auf den ROI haben. Die Phasen mit hoher Wichtigkeit sind die Testfallentwicklung, die Testausführung und die Pflege der Testfälle. Dabei lassen sich durch die Automatisierung der Testaus- Seite 4

5 führung die meisten Kosten einsparen. Des Weiteren spielt die Verwendung von Automatisierung insbesondere bei mehreren Plattformen ihre Stärke aus. Vorteile bringen insbesondere automatisierte Regressionstests, da sie sich häufig und schnell ausführen lassen und sich daher die Entwicklungszyklen verkürzen. Routinetests lassen sich automatisiert erstellen, während anspruchsvolle Testszenarien durch manuelle Tester realisiert werden können. Im Weiteren werden Tipps gegeben, um die richtige Entscheidung für ein Testtool zu finden und es werden einige Automatisierungstools für verschiedene Plattformen genannt. Manager's Guide to GUI Test Automation Quelle: CGI Autor: Yury Makedonov Datum: 3. November 2005 Diese Vortragfolien behandeln das Thema und richten sich dabei an die Entscheidungsträger. Die Folien gliedern sich folgendermaßen: Einführung in GUI-Testwerkzeuge des Mainstreams Bedeutende Testautomatisierungsansätze und -frameworks Testautomatisierungs-Prozess Management der GUI-Testautomatisierung Es werden in den Folien einige Mythen aufgeklärt, die in diesem Bereich entstanden sind. So wird es als falsch angesehen, dass GUI-Testwerkzeuge zu teuer sind, dass der Testautomatisierungsprozess trivial ist und dass GUI-Testwerkzeuge leicht zu bedienen wären. Schließlich erklärt der Autor noch den seiner Ansicht nach idealen Weg für GUI-Testautomatisierung. Seite 5

6 Why GUI Test Automation is Popular and Tempting? Part I Business context Quelle: Autor: Shrini Kulkarni Datum: 22. Dezember 2008 In diesem Blogeintrag erklärt der Autor seine Ansichten zum Thema GUI-Testautomation. Da das Testen einen hohen Anteil am Entwicklungsaufwand ausmacht, liegt darin ein hohes Einsparungspotenzial. Das Verfahren der GUI-Testautomatisierung wird mit einem Business Case vergleichen, der auch automatisiert wird, um die Kosten für die nächsten Einsätze gering zu halten. Problematisch ist, dass gute Tester nur schwer zu finden sind. Weiterhin existieren für die GUI- Testautomatisierung hilfreiche Werkzeuge, deren Hersteller in Business-Sprache kommunizieren. Boon and Bane of GUI Test Automation: How to get the most from GUI Test Automation Quelle: Testing Experience Autor: Mark Michaelis Datum: Dezember 2008 In diesem Artikel berichtet der Autor über persönliche Erfahrungen beim automatisierten Testen von Benutzeroberflächen. Er hat in zwei Unternehmen gearbeitet, in denen unterschiedliche Verfahrensweisen angewandt wurden und er stellt die Vor- und Nachteile dieser Verfahren vor. Weiterhin vergleicht er das die automatisierten Tests mit manuellen und stellt seine Anforderungen an ein für ihn perfektes GUI-Testwerkzeug vor. Schließlich widmet er sich noch kurz dem automatisierten Testen von Webanwendungen, da diese im Zuge der Verbreitung von Anwendungen im Internet an Wichtigkeit zunehmen. Als Fazit stellt der Autor fest, dass Konzepte für GUI-Tests immer mit einem Fokus auf Wartbarkeit entwickelt werden sollen. Weiterhin werden noch 12 Tipps erklärt, die zu einer erfolgreichen führen sollen. Seite 6

7 Automation of GUI testing using a model-driven approach Quelle: Proceedings of the 2006 international workshop on Automation of software test Autor: Marlon Vieira, Johanne Leducm, Bill Hasling, Rajesh Subramanyan Datum: 2006 Das Paper beschreibt einen modellgetriebenen Ansatz zur Erstellung von automatisiert erstellten Testfällen. Hierbei wird die Modellierungssprache UML (Unified Modelling Language) verwendet. Dabei erstellt der Tester Aktivitäts- und Use-Case-Diagramme, um die Funktionalitäten zu beschreiben, die getestet werden sollen und wie sie getestet werden sollen. Damit lässt sich eine große Anzahl an Testfällen generieren. Dieser Ansatz wird in dem Paper verwendet, um graphische Oberflächen automatisiert zu testen. Automatische Tests grafischer Benutzeroberflächen Quelle: OBJEKTspektrum 03/2004 Autor: Michael Beier Datum: Juni 2004 Die Automatisierung von funktionalen Tests für Anwendungen mit Benutzeroberflächen ist das Thema dieses Artikels. Der reguläre Ansatz sieht vor, die Tests zunächst zu spezifizieren und dann zu automatisieren. Der Autor verwendet dagegen eine andere Vorgehensweise, bei der die Tests bereits automatisiert sind und nur mittels einer speziellen Spezifikationsplattform definiert werden müssen. Um das Verfahren dem Leser näher zu bringen, wird als Beispiel ein Anwendungsszenario gewählt, bei dem ein bargeldloser Zahlungsvorgang modelliert wird. Die vorgestellte Vorgehensweise hat den Vorteil, dass die Tester sich auf die Inhalte der Tests konzentrieren können und keine Kenntnisse zur Implementierung der Anwendung haben müssen. Seite 7

8 Testautomatisierung ein Tool-Vergleich Quelle: Computerwoche Autor: k.a. Datum: 15. November 2007 In dem Artikel wird über einen Test von sieben Werkzeugen berichtet, mit denen sich Funktionsund Regressionstests automatisiert durchführen lassen. Für den Test wurden in acht Kategorien Benutzer, Anbieter, Kosten, integrierbare Test-Lifecycle-Tools, Testvorbereitung, Verwaltung der Testergebnisse, allgemeine Systemeigenschaften und Environment-Support ausgewählt. Für die drei besten Produkte wurde ein zusätzlicher Praxistest mit den Kategorien Support, Testvorbereitung, Testergebnisse, Skripte, Zuverlässigkeit und Benutzbarkeit durchgeführt. Seven Steps to Test Automation Success Quelle: STAR West Autor: Bret Pettichord Datum: 26. Juni 2001 Auf der Webseite werden detailliert sieben Stufen vorgestellt, durch die sich die Automatisierung der Tests erfolgreich gestalten lässt. Dabei befolgen die Regeln strikt die Vorgaben der Softwareentwicklung. Die Probleme, die bei der Testautomatisierung auftreten können, sind vielschichtig. Beispielsweise wird die Arbeitszeit für die Testautomatisierung oftmals zu niedrig kalkuliert. Weiterhin fehlt es oft an Erfahrung und es besteht ein starrer Technologiefokus. Die sieben Stufen, die zu einem Erfolg der Testautomatisierung führen sollen, sind die Verbesserung des Testprozesses, das Definieren von Requirements, eine Machbarkeitsstudie, ein Entwurf für Nachhaltigkeit, ein Plan für das Deployment und das Auseinandersetzen mit den Herausforderungen des Erfolgs. Die genannten Stufen werden detailliert erklärt und es werden Lösungsansätze vorgestellt. Seite 8

9 Testautomatisierung in der Automobilbranche Quelle: OBJEKTspektrum 04/2004 Autor: Reinhard Schieber, Frank Derichsweiler Datum: August 2004 Automatisierte Tests mit dem Fokus Automobilbranche ist das Thema dieses Artikels. Da der Anteil an Elektronik in Fahrzeugen sehr hoch ist, ist eine organisierte Qualitätssicherung der Hardund Software eine wichtige Voraussetzung. Hierbei sind regressionsfähige Testprozesse erforderlich. Weitere Branchen mit ähnlichen Anforderungen sind die Telematik und die Unterhaltungselektronik. In dem Artikel wird ein UML-basierter Ansatz vorgestellt, der die Testautomatisierung bei Audi beschreibt. Hierbei werden die Tests mittels UML-Modellen beschrieben. Bei dem Ansatz werden Prüfungen früh im Entwicklungsprozess durchgeführt, aus deren Testergebnissen sich Maßnahmen ableiten lassen. Effective GUI Testing Automation: Developing an Automated GUI Testing Tool Quelle: John Wiley & Sons; 1. Auflage Autor: Kanglin Li, Mengqi Wu Datum: 12. November 2004 Bei der Verwendung von bestehenden kommerziellen GUI-Testautomatisierungs-Werkzeugen ist meist viel Anpassungsarbeit nötig, um das Tool an die Anforderungen des eigenen Projektes anzupassen. Daher animiert das Buch den Leser, ein eigenes Testwerkzeug für die graphische Oberfläche zu entwickeln. Die vorgestellte Vorgehensweise lässt sich dabei auf jede beliebige Entwicklungsumgebung anwenden. Es sind dabei keinerlei Testskripte von Nöten. Das selbst erstellte Werkzeug sammelt Testdaten und generiert daraus Testfälle. In dem Buch werden beispielhaft ein C# API Text Viewer und ein XML-Viewer entwickelt, in denen das Werkzeug zum Einsatz kommt. Seite 9

10 Wie von Geisterhand, Automatisierte GUI-Tests mit NUnitForms Quelle: dotnetpro 10/2005 Autor: Holger Schwichtenberg, Björn Röber Datum: Oktober 2005 Für Unit-Tests ist in der.net-welt das Framework NUnit sehr verbreitet. Jedoch bietet es keine Funktionalitäten, um die Präsentationsschicht einer Windows-Anwendung zu testen. Diese Lücke versucht das Framework NUnitForms zu schließen, in dem es NUnit um die nötigen Funktionalitäten erweitert. Mit NUnit-Forms werden automatisierte GUI-Tests erstellt, mit denen sich Interaktionen mit einem Windows-Fenster simulieren lassen. Die Autoren untersuchten die Tauglichkeit des Frameworks in diesem Artikel. Automatisiertes GUI-Testen von RCP-Anwendungen Quelle: JAXenter Autor: Alexandra Imrie Datum: April 2009 In diesem Artikel wird die graphische Oberfläche einer RCP-Anwendung (RCP) mit dem kommerziellen Werkzeug GUIdancer automatisiert getestet. Es wird dabei ein moderner Ansatz verwendet, der so genannte Keyword-driven-Ansatz. Nach diesem Ansatz werden sich wiederholenden Aktionen (wie z. B. Text eingeben, Button drücken) Keywords zugeordnet und diese Keywords werden zu komplexeren Aktionen (wie z. B Suchdialog öffnen und Suche durchführen) als neue Keywords zusammengesetzt. Dieser Ansatz verbessert die Struktur des Testens erheblich. Das Werkzeug lässt sich frühzeitig im Projektverlauf einsetzen und ist ohne Programmierkenntnisse verwendbar. Automatisches Testen von Webanwendungen mit Selenium und Watij Quelle: JAXenter Autor: Markus Stäuble Datum: Oktober 2006 Seite 10

11 Für das Testen von Webanwendungen existieren einige Frameworks, die den Entwickler beim Entwerfen von Unit-Tests und funktionalen Tests unterstützen. Für Unit-Tests sind die beiden Frameworks HttpUnit und HtmlUnit verbreitet. Funktionale Tests hingegen lassen sich mit den im Artikel vorgestellten Frameworks Selenium und Watij realisieren. Mit diesen beiden Frameworks wird eine kleine Webanwendung umfassend getestet und es wird daraus Vergleich zwischen den beiden Frameworks aufgestellt. Weiterhin werden die Eigenschaften von Selenium und Watij in einer Übersicht dargestellt. Webtests Canoo Webtest & OpenQA Selenium Quelle: Synyx OpenSource Solutions Autor: Philip Reimann Datum: 26. Oktober 2007 In diesen Vortragfolien werden die beiden Testframeworks für Webanwendungen Canoo Webtest und Selenium vorgestellt. Hierbei werden neben den Eigenschaften insbesondere die Vor- und Nachteile beleuchtet. Das Fazit des Autors lautet, dass durch automatisierte Tests für Webanwendungen lediglich deren Funktionalität getestet wird und nicht das Design. Eine umfassende Abnahme durch einen menschlichen Tester muss unbedingt erfolgen. Weiterhin stoßen die Testframeworks bei einigen komplexen Webseiten, die beispielsweise AJAX und User Generated Content enthalten, an ihre Grenzen. Seite 11

12 Impressum Autor Tobias Gröger Feedback Uns interessiert Ihre Meinung! Haben Sie Fragen, Anregungen oder Anlass zur Kritik? Bitte senden Sie Ihre Kommentare an: Sven Seiffert Telefon: +49 (0) Abmeldung Sie wollen dieses Dokument in Zukunft nicht mehr empfangen? Senden Sie uns einfach eine mit einer kurzen Nachricht an: Zugangsdaten für Sehr gern richten wir für Sie Zugangsdaten für unseren passwortgeschützten Bereich "Wissen" ein (für unsere Partnerunternehmen; für andere Unternehmen sind Probezugänge möglich). Senden Sie uns einfach eine mit einer kurzen Nachricht an Seite 12

13 Softwareforen Leipzig GmbH Querstraße Leipzig T +49 (0)341 / F +49 (0)341 / E info@softwareforen.de I Seite 13