QF-Test Studie über GUI-Testautomatisierung. Studie

Transkript

1 QF-Test Studie über GUI-Testautomatisierung Studie Version: Stand vom: :41:00 Status: Freigegeben Autor: Dipl.-Ing. Daniel Roschanek Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... III Allgemeines... III Dokument-Historie... III Dokument-Qualitätssicherung... III Zweck und Inhalt dieses Dokuments... III 1. ALLGEMEIN Hersteller Produktportfolio Unterstützte Schnittstellen OBJEKTERKENNUNG Benutzen der Standardeinstellungen Benutzen der Einstellung Name übertrifft alles Benutzen der Einstellung Nur Systemklassen aufzeichnen Beeinflussen von Namen mittels NameResolver SPEZIFIKATION Entwicklungsumgebung Testfallerstellung ohne Programmierung Testfallerstellung mit Programmierung Datengetriebene Tests Überprüfungen Wiederverwendbarkeit Robustheit DURCHFÜHRUNG Start der Testdurchführung Verhalten bei Fehlern Protokollierung ADMINISTRATION Integrationen Reports und Testdokumentation Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben I / III

3 6. ZUSAMMENFASSUNG ANHANG Abbildungsverzeichnis Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben II / III

4 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen erstellt Roschanek Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Autor Daniel Roschanek erstellt 03. Juni 2013 Prüfer Tina Campestrini geprüft 15. Juli 2013 Prüfer Johannes Hochrainer geprüft 23. Juli 2013 Prüfer Martin Moser [email protected] geprüft 26. August 2013 Freigabe Jürgen Plasser freigegeben 12. September 2013 Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die Analyse eines Testautomatisierungswerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines Werkzeugs dienen. Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben III / III

5 1. Allgemein 1.1. Hersteller QF-Test ist ein Softwareprodukt das von Quality First Software GmbH (QFS) seit 2001 entwickelt wurde. Die Firma stellt Software mit dem Schwerpunkt Qualitätssicherung her. Die erste Version unterstützte die Testautomatisierung von Anwendungen mit einer Java Swing Oberfläche. Ende 2006 wurde QF-Test mit Version 2 auf die Unterstützung von Tests für Eclipse/SWT/RCP erweitert und seit Dezember 2008 mit Version 3 ein browserübergreifendes Webtesten integriert Produktportfolio QF-Test gibt es in verschiedenen Varianten, die sich in den unterstützten GUI-Technologien unterscheiden: Unterstützung für drei GUI-Technologien: Diese Variante unterstützt alle verfügbaren GUI-Technologien Swing + SWT + Web Unterstützung für zwei GUI-Technologien: Das Produkt wird entweder mit Swing + SWT, Swing + Web oder SWT + Web angeboten Unterstützung für eine GUI-Technologie: Swing, SWT oder Web QF-Test eignet sich als Treiber zur Automatisierung von Last- und Performancetests. Dabei wird die Performance einer Anwendung getestet, indem eine Anzahl von Clients parallel ausgeführt werden. Alle QF-Test Lizenzen sind Floating-Lizenzen. Für alle Produkte werden folgende Lizenzmodelle angeboten: Entwicklerlizenzen, die eine uneingeschränkte Nutzung der gesamten Funktionalität von QF-Test erlaubt. Dazu gehört neben der Entwicklung und dem Speichern, das Ausführen und Debuggen von Testsuiten. Runtime Lizenzen ermöglichen die Ausführung und das Debuggen von Tests, sowie vorübergehende Änderungen an Testsuiten. Das Speichern von Testsuiten ist nicht möglich. Diese Lizenz eignet sich für individuelle Testläufe, nächtliche Tests im Batch- Modus und Lasttests mit einer Vielzahl an gleichzeitigen virtuellen Benutzern. Lizenzleasing kann, bei einem Minimum von drei Entwickler- oder fünf Runtime Lizenzen, vor allem für eine größere Zahl von Runtime Lizenten bei Lasttests von unter einem Jahr gemietet werden. Akademische Lizenzen werden für Forschungsprojekte und zu Schulungszwecken zu reduzierten Preisen zur Verfügung gestellt. Zur Unterstützung von Open Source Projekte bietet QF-Test Evaluationslizenzen, die frei verlängert werden können, an. Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben 1 / 17

6 1.3. Unterstützte Schnittstellen QF-Test unterstützt folgende Technologien: Java Swing AWT SWT Eclipse-Plugins RCP Java Applets Java Web Start ULC CaptainCasa Web Internet Explorer und Firefox HTML AJAX ExtGWT ExtJS GWT PrimeFaces Qooxdoo RAP RichFaces Vaadin ZK Basiert die Web-Anwendung auf einem AJAX Toolkit (ExtGWT, ExtJs, GWT, PrimeFaces, Qooxdoo, RAP, RichFaces, Vaadin oder ZK) bietet QF-Test spezielle Resolver an, um die Komponentenwiedererkennung zu optimieren (siehe Kapitel 2.2. Benutzen der Einstellung Name übertrifft alles ). QF-Test ist ein plattformunabhängiges Werkzeug das auf folgenden Betriebssystemen eingesetzt werden kann: Swing SWT Web Windows Unix Linux Mac OS X Windows Linux-GTK Solaris-GTK auf Anfrage Windows Linux Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben 2 / 17

7 2. Objekterkennung Bevor QF-Test in einem Testprojekt eingesetzt wird, muss eine von folgenden vier Konfigurationsmöglichkeiten zur Wiedererkennung festgelegt werden Benutzen der Standardeinstellungen Die Standardeinstellung benutzt für die Komponentenerkennung deren Namen, Klasse (Typ) und Hierarchie (Aufbau der Maske). Wenn die Entwicklung keine Objektnamen vergibt, verwendet QF-Test andere Eigenschaften, wie ein Label, den Text eines Buttons oder die Geometrie der Komponente für die Objekterkennung. In diesem Fall funktioniert die Standardeinstellung, solange die Komponentenstruktur und die Geometrie ähnlich bleiben. Es kann sinnvoll sein, dass für die Tests das SUT (System Under Test) durch QF-Test immer mit derselben Fenstergröße gestartet wird Benutzen der Einstellung Name übertrifft alles Für die robuste Wiedererkennung von Objekten (z. B. Buttons, Tabellen und Textfelder) empfiehlt QF-Test jedem verwendeten Objekt die Java/Swing Methode setname zu vergeben. In SWT steht die Methode setdata und bei HTML das id Attribut als eindeutiges Erkennungsmerkmal zur Verfügung. 1 Durch die Angabe der AJAX Toolkit Variante erkennt QF-Test eindeutige IDs, die aus den unterschiedlichen Technologien erstellt wurden. Gegenüber der Standardeinstellung hat diese Einstellung den Vorteil, dass es hier bei einer größeren Änderung der Komponentenhierarchie (Maskenaufbau) keine Auswirkung auf die Objekterkennung gibt Benutzen der Einstellung Nur Systemklassen aufzeichnen Zusätzlich zu den oben genannten Einstellungen kann QF-Test so konfiguriert werden, dass anstatt der eigenen Klassennamen, Systemklassen (javax.swing, java.awt oder org.eclipse.swt.widgets ) verwenden werden können. Wird diese Option gesetzt, gibt es keine Probleme bei einem Refactoring der Entwickler durch Klassennamenänderungen. Haben aber die Entwickler nicht für alle relevanten Komponenten Namen vergeben, kann QF-Test bei dieser Einstellung die Komponenten nicht wiedererkennen Beeinflussen von Namen mittels NameResolver Manche Komponenten haben keine Namen, der Tester kennt jedoch einen Algorithmus, um eindeutige Namen zu setzen, oder es existieren Namen die sich regelmäßig ändern (z. B. von button1 zu button2 ). Hier kann ein NameResolver verwendet werden, um Namen aus der QF-Test Sicht zu ändern oder zu löschen. Diese Änderungen treffen dann nur für die QF- Test Sicht zu und ändern nichts am aktuellen Sourcecode. 1 Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben 3 / 17

8 3. Spezifikation QF-Test bietet drei verschiedene Möglichkeiten für die Testfallbeschreibung: Capture/Replay, automatisches Prozeduren aufzeichnen oder eine Programmierung mit Skriptsprachen. In Abhängigkeit von der Komplexität der Testautomatisierung werden diese drei Möglichkeiten in einer Testsuite kombiniert Entwicklungsumgebung In Abbildung 1 ist die Entwicklungsumgebung zu sehen, welche eine eigenständige und die einzige Applikation von QF-Test ist. Jede qft-datei besitzt eine Testsuite, die aus den Testfallbeschreibungen, Prozeduren, Extrasequenzen und den Fenster und Komponenten besteht. Rechts neben dem Baum werden die Eigenschaften des selektierten Knotens angezeigt. Abbildung 1: QF-Test Entwicklungsumgebung Innerhalb der hierarchischen Baumstruktur für die Testfallbeschreibung steht der Testfallsatz, Testfall, Testschritt, Sequenz und weitere Knoten die entweder als Datencontainer oder für den Ablauf der Tests zuständig sind. Es gibt mehr als 60 verschiedene Arten von Knoten, die u. a. im nächsten Kapitel beschrieben werden. Version: vom Autor: Dipl.-Ing. Daniel Roschanek Status: Freigegeben 4 / 17

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to [email protected] Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH [email protected]