TestComplete 9.3. Studie über GUI-Testautomatisierung

Transkript

1 TestComplete 9.3 Studie über GUI-Testautomatisierung Version: 0.4 Stand vom: :39:00 Status: Freigegeben Autor: Dipl.-Ing. Alexander Lavado MSc Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... III Allgemeines... III Dokument-Historie... III Dokument-Qualitätssicherung... III Zweck und Inhalt dieses Dokuments... III 1. ALLGEMEIN Hersteller Produktportfolio Unterstützte Schnittstellen OBJEKTERKENNUNG Erkennung von Steuerelementen als generische Onscreen-Objekte Entweder einige Steuerelemente werden nicht erkannt oder die gesamte GUI wird als ein einzelnes Objekt erkannt SPEZIFIKATION Struktur von TestComplete Entwicklungsumgebung Testfallerstellung Keyword Test (Testerstellung ohne Programmierung) Skript Anweisungen (Testerstellung mit Programmierung) Low Level Prozeduren Datengetriebene Tests Datengetriebene Test mit Keywords Datengetriebene Tests mit Skripten Überprüfungen Wiederverwendbarkeit Mit mehreren Test-Projekten kann man die gleichen Routinen von einem Projekt in ein anderes Projekt übernehmen. Mit der USE Klausel können die Routinen in anderer Einheiten des gleichen Projektes einbezogen werden Sollen Routinen in einer definierten Einheit eines anderen Projekts aufgerufen werden, muss man eine Einheit, die diese Routinen enthalten, dem Projekt hinzufügen. Wenn eine vorhandene Einheit addiert wird, wird keine neue Kopie dieser Einheit erstellt, sondern es wird nur verwiesen Robustheit Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: I / III

3 4. DURCHFÜHRUNG Bilden von Test Suiten Start der Testdurchführung Verhalten bei Fehlern Protokollierung ADMINISTRATION Integrationen Versionsverwaltung Fehlerverfolgungssystem Gespeicherte Items aus Microsoft Visual Studio Team, Bugzilla und AqdevTeam können mit TestComplete erstellt und bearbeitet werden. Es ist nur in der Enterprise Edition verfügbar Dokumentation ZUSAMMENFASSUNG Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: II / III

4 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen 0.2 In Bearbeitung Lavado Überarbeitete Version Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Autor Alexander Lavado erstellt Prüfer Paul Müller geprüft Prüfer Jürgen Plasser Geprüft Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die Analyse eines Testautomatisierungswerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines Werkzeugs dienen. Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: III / III

5 1. Allgemein 1.1. Hersteller TestComplete ist ein Softwareprodukt, das von SmartBear (früher Automated QA) seit 1999 entwickelt wurde. SmartBear Software ist ein Software-Unternehmen, das Werkzeuge für Software-Entwickler, Qualitätssicherung-Ingenieure und IT-Fachleute bietet. SmartBear Software ist die Vereinigung von AutomatedQA und Pragmatic Software Produktportfolio SmartBear bietet unter dem Begriff Testing & QA eine Vielzahl von Werkzeugen für die Verbesserung und Sicherstellung von Softwarequalität. Im Bereich der Testautomatisierung sind hier neben dem in dieser Studie vorgestellten Werkzeug TestComplete noch das Lasttestwerkzeug LoadUIWeb Pro, das Testmanagementwerkzeug QAComplete und im Bereich Performance das Werkzeug AQtime Pro hervorzuheben. TestComplete gibt es in zwei Editionen: Professional und Enterprise, wobei der Unterschied in der Anzahl der Features liegt, die Enterprise Edition bietet zusätzlich Integration mit Visual Studio Team Systems, Web Service Tests und Distributed Tests. TestComplete unterstützt zwei Lizenztypen: Node-Locked und Floating Benutzer. Die Node-Locked-User-Lizenz wird auf einem einzigen physikalischen Computer im Netzwerk verwendet. Man kann nur eine Instanz von TestComplete auf dem lizenzierten Computer gleichzeitig verwenden. Die Floating User-Lizenz wird mit TestComplete oder TestExecute auf mehreren physikalischen oder virtuellen Computern im Netzwerk verwendet. TestExecute ist ein Add-on von SmartBear für Computer, die keine Lizenz von TestComplete haben. TestExecute führt automatisierte Tests von TestComplete auf diesen Computern aus und präsentiert deren Testergebnisse. Es kann auf Remote-Computern in einer Testumgebung oder auf virtuellen Maschinen in einem virtuellen Labor installiert werden Unterstützte Schnittstellen TestComplete kann Softwaretest auf einer breiten Palette von Anwendungen automatisieren. Es können Benutzeraktionen auf einem 32-Bit oder 64-Bit Windows;.NET, Java oder Webanwendungen aus einer beliebigen Programmiersprache simuliert werden. Desktop Native Windows Java Web (Net Framework 2.0 bis 4.5): Visual C # Visual Basic Intel C++ Embarcadero Delphi CodeGear Delphi Borland Delphi NetBeans Eclipse-JDT AWT SWT Browser: Internet Explorer 7-10 Mozilla Firefox 23 Chrome 29 Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: / 17

6 Visual C + + Non-Microsoft : C # Builder Delphi für.net Python.NET Cobol.NET Embarcadero C++ CodeGear C++ Borland C++ Swing JavaFX 2 Safari 5 Opera 12 Adobe Flash (ab 10.0) Adobe Flex ( ) Adobe AIR (2 und 3) Microsoft Silverlight (4 und 5) Service: WS-I Basic Profile 1.1 SOAP 1.1 WSDL 1.1 WCF Web Services Andere Technologien wie Qt Digia, Sybase PowerBuilder, Microsoft FoxPro 7.0, Microsoft Office Access 2003, 2007, Microsoft Office InfoPath 2003,2007 werden ebenfalls unterstützt. Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: / 17

7 2. Objekterkennung TestComplete kann alle Steuerelemente in einer getesteten Anwendung erkennen und manipulieren, solange dieses Steuerelement eines der unterstützten Steuerelemente ist. Für diese Steuerelemente bietet TestComplete eingebaute Testobjekte (built-in test objects), die zur Aufnahme und Wiedergabe verschiedener Aktionen benutzt werden können. Einige Anwendungen enthalten benutzerdefinierte Elemente, die eine andere Implementierung haben und mit den eingebauten Testobjekten unvereinbar sind. TestComplete ist möglicherweise nicht in der Lage, solche Elemente unter Verwendung von Standard-Ansätzen zu erkennen. Dafür werden ergänzende Techniken verwendet, um die Objekterkennung zu verbessern. Beim Umgang mit benutzerdefinierten Steuerelementen können zwei Situationen eintreten: 2.1. Erkennung von Steuerelementen als generische Onscreen-Objekte Mapping von Standardklassen aus benutzerdefinierten Klassen Ein benutzerdefiniertes Steuerelement der API kann auch kompatibel mit einem der unterstützten Elemente sein. TestComplete sollte in der Lage sein, solche Steuerelemente zu erkennen und zu manipulieren, sobald ihre Klassennamen mit den entsprechenden Standard- Klassen in den Projekt-Object-Mapping-Einstellungen abgebildet werden Erstellung eines Testobjektes für ein benutzerdefiniertes Steuerelement mit TestComplete SDK Erweiterte Unterstützung für benutzerdefinierte.net- und WPF-Elemente kann unter Verwendung von TestComplete SDK implementiert werden. Benutzerdefinierte Testobjekte können zur Bearbeitung dieser Steuerelemente definiert werden Entweder einige Steuerelemente werden nicht erkannt oder die gesamte GUI wird als ein einzelnes Objekt erkannt Benutzung des Microsoft Active Accessibility (MSAA) MSAA nutzt die zugänglichen Informationen, die bei den getesteten Anwendungen zur Verfügung stehen, um ihre UI Elemente zu identifizieren. Zum Beispiel, verwendet TestComplete MSAA, um Objekte in Anwendungen mit Microsoft Office, FoxPro, Adobe Flash und Sybase Power Builder zu identifizieren Benutzung der UI Automation Die UI Automation Technologie ist ein Nachfolger von MSAA und es kann benutzt werden um eine bessere Objekterkennung in der getesteten Anwendung zu erreichen. Zum Beispiel, verwendet TestComplete UI Automation, um Objekte in Silverlight-Anwendungen zu erkennen. Für problematische Objektklassen kann die GUI-Automatisierungs-Unterstützung aktiviert Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: / 17

8 werden. Damit wird TestComplete angewiesen, GUI-Informationen für diese Objekte von UI Automation Anbietern abzurufen Benutzung der Texterkennung Texterkennung von TestComplete ermöglicht die Erkennung von GUI-Objekten durch ihren Text und bietet Manipulation von grundlegenden Operationen. Version: 0.4 vom Autor: Dipl.-Ing. Alexander Lavado MSc Status: Freigegeben Software Quality Lab. Alle Rechte vorbehalten. Intern Druckdatum: / 17

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com