Eclipse TPTP. Studie über Testmanagementwerkzeuge. Studie

Transkript

1 Eclipse TPTP Studie über Testmanagementwerkzeuge Studie Version: 1.0 Stand vom: :41:00 Status: Freigegeben Autor: Dipl.-Ing. Johannes Hochrainer Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... II Allgemeines... II Dokument-Historie... II Dokument-Qualitätssicherung... II Zweck und Inhalt dieses Dokuments... II 1. ECLIPSE Allgemein Produktportfolio Programmteile TPTP Platform Testing Tools Monitoring Tools Tracing und Profiling Tools Unterstützte Testaktivitäten Planung und Steuerung Analyse und Design Implementierung Automated GUI Recorder TPTP API Recorder Durchführung Auswertung und Bericht Benutzerverwaltung Versions- und Konfigurationsmanagement Zusammenfassung... 5 I / II

3 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testmanagementstudie von Software Quality Lab. Verteiler: Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Prüfer Freigabe Johannes Hochrainer Johannes Bergsmann Johannes Bergsmann erstellt geprüft freigegeben Zweck und Inhalt dieses Dokuments Ziel dieses Dokuments ist es, Interessierten eine objektive Analyse von Testmanagementwerkzeugen zu liefern. II / II

4 1. Eclipse 1.1. Allgemein Eclipse ist ein Open Source Framework für die Erstellung von Rich Client Applikationen. Unter Eclipse gibt es mehrere Top-Level Projekte, so auch Eclipse TPTP. TPTP ist ein Akronym und steht für Test & Performance Tools Project. Namhafte Unternehmen, wie Compuware, IBM, Intel, SAP (als strategischer Kunde) und Scapa Technologies arbeiten zusammen, um eine offene Plattform für verschiedenste Arten des Testens zu entwickeln. All diese Unternehmen bauen auf TPTP ihre eigenen, teils kommerziellen, Produkte auf. Beispiele hierfür sind z.b. IBM Rational Functional Tester und IBM Manual Tester. Auf der Homepage wird das Ziel wie folgt beschrieben: The mission of the Eclipse Test & Performance Tools Project is to build a generic, extensible, standards-based tool platform upon which software developers can create specialized, differentiated, and interoperable offerings for world class test and performance tools. Bei der Benutzung von Eclipse TPTP bemerkt man, dass die Hersteller gewisse Funktionalitäten hinten anstellen, um durch TPTP nicht Konkurrenz zu eigenen kommerziellen Produkten zu erzeugen. Ein Beispiel hierfür ist das Fehlen einer Anbindung an andere Softwareentwicklungsaktivitäten, wie etwa Werkzeugen zur Anforderungsanalyse. Ein weiteres Beispiel ist die oft karge Benutzeroberfläche. Unter der Fassade verbirgt sich jedoch eine mächtige Plattform. Firmen, die eventuell selbst ein Testautomatisierungswerkzeug entwickeln wollen, finden in Eclipse TPTP ein sehr gutes Framework. Viele Testwerkzeuge von TPTP lassen sich jedoch auch ohne eigene Erweiterungen sofort nutzen. TPTP ist mehr ein Testframework, als ein Testmanagementsystem. Dennoch soll auf dieses Projekt hier eingegangen werden, um darzustellen, welche Testaktivitäten unterstützt werden. Viele Anwender wollen langfristig eine eigene Testinfrastruktur aufbauen. TPTP kann dazu eine gute Grundlage bilden. Einige Testaktivitäten sind bereits ohne eigene Entwicklungen einsetzbar. Untersuchtes Eclipse Tool Name Version Funktionsumfang TPTP Testmanagement und Testautomatisierung Eclipse Tool 1 / 5

5 1.2. Produktportfolio Programmteile TPTP besteht aus vier Teilen: TPTP Platform TPTP Testing Tools TPTP Monitoring Tools TPTP Tracing- und Profiling Tools Im Folgenden werden die einzelnen Unterprojekte kurz vorgestellt: TPTP Platform TPTP Platform stellt eine gemeinsame Infrastruktur für alle Funktionalitäten von TPTP bereit. Beispiele hierfür sind etwa Benutzeroberflächen, Datenmodelle, Protokolle (z.b. Kommunikation) und ein Remote Execution Framework. Definition, Manipulation und Kommunikation der Datenmodelle basieren auf dem Eclipse Modelling Framework, kurz EMF. Ein Beispiel ist das UML2 Testing Profile, welches von OMG standardisiert ist. Das Log-Modell basiert auf dem Common Base Event, welches von IBM propagiert wird. Nicht standardisiert ist das Trace Model und das Statistical Model. Sie sind aber anderen Standards ähnlich. Besonders interessant ist der Agent Controller von TPTP. Es können Tests sowohl lokal, als auch auf anderen Systemen ausgeführt werden. Es existieren eigenständige Agenten für verschiedenste Plattformen, wie z.b. AIX, HP-UX, Linux, Solaris und Microsoft Windows. Die Agenten laufen als eigene Prozesse auf dem Remote-System und werden von einem zentralen Computer gesteuert Testing Tools Testing Tools basieren auf der TPTP Plattform und bieten konkrete Werkzeuge für das Testen an. So z.b. JUnit, Werkzeuge für das manuelle Testen, URL Testing, und statische Codeanalyse. 2 / 5

6 Monitoring Tools Monitoring Tools werden verwendet, um Informationen über Systeme oder Applikationen zu sammeln, zu analysieren und aufzubereiten. So gibt es etwa eigene Transformatoren, die verschiedene Log-Formate in ein einheitliches Format bringen. Danach können darauf Algorithmen angesetzt werden, um nach Mustern und nach Fehlerursachen zu suchen. Ferner gibt es Werkzeuge für das Monitoring von CPU und Speicher Tracing und Profiling Tools Die Tracing und Profiling Tools bieten Werkzeuge, um die Performance von Applikationen zu analysieren. Darunter fallen auch verteilte Java Anwendungen. Das Tracing von C/C++ Anwendungen ist derzeit in Entwicklung Unterstützte Testaktivitäten Planung und Steuerung TPTP bietet wenig Funktionalitäten um Tests zu planen und zu steuern. Testfälle lassen sich zu Testsuites gruppieren. Außerdem kann man genau spezifizieren, welche Testfälle auf welchen Rechnern ausgeführt werden sollen Analyse und Design Eclipse TPTP erlaubt die Spezifikation von manuellen und automatisierten Tests. Das Testing Tools Projekt von Eclipse bietet folgende Testarten an: Performance testing of HTTP applications JUnit testing Manual testing Darüber hinaus gibt es noch ein Capture&Replay Werkzeug für SWT-Anwendungen 1. Manuelle Test können mit einfachen Editoren erstellt werden. Testfälle werden mit Testsuites strukturiert. Mit Schleifen können Testfälle mehrmals ausgeführt werden. Die Testfallbeschreibung selbst erfolgt durch unformatierten Text Implementierung Es werden hier nur einige Möglichkeiten aufgezeigt, mit der man in TPTP funktionalen Test automatisieren kann Automated GUI Recorder 1 SWT = Standard Widget Toolkit, seit 2001, Open Source Projekt, entwickelt von IBM als Teil von Eclipse; Eclipse ist mit SWT programmiert; nutzt die Vorteile von AWT und swing und soll die Nachteile von AWT/swing vermeiden; setzt auf die grafischen Objekte des jeweiligen Betriebssystems auf; Widgets, die im BS nicht existieren werden im SWT implementiert; hat damit immer das Look&Feel des BS; muss auf das jeweilige OS portiert werden; verfügbar für Windows, Linux, MacOS 3 / 5

7 Für den funktionalen Systemtest auf GUI-Ebene bietet Eclipse TPTP ein Capture&Replay Werkzeug an. User Interface Ereignisse werden als XML aufgezeichnet und können danach wieder abgespielt werden. Diese Funktionalität beschränkt sich jedoch auf SWT Applikationen, also jener Bibliothek auf der die Oberfläche von Eclipse aufgebaut ist. In Eclipse Abb. 1 ist ein aufgezeichneter Testfall dargestellt. Eclipse Abb. 1: Automatisierter GUI-Test Verification Hooks werden verwendet, um Überprüfungen durchführen zu können. Sie können sowohl auf Views, Editoren und Shells angesetzt werden. Vorteilhaft sind auch so genannte Object Mines. Referenzen auf Objekte werden nicht direkt in die Testfälle aufgenommen, sondern zentral in einem Register gespeichert. Ändert sich ein GUI-Objekt des zu testenden Systems, müssen nicht alle Testfälle geändert werden, sondern nur das zentrale Register. Die aufgezeichneten Testfälle können mit einem Datenpool verbunden werden, womit Data- Driven Testing ermöglicht wird TPTP API Recorder Für Testfälle bei denen die Testschnittstelle eine Java-API ist, bietet TPTP einen API Recorder. Bei der Ausführung einer Java-Applikation protokolliert dieses Werkzeug die Methodenaufrufe mit. Welche Aufrufe aufgezeichnet werden, kann man mit einem Filter spezifizieren. Es können dabei Pakete, Klassen und Methoden gefiltert werden. Auch Wildcards sind möglich. Aufgezeichnet werden Methodenein- und -austritte, sowie Eingabe- und Rückgabewerte. Der TPTP API Recorder erzeugt aus den gewonnen Informationen einen JUnit Testfall Durchführung 4 / 5

8 Die Testausführung in Eclipse TPTP baut auf so genannten Agent Controller auf. Egal, ob der Test lokal oder auf einem anderen Rechner ausgeführt wird in beiden Fällen öffnet sich ein Fenster, das durch den manuellen Test leitet. Der Tester bekommt so Schritt für Schritt Aufgaben zugeteilt und kann nach der Ausführung neben den Erfolg des Testschrittes und Kommentaren, auch Dateien abspeichern (Screenshots, Log-Files). Nach der Testausführung wird das Ergebnis graphisch und in einer Baumstruktur dargestellt. Außerdem gibt es eine Anbindung an das Bugzilla Web Interface um gefundene Fehler zu dokumentieren Auswertung und Bericht Zur Auswertung der manuellen und automatisierten funktionalen Tests steht eine Ansicht zur Verfügung, in der die ausgeführten Testfälle strukturiert angezeigt werden. Zu jedem Testfall gibt es Informationen, wie z. B. den Durchführungsstatus Benutzerverwaltung Eclipse TPTP bietet keine Funktionalität zur Benutzerverwaltung Versions- und Konfigurationsmanagement In Eclipse TPTP ist kein eigenes Versions- und Konfigurationsmanagementsystem integriert. Wozu auch? Eclipse ist mit Plug-Ins beliebig erweiterbar. So bietet sich zur Versionsverwaltung das Plug-In Subclipse an. Dieses bietet mehrere Views, Editoren und Wizards an, um das Versionsverwaltungssystem Subversion in Eclipse zu verwenden Zusammenfassung Eclipse TPTP ist mehr ein Testframework, als ein Testmanagementsystem. Es bietet ein umfassende Plattform an, auf der man eigen Testwerkzeuge auf bauen kann. Viele Werkzeuge von Eclipse TPTP sind von den entwickelnden Firmen einfach gehalten worden. Unter der Fassade versteckt sich jedoch eine mächtige Plattform. Die Datenmodelle entsprechen weit verbreiteten Standards. Der Agent Controller ermöglicht die Ausführung von Tests lokal, als auch remote auf verschiedensten Plattformen. 5 / 5

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com