Imbus TestBench 1.6.1 Studie über Testmanagementwerkzeuge Studie Version: 1.0 Stand vom: 14.04.2015 17:41:00 Status: Freigegeben Autor: Dipl.-Ing. Johannes Hochrainer Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum: 14.04.2015
Inhalt DOKUMENTENINFORMATION... III Allgemeines... III Dokument-Historie... III Dokument-Qualitätssicherung... III Zweck und Inhalt dieses Dokuments... III 1. ALLGEMEINES... 1 1.1. Hersteller... 1 1.2. Produktportfolio... 1 1.3. Programmteile... 1 1.4. Integrationen... 2 2. TESTAKTIVITÄTEN... 3 2.1. Planung und Steuerung... 3 2.1.1. Anforderungsmanagement... 3 2.1.2. Risikobasiertes Testen... 3 2.1.3. Benutzerdefinierte Felder... 3 2.1.4. Aufwandsschätzung... 4 2.1.5. Statusmodell... 4 2.1.6. Zuordnung von Verantwortlichen, Reviewern und Testern... 5 2.1.7. Zeitliche Projektstruktur... 5 2.1.8. Listenansicht... 6 2.1.9. Filter... 6 2.2. Analyse und Design... 7 2.2.1. Struktur von Testfällen... 8 2.2.2. Beschreibung der Testfälle... 9 2.2.3. Interaktionsmethode... 9 2.2.4. Freitext-Interaktion... 11 2.2.5. Zusatzinformationen... 11 2.3. Implementierung... 13 2.3.1. Automatisierung nach der herkömmlichen Methode... 13 2.3.2. Automatisierung mit der Interaktionsmethode... 13 2.4. Durchführung... 14 Manuelle Testausführung in der imbus TestBench... 14 Manuelle Testausführung mit itorx... 14 Ausführung mit externen Automatisierungswerkzeugen... 15 Ausführung basierend auf der Interaktionsmethode... 15 2.5. Auswertung und Bericht... 16 2.5.1. Berichterstellung... 16 2.5.2. Metriken... 17 I / III
3. ADMINISTRATION... 18 3.1. Benutzerverwaltung... 18 3.2. Versions- und Konfigurationsmanagement... 18 4. ZUSAMMENFASSUNG... 20 ANHANG... 21 Abbildungsverzeichnis... 21 II / III
Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testmanagementstudie von Software Quality Lab. Verteiler: - Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+e-mail) Tätigkeit Datum Unterschrift Autor Johannes Hochrainer erstellt 2008-12- 08 Prüfer Bernhard Groiß geprüft 2008-12- 15 Prüfer Bernhard Meingassner geprüft 2008-12- 22 Prüfer imbus AG geprüft 2009-01- 13 Freigabe Johannes Bergsmann freigegeben 2009-01- 13 Zweck und Inhalt dieses Dokuments Ziel dieses Dokuments ist es, Interessierten eine objektive Analyse von Testmanagementwerkzeugen zu liefern. III / III
1. Allgemeines 1.1. Hersteller Die in Deutschland ansässige Firma imbus AG wurde 1992 gegründet. Haupttätigkeitsgebiete sind Serviceleistungen im Bereich des Qualitätsmanagements und des Testens. imbus entwickelt aber auch Software, wie etwa das Testmanagementwerkzeug imbus TestBench, derzeit in Version 1.6.2. 1.2. Produktportfolio Neben dem Testmanagementwerkzeug imbus TestBench bietet imbus noch einige andere Produkte für das Qualitätsmanagement an: itom ist ein Framework zur Automatisierung von COM-basierten Benutzeroberflächen. Die Testspezifikation erfolgt auf Basis der Interaktionsmethode in MS Excel oder der imbus TestBench. PETS steht für Prediction of SW Error Rates based on Test and Software Maturity Results. Es bietet eine Restfehlerprognose basierend auf statistischen Modellen. 1.3. Programmteile Die Basiskomponente von imbus TestBench basiert auf einer Dreischichtenarchitektur: Datenbankserver: Daten speichert die imbus TestBench in Oracle- und Microsoft-SQL- Datenbanken. Applikationsserver: Als Applikationsserver kommt JBoss zum Einsatz. Die Kombination aus Clustering im Datenbankmanagementsystem und EJB im Applikationsserver ermöglicht Skalierbarkeit. So ist es möglich, dass gleichzeitig hunderte Benutzer an einem gemeinsamen Testprojekt arbeiten. Client: Der Benutzer greift über den imbus TestBench Client, eine Java Rich Client Applikation, auf die Testprojekte zu. Die Kommunikation mit dem Applikationsserver erfolgt optional auch verschlüsselt. Der imbus TestBench Client bietet dem Benutzer die folgenden Komponenten: Testthemensicht und daran angeschlossene Sichten für die Steuerung und Ausführung aller Testaktivitäten Testelementsicht für die Feinspezifikation von Testschritten und Testdaten Hinzu kommen fünf Verwaltungsbereiche: Projektverwaltung Benutzerverwaltung Filterverwaltung Verwaltung von Plug-ins und Berichtsvorlagen Einstellungen 1 / 21
Des weiteren bietet imbus mit itorx einen Assistenten zur manuellen Testausführung. Bei der automatisierten Ausführung kommt itep ins Spiel. Beide werden später behandelt. Server- und Clientkomponenten basieren auf Java und sind somit auf allen Plattformen ausführbar, für die ein Java Runtime Environment existiert. Eine Erweiterung der Funktionalität ist mit Plug-ins möglich. Neben einer Vielzahl von bereits verfügbaren Plug-ins ermöglicht die ausreichend dokumentierte Schnittstelle auch die Implementierung eigener Erweiterungen. 1.4. Integrationen Die Anbindung externer Applikationen erfolgt über Plug-ins und offen gelegte Schnittstellen. imbus bietet folgende Integrationen an: Anforderungsmanagement Borland CaliberRM IBM Rational RequisitePro MS Excel TCP IrqA Telelogic DOORS GUI-Tests Borland SilkTest HP WinRunner HP QuickTest Professional IBM Rational XDE / Functional Tester IBM Rational Robot qftestjui Testautomatisierungsframeworks LogicaCMG Contest net FrameWork Embedded-Systems National Instruments TestStand S.E.A. TestMaster Fehlermanagement Atlassian JIRA Bugzilla IBM Rational ClearQuest MS Excel 2 / 21
2. Testaktivitäten imbus TestBench unterstützt alle Testaktivitäten. Besonders hervorzuheben ist das systematische Herleiten von Testfällen. Dies wird erreicht durch Keyword-Driven Testing, das in der imbus TestBench als Interaktionsmethode bezeichnet wird. 2.1. Planung und Steuerung 2.1.1. Anforderungsmanagement imbus TestBench bietet über einen mitgelieferten Proxy die Möglichkeit, Anforderungen zu importieren und diese mit Testfällen zu verbinden. Integrationen zu Borland CaliberRM, IBM RequisitePro, TCP IrqA, Telelogic DOORS und Microsoft Excel sind dazu vorhanden. Aufgabe des Proxys ist es, das Datenmodell des Anforderungsmanagementwerkzeugs dem generischen Datenmodell der imbus TestBench zuzuordnen. imbus TestBench holt sich aus dem Anforderungsmanagementwerkzeug die ausgewählte Baseline der Anforderungen und legt in der eigenen zentralen Datenbank eine Kopie an. Jeder Version eines Testobjekts können eine oder mehrere Anforderungsbaselines zugeordnet werden. Es können keine Änderungen an den importierten Anforderungen gemacht und mit dem Anforderungsmanagementwerkzeug synchronisiert werden. Die imbus TestBench kann aber die Unterschiede zwischen den Anforderungen zweier Baselines erkennen und anzeigen. Importiert werden nicht nur Struktur und textuelle Beschreibung der Anforderungen, sondern auch benutzerdefinierte Attribute. Durch den Import von Attributen aus den Anforderungsmanagementwerkzeugen wird es möglich, erweiterte Filter auf Anforderungen anzuwenden. Filter bilden eine Grundlage für Auswertungen und Berichte. So lässt sich etwa nachprüfen, ob alle Anforderungen die im Anforderungsmanagementwerkzeug mit einem hohen Risiko eingestuft wurden, in der imbus TestBench mit Testfällen abgedeckt sind. 2.1.2. Risikobasiertes Testen Durch den Import von Risikoattributen aus dem Anforderungsmanagementwerkzeug können mit Filtern all jene Testfälle selektiert werden, die Anforderungen mit hohem Risiko testen. Will man das Risiko für Testfälle angeben, so muss auf benutzerdefinierte Felder zurückgegriffen werden. Durch Filter gelangt man schließlich zu jenen Testfällen, die in eine gewünschte Risikoklasse fallen. 2.1.3. Benutzerdefinierte Felder Attribute, in der imbus TestBench als benutzerdefinierte Felder (BDF) bezeichnet, lassen sich für jedes Testprojekt individuell definieren. Benutzerdefinierte Felder können als Muss-Felder spezifiziert werden. Sie müssen somit vom Bearbeiter ausgefüllt werden, bevor dieser einen Arbeitsschritt abschließen kann. Die Sichtbarkeit der Attribute lässt sich optional auf die Testspezifikation (sowohl Testfall, als auch Testthema) oder auf die Testausführung eingrenzen. Als Wertetypen stehen Textfeld, Werteliste und Ankreuzfeld zur Verfügung. 3 / 21
2.1.4. Aufwandsschätzung Testfälle und Testthemen weisen ein Feld zur Angabe der geschätzten Ausführungszeit auf. Bei der manuellen Testausführung mit itorx kann der Tester eine Stoppuhr starten und anhalten. Bei der automatisierten Testausführung wird die Ausführungszeit optional automatisch mit erfasst. Zeiten können im Testbaum aufsummiert bzw. gleich verteilt werden. D. h. dass man für ein Testthema die Gesamtausführungszeit aus den darin enthaltenen Testfällen berechnen kann. Umgekehrt kann die geschätzte Ausführungszeit eines Testthemas gleichmäßig auf alle darin enthaltenen Testfälle verteilt werden. Die Filterung nach geschätzter und tatsächlicher Ausführungszeit ist möglich. 2.1.5. Statusmodell Die meisten Testmanagementwerkzeuge weisen ein Statusfeld pro Testfall vor. Die imbus TestBench geht einen Schritt weiter: Gleich drei Statusfelder gibt es pro Testfall. imbus spricht dabei vom Statustripel. Die zusätzlichen Statusfelder unterstützen besonders bei der Planung von Tests. Dabei ist anzumerken, dass ein Testfall in der imbus TestBench aus drei Gesichtspunkten betrachtet wird: Testspezifikation, Testautomatisierung und Testdurchführung: Für die Testspezifikation gibt es den Status nicht geplant, geplant, in Bearbeitung, in Review und freigegeben. Bei der Testautomatisierung kann man zwischen nicht geplant, geplant, in Bearbeitung, in Review und freigegeben wählen. Die Testausführung erlaubt eine erweiterte Auswahl: nicht geplant, geplant, zugeordnet, laufend, ausgelassen, abgebrochen und durchgeführt. Alle drei Bereiche werden nicht nur mit einem eigenen Status versehen, sondern werden auch separat versioniert. Das Statusmodell der imbus TestBench ist fix vorgegeben und kann nicht erweitert werden. Manche Statusübergänge starten automatisch Aktionen. So wird z. B. beim Freigeben eines Testobjekts das Testobjekt auf Konsistenz und Vollständigkeit überprüft und im Rahmen der Versionierung eingecheckt. Der Status eines Testthemas (Testordner) wird in der Regel automatisch gesetzt. Er berechnet sich aus den Werten der darin enthaltenen Testfälle. Man kann aber auch den Status eines Testthemas ändern und dabei durch Propagieren den Status aller untergeordneter Testfälle setzen. 4 / 21
Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2
Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr 6 4040 Linz AUSTRIA Bitte ausgefüllt per Email an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: Email/email: Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer 4.0.2 Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench 1.6.1 Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM 20121 NEU! Siemens SiTEMPPO 5.8 TestLink 1.9.12 Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium 1.2.2 Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester 8.1.0.3 Microsoft VSTS 2010 QF-Test 3.5.1 NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website www.software-quality-lab.com. Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload 3.0.3 SmartBear LoadUI 2.8.0 Unit Tests Google Test 1.5 JUnit 4.11 NUnit 2.5.7 Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2
Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC www.software-quality-lab.com Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at www.tool-evaluation.com. V. 2011-12 Software Quality Lab GmbH info@software-quality-lab.com www.software-quality-lab.com