Modzilla Testopia 2.1

Transkript

1 Modzilla Testopia 2.1 Studie über Testmanagementwerkzeuge Studie Version: 1.0 Stand vom: :41:00 Status: Freigegeben Autor: Dipl.-Ing. Johannes Hochrainer Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... II Allgemeines... II Dokument-Historie... II Dokument-Qualitätssicherung... II Zweck und Inhalt dieses Dokuments... II 1. ALLGEMEINES Hersteller Produktportfolio Programmteile Integrationen TESTAKTIVITÄTEN Planung und Steuerung Projektübersicht Anforderungen Planung Benachrichtigungen Zeitliche Projektstruktur Tags Analyse und Design Test Plan Test Case Implementierung Durchführung Auswertung und Bericht Suchabfragen Berichte ADMINISTRATION Benutzerverwaltung Versionsmanagement ZUSAMMENFASSUNG ANHANG Abbildungsverzeichnis I / II

3 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testmanagementstudie von Software Quality Lab. Verteiler: - Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Prüfer Freigabe Johannes Hochrainer Bernhard Groiss Johannes Hochrainer erstellt geprüft freigegeben Zweck und Inhalt dieses Dokuments Ziel dieses Dokuments ist es, Interessierten eine objektive Analyse von Testmanagementwerkzeugen zu liefern. II / II

4 1. Allgemeines Testopia ist eine Erweiterung des Fehlermanagementsystems Bugzilla. Es wird als Open Source Projekt unter dem Dach des Mozilla Projekts verwaltet Hersteller Die Entwicklung von Testopia begann im Jahre 2001 und trug den Namen Bugzilla Testrunner. Bis 2006 hatten mehrere Personen die Projektverantwortung. Im März desselben Jahres wurde schließlich die Version 1.0 herausgegeben. In dieser Studie behandeln wir die Version 2.1, die bereits eine Reife zeigt, um eine ernst zu nehmenden Alternative zu kommerziellen Produkten darzustellen Produktportfolio Mozilla verwaltet eine Vielzahl von Open Source Projekten. Das Bekannteste von ihnen sind der Webbrowser Firefox und der Client Thunderbird. Bugzilla ist ein sehr populäres Fehlermanagementsystem aus dem Hause Mozilla. Testopia baut auf diesem auf und bietet Funktionen für das Testmanagement Programmteile Testopia baut auf Bugzilla auf. Beide sind Webapplikationen und benötigen daher einen Web Server. Die Entwickler empfehlen den Apache Web Server. Testopia wurde in Perl implementiert und benötigt bei der Installation noch einige zusätzliche Module. Für seine AJAX-Funktionalität setzt Testopia die Programmbibliothek Ext JS Toolkit voraus. Als Datenbanksysteme kommen MySQL und Postgres zum Einsatz, wobei nur die Verwendung von MySQL intensiv getestet wird. Als Clients können alle modernen Webbrowser zum Einsatz kommen. Aber auch hier wird nur mit einem Browser intensiv getestet: Mozilla Firefox Integrationen Testopia bietet eine sehr enge Integration mit Bugzilla. Fehlerberichte können während der Testausführung angelegt und mit Testfällen verbunden werden. Auch Auswertungen können auf Testfällen und Fehlerberichten gemeinsam basieren. Andere Integrationen sind nicht vorhanden weder für das Anforderungsmanagement noch für die Testautomatisierung. Man kann aber Integrationen selbst implementieren. Bugzilla und Testopia bieten eine Vielzahl von Webservices an, mit denen nahezu alle Objekte beider Systeme abgefragt, verändert oder angelegt werden können. Die Webservices sind ausreichend dokumentiert. 1 / 18

5 2. Testaktivitäten Testopia Abb. 1 zeigt das Datenmodell von Testopia und wie es mit Bugzilla zusammenhängt. Der obere Bereich des Diagramms zeigt einen Ausschnitt aus dem Datenmodell von Bugzilla. Darunter ist Testopia abgebildet. Die Pfeilrichtungen zeigen 1:m Beziehungen. Testopia Abb. 1 - Objekte in Bugzilla und Testopia 1 Testopia verwendet die Projektstruktur von Bugzilla. Mit Categories (optional), Products und Components ist eine feine Gliederung möglich. Außerdem stehen Milestones zur Verfügung. Die zentralen Objekte in Testopia sind Test Plans und Test Cases. Ein Test Plan ist ein Behälter für mehrere Testfälle. Er ist auch Basis für die Testausführung. Bei der Erzeugung einer neuen Testausführung wird für ein Test Plan Objekt ein neues Test Run Objekt erzeugt. Mit Filtern wird bestimmt, welche Test Cases dabei berücksichtigt werden sollen. Ist ein Test Case bei der Testdurchführung dabei, wird dafür ein Case Run Objekt angelegt. Bei der Testdurchführung muss auch immer ein Build und ein Environment angegeben werden. 1 Quelle: Software Testing With Testopia, Greg Hendricks, 2 / 18

6 2.1. Planung und Steuerung Projektübersicht Um einen schnellen Überblick über den Projektstatus zu bekommen, bietet Testopia Dashboards an. Das sind Seiten mit individuell zusammengestellten Diagrammen, Tabellen und Listen. Ein Beispiel dazu ist in Testopia Abb. 2 dargestellt. Zur späteren Wiederverwendung können Dashboards abgespeichert werden. Testopia Abb. 2 - Dashboard Die obige Abbildung zeigt auch, wie Testopia in Bugzilla eingebettet ist. Ganz oben sind zwei Zeilen mit Hyperlinks ersichtlich. Die erste führt zu Funktionen von Bugzilla, während die zweite Funktionen von Testopia liefert. Im Mittelbereich findet die aktuelle Arbeitsfläche von Bugzilla oder Testopia Platz. In der Fußzeile, die hier nicht dargestellt ist, gibt es abermals Zeilen mit Hyperlinks von Bugzilla und Testopia Anforderungen Eine Verbindung von Anforderungen mit Testfällen wird in Testopia nicht ausreichend unterstützt. Testfälle bieten zwar ein Feld zur Eingabe von Anforderungsnummern oder Hyperlinks zu Anforderungsdokumenten, doch lässt sich damit weder ein Abdeckungsgrad bestimmen, noch kann man erkennen, welche Testfälle von der Änderung einer Anforderung betroffen sind. 3 / 18

7 Wer die Mühe nicht scheut, kann diese fehlende Funktionalität selbst implementieren. Sowohl für Bugzilla, als auch für Testopia, gibt es zahlreiche gut dokumentierte Web Services. Auch der Source Code kann geändert werden. Bugzilla kann auch zur Verwaltung von Anforderungen verwendet werden. Bei der Anlage eines neuen Fehlerberichts kann nämlich für das Auswahlfeld Severity der Typ Enhancement gewählt werden Planung Zu jedem Testfall lässt sich angeben, wer für die Testdurchführung zuständig ist und in welchem Zustand sich der Testfall befindet. Es stehen die vordefinierten und nicht veränderbaren Statuswerte Proposed, Confirmed und Disabled zur Verfügung. Diese Werte können zur Planung von Reviews herangezogen werden. Ein extra Feld mit dem Namen des Reviewer ist jedoch nicht vorhanden. Ein weiteres wichtiges Planungsinstrument ist die durchschnittliche Ausführungszeit. Testopia berechnet aus allen bereits beendeten Testdurchführungen die durchschnittliche Ausführungszeit und setzt sie mit der geschätzten Zeit in Relation. Dies ermöglicht eine immer genauere Planung. Abfragen und Tabellen bilden für Testmanager die Grundlage für die Planung. Die vorgefertigten Abfragen My Plans, My Cases und My Runs erscheinen in der Fußzeile von Testopia. Mit einem Klick erhält der Benutzer schnell seine gewünschten Informationen Benachrichtigungen Obwohl es in Bugzilla eine ausgereifte Funktionalität zur Definition von Benachrichtigungsregeln gibt, ist eine solche in Testopia nicht vorhanden. Tester müssen auf Filter zurückgreifen, um die gewünschten Informationen zu erhalten Zeitliche Projektstruktur Der Datenbestand zu einem bestimmten Milestone oder Build kann nicht festgehalten werden. Testopia bietet dazu kein Konzept an. Lediglich über die Historie eines Testfalls kann ein früherer Zustand nachgebildet werden. Die Projektstruktur von Testopia basiert auf Bugzilla. Categories, Products und Components erlauben eine feine Gliederung. Zusätzlich bieten Milestones und Builds noch weitere Instrumente zur Planung der Testdurchführung Tags Testopia bietet für die Objekte Test Plan, Test Case und Test Run einen Tagging- Mechanismus. Die Idee hinter Tags ist, dass sich jeder Benutzer seine eigene Kategorisierung aufbauen kann, ohne Einfluss auf andere Benutzer zu nehmen. Tags erlauben eine m:n Beziehung. Das heißt, dass ein Objekt mit mehreren Tags markiert werden kann. Zusätzlich kann ein Tag auf mehrere Objekte gesetzt werden. 4 / 18

8 2.2. Analyse und Design Das Design von Testfällen erfolgt in Testopia über die beiden Objekte Test Plan und Test Case. Benutzerdefinierte Felder sind für keines der beiden Objekte spezifizierbar Test Plan Test Plans dienen in Testopia als Behälter für Testfälle (Test Cases). In Testopia Abb. 3 ist ein Beispiel für einen Test Plan abgebildet. Testopia Abb. 3 - Test Plan Ein Test Plan verfügt über mehrere Attribute, wobei nur der Name, die Produktversion und der Typ geändert werden können. Das Feld Type ist das einzige Feld in Testopia, dessen Werte sich verändern lassen. Wie in Testopia Abb. 3 ersichtlich, verfüg ein Test Plan über folgende Tabs: Dashboard: Jeder Testplan verfügt über ein Dashboard, das jenem gleicht, das bereits in Testopia Abb. 2 dargestellt ist. Es kann individuell mit Diagrammen, Tabellen und Listen zusammengestellt werden, um einen Überblick über den Zustand des Test Plan Objektes und den darin enthaltenen Testfällen zu erhalten. Test Runs: In einer Listenansicht bekommt man einen Überblick, mit welchem Ergebnis die Testfälle in diesem Test Plan in der Vergangenheit durchgeführt wurden. Test Cases: In Testopia Abb. 3 sieht man im unteren Bereich eine Tabelle mit allen Testfällen, die dem Test Plan zugewiesen sind. Praktisch ist, dass man alle Testfallattribute auch über diese Tabelle ändern kann. Wie bei allen Tabellenansichten in Testopia lassen sich Tabellen abspeichern. Testopia kann auch einen Link generieren, über den man von extern auf diese Ansicht kommt. Attachments: Hier können beliebige Dateien in Testopia hochgeladen werden. 5 / 18

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com