Visual Studio Team System 2010

Transkript

1 Visual Studio Team System 2010 Studie über Testautomatisierungswerkzeuge Studie Version: 1.0 Stand vom: :38:00 Status: Freigegeben Autor: Dipl.-Ing. Daniel Roschanek Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... III Allgemeines... III Dokument-Historie... III Dokument-Qualitätssicherung... III Zweck und Inhalt dieses Dokuments... III 1. ALLGEMEIN Hersteller Produktportfolio Programmteile Unterstützte Schnittstellen SPEZIFIKATION Testfallbeschreibung UI-Tests Generische Tests Komponententests Webtests Lasttests Datenbankkomponententest Datengetriebene Tests Überprüfungen Wiederverwendbarkeit DURCHFÜHRUNG Planung Verhalten bei Fehlern Protokollierung ADMINISTRATION Installation Integrationen Versionsverwaltung ZUSAMMENFASSUNG I / III

3 ANHANG Abbildungsverzeichnis Tabellenverzeichnis II / III

4 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Daniel Roschanek erstellt 15. Februar 2010 Prüfer Johannes Hochrainer geprüft 12. März 2010 Prüfer Benedikt Kiesenhofer geprüft 19. April 2010 Freigabe Johannes Hochrainer freigegeben 19. April 2010 Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die objektive Analyse eines Testautomatisierungswerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines neuen Werkzeugs dienen. III / III

5 1. Allgemein 1.1. Hersteller Mit Visual Studio Team System bietet Microsoft eine integrierte Werkzeugunterstützung für das Application Lifecycle Management (ALM) in der Softwareentwicklung. Ziel der Einführung von Visual Studio im Jahre 1995 war es, die Einzelprodukte, Visual Basic, Visual C++, Visual FoxPro und SourceSafe anzupassen und zusammenzuführen. Ab Visual Studio 2005 (Versionsnummer 8) wurde das Team System in die Entwicklungsumgebung integriert. Im Laufe des Jahres 2010 kommt die mittlerweile dritte Generation von Microsofts Komplettlösung für ALM auf den Markt Produktportfolio Unter dem Begriff Team System vereinigen sich mehrere Testautomatisierungswerkzeuge. Der Test Manager stellt neben der Verwaltung der Testpläne und Testumgebungen ein Capture/Replay zur Verfügung. Es gibt ab Visual Studio Team System 2010 statt der bisherigen Editionen, Suites und Versionen nur noch folgende vier Varianten: Ultimate enthält den kompletten Funktionsumfang in Visual Studio und zusätzlich das Testmanagementwerkzeug Test Manager mit dem Lab Management. Premium umfasst die Vollausstattung für Softwareentwickler und -tester. Es enthält alle Funktionen der Professional-Variante sowie weitere Funktionen, die eine komplexe Datenbankentwicklung und eine durchgängige Qualitätssicherung ermöglichen. Professional ist eine Entwicklungsumgebung mit allen dazu nötigen Kernfunktionen. Es wird eine überarbeitete Benutzeroberfläche für Entwickler und Tester angeboten. Test Professional beinhaltet den Test Manager, Team Explorer und das Lab Management. 1 / 23

6 1.3. Programmteile Je nach gewählter Produkt-Variante besteht Visual Studio u. a. aus folgenden Werkzeugen: Ultimate Premium Professional Test Professional Test Manager X X Komponententest X X X Generischer Test X X Datenbankkomponententest X X UI Test X X Auslastungstest X Webtest X Tabelle 1: Testautomatisierungswerkzeuge in den Produktvarianten 1.4. Unterstützte Schnittstellen Visual Studio Team System 2010 unterstützt folgende Technologien: Programmiersprachen: Visual Basic 10 Visual C / C++ Visual C# 4.0 Visual F# Datenbankkomponententests: T-SQL (Transact SQL) Web: JScript, F#-Script und Windows Script Host (früher: Windows Scripting Host) Python, Ruby, usw. werden unterstützt, müssen aber separat installiert werden Browsertypen (für Webtests und Capture/Replay): Chrome 2 Firefox 2.0 und 3.0 Internet Explorer 5.5, 6.0, 7.0 und 8.0 Netscape 6.0 Pocket IE 3.02 Safari 3 Safari for iphone Smartphone 2 / 23

7 Controls: ASP.NET 4 Externe Kommandozeile Sharepoint Service Silverlight Windows Forms WPF (Windows Presentation Foundation) WCF (Windows Communication Foundation) WWF (Windows Workflow Foundation) sowie weitere Toolkits für andere Schnittstellen Frameworks:.NET Framework 2.0, 3.0, 3.5 und 4.NET Compact Framework COM (Component Object Model) Gallio MbUnit V3 MFC (Microsoft Foundation Classes) für ActiveX/Application/DLL MS Stubs (lightweight framework für Testplatzhalter in.net) VSNUnit 2010 (kostenloser NUnit Runner für Visual Studio) und weitere Frameworks Betriebssysteme: Windows XP (SP2 / 64-Bit) bzw. (SP3 / 32-Bit) Windows Vista (SP1 / 64-Bit / 32-Bit) Windows 7 (64-Bit / 32-Bit) Windows Server 2003 (SP2) / 2003 R2 (SP2) / 2008 (SP2) / 2008 R2 / 2010 Durch eine Client Anwendung 1 in Eclipse kann auf TFS Entwicklungsprojekte von Plattformen wie UNIX, Mac OS oder Linux zugegriffen werden. Alternativ erlaubt ohne Eclipse der Teamprise Explorer 1 oder eine Kommandozeile1 den Zugriff auf Teamprojekte, die auf dem TFS abgelegt wurden. 1 Quelle: 3 / 23

8 2. Spezifikation 2.1. Testfallbeschreibung Eine Testfallbeschreibung erfolgt in Team System über Capture/Replay und Programmierung. Für Ersteres sind der Test Manager, der Webtest und der UI-Test in Visual Studio zuständig. Bei allen drei Testmöglichkeiten lässt sich Testfallcode erzeugen. Den Test Manager können auch Nicht-Programmierer bedienen. Microsoft bietet unter Visual Studio für die Testautomatisierung die beiden Programmiersprachen C# und Visual Basic an. J# ist in Visual Studio ab 2008 nicht mehr vorhanden. Beide Programmiersprachen greifen auf das.net Framework zu und können für Testzwecke mit einem NUnit Framework (VSNUnit) erweitert werden. VSNUnit erlaubt die Integration und Ausführung von NUnit Tests in Visual Studio. Darüber hinaus bietet Team System weitere Testarten wie Komponententests und Auslastungstests, die ebenfalls im Folgenden beschrieben werden. Mit dem Test Manager wird neben dem Fehler- und Testmanagement eine Capture/Replay Funktion für die Testautomatisierung angeboten. Nachdem ein neuer Test angelegt wird, wird der Tester gefragt, ob er die Testschritte automatisieren möchte. Ist der Test automatisiert, kann dieser in Visual Studio weiter verarbeitet werden. Beispielsweise kann bei einem neuen UI-Test (siehe Seite 5) in Visual Studio der Benutzer einen aufgezeichneten Test über eine ID finden und somit einen C#-Code generieren und dort erweitern. In Abbildung 1 ist ein Testfall mit sechs Testschritten dargestellt, der Daten auf einer Homepage eingeben/auswählen soll. Der Benutzer hat die Möglichkeit, durch Anklicken der Parameter diese mit den Textfeldern zu verbinden. Wurde eine Verbindung zu einem Textfeld gespeichert, stellt ein gelber Zylinder die Bestätigung dar. Die Daten werden in einer Tabelle eingegeben und es wird für jede Zeile eine Iteration ausgeführt. Hat das Symbol rechts neben dem Testschritt einen roten Haken, muss durch den Tester eine erwartete Aktion überprüft werden. Nachdem der Test aufgezeichnet wurde, kann dieser automatisiert wiedergegeben werden. Bei aufgetretenen Fehlern geben Screenshots und andere Anhänge sowie Fehlermeldungen Auskunft über die Probleme. Abbildung 1: Capture/Replay im Test Manager 4 / 23

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com