Selenium Studie über Testautomatisierungswerkzeuge. Studie

Transkript

1 Selenium 2.47 Studie über Testautomatisierungswerkzeuge Studie Version: 2.1 Stand vom: :11:00 Status: Freigegeben Autor: Franz Schiller Alexander Güntner Vitali Weinstein Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Allgemeines Inhalt Allgemeines... 2 Dokument-Historie... 2 Dokument-Qualitätssicherung... 2 Zweck und Inhalt dieses Dokuments ALLGEMEIN Hersteller, Verfügbarkeit Produktgeschichte, Versionen und Freigabeverfahren Funktionale Charakteristika Automatisierungsverfahren... 5 Capture&Reply (Aufzeichnen und Abspielen)... 5 Handhabung der aufgezeichneten Skripte... 5 Automatisierung durch Programmierung Bestandteile von Selenium Support SPEZIFIKATION Systemumgebung Unterstützte Browser Unterstützte Betriebssysteme Unterstützte Programmiersprachen Testfallbeschreibung Wiederverwendbarkeit Parallelisierung Robustheit Versionspflege des Produkts DURCHFÜHRUNG Planung Verhalten bei Fehlern Protokollierung Wiederverwendbarkeit der Testfälle ADMINISTRATION Installation Integration im Projektumfeld Selenium in heterogenen Umgebungen / 24

3 Allgemeines 4.4. Selenium und agile Projekte Versionsverwaltung ZUSAMMENFASSUNG ANHANG Abbildungsverzeichnis Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: - Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen 1.0 Freigegeben Hammerschmidt Ersterstellung 1.1 Review Ofner Überarbeitung 2.0 Review Franz Schiller Fokussierung Selenium Review Alexander Güntner, Vitali Weinstein Änderungen bis Selenium 2.47 Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Prüfer Gregor Hammerschmidt Johannes Hochrainer erstellt 11. Juli geprüft 23. Juli 2009 Prüfer Jürgen Plasser geprüft 30. Juli 2009 Freigabe Johannes freigegeben 30. Juli / 24

4 Zweck und Inhalt dieses Dokuments Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Hochrainer Prüfer Arian Simon geprüft 15. November 2012 Autor Franz Schiller aktualisiert 5. Mai 2014 Prüfer Jürgen Plasser geprüft 9. Mai 2014 Freigabe Jürgen Plasser freigegeben 9. Mai 2014 Freigabe Jürgen Plasser freigegeben 1. November 2015 Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die objektive Analyse eines Testautomatisierungswerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines neuen Werkzeugs dienen. 3 / 24

5 Hersteller, Verfügbarkeit 1. Allgemein Selenium ist ein modular aufgebautes Set von Testautomatisierungswerkzeugen. Den Kern bildet ein Automatisierungswerkzeug für Webanwendungen, aufbauend darauf sind Komponenten für unterschiedlichste fachliche Einsatzgebiete vorhanden Hersteller, Verfügbarkeit Selenium ist der Name einer Gruppe von Werkzeugen für das automatisierte Testen von Webanwendungen. Selenium wird von der gleichnamigen Gruppe 1 veröffentlicht, die das Projekt in Form einer Community führt. Aus den verschiedenen Teilprodukten wird der Produktkern Selenium gebildet. Zusätzlich gibt es eine wachsende Zahl von Zusatzprodukten, die nicht von der Community betreut werden, jedoch über die Webseite von Selenium verfügbar sind. Selenium wird unter der Apache 2.0 License 2 veröffentlicht. Lizenzkosten fallen daher nicht an. Dadurch ist auch der Source Code frei verfügbar, das Mitarbeiten möglich und auch erwünscht. Gegebenenfalls lassen sich daher individuelle Anpassungen vornehmen und Funktionen für neue Versionen vorschlagen. Es sind keine grundlegenden Bevorzugungen von am Markt vorhandenen Systemen und Plattformen erkennbar, vielmehr spiegeln die Aktivitäten und zeitlichen Abfolgen von Funktionalitäten die jeweils bestehende Marktsituation wieder Produktgeschichte, Versionen und Freigabeverfahren Bekannt wurde Selenium unter den Bezeichnungen Selenium 1 und Selenium RC. Diese Versionen waren vor allem für die Automatisierung unter Verwendung einer Erweiterung für den Webbrowser Firefox ausgelegt und verfügten über Basisfunktionalitäten im Bereich Testmanagement. Selenium 1 wird inzwischen nicht mehr aktiv gewartet, steht jedoch auf der Webseite der Community weiterhin zur Verfügung. In vorliegenden Dokument wird diese Version nicht weiter betrachtet. Die aktuelle Version trägt die Bezeichnung Selenium 2 und stellt die zur Zeit aktiv unterstützte und weiterentwickelte Produktlinie dar. Alle weiteren Ausführungen beziehen sich ausschließlich auf Selenium 2. Die Freigabe von Versionen erfolgt durch die Bereitstellung auf der Webseite der Community. Zu jeder Version sind umfangreiche Freigabemitteilungen und Änderungsbeschreibungen verfügbar. Ältere Versionen sind ebenfalls verfügbar. 1 Quelle: (01.Mai 2014) 2 Apache 2.0 License: Stand: 02.Jänner / 24

6 Funktionale Charakteristika 1.3. Funktionale Charakteristika Selenium 2 abstrahiert die Bedienung eines Browser aus dem Blickwinkel des menschlichen Benutzers. Dieser Ansatz bildet den Grundgedanken des Produkts. Entsprechend der aktuellen Situation am Markt werden auch Browser für mobile Geräte unterstützt. Clientseitige Erweiterungen, die als erforderliche Zusatzkomponenten zur Ausführung von Webanwendungen benötigt werden und über HTML hinausgehen, werden nicht unterstützt (z.b. SAP GUI Komponenten). Die Erstellung der automatisierten Testfälle kann in unterschiedlichen Komplexitätsstufen erfolgen. Es stehen Werkzeuge für die vollständig programmierungslose Bedienung zur Verfügung, genauso kann aber auch klassische Automatisierung im Form ausprogrammierter Testfälle durchgeführt werden. Die Ausführung vorhandener automatisierter Tests kann auf dem lokalen Rechner erfolgen, es ist aber auch der Betrieb entfernter Systeme möglich. Unterschiedliche Systemplattformen werden von der Community durch die Bereitstellung entsprechender Pakete unterstützt. Dadurch ist für den Anwender von Selenium kein zusätzlicher Aufwand zur Anpassung erforderlich Automatisierungsverfahren Die Automatisierung erfolgt grundsätzlich skriptbasiert. Die Erstellung dieser Skripte wird in den beiden Ausprägungen Capture&Replay sowie manuelle Programmierung unterstützt. Grundsätzlich ist es von Vorteil, wenn die zu automatisierende Anwendung bereits in einer möglichst stabilen Form zur Verfügung steht, da unabhängig von der Art der Automatisierungserstellung nachträgliche Änderungen an der Anwendung immer einen nicht zu unterschätzenden Aufwand nach sich ziehen. Capture&Replay (Aufzeichnen und Abspielen) Für die Aufzeichnung der zu automatisierenden Aktionen steht eine Erweiterung für den Browser Mozilla Firefox zur Verfügung. Die aufgezeichneten Aktionen werden als Skripte in der Selenium-eigenen Programmiersprache Selense abgelegt. Die Aufzeichnung kann manuell gesteuert erfolgen, es kann aber auch ein automatisierter Mitschnitt der getätigten Aktionen erstellt werden. Die (wiederholte) Ausführung der aufgezeichneten Skripte erfolgt ebenfalls über die Firefox Erweiterung. Der Benutzer hat hier die Möglichkeit, sowohl die getestete Anwendung als auch das dafür verwendete Skript gleichzeitig überwachen zu können. Die Ausführung kann wahlweise auch auf entfernten Rechnern erfolgen. Für diese einfachste Form der Automatisierung sind keinerlei Programmierkenntnisse erforderlich. Handhabung der aufgezeichneten Skripte Da die aufgezeichneten Skripte als bearbeitbare Dateien vorliegen, können sie manuell angepasst und beliebig verändert werden. Bei entsprechend genauer Kenntnis der zu automatisierenden Anwendung können die Skripte auch ohne vorherige Aufzeichnung in manueller Form erstellt und nachbearbeitet werden. Für die Bearbeitung ist die Kenntnis von Selense erforderlich. Diese Skriptsprache ist hinreichend einfach strukturiert, um sich relativ schnell einarbeiten zu können. Diese Einfachheit bedingt allerdings enge Grenzen in der 5 / 24

7 Automatisierungsverfahren Abstraktionsebene der Programmierung. So fehlen zum Beispiel jegliche Kontrollstrukturen wie bedingte Verzweigungen (z.b. if else) oder ähnliches. Fehlerhafte Skripte müssen per Hand korrigiert werden. Die Firefox Erweiterung stellt nur die grundlegendsten Funktionen einer Entwicklungsumgebung bereit. Automatisierung durch Programmierung Die Fähigkeiten von Selense reichen in der Regel nicht aus, um zeitgemäße Automatisierung in strukturierter Form zu betreiben. Daher kann über Schnittstellen zu unterschiedlichen Programmiersprachen relativ einfach Funktionalität hinzugefügt werden. Die Grenzen werden in diesem Fall von den technischen Möglichkeiten der verwendeten Programmiersprache vorgegeben. Die Ausführung der auf diese Art erstellten Automatisierungsskripte erfolgt über die Mechanismen der jeweiligen Entwicklungs- oder Testautomatisierungssteuerung. Es gibt rudimentäre Funktionalitäten zur Transformation von Selense Skripten in einige der unterstützten Programmiersprachen. Eine Rücktransformation in Selense wird nicht unterstützt. Selenium 2 besteht aus verschiedenen Teilen, die im Zusammenspiel eine einfache, aber komplette Automatisierungssuite bilden. Folgende Elemente werden von der Community betreut: Selenium Server Dabei handelt es sich um das Kernelement von Selenium, welches für die Ausführung der Testfälle verantwortlich ist. Diese Komponente steht als lauffähiges Javamodul bereit, wodurch sie leicht handzuhaben ist. Selenium IDE 1 Bei diesem Modul handelt es sich um die Schnittstelle für die Aufzeichnung von Testfällen. Die IDE wird als Add-on für Mozilla Firefox 2 zur Verfügung gestellt. Das Add-on ermöglicht die manuelle oder automatisierte Erstellung von Testfällen. Diese Komponente verfügt über eine offengelegte Schnittstelle, über die Funktionalität in Form von Zusatzmodulen eingeklinkt werden kann (Plug-In Technik). Selenium Grid Mit dieser Komponente können Testfälle parallel ausgeführt werden. Die Ausführung kann dabei lokal oder auf entfernten Rechnern erfolgen. Die einzelnen Instanzen sind immer vollständig unabhängig voneinander, wodurch sich einerseits eine zeitliche Ersparnis erzielen lässt und andererseits unterschiedliche technische Plattformen zeitgleich getestet werden können. Zusätzlich zu diesen Kernkomponenten steht eine Vielzahl von Erweiterungen zur Verfügung, die zum größten Teil über die Webseite von Selenium verlinkt sind. Speziell für die Selenium IDE steht ein interessantes Set an Add-Ins zur Verfügung. 1 IDE bedeutet Integrated Development Environment 2 Mozilla Firefox: (01.Mai 2014) 6 / 24

8 Support 1.5. Support Die Dokumentation obliegt der Community und wird online in einem Wiki vorangetrieben. Zusätzlich gibt es eine breite Palette an fachlicher Information im Netz (siehe Literaturliste im Anhang), sowie rege Diskussionen zu den unterschiedlichsten Themen in diversen Foren. Die Community stellt für die auf der Webseite verlinkten Produkte von Fremdherstellern keine Unterstützung bereit, Erfahrungen zeigen aber, dass es durchaus informelle Kommunikation gibt. Neben der kostenfreien Dokumentation stellen etliche Firmen kommerzielle Unterstützung bereit, wobei einige dieser Firmen gleichzeitig als Sponsoren des Projekts 1 tätig sind. Kostenfreie Schulungen sind über die Community nicht verfügbar. Es gibt im Internet aber einige sehr informative und praxisnahe Unterlagen, die gut für unterschiedliche Interessentengruppen geeignet sind. 1 Sponsoren des Projekts: (01.Mai 2014) 7 / 24

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com