Vergleich der wichtigsten UI-Testautomationstools

Transkript

1 Vergleich der wichtigsten UI-Testautomationstools Vergleichende Testautomations-Studie 2015 Management Summary

2 Inhaltsverzeichnis

3 Dokumenteninformation Dokumenteninformation Allgemein Dokumentenhistorie Dokumenten-Qualitätssicherung Zweck und Ziel dieses Dokuments Impressum

4 1. Einleitung Einleitung

5 Herausforderungen in der GUI-Testautomatisierung 2. Herausforderungen in der GUI- Testautomatisierung

6 Herausforderungen in der GUI-Testautomatisierung

7 Welche Strategien und Ansätze gibt es? 3. Welche Strategien und Ansätze gibt es?

8 Welche Strategien und Ansätze gibt es?

9 GUI-Testautomatisierungsarchitekturen 4. GUI-Testautomatisierungsarchitekturen

10 GUI-Testautomatisierungsarchitekturen

11 GUI-Testautomatisierungsarchitekturen

12 Die bewerteten Werkzeuge im Detail betrachtet 5. Die bewerteten Werkzeuge im Detail betrachtet

13 Die bewerteten Werkzeuge im Detail betrachtet 5.1. HP Unified Functional Testing

14 Die bewerteten Werkzeuge im Detail betrachtet

15 Die bewerteten Werkzeuge im Detail betrachtet 5.2. IBM Rational Functional Tester

16 Die bewerteten Werkzeuge im Detail betrachtet

17 Die bewerteten Werkzeuge im Detail betrachtet 5.3. Micro Focus Borland SilkTest

18 Die bewerteten Werkzeuge im Detail betrachtet 5.4. MicroFocus Borland Silk4J/Silk4Net

19 5.5. Ranorex Die bewerteten Werkzeuge im Detail betrachtet

20 5.6. SmartBear TestComplete Die bewerteten Werkzeuge im Detail betrachtet

21 5.7. Froglogic Squish Die bewerteten Werkzeuge im Detail betrachtet

22 5.8. Selenium Die bewerteten Werkzeuge im Detail betrachtet

23 Die bewerteten Werkzeuge im Detail betrachtet 5.9. Quality First Software QF-Test

24 Die bewerteten Werkzeuge im Detail betrachtet Microsoft Visual Studio 2013 (Coded UI Tests)

25 5.11. Bredex Jubula/GuiDancer Die bewerteten Werkzeuge im Detail betrachtet

26 6. Bewertungstabelle aller zehn Tools Bewertungstabelle aller zehn Tools Testautomatisierungswerkzeug Jubula Selenium Squish Unified Functional Testing Rational Functional Tester Borland Silk4J / Silk4Net Visual Studio QF-Test Ranorex TestComplete Hersteller Bredex Froglogic HP IBM Micro Focus Microsoft QFS Ranorex SmartBear Produktlogo Allgemeine Angaben Version RC Website g/ Auf folgenden Betriebssystemen verfügbar Windows, Linux/Unix and Mac Windows/Apple OS X/Linux /squish/gui-testing/ Lizenzpolitik Gesamtlizenz Kostenlos Extra für Desktop, Mobile, Web und Embedded e/softwaresolutions/unifiedfunctional-testingautomatedtesting/index.html 03.ibm.com/software/prod ucts/de/functional products/silktest/ m/enus/library/fda2bad5(v=vs.8 0).aspx est/ ducts/qa-tools/automatedtesting-tools/ Windows, Linux, Mac Windows Windows, Linux Windows Windows Windows, Linux, Unix Windows Windows Gesamtlizenz Gesamtlizenz Gesamtlizenz Gesamtlizenz Preis pro GUI-Technologie Gesamtlizenz Extra für Windows, Web und Mobile Zielgruppe des Werkzeugs Fachbereichsmitarbeiter Mit Erweiterungen (z. B. BDD) Fachbereichsmitarbeiter mit grundlegenden Programmiererfahrungen Programmierer Unterstützte GUI-Technologien HTML, AJAX basiert auf Selenium Web Browser Desktop Betriebssysteme Mobile Apps Java AWT/Swing Swing Eclipse SWT, incl. GEF Microsoft.NET WinForms, WPF (experimentell) WinForms, WPF, VB.NET WinForms, WPF, Silverlight, zahlreiche Dritthersteller Microsoft Legacy MFC, VB 6.x, Nativ Windows Controls WinForms, WPF WinForms, WPF, Silverlight WPF, WinForms WinForms, WPF, Silverlight WinForms, WPF, Silverlight MFC, Win32, VB MFC, Win32, VB, ActiveX tlw. MFC MFC, Wind32, VB6, ActiveX MFC, VB, Win32 Qt SAP Adobe Flex Flex Flex Flex Flash, Flex, Air Flash, Flex, Air Andere JavaFX PowerBuilder, Exontrol, Plex, Infragistics Selbst entwickelte Steuerelemente testbar machen, Erweiterung der userextensions.js Delphi, Oracle, PeopleSoft, PowerBuilder, Siebel, Stringray, Terminal Emulator, VisualAge PowerBuilder, Siebel, Terminalemulator-basierte Anwendungen, zseries-, iseries- und pseries- Anwendungen Terminalemulator-basiert (Rumba), SharePoint, Dynamics CRM- Webclient, Dynamics (Ax) 2012 Client, tlw. Citrix/Terminaldienste, PowerBuilder, Windows Store-Apps, nur Java oder Webbasierte GUI Delphi, PowerBuilder, MS Dynamics, Infragistics, DevExpress, ComponentOne, Janus, Syncfusion, Telerik, SkinSoft und einige mehr Microsoft Internet Explorer, ab Version 8 Mozilla Firefox nur Ausführung, ab Version 26 Google Chrome, (experimentell) nur Ausführung, ab QF Test 4 Opera Apple Safari Browserunabhängigkeit der Tests Windows Linux (UNIX/POSIX) Apple Mac OS X Apple ios, mit Zusatztreibern, mit Test Workbench, mit Silk Mobile Google Android, mit Zusatztreibern, mit Test Workbench, mit Silk Mobile Windows Phone, mit Silk Mobile Erkennung von Steuerelementen XPath, mit Einschränkungen QPath Muster, Erkennung ist RegExp RegExp, Wildcards RegExp, Wildcards Wildcards teilweise Reguläre Ausdrücke objektbasiert und heuristisch Konfiguration der Erkennungsgenschaften manuell, mit Einschränkungen Delphi, Developer Express, Infragistics, Syncfusion, Telerik, Erstellung eines Testfalls Spezifikationsform Umsetzbare Designs Object-Repository programmierbar, mit Einschränkungen Texterkennung Über Bibliotheken, für Legacy Controls Bilderkennung Über Bibliotheken, z. B. Sikuli Erstellung ohne SUT Zugriff auf Dateien Zugriff auf Datenbanken Zugriff auf Windows APIs Zugriff auf andere Sprachen, Python, JavaScript, Ruby, Perl or Tcl Interaktion mit Tester Objektorientierte Sprache Java Java, C#, Python, Ruby, Perl, PHP, Python, JavaScript, Ruby, Perl or Tcl Skriptsprache, Python, JavaScript, Ruby, Perl or Tcl Java, VB.NET Java, C# C# und andere.net Sprachen Groovy, Jython C# (VB.NET mit Einschränkungen), VBS Groovy, Jython VBScript, Jscript, DelphiScript, S++Script, C#Script Visuelle Programmierung Capture & Replay (Swing und SWT/RCP) Selenium IDE

27 Bewertungstabelle aller zehn Tools Konfiguration der Erkennungsgenschaften manuell, mit Einschränkungen Erstellung eines Testfalls Spezifikationsform Umsetzbare Designs Robustheit der Tests Entwicklungsumgebung zur Testspezifikation Object-Repository programmierbar, mit Einschränkungen Texterkennung Über Bibliotheken, für Legacy Controls Bilderkennung Über Bibliotheken, z. B. Sikuli Erstellung ohne SUT Zugriff auf Dateien Zugriff auf Datenbanken Zugriff auf Windows APIs Zugriff auf andere Sprachen, Python, JavaScript, Ruby, Perl or Tcl Interaktion mit Tester Objektorientierte Sprache Java Java, C#, Python, Ruby, Perl, PHP, Python, JavaScript, Ruby, Perl or Tcl Skriptsprache, Python, JavaScript, Ruby, Perl or Tcl Java, VB.NET Java, C# C# und andere.net Sprachen Groovy, Jython C# (VB.NET mit Einschränkungen), VBS Groovy, Jython VBScript, Jscript, DelphiScript, S++Script, C#Script Visuelle Programmierung Capture & Replay (Swing und SWT/RCP) Selenium IDE Keyword-Driven-Testing Page Object Pattern (lt. Knowledge Base) Behaviour Driven Development (lt. Knowledge Base) Fehlerbehandlung SetUp/TearDown Heuristiken für Objekterkennung Xpath, RegExp Xpath, RegExp Eclipse MS Visual Studio Proprietär Unterstützung der Testfallerstellung durch Assistenten Einfügen neuer Testschritte über aufgezeichnete Masken Erstellen von Prüfpunkten Datenbankabfragen, über Erweiterungen Umwandlung in datengetriebenen Testfall Verwaltung der Testdaten Prüfpunkte Eigenschaften Text Bilder XML programmierbar programmierbar programmierbar programmierbar programmierbar programmierbar programmierbar Datenbankabfragen programmierbar programmierbar programmierbar programmierbar programmierbar programmierbar programmierbar Versionierung Versionsmanagementwerkzeug Offen für alle Offen für alle Proprietär, SVN Offen für alle Offen für alle TFS beliebig, da XML als Datenformat Offen für alle SVN, MS TFS, PVCS, Rational ClearCase, MKS Source Integrity und andere Protokollierung Format HTML, XML xunit Format Proprietär HTML, TPTP, XML, Text HTML, XML, Text XML, HTML, JUnit XML, testdoc und pkgdoc Proprietär XML, Multipart Hypertext Storage Screenshots Mit Erweiterungen Videoaufzeichnung Mit Erweiterungen Anpassungsmöglichkeiten offenes Format Mit Erweiterungen über XML Export in offenes Format XML, HTML XML, Junit XML, Excel, Text, HTML XML, HTML, JUnit XML XML XML Integration mit Testmanagement oder Continuous Integration Kommandozeile xunit-framework (Junit /Jenkins, lt. KB) API Lizenzen Basispreis User Lizenz (preiswerteste Variante laut Hersteller) kostenlos kostenlos 3.000, , , , , , ,00 Preis für Seat License kostenlos kostenlos bis , , , bis Preis Floating License kostenlos kostenlos bis , Aufpreis für mehr als 1 GUI-Technologie 3.490, bis Folgekosten pro Lizenz pro Jahr kostenlos kostenlos k. A. k. A. 378,00 480, für Floating License k. A. Lizenz nur Testdurchführung kostenlos kostenlos k. A. 995,00 690,00 449,00 Legende vorhanden nicht vorhanden k. A. keine Angabe

28 Anhang Anhang Abbildungen

29