Checkliste: Anforderungen GUI-Testtool für Java und/oder Web

Transkript

1 Checkliste: Anforderungen GUI-Testtool für Java und/oder Web Anforderungen Gewichtung Vergleichstool Vergleichstool Vergleichstool Features Unterstützte Technologien Mehrere GUI Technologien in einem System PDF Dokumente Unterstützte Betriebssysteme Testprinzip Regressions- und Lasttests für Java und Web GUIs Java: Swing, JavaFX, AWT, SWT, Eclipse Plug- Ins, RCP, Applets, JavaWebStart, RIA, ULC, CaptainCasa. Web: Internet Explorer, Firefox, Chrome, Safari, Edge (HTML 5, AJAX: Angular, Smart (GWT), GXT/ExtGWT, ExtJS, ICEfaces, jquery UI, jqueryeasyui, Kendo UI, PrimeFaces, Qooxdoo, RAP, RichFaces, Vaadin, ZK.). Weitere Toolkits können bei Bedarf mit geringem Aufwand integriert werden, z.b. SAP UI5, Siebel Open UI und Salesforce. Headless Browser für Chrome und Firefox. Geeignet für hybride Systeme mit mehreren GUI Technologien wie auch eingebettete Browser- Komponenten (JavaFX, WebView, JXBrowser, SWT-Browser über "generische Komponenten"). Konkrete Anwendungsbeispiele: GK-Software, FirstSpirit. Durch den Testprozess erzeugte PDFs können getestet werden. Swing und JavaFX: Windows, Linux, Unix, macos. SWT: Windows, Linux-GTK; Solaris-GTK auf Anfrage. Web: Windows, Linux, macos. Capture/Replay für schnelle Testerstellung: umfangreiche Möglichkeiten für Ablaufsteuerung, Modularisierung und erweitertes Skripting. Ihr Eindruck Checkliste_QF-Test 1

2 Teststrukturierug Komponentenwiedererkennung, Robustheit der Tests, Timingsynchronisierung Wiederverwendbarkeit, Wartungsaufwand Datengetriebenes Testen Schlüsselwort getriebenes Testen/ Behavior-driven Testing Protokolle, Testdokumentation und Reports Fehleranalyse Klar und übersichtlich dank graphischer Darstellung des Testablaufs in Baumstruktur. Schichtenarchitektur von Testsuiten ermöglicht modularen Aufbau bei umfangreichen Tests. Variabel, beherrscht komplexe Elemente wie dynamische Bäume und Tabellen. Ausgereifter, parametrierbarer Algorithmus sorgt für hohe Wiedererkennung, besonders bei Namensvergabe. Tests tolerant gegenüber Änderungen am GUI. Tests so schnell wie möglich aber nicht schneller, sonst überfordert man das SUT und produziert Fehler, die keine sind. Hohe Wiederverwendbarkeit (stabile Komponentenwiedererkennung). Automatische Erstellung von Basisprozeduren zum Komponentenzugriff und modularer Aufbau resultieren in geringem Wartungsaufwand. Datentreiber erlauben flexibles Einbinden interner und externer Testdaten z.b. aus CSV, Excel Dateien oder Datenbankzugriff. Über Skripterweiterung können beliebige andere Quellen eingebunden werden. Testfall so mit mehreren Testdatenvarianten ausführbar. Ausführung von Testfällen aus einem Planungsdokument oder der Spezifikation, z.b. Excel oder einem Testmanagementtool (Testerstellung nicht direkt in QF-Test). Flexibel auf Knopfdruck oder durch Aufruf über die Kommandozeile. Detaillierte Protokolle mit allen Informationen zur effektiven Fehlersuche (inkl. Screenshots der Fehlersituation). Übersichtsreports in HTML und XML. Detailliertes Protokoll. Debuggerfunktionalität inklusive Breakpoints und Variablenanalyse. Checkliste_QF-Test 2

3 Erweiterbarkeit / Skripting Testmanagement Continuous Integration Reifegrad Benutzerfreundlichkeit Zugang zum Produkt Installation Einarbeitungszeit Benötigte Vorkenntnisse Eingebettetes Jython, Groovy und JavaScript inkl. umfangreicher Bibliotheken ermöglichen auch Zugriff auf das Java API, dadurch Funktionserweiterungen und komplexere Prüfungen/akitonen realisierbar. Über Scripting- API voller Zugriff auf alle Objekte der Anwendung (SUT). Ausführung eigener Java Codes bzw. JavaScript Codes direkt im Browser. Pragmatische Lösung für kleinere Projekte in QF- Test enthalten. Spezielle Integrationen verfügbar: HP ALM - QualityCenter, Imbus TestBench, Qmetry, SQS-TEST/Professional, Klaros (von Verit) und Testlink (Open-Source). Flexible Integration in Build-Tools: Ant, Bamboo, Bugzilla, ClearCase, ClearQuest, CruiseControl, CVS, Git, Hudson, JIRA, Mantis, Maven, Mercurial, Quality Manager, Lasttesten mit NeoLoad, Scapa TPP, Subversion, SVN, TestTrack Pro (Eigenes Plugin für Jenkins verfügbar). Ausgereift, seit 2001 auf dem Markt verfügbar. Bei über Kunden weltweit mit über Lizenzen im Einsatz. Freie Demoversion anonym zum Download. gratis Evaluationslizenz auch verlängerbar inkl. freiem Support und Webinar. Upgrade zur Kaufversion via Lizenzdatei. Sehr schnell, kleine Downloaddateien für Windows und Unix-Systeme verfügbar. Demoversion ohne Lizenzregistrierung lauffähig. Gutes und klar strukturiertes Selbststarter- Tutorial, schon ab etwa einer Stunde erste Tests durchführbar. Für Standardnutzung keine Programmierkenntnisse erforderlich, jedoch für fortgeschrittene Skripterstellung (Standardskriptsprachen Jython, Groovy und JavaScript) hilfreich. Checkliste_QF-Test 3

4 Bedienkomfort Dokumentation Testdurchführung Testvorbereitung Testfallvorbereitung Testskripte Verifikationspunkte Bildvergleiche Object mapping Einfach zu bedienen, sehr intuitiv. Klar strukturierte Baumansicht für bequemes Bearbeiten der Testfälle, z.b. Copy/Paste und Drag&Drop. Capture/Replay für einen schnellen Start. Ausführliches Handbuch, Selbststarter-Tutorial, Videos, Standardprozeduren, Volltextsuchfunktionen, Online-Hilfe per Rechtsklick in QF-Test, allgemeine und technische FAQ. Der Schnellstart-Wizard erledigt eine nur bei Anwendungen mit SWT Komponenten nötige Instrumentierung automatisch, AJAX-Toolkit wird automatisch erkannt, keine Browser Plug-Ins nötig. Abhängigkeitsmanagement für Testvorbereitung für unabhänging lauffähige Testfälle, inklusive automatischer Fehlerbehandlung. Übersichtlich,gut nachvollziehbar, leicht erweiterbar - sogar während des Debuggens. Wiederkehrende Aktionen in Prozeduren modularisierbar, auch parametrisierbar. Wartbarkeit vereinfacht, Anpassungen nur in Prozeduren notwendig. Strukturierung der Tests in verschiedene Testfälle. Zusammenfügen zu Testfallsätzen und Konstruktion in verschiedene Testszenarien möglich. Direktes Aufnehmen von Standard-Checks, kundenspezifische Checks über Skripting. Zahlreiche Algorithmen auch für unscharfe Bildvergleiche - komfortabler Diff-View zur Kontrolle bei Abweichungen. Komponenteninformationen während der Aufnahme gespeichert in einem eigenen Bereich in der Testsuite, jederzeit editierbar. Mechanismen für automatisches Update. Checkliste_QF-Test 4

5 Tests im Batch-Betrieb Entfernte Ausführung Fehlerbehandlung Anpassung von Tests Teamarbeit Formate und Versionsmanagement Generische Komponenten Lizenzen und Preise Produktvarianten Lizenztypen Lizenzpreise Lizenzserver Ja, umfangreiche Konfigurationsoptionen per Kommandozeilenparameter und Einbinden in Build-Umgebungen. Einleiten weiterer Schritte nach einem Testlauf über Rückgabewerte. Testausführung auch auf entfernten Rechnern im Daemon-Modus. Automatische Fehlerbehandlung garantiert das Fortführen der Gesamttests. Tests voll editierbar an beliebiger Stelle zu ergänzen oder zu ändern. Test-Debugger hier hilfreich. Konfliktfrei durch modularen Aufbau von Tests und Importmechanismus für die Komponenteninformation. Testsuiten wie Protokolle als XML Dateien und gut geeignet für z.b. Versionsverwaltung. Erkennung technischer Komponenten (Buttons, Textfelder ) ist stark abstrahiert, erlaubt die Wiederverwendung von Tests über Technologien hinweg sowie den Einsatz von allgemein gültigen Aktionen ohne jedes einzelne Feld erfassen zu müssen. QF-Test ist in verschiedenen Produktvarianten aus den vier GUIs erhältlich (Swing, FX, SWT, Web). Es können genau die Technologien gewählt werden, die man benötigt. Entwickler und Runtime-Lizenzen: alle Lizenzen sind floating (d.h. frei im Projekt übertragbar) und zeitlich unbegrenzt. Kauf, Miete und Upgrading möglich. Lizenzserver für netzwerkübergreifende Nutzung. Entwicklerlizenz ab EUR, Runtime-Lizenz ab 995 EUR. Preisnachlässe bei Kauf mehrerer Lizenzen/Technologien und späterem Zukauf. Verfügbar oder denzentrales Lizenzmanagement. Support und Service Checkliste_QF-Test 5

6 Sprachen Support Während Evaluation Support mit Wartungsvertrag (kommerziell) Schulung, Beratung Community / Diskussionsforum Gesamtergebnis Komplett auf Deutsch und Englisch (Dokumentation, Videos, Schulung, Support). Direkt von den Entwicklern und Testern von QF- Test. Freier Support per Telefon / , aktive Kontaktaufnahme und Supportangebot, freies Evaluations-Webinar. Pflegevertrag (Support + Upgrades) auf jährlicher Basis: sehr kurze Antwortzeiten - individueller Support per , Telefon, Webinar. Beim Kunden vor Ort oder als regelmäßige Schulungen bei QFS: alle Angebote auch als Webinar. (Englische) Mailing-Liste, kurze Antwortzeiten, auch von QF-Test Entwicklern - umfangreiches Listenarchiv mit Suche. Checkliste_QF-Test 6