Qualitätssicherung für mobile Anwendungen Fallstudien für GUI-Testautomatisierung. Alexandra Schladebeck

Transkript

1 Qualitätssicherung für mobile Anwendungen Fallstudien für GUI-Testautomatisierung Alexandra Schladebeck Bredex GmbH Version 2.5

2 Agenda Wo sind wir? Neue Ziele und Herausforderungen Kandidaten : Projekte Erfahrungen Überlegungen: mobile Teststrategie

3 Geschichte, Gegenwart, Zukunft

4 Geschichte, Gegenwart, Zukunft

5 Geschichte, Gegenwart, Zukunft

6 Ziele Lassen sich mobile Anwendungen automatisiert durch die GUI testen? Wie gut funktioniert Continuous Integration und Testing in mobilen Projekten? Wie sieht es mit Cross-Plattform Entwicklung und Testen aus? Was muss man sich bei einer mobilen Teststrategie überlegen?

7 Projekt 1: Kundenanwendung Datawarehouse für Wettbewerbsanalyse Go Mobile Teilfunktionalität der Desktop-Anwendung als ios App Konferenzkatalog erstellen Komfortfunktionen (Bookmarking, schnelle Navigation) Zielgruppe: Manager auf Fachmessen Ausschließlich ios Dafür Releasetermin muss gehalten werden Kurze Zeit zwischen Datenlieferung und Release

8 Projekt 2: Continuous Integration testet Funktionstests & Remote Control Tests Tests für Unterstützung der Komponenten Benötigen Beispiel-Anwendungen ios, Wins Store Apps (modernui), Android Funktional uninteressant Exzellente Kandidaten für Continuous Integration Erfahrungen

9 Projekt 3: Cross-Plattform Anwendung In-house Anwendung Protokoll-App Cross-Plattform Entwicklung (Xamarin) Cross-Plattform Testautomatisierung

10 Ergebnisse: GUI Tests für mobile Apps GUI Tests automatisiert im Kundenprojekt Manuelle Testskripte automatisiert Automatisierter Test wurde manuell gestartet Testbare Version der App manuell erstellt Test mit produktiven Daten: weiterhin manuell Funktionale Aspekte Funktionen ließen sich automatisch testen Regressionstests für neue Version hilfreich (ios 6) Technische Aspekte Erweiterungen für Custom Components geschrieben

11 Demo

12 Ergebnisse: Continuous Integration Linux Win8 Hudson Build Deploy setup Mac OSX Win7 Win Vista

13 Ergebnisse: Continuous Integration Prepare Environment reset backend setup test db build AUT Prepare (virtual) test instance start cleanup deploy install configure Run test(s) start AUT- Agent testexec Finalize gather AUT logs tear down AUT & env & tests

14 Ergebnisse: Continuous Integration ios Mac machine XCode Simulator / Device Kommunikation Deploy App AUT händisch starten Windows 8 (modernui) Windows 8.1 machine Visual studio 2013 Rights & Signing Deploy App AUT automatisch startbar

15 Ergebnisse: Continuous Integration Sandbox-Konzept Plattform-spezifische CI-Skripte notwendig Eigenheiten der jeweiligen Plattformen Simulator alleine reicht nicht aus Herausforderungen beim Testen von: Orientierungswechsel GPS Akku Internetverbindung Zugang zu externen Anwendungen

16 Testergebnisse

17 Ergebnisse: Cross Plattform Cross-Plattform Entwicklung Test: Write once, run anywhere SWT Swing mobile.net HTML RCP & GEF ios Android modernui

18 Ergebnisse: Cross-Plattform abstract Textkomponenten Grafische Komponenten concrete Checkbox Labels Lists Trees Tables SWT Swing mobile.net HTML Gesten RCP & GEF ios Android modernui UIPicker

19 Ergebnisse: Cross Plattform Testspezifikation: AUT-unabhängig Testausführung: Passende UI-Driver abstract concrete Textkomponenten Checkbox Labels Lists Trees Tables Grafische Komponenten SWT Swing mobile.net HTML Gesten RCP & GEF ios Android modernui UIPicker

20 Ergebnisse: Cross-Plattform Swing ios

21 Die gute Nachricht Unterschiedliche mobile Toolkits verwenden die gleichen oder ähnliche Komponenten

22 Beispiel 1: Wähle Protokollant

23 Beispiel 2: Edit List

24 Zu viele Unterschiede Untersch. User- Experience Untersch. Apps entwickelt Spezifische Navigation& Workflows Spezialisierte Teams benötigt Untersch. Funktionen

25 Zusammengefasst Apps sind testbar! Ähnliche Konzepte Weniger Komponenten Ein paar zusätzliche Herausforderungen (GPS, Akku, ) Continuous Integration und Testing ist möglich Aber aufwändiger Environment komplexer Cross-Plattform Testing ist unwahrscheinlich Technisch machbar aber wird nicht vorkommen

26 Mobile Teststrategie Plattformen Versionen Hersteller & Versionen Geräte Schnelles Feedback Niedrige Fehlertoleranz

27 Mobile Teststrategie Tests aus der Benutzerperspektive Plattformen Versionen Varianten testen Hersteller & Versionen Geräte Continuous Integration & Testing Schnelles Feedback Niedrige Fehlertoleranz Testautomatisierung

28 Danke! Alexandra blog.bredex.de