Mobile Application Testing

Transkript

1 Mobile Application Testing Mobile Application Testing Trends, Herausforderungen und Strategien Im Softwaretest haben sich in den letzten Jahren verschiedene Techniken rund um den Test mit mobilen Endgeräten etabliert. Begrifflich wird dabei zwischen Mobile Testing und Mobile Application Testing differenziert. Ersteres wird mit dem Test von mobilen Geräten sowie dessen Hard- und Software im Allgemeinen assoziiert. Das Mobile Application Testing hingegen beschäftigt sich mit dem Test der Applikationen, die sowohl native Apps als auch Web-Applikationen umfassen. Dies steht bei diesem Artikel im Vordergrund. Ausgangssituation Der mobile Markt ist durch stetiges Wachstum geprägt, denn die Anzahl der Smartphone-Nutzer steigt stetig an. Laut dem Statistik-Portal statista besaßen im Februar 2014 mehr als 40 Millionen Personen in Deutschland ein Smartphone 1 mit steigender Tendenz. Eine große Herausforderung für die Betreiber von Websites und Apps stellt die enorme Anzahl verschiedener Mobilgeräte und Betriebssysteme dar, auf denen ihre Website oder App qualitativ hochwertig dargestellt werden sollen. Und es stellt sich die Frage, wie eine derart große Anzahl an verschiedenen mobilen Endgeräten, mit unterschiedlichen Displaygrößen und Auflösungen sowie diversen anderen Ungleichheiten, gleichermaßen mit vertretbaren Kosten vor einem GoLive getestet werden kann. Bei Apps unterscheidet man zwischen nativen, Web und hybriden Applikationen 2. Während native Apps geräte-spezifisch in einem der Download-Shops (Google Playstore, App Store, etc.) heruntergeladen werden müssen, durch Icons auf dem Home-Bildschirm des mobilen Gerätes aufgerufen werden und Zugriff auf Gerätefunktionen wie die Kamera und GPS haben, werden Web Applikationen ausschließlich über den Browser des Gerätes aufgerufen. Hybride Applikationen sind zum Teil native und zum Teil Web Applikationen, so dass die Inhalte innerhalb des nativen App-Rahmens angezeigt werden können. Sie vereinen die positiven Eigenschaften von nativen und Web Applikationen und lassen sich über einen App-Store vertreiben. Hybrid Apps können die Vorteile aller Gerätefunktionen übernehmen und werden mit Webtechnologien wie HTML 5 und nativen Technologien entwickelt. Hybrid Apps laufen auf einem in der App integrierten Browser. PENTASYS-Blickpunkte

2 Herausforderungen Im Rahmen der Qualitätssicherung, und speziell im Mobile Application Testing, können die gewünschten Eigenschaften von Websites und Apps verifiziert werden. Im Vergleich zum Softwaretest auf Desktops, stellt die Vielzahl an unterschiedlichen Endgeräten mit ihren möglichen Konfigurationen und Ausstattungsmerkmalen die größte Herausforderung beim Mobile Application Testing dar: mobile Geräte (Mobile Phone, PDA, Tablet-PC, Smartphone, Handy, ipod, Ultra Book), Bildschirmgrößen und Auflösungen, Betriebssysteme und verschiedene Versionen von Betriebssystemen (Android, ios, MS Windows Phone, MS Windows Mobile, Blackberry OS, Blackberry 10, Bada, Palo OS, Symbian OS, Aliyun OS, Brew, Firefox OS, MeeGo, MobiLinux, Web OS, Ubuntu for phones, ) Browser (Android Browser, Safari, IE, Chrome, Opera, Polaris, Blackberry, Iris, Myriad) Datenkommunikationstypen (GSM, GRPS, EDGE, UMTS, UMTS mit HSDPA, HSPA, HSUPA, HSPA+, LTE, LTE-Advanced, WLAN) Darüber hinaus ist es vergleichsweise unkomfortabel, Testfälle direkt auf einem mobilen Gerät durchzuführen, denn die Größe von Tastatur und Bildschirm ist relativ gering und es fehlt an Eingabegeräten wir einer Maus. Im Falle der Testautomatisierung ist es schwierig Tools zu finden, bei denen wiederverwendbare Skripts versions- und geräteübergreifend geschrieben werden und die plattformunabhängig eingesetzt werden können. Herangehensweise Die oben dargestellten Herausforderungen zeigen, dass eine durchdachte Teststrategie notwendig ist, um eine gute Testabdeckung zu erreichen, mit der die Risiken minimiert werden und mit der man einem hohen Qualitätsanspruch gerecht wird. Aus Budget- und Zeitgründen ist es jedoch nicht für jedes Projekt möglich, die infrastrukturellen Voraussetzungen für einen Test auf den gängigen mobilen Geräten mit ihren verschiedenen Browsern, Betriebssystemen und den üblichen Datenkommunikationstypen zu schaffen. Neben den infrastrukturellen Voraussetzungen, die vor allem im Falle von automatisierten Tests (z.b. Aufbau einer separaten Testumgebung, Umgang mit Testdaten und Mocks, Verbindung mit Geräten, Buildintegration) sehr anspruchsvoll sind, ist es bei einem manuellen Ansatz notwendig, genügend Testressourcen (Personal, Zeit, Budget und Werkzeuge) zur Verfügung zu haben. Nur so ist es möglich, im schnelllebigen Softwareentwicklungsprozess mit immer kürzeren Lieferzeiten (Time-tomarket) mithalten zu können. Vermehrt greifen die Unternehmen daher auf das Crowdtesting 3 zurück. Dabei handelt es sich um das Testen von Software durch eine Masse von Testern über das Internet, die in der Regel nicht onsite, sondern off- oder nearshore arbeiten und mit denen ein breites Spektrum an unterschiedlichen Endgeräten mit ihren möglichen Konfigurationen und Ausstattungsmerkmalen abgedeckt werden kann. Entwicklungsansatz und Teststrategie Einen entscheidenden Einfluss auf die Planung und Festlegung der Teststrategie von mobilen Anwendungen hat auch der Entwicklungsansatz für die Erstellung der Software. Unter Entwicklungsansatz versteht man 2 PENTASYS Blickpunkte

3 die Orientierung der Entwicklung, die in Mobile-first, Desktop-first, parallel, responsive oder adaptive unterschieden werden kann. Im Gegensatz zum klassischen Kontext, in dem durch die Trennung der Teams bestimmte Synergien nicht genutzt werden können, lässt sich die Teststrategie in einem agilen Kontext mit jedem der oben ausgeführten Entwicklungsansätze vereinbaren. Responsive Webdesign Bei einem responsiven Webdesign wird nur eine einzige Version der Website erstellt, in der meist bestimmte Elemente angepasst, entfernt oder an anderer Stelle platziert werden. Hier soll der Tester das Delta zwischen dem Ursprungsdesign und dem Mobile-End-Design kennen, um zum Beispiel Testfälle nicht mehr durchzuführen, welche eine entfernte Komponente behandeln, oder Testfälle in Bezug auf die Wiederverwendbarkeit so zu beschreiben, dass die responsiven Aspekte behandeln werden. Die Identifizierung der dynamischen Anpassung der Inhalte (Grafiken oder Texte) und der strukturellen Elemente, wie die Navigation, stellt für den Tester die größte Herausforderung beim Design der Testfälle dar. Die Teststrategie bei einem adaptiven Webdesign ist im Vergleich noch einfacher zu gestalten, weil das adaptive Webdesign nur eine begrenzte Anzahl an Displaygrößen vorsieht (z.b. Desktop-Ansicht, Laptop-Ansicht, ipad-ansicht oder iphone-ansicht) und die Inhalte nur für die definierten Displaygrößen optimiert sind. Desktop-First Desktop-First-Ansatz bedeutet, dass die Desktop Lösung vor der mobilen Version entwickelt wird. Hier haben die Tester eine Referenz, die sie im besten Fall bereits selbst getestet haben, so dass sie die Funktionalitäten der Anwendungen bereits kennen. Sie können die Testfälle (mit leichten Anpassungen) je nach Architektur der Software für den Test der mobilen Version wiederverwenden. Mobile-First Mobile-First ist ein Entwicklungsansatz, bei dem zuerst die mobile Lösung und dann die Desktop Lösung entwickelt wird. Dabei haben die Tester keine Desktop-Version als Referenz. Je nach Anforderung muss alles neu geplant und aufgesetzt werden. In diesem Fall orientiert sich die spätere Desktop Strategie an der mobilen Herangehensweise. Paralleler Entwicklungsansatz Beim parallelen Entwicklungsansatz werden die Mobile- und die Desktop- Version gleichzeitig entwickelt. Dadurch ergibt sich eine erhöhte Anzahl an Use Cases, User Stories und Anforderungen, was mit einer größeren Menge an abzuleitenden Testfällen einhergeht. Insgesamt erhöht sich der Testaufwand um ein vielfaches im Vergleich zu einem Mobile-First oder Desktop-First Entwicklungsansatz. Aus diesem Grund ist eine Testautomatisierung hierfür ratsam, um die Regressionstests im gegebenen Zeit- und Budgetrahmen meistern zu können. Zudem ist die Strategie für die Planung und Durchführung der Tests so zu konzipieren, dass redundante Tests vermieden werden. Unabhängig vom Entwicklungsansatz kommen, wie bei einer Desktop- Entwicklung, die bekannten Teststufen in Frage. Teststufen, Testarten und -ziele Sobald sich die Entwickler mit dem Frontend beschäftigen, sollten verstärkt die Integrationstests als weitere Teststufe eingeführt werden. Hier liegt der Mobile Application Testing 3

4 Fokus in der Integration von Backend, Middleware und Frontend. Diese Tests werden automatisiert oder manuell durchgeführt und sollen das funktionale Verhalten überprüfen. Abhängig von Architektur, Schnittstellen und Entwicklungsansatz können für den Test der Desktop-Version und der mobilen Version die gleichen Testfall-Sets verwendet werden. Im Anschluss an den Integrationstest folgt der Systemtest, der mit echten Geräten (On Device Tests) manuell oder automatisiert durchgeführt werden sollte. Die Geräte können sich am Projektort, in einer Cloud oder in der Crowd befinden. Sobald das ganze System mit allen benötigten Komponenten verfügbar ist, können Tests zu folgenden Testarten und Qualitätsmerkmalen durchgeführt werden: Testart Funktionalität Benutzbarkeit Sicherheit Last- und Performanz Lokalisierung Location Based Testing Netzwerkeinflüsse Datenaustausch Kompatibilität mit Hardware, Betriebssystemen, Geräten, Browsern Interoperabilität Interrupt-Test und Test mit verschiedenen Batteriestärken und verfügbaren Speichern Qualitätsmerkmale Anforderungsmerkmale wie Korrektheit, Ordnungsmäßigkeit, Angemessenheit, Interoperabilität und Vollständigkeit werden funktional überprüft. Verständlichkeit, Erlernbarkeit und Bedienbarkeit stehen im Fokus der Tests. Umgang mit personenbezogenen Daten, Anmeldungen / Kennungen / Zugriffen / Kreditkartendaten. Weitere Informationen zur Prüfung von Sicherheitsaspekten sind einer Broschüre des Bundesamtes für Sicherheit und Informationstechnik zu entnehmen 4. Verhalten der mobilen Applikation, wenn viele Nutzer gleichzeitig darauf zugreifen. Reaktionszeiten beim Aufruf von Funktionalitäten. Tests an verschiedenen Standorten (Zugstrecke, Bahnhöfe, Touristenorte, ). Es gibt auch spezielle Labs für die Simulation der Lokalisierung. Test über verschiedene Netzwerke (real oder simuliert). Kompatibilität der Software in den verschiedenen Netzwerken. Tests in verschiedenen Netzwerkstärken, -Geschwindigkeiten. Werden die Daten vollständig und korrekt übertragen und geladen? Bei diesem Test muss die Funktionalität auf verschiedenen Geräten, Browsern und OS-Versionskombinationen sichergestellt werden. Die Kosten können hier sehr steigen, weil die Anschaffung der Vielfalt an Geräten in verschiedener Konfiguration enorm hoch ist. Auch automatisiert kommt man schnell auf eine ähnliche Problematik. Die Zusammenarbeit mit anderen Softwarekomponenten und Systemen wird getestet. Diese Komponenten sind voneinander unabhängig (z.b. Zahlungssysteme für E-Commerce Seite, Google Map, Wetterdienst). Das Verhalten der Applikation bei Anrufen während der Nutzung, beim Erhalt und Versand von Nachrichten, bei der Aktivierung der Kamera und Bluetooth oder beim Popup von Terminerinnerungen. Die Applikation wird mit verschiedenen Batteriezuständen sowie unterschiedlichen noch verfügbaren Speichergrößen ebenfalls getestet 4 PENTASYS Blickpunkte

5 Die Durchführung einer Testart / eines Qualitätsmerkmals in einem Projekt hängt von den im Lastenheft festgelegten Anforderungen, den Prioritäten oder Rahmenbedingungen wie Zeit und Kosten ab. In das Testkonzept sind die Funktionalitäten aufzunehmen welche getestet werden müssen. Mit der Projektführung sind Kostenfragen, Ressourcenplanung sowie der Zeitrahmen rechtzeitig zu klären. Testwerkzeuge für Mobile Testing Jährlich kommen neue Werkzeuge auf den Markt, mit denen mobile Anwendungen in verschiedenen Teststufen getestet werden können. Diese Werkzeuge unterteilen sich in: Simulatoren und Emulatoren Tools zur Automatisierung von Tests Simulatoren und Emulatoren (für virtuelle Tests) Durch einen Emulator ist der Fokus der Tests auf die Benutzeroberfläche und das äußere Verhalten (äußere Wirkung) gerichtet, während ein Simulator versucht, das Verhalten nachzuahmen, ohne die Hardware zu emulieren. Die Nutzung von Simulatoren sowie Emulatoren soll dem Tester zeigen, wie die Anwendung auf einen mobilen Device aussehen und funktionieren würde. Dies stellt jedoch keinen verlässlichen Ersatz für Tests auf echten Geräten dar. Die Tools können meist online heruntergeladen werden. Einige Anbieter stellen auch Lösungen zur Verfügung, mit denen Webseiten, die bereits online sind, direkt auf ihren Seiten getestet werden können. Die Tabelle rechts enthält einer Übersicht ausgewählter Simulatoren und Emulatoren. Tools zur Automatisierung von Tests Inzwischen gibt es Tools, die eine Automatisierung der Tests auf echten mobilen Geräten ermöglichen. Dabei hat man die Möglichkeit, zum Beispiel zwischen einer private Cloud und einer public Cloud zu wählen. Manche dieser Tools ermöglichen neben dem Test von funktionalen Aspekten auch die Durchführung von Last- und Perfomance Tests und ein Monitoring. Einige nennenswerte Tools für die Automatisierung von funktionalen Tests sind in der rechten Tabelle aufgeführt. Wichtige Punkte bei der Auswahl eines Tools sind: Sicherheitsstufe, Lizenzmodelle, Technischer Support und Lernkurve für das Tool. Ist aus technischer Sicht die Verwendung von gleichen Skripten für unterschiedliche Devices, Länder oder Sprachen möglich? Ist der Test von mobilen Apps ohne zusätzliche Plug-In Komponenten, die auf dem Device installiert werden müssen, möglich? Ist das Löschen von Browser-Cache vor der Ausführung problemlos möglich? Ist die GUI-Objekterkennung für alle Objekte möglich? Werden neue Devices ohne großen Aufwand eingebunden? Ist es möglich, die Testfälle gleichzeitig auf mehreren Geräten ausführen zu lassen? Browserbasierte Tools Viewport resizer 5 ipad Peek 6 Screenfly 7 Responsinator 8 mobiready 9 Mobile Phone Emulator 10 SimulatorResponsivepx 11 MobileTest.me 12 Installierbare Tools User-Agent Switcher 13 ios Simulator 14 Opera Mini-Simulator 15 Electric Mobile Studio 16 Kommerziell KeyNote DeviceAnywhere 17 Perfecto Mobile 18 Applause 19 AppThwack und Appium 20 Eggplant (iphone) 21 TestComplete Mobile 22 M-eux 23 TestQuest Countdown 24 Experitest 25 Open Source Sikuli 26 FoneMonkey (iphone) 27 Robotium 28 Mobile Application Testing 5

6 Mobile Application Testing Fazit & Ausblick Für die Softwareentwicklung und vor allem für die Qualitätssicherung stellt die Vielzahl an unterschiedlichen Endgeräten mit ihren möglichen Konfigurationen und Ausstattungsmerkmalen eine besondere Herausforderung dar. Das Ziel einer flächendeckenden positiven User-Experience als Folge einer qualitativ hochwertigen Darstellung der Websites und Apps auf möglichst allen Endgeräten, kann ohne einen intelligent durchgeführten Mobile Application Test kaum erreicht werden. Die Herausforderungen bei den Tests von mobilen Applikationen sind bei weitem höher als bei Tests für Desktop-Lösungen. Die Nutzung von Testwerkzeugen bei Unit-, Integration- und Systemtests in Form von Emulatoren, Simulatoren oder Tools für die Automatisierung von Tests ist hilfreich, um den manuellen Aufwand zu reduzieren und um besondere Eigenschaften oder Merkmale wie Lokalisierung, Netzwerkeinflüsse oder Datenaustausch zu überprüfen, da dies manuell ungleich mühevoller ist. Letztlich bestimmt jedoch das verfügbare Budget, neben anderen Faktoren wie time-to-market, der Projektdauer und -größe oder der Berechnung des ROI, eine mögliche Einführung der Testautomatisierung oder die alternative Nutzung von Diensten wie dem Crowdtesting. Beachtet man den anhaltenden Boom, den es im Angebot von mobilen Applikationen gibt, kann vorausgesagt werden, dass Mobile Application Testing eine immer wichtiger werdende Rolle annehmen wird. Quellen: 1. anzahl-der-smartphonenutzer-in-deutschland-seit-2010/ Publikationen/Broschueren/Mobile_Endgeraete_pdf Conceptual/iOS_Simulator_Guide/Introduction/Introduction.html overview/ Die Autoren: Mirjeta Muqaku ist Junior IT-Consultant bei der PENTASYS AG mit Schwerpunkt Qualitätssicherung von Softwarelösungen. Sie ist ISTQB Certified Tester und Certified Professional for Requirements Engineering. Ihr Wirtschaftsinformatik Studium schloss sie mit einer Bachelor-Thesis zu Mobile ERP ab. Joseph Kana arbeitet als Line Manager und Senior Quality Consultant bei der PENTASYS AG. Er verfügt über langjährige praktische Erfahrung im Bereich der Software- Qualitätssicherung. Er ist auf die Bereiche Testmanagement, Mobile und Agile Testing fokussiert. Die Blickpunkte sind ein kostenloser Newsletter der PENTASYS AG. Die PENTASYS AG, mit Sitz in München, Geschäftsstellen in Frankfurt am Main, Köln, Nürnberg und Stuttgart, ist ein Tochterunternehmen der französischen AUSY Group mit Mitarbeitern in 11 Ländern. Das Beratungs- und Systemhaus ist darauf spezialisiert, Geschäftsprozesse unter besonderer Berücksichtigung spezifischer Kundenbedürfnisse mit maßgeschneiderten IT-Anwendungen zu optimieren. Das Leistungsspektrum der ISO-9001/2008 zertifizierten PENTASYS AG reicht dabei von der Bedarfsanalyse über das Projektmanagement bis hin zur Entwicklung und Implementierung der IT-Lösungen, die unsere Kunden bei der Stärkung ihrer Marktposition unterstützen. Zu den Referenzkunden gehören die Marktführer in den Branchen Finance, Telco, Travel, Transport & Logistics, Automotive und Pharma. Sämtliche Inhalte des Newsletters, auch Konzepte und Design, sind urheberrechtlich geschützt. Das Copyright/Urheberrecht liegt bei der PENTASYS AG. PENTASYS AG Rüdesheimer Straße München Tel.: Geschäftsstelle Frankfurt: Solmsstraße Frankfurt am Main Tel.: Geschäftsstelle Köln: Dülkenstraße Köln Tel.: Geschäftsstelle Nürnberg Rothenburger Straße Nürnberg Tel.: redaktion@blickpunkte.de PENTASYS AG. Stand Dezember 2014