Titelmasterformat durch Klicken bearbeiten Qualitätssicherung für Mobile Apps Dirk Lewand, Medical Apps 2013 2013 imbus AG www.imbus.de
imbus ist Lösungsanbieter imbus Nord Hamburg Rostock Bremen Berlin Hannover imbus Rheinland Magdeburg Köln Frankfurt imbus Rhein-Main Stuttgart Erfurt Dresden HQ Möhrendorf Erlangen München GS München Seit über 20 Jahren Software- Qualitätssicherung Langjährige Erfahrung im Healthcareund Medizintechnik-Umfeld Trainings und Workshops für Mobile Testing Anbieter von Mobile Testing Services TestCenter mit umfangreichem Gerätepark Beratung für die eigene App Test Governance Die imbus TestBench das Kontrollzentrum für Ihre Tests Folie 2
Agenda Besonderheiten Mobiler Produkte Herausforderungen für den Test Mobile Testing Strategie Fazit Folie 3
Anforderungen an Mobile Produkte Intuitiv bedienbar Einfache Installation und Konfiguration Fehlertolerant und stabil (stürzt nicht ab) Kompatibel zu neuen Endgeräten Meine Daten sollen sicher sein Hohe Reaktionsgeschwindigkeit Kein Speicher- oder Batteriefresser etc. Folie 4
Eigenschaften Mobiler Produkte Eingabemethoden Swype Gesten Multitouch Sprachsteuerung Softkeyboard Systemereignisse Eingehender Anruf Verbindungsabbruch Akkuwarnung Speicher wird knapp Betriebssysteme Hardware Viele Plattformen und Versionen Provider-Versionen Custom ROMs Displayauflösung HW-Tastatur Leistungsfähigkeit Schnittstellen Folie 5
Graphical User Interface Iconography Begrenzte Anzahl Menüpunkte Sprachgebrauch (kurz und aussagefähig) Keine Popup-Info Keine Tastenkombinationen (Alt, Strg ) Kein Kontextmenü Drag & Drop oder Wischen Copy & Paste Folie 6
Anwenderverhalten Suspension mit anschließendem Ausschalten Sperrbildschirm aktivieren Entnahme der Speicherkarte Anschluss ans Ladegerät oder als Speichergerät Umschalten der Datenverbindung Datenmodus ein/aus Bildschirm drehen Roaming (weltweit) usw. Folie 7
Gründe für unzureichende Qualitätssicherung für Mobile Apps Schnell wachsender Markt Schleppende Testwerkzeugentwicklung Mangel an Mobile Testing Experten Vielzahl geeigneter Testgeräte Fehlende Mobile Testing Strategie Folie 8
Hohe Erwartungshaltung Enorme Wachstumsprognosen First Screen -Ansatz Immer mehr ernstzunehmende Business Apps Zunehmende Komplexität Höhere Leistungsfähigkeit (HW) Wachsende Qualitätsansprüche Erhöhte Risiken Folie 9
Teststufen im klassischen V-Modell Anforderungsanalyse Systemarchitektur Abnahmetest Systemtest Systementwurf Integrationstest Softwareentwurf Komponententest Softwareentwurf Folie 10
Mobile Testing Strategie Performance Laufzeitoptimierung Ungenutzte Ressourcen freigeben Kompatibilität OS-Version HW-Support Abnahmetest Systemtest Integrationstest Komponententest Folie 11
Mobile Testing Strategie Schnittstellen Test Sensorik OS-Dienste Konformität Mock Test API Dokumentation Abnahmetest Systemtest Integrationstest Komponententest Folie 12
Mobile Testing Strategie Für die Teststufe Systemtest bietet sich eine Aufteilung an Systemintegration App Test Abnahmetest Systemintegration Abnahmetest Systemtest App Test Integrationstest Komponententest Folie 13
Mobile Testing Strategie Fehlertoleranz Fehlbedienung Systemereignisse und - ausfälle Intuitive Bedienbarkeit Sprachgebrauch Symbolsprache Konformität Installationstest Updates De-Installation Abnahmetest Systemintegration App Test Integrationstest Komponententest Folie 14
Mobile Testing Strategie Sicherheit Interoperabilität End-to-end Test Performance Mulituser Szenarien Neue Testmethode Testing in the Cloud Abnahmetest Systemintegration App Test Integrationstest Komponententest Folie 15
Testing in the Cloud Kein eigener Gerätepark notwendig Umfangreiche Kompatibilitätstest möglich Geräte sind in Mobilfunknetzen angemeldet Standortbasierte Auswahl möglich Clientbasierte Testautomatisierung Echte Last- und Performancemessung möglich Für die höheren Teststufen ab App Test geeignet Auswahlkriterien Verfügbarkeit der Geräte und Dienstleistung Reaktionsgeschwindigkeit bei Problemen Gerichtsbarkeit des Anbieters Wiederverwendbarkeit der Testautomatisierung Folie 16
Mobile Testing Strategie Für die Teststufe Abnahmetest ist ebenfalls eine Teilung sinnvoll App Review Beta Test App Review Abnahmetest Beta Test Systemintegration App Test Integrationstest Komponententest Folie 17
Mobile Testing Strategie Kompatibilität Koexistenz Neue Testmethode Crowd Testing Service App Review Beta Test Systemintegration App Test Integrationstest Komponententest Folie 18
Crowd Testing Service Unsere Erfahrungen Auswahl von Tester-Profilen möglich Möglichkeit zum Feedback aus der Zielgruppe Qualifiziertes Testpersonal Verschwiegenheitsklausel Zugriffssicherheit auf AUT und Projektdaten über Portal Reproduzierbare Problemtickets Weltweiter Feldtest möglich (Infrastruktur, Lokalisierung) Hohe Kombinatorik Planbares Preismodell Nähere Informationen unter www.imbus.de Folie 19
Mobile Testing Strategie Konformität API UI Styleguides App Store Reviews Apple Store Google Play Windows Store Custom (B2B) App Store App Review Beta Test Systemintegration App Test Abnahmetest Erfüllung von Zulassungskriterien Integrationstest Komponententest Folie 20
Testumgebung und Testtools Simulatoren und Emulatoren Oftmals in Entwicklungs-Umgebungen integriert Ersetzen keine echten Geräte Keine echte Performance-Messung Oftmals keine Unterstützung von Typischen Eingabemethoden Luft-Schnittstellen Hardwarekomponenten In höheren Teststufe ungeeignet Folie 21
Testumgebung und Testtools Unit Test Frameworks Android: Android-mock, JUnit, TestNG ios: OCMock, GHUnit, OCUnit, XCode IDE Windows Phone SDK Black-Box Testautomaten Open Source: Calabash, MonkeyTalk Kommerzielle Produkte: SilkMobile, Ranorex Folie 22
Fazit Eine effiziente und effektive Mobile Testing Strategie kann erreicht werden durch Den Einsatz neuer Testtools Die Anwendung neuer Testmethoden Die Erweiterung vorhandener Teststufen Die Formulierung der richtigen Testziele Folie 23
Fazit Umfangreiche Qualitätssicherung für Mobile Apps ist möglich! Folie 24
Fragen? Folie 25
dirk.lewand@imbus.de www.xing.com/profile/dirk_lewand @imbus_ag @dirklewand imbus AG imbus AG Kleinseebacher Str. 9 Balanstr. 73 // Gbd. 21a 91096 Möhrendorf 81541 München DEUTSCHLAND DEUTSCHLAND Tel. +49 9131 7518-0 Tel. +49 89 3219909-0 Fax +49 9131 7518-50 Fax +49 89 3219909-50 info@imbus.de www.imbus.de imbus AG Rathausallee 70 22846 Norderstedt DEUTSCHLAND Tel. +49 40 35731467 Fax +49 9131 7518-50 imbus Rhein-Main GmbH Kirschgartenstr. 15 65719 Hofheim DEUTSCHLAND Tel. +49 6192 92192-0 Fax +49 6192 92192-50 imbus Rheinland GmbH Volksgartenstr. 36 50677 Köln DEUTSCHLAND Tel. +49 221 998788-0 Fax +49 221 998788-50 imbus Shanghai IT Co., Ltd. No. 500 BiboRoad Zhangjiang HT Park Pudong Shanghai 201203 P.R. China Tel. +86 21 50274732 Fax +86 21 50274732-20 2013 imbus AG www.imbus.de Kontakt Folie 26
Testumgebung und Testtools Unit Test Frameworks Häufig in Entwicklungsumgebung (IDE) integriert Stellen Testautomatisierung bereit Keine Trennung von App-Code und Testskripten Hohe Testabdeckung durch datengetriebene und zustandsbasierte Tests sowie Protokollierung Laufzeitmessung im Komponententest Einsatz von Mocks im Integrationstest Folie 27
Testumgebung und Testtools Black-Box Testautomaten Separates Testtool mit eigener Skriptsprache Anwendungsbasierte Testläufe Schlüsselwort- und Modellgetriebener Test Capture n Replay Technologie Sandbox-Prinzip erschwert den Zugriff auf die AUT Instrumentierung der App (AUT) Rooten, Jailbreak Steuerung über HW-Testrahmen Folie 28