Wir testen mobile Apps und Webseiten. Wir nennen das Crowdtesting. Modernes Testing mithilfe der Crowd - Qualität als Erfolgsfaktor für Funktionalität und Usability 17.09.2013 1 Georg Hansbauer Geschäftsführer Testbirds GmbH
Betriebsblindheit Haben Sie wirklich alles getestet? 2
Endgerätevielfalt Haben Sie alle Endgeräte? 3
Zielgruppen Relevanz Kennen Sie Ihre Zielgruppe? 4
Realität Lehrbuch Ungenügende Tests in der Praxis Termindruck, Personalmangel, weitere Projekte lineare Entwicklung Development Test oder iterative Entwicklung Test Entwicklung Entwicklung Test Release Date (s) Entwicklung Test? 5
Inhalt Herausforderungen bei der Entwicklung Wie funktioniert Crowdtesting? Fallbeispiel: CeBIT App Typische Fehler Ausblick 6
Wie kommt es dazu? Unzureichende QA, Marktanalyse, Zeit Betriebsblindheit Klappt alles!... Wirklich? Unvoreingenommene Nutzer testen anders. Endgerätevielfalt Haben Sie alle? Zielgruppen Relevanz Zielgruppe hat andere Erwartungen/Fähigkeiten als angenommen. Ressourcenmangel Termindruck, Personalmangel, weitere Projekte 7
Ablauf eines Projektes Crowdtesting Kunde mit neuer Software Projektmanager 1 erarbeiten Briefing 2 wählt aus & betreut Crowd-Plattform 3 Testen mit eigenen Geräten 4 sichert Qualität 7 Analysiert und erstellt Abschlussbericht inkl. Handlungsempfehlungen 6 5 Testprotokolle & Bugs/Defects Schreiben Testprotokolle Legen Bugs/Defects an Live Tracking des Projektfortschritts 8
Ablauf Projektmanager als zentrale Anlaufstelle 1. 2. 3. 1. Vorbereitung Intensive Beratung/Consulting durch unsere Testing Spezialisten bzw. Usability Experten Definition des Testprojekts auf Basis des Briefings Selektion der Tester und der Geräte 2. Testdurchführung Testkoordination Qualitätssicherung der Testberichte und eingereichten Bugs inkl. Duplikats Bereinigung Direkter Ansprechpartner Sprachrohr in die Crowd 3. Nachbereitung Zusammenfassung der Ergebnisse Ableitung von Handlungsempfehlungen Durchschnittliche Dauer 1 4 Stunden 3 5 Tage 1 2 Tage Projekt innerhalb einer Woche abgeschlossen! 9
Tester & Geräte Die Crowd deckt alle Zielgruppen und Endgeräte ab. Zielgruppen Zertifizierte Tester Spezialisten Unterschiedliche Testing- Erfahrung Studenten, Mütter, Führungskräfte, ISTQB CAT (Certified agile Tester) Testmanager Projektmanager IT Systeme (ERP, CRM) ecommerce (Administratoren) Domänenwissen (Medizin, Vertrieb, Ingenieure) und viele mehr Endgeräte und Systeme Sämtliche Kombinationen aus Geräten, Browsern und Betriebssystemen Mobile: ios, Android, Windows Phone (8), Blackberry OS, Desktop: Windows, Mac OS, Linux, FF, IE, Safari, Chrome, Opera Facebook Apps, Rich Client-Anwendungen, reguläre Desktop Software u.v.m. Geräte nicht im Lab, sondern unter realen Bedingungen: Zu Hause, U-Bahn, beim Einkaufen, Tester in verschiedenen Ländern: D/A/CH, UK, US, NL, HU und viele weitere 10
Die Lösungen der Testbirds Ein dreigegliedertes Lösungsportfolio für jeden Testingbedarf. Bug Testing Usability BugAbility Testfälle (strukturiert) Use Cases (explorativ) Flat-Rate-Option Prototypen Beta Tests Wettbewerbs- Analyse End-to-end Bug + Usability 11
Case Study CeBIT2GO App Liveversion der CeBIT App: Registrierung von Ausstellertickets Veranstaltungen & Vorträge Messeguide 20 Tester: ios & Android Bugability Testtickets für die Besucherregistrierung 12
Case Study CeBIT2GO App Bugs nach Schweregrad Diverse Abstürze Navigationsmenü ohne Inhalt Adressbutton ohne Funktion Ticketregistrierung nicht möglich Englische Fehlermeldungen 18 16 14 12 10 8 6 8 15 17 7 4 47 2 0 Kritisch Hoch Mittel Niedrig 13
Case Study CeBIT2GO App Negatives Feedback Startseite wirkt leer und wird nicht gut ausgenutzt. Nur spezifische, keine allgemeinen Informationen sind zugänglich. Handlungsempfehlung Das Hinzufügen von mehr Funktionen, z.b. Suchfunktion, Newsfeed Bereitstellen von allgemeinen Informationen. 14
Case Study CeBIT2GO App Suchfunktion Allgemeine Informationen Newsfeed: twitter, heise 15
Case Study CeBIT2GO App Negatives Feedback Es ist schwierig zu sehen, ob ein Benutzer eingeloggt ist. Der Logout-Button ist nur schwer erkennbar. Handlungsempfehlung Hinzufügen einer Statusmeldung nach dem Login Positionswechsel des Logout-Buttons, um ihn besser erkennbar zu machen. 16
Case Study CeBIT2GO App Login-Status Logout-Button 17
Wie hilft mir das? Das Zusammenspiel aus Projektmanagement, Plattform und Crowd Betriebsblindheit Unvoreingenommene Tester Endgerätevielfalt 20.000+ Geräte Zielgruppen Relevanz Soziodemographische Auswahl Ressourcenmangel Ad-hoc verfügbar 18
Wo geht die Reise hin? Wearable Devices, Connected Home, 19
Kunden Genutzt in sämtlichen Branchen Mithilfe von Testbirds konnten wir unsere DocWallet App vor dem Release sehr flexibel auf Bugs und Usability testen. Überzeugt haben uns vor allem die professionelle Zusammenarbeit sowie die Möglichkeit, auf sämtlichen Systemen und mit unserer Zielgruppe zu testen. Marco Hauprich, Senior Vice President Mobile & New Media Deutsche Post AG 20
Fragen? Georg Hansbauer Geschäftsführer g.hansbauer@testbirds.de +49 89 856 3335 11 21