TESTING 4.0. THE NEXT GENERATION OF QUALITY Powered by Crowd & Cloud Technologies

Transkript

1 TESTING 4.0 THE NEXT GENERATION OF QUALITY Powered by Crowd & Cloud Technologies 1

2 Agenda Über uns Testing 4.0 Anwendungsfälle Crowdtesting in der Tourismus-Branche Case Study airberlin holidays Kontakt 2

3 Testbirds Über uns Vision: The World s Leading Company for Innovative Testing Services Gegründet 2011 Entstanden aus dem Feld automatisiertes Testing und Load & Performancetests Kundenzufriedenheit 9.2 out of 10 Erbringung von funktionalen Tests und Usability-Studien mittels Crowdtesting und cloudbasierten Lösungen. Tester aus über 180 Ländern Die Bandbreite der Tester reicht von normalen Anwendern bis hin zu professionellen QA-Testern 3

4 Testbirds Locations 65 Mitarbeiter in 7 Büros HQ in München DACH-Region 35+ Mitarbeiter aus 10 Ländern Projekte Gestartet 2013 Neues Büro: Jan 2015 in Amsterdam 7 Mitarbeiter Büros in: 2013: Budapest 2015: Bratislava 10 Mitarbeiter Franchise Partner 400+ Kunden Gestartet 2013 Neues Büro: Juni 2015 in London 6 Mitarbeiter Gestartet 2014 Neues Büro: Q3/2016 in Stockholm 5 Mitarbeiter Gestartet 2015 Büro: Q2/2015 in Turin Strategischer Partner 4

5 Endgeräte-/Browservielfalt Liegen Ihnen alle Android-Endgeräte zum testen vor? 5

6 Endgeräte-/Browservielfalt Wie testen Sie Ihre Lokalisierung? 6

7 Zielgruppenrelevanz Kennen Sie die Bedürfnisse Ihrer Zielgruppe? 7

8 Herausforderungen im Markt Unzureichende QA, ungenügende Marktanalysen und Ressourcenmangel Betriebsblindheit Klappt alles! wirklich? Unvoreingenommene Nutzer testen anders Zielgruppenrelevanz Zielgruppe hat andere Erwartungen/Fähigkeiten als angenommen Ressourcenmangel Termindruck, Personalmalmangel und weitere priorisierte Projekte Endgerätevielfalt Liegen Ihnen wirklich alle Endgeräte zum testen vor? 8

9 Testing 4.0 Powered by Crowd & Cloud Technologies CROWD Tester aus über 180 Ländern Endgeräte gefundene Bugs Jede Zielgruppe abbildbar (60+ soziodemographische Merkmale / Kriterien) Reales Testen in alltäglicher Umgebung Kundenspezifisches Feedback noch vor Release Ad-hoc verfügbar, flexibel und effizient CLOUD Jegliche Kombination virtueller Maschinen (Win, Mac, Linux) und Emulatoren (ios, Android) Modernste Technologien aus einer Hand Hohe Skalierbarkeit und individuelle Flexibel, effizient und dynamisch Keine Wartungs- oder Weiterentwicklungskosten Serverhosting ausschließlich in Deutschland für maximale Datensicherheit 9

10 Entwicklungszyklus Mit unseren Services unterstützen wir Sie in allen Phasen des Entwicklungszyklus In welcher Phase befinden Sie sich? Mit welchen Herausforderungen werden Sie in den einzelnen Phasen konfrontiert? Wo benötigen Sie Unterstützung? 10

11 Leistungen Quality Assurance Usability & UX Testbirds Exclusive 11

12 Quality Assurance Powered by Crowd & Cloud Technologies Exploratives Bug-Testing Regressionstest Testumgebungen TestChameleon Ausführung von Test-Cases Bug Bounty Last- und Performancetest Erstellung von Test-Cases Lokalisierungstest Add-ons 12

13 Usability & UX Powered by Crowd Prototyp-Evaluation Remote-Usability-Videos Pre-App-Store-Rating Card-Sorting Vergleichsstudie Add-ons Usability- und UX-Studie Wettbewerbsanalyse 13

14 Testbirds Exclusives Powered by Crowd and Cloud Technologies BugAbility Bring-Your-Own-Crowd App Distribution BirdFlight End-to-End-Test On Premises und SaaS Trainingsakademie 14

15 Agenda Über uns Testing 4.0 Anwendungsfälle Crowdtesting in der Tourismus-Branche Case Study airberlin holidays Kontakt 15

16 Anwendungsfälle Crowdtesting in der Tourismus-Branche Mögliche Testobjekte Funktioniert der Buchungsprozess im Reiseportal? Ist die Suchfunktion übersichtlich? Werden weitere Filter benötigt? Funktioniert das Reiseportal auch auf allen mobilen Endgeräten, wie Smartphones oder Tablets? Desktop Tablet Smartphone Ist die Anwendung benutzerfreundlich? Wie schneidet die App im Vergleich zu der Konkurrenz ab? Was lässt sich noch optimieren? Internet of Things- Anwendungen Onlineshops weitere Software 16

17 Crowdtesting Verschiedene Ansätze zur Optimierung digitaler Produkte End-to-End-Test Die Zielgruppe spielt den gesamten Buchungsprozess durch und bewertet die Abwicklung Usability- und UX-Studie Die Crowd überprüft die Benutzerfreundlichkeit und Übersichtlichkeit einer Anwendung Wettbewerbsanalyse Die Crowd vergleicht Internetauftritte mehrerer Anbieter und gibt konstruktives Feedback Vergleichstest Die Zielgruppe vergleicht mehrere Versionen einer Anwendung und hebt Stärken und Schwächen hervor 17

18 Agenda Über uns Testing 4.0 Anwendungsfälle Crowdtesting in der Tourismus-Branche Case Study airberlin holidays Kontakt 18

19 airberlin holidays BugAbility Crowdtest der Webseite auf verschiedenen Tablets Screenshot der Testseite Testdesign: 7 offene Use-Cases 3 qualitative, 9 quantitative Fragen zur Usability Im Fokus des funktionalen Tests: Suchmaske, Topnavigation, Merkliste, Buchungsseite sowie Nutzung/Ansicht auf kleinen Bildschirmen mit Touchscreen Beispielfragen: Frage Q2: Wenn Du für die Seite verantwortlich wärst, was würdest Du als erstes verändern? Wo siehst du Verbesserungspotential? Bedenke Aspekte wie Design, Intuitivität, Benutzerfreundlichkeit, Aufbau, Navigation, Suche/Filter, Angebot, etc. (Freitext) Frage R4: Wie intuitiv war es für Dich, die Angebote anhand der linken Such- /Filterbox weitere Suchoptionen nach Deinen Wünschen zu filtern? (1 = überhaupt nicht intuitiv, 6 = sehr intuitiv) 19

20 Die Testergruppe Insgesamt: 21 Tester Testgeräte Gerät # Welche Tester haben teilgenommen? Apple ipad 2, ios 7.1.1, Safari 1 Apple ipad 2, ios 8.1.1, Safari 1 Apple ipad 2, ios 8.2, Safari 1 Umfang: Apple ipad 4, ios 8.3, Safari 2 Apple ipad Air (ipad 5), ios 8.1.0, Safari 1 BugAbility -Test Webseite von airberlin holidays Apple ipad Air (ipad 5), ios 8.3, Safari 1 Qualitative und quantitative Fragen Apple ipad mini (Generation 2), ios 8.3, Chrome 1 Apple ipad Mini (Generation 3), ios 8.1.3, Safari 1 Endgeräte: Tablets, ios und Android versch. Browser (Safari, Firefox, Chrome, IE) Zielgruppe: Tester mit monatl. Nettoeinkommen zwischen 2200 und 2800 Euro Alters- und Geschlechtsverteilung männlich weiblich 4 Asus Memo Pad ME172V, Android 4.1.1, Chrome 1 Blaupunkt Endeavour 1010, Android 4.2.2, Firefox 1 Google Nexus 7 (Wifi) 2012 (Asus), Android 5.1.1, Chrome 1 Google Nexus 7 II (Wifi) 2013 (Asus), Android 5.1.1, Firefox 1 Lenovo IdeaTab A2107A, Android 4.0.3, Chrome 1 Prestigio MultiPad 8.0 Pro Duo, Android 4.0.3, Chrome 1 Samsung Galaxy Note 10.1 (2014 Edition), Android 4.4.2, Chrome 1 Samsung Galaxy Tab , Android 4.1, Android Browser 1 Samsung Galaxy Tab wifi, Android 4.2.2, IE 1 Gemischte Internetaffinität Samsung Galaxy Tab 3 8.0, Android 4.4.2, Firefox 1 Samsung Galaxy Tab 4 7.0, Android 4.4.2, Android Browser Samsung Galaxy Tab S 10.5, Android 5.0.2, Dolphin 1 Gesamt 21 20

21 Testergebnisse Beispielzitat: Die Seite sollte unbedingt responsive aufgebaut werden - eine Anpassung an die jeweiligen Platzverhältnisse auf meinem ipad in Hoch- und Querformat habe ich vermisst. Usability-Teil: Frage R4 Kategorie Anzahl Crash 2 Kritisch 2 Darstellungsfehler 20 Hoch 5 Mittel 6 Niedrig 9 Fehlfunktion 19 Wie intuitiv war es für Dich, die Angebote anhand der linken Such- /Filterbox weitere Suchoptionen nach Deinen Wünschen zu filtern? (n=21) Hoch Mittel = sehr intuitiv 9 Niedrig Sonstiges Hoch Mittel Niedrig Usability Bug 4 1 = Überhaupt nicht intuitiv Niedrig Ladeprobleme 3 4 Funktionaler Teil: Auflistung und Bewertung der gefundenen Fehler Kritisch 1 Mittel 2 Gesamt 61 21

22 Handlungsempfehlungen Wie lässt sich das Feedback umsetzen? Optimierung für mobile Endgeräte Umstellung auf responsives Design Noch einige Darstellungsfehler auf unterschiedlichen Bildschirmgrößen Buchungsseite zwar schon responsive, Breakpoint für Anpassung an die Bildschirmgröße jedoch sehr breit gesetzt, nochmal prüfen Performance Sehr lange Ladezeiten, wurde von Testern negativ bewertet Abhilfe durch Ladebalken oder andere Rückmeldung des Systems, welche die Nutzer über den Ladestatus informieren Darstellung Weitere Suchoptionen besser hervorheben Einheitliche Scrollbalken auf allen Seiten Screenshots der Tester + Verbesserungen 22

23 Ihr Ansprechpartner Georg Hansbauer Geschäftsführer Testbirds GmbH Radlkoferstr München, Deutschland 23