eresult GmbH UX-TOOLS ARTEN, EINSATZZWECKE, ANBIETER, BEWERTUNG

Transkript

1 eresult GmbH UX-TOOLS ARTEN, EINSATZZWECKE, ANBIETER, BEWERTUNG

2 DER REMOTE USABILITY- TEST ÄHNELT EINEM USABILITY-TEST IM LABOR. DER TESTLEITER UND DER PROBAND SIND RÄUMLICH VONEINANDER GETRENNT. 2

3 SYNCHRONE VS ASYNCHRONE REMOTE-TESTS NEGATIVE FINDINGS Moderierte Remote-Tests EMPFEHLUNGEN Proband und Testleiter besitzen eine zeitliche Nähe, aber eine räumliche Distanz. Der Test wird vom Testleiter moderiert. Diese Form des Remote-Testing ähnelt stark dem Usability- Test im Labor. Asynchrone Remote-Tests Proband und Testleiter besitzen eine räumliche und zeitliche Distanz. Der Test findet ohne Moderator statt. Asynchrone Tests können einen selbstmoderierten (Tool simuliert den Moderator) oder automatisierten (Tool erhebt Daten im Hintergrund) Charakter besitzen. 3

4 ARTEN VON REMOTE USABILITY TESTS NEGATIVE FINDINGS EMPFEHLUNGEN Moderiert Selbst-moderiert Automatisiert (Synchron) (Asynchron) (Asynchron) Qualitativ Quantitativ Wenige Probanden Viele Probanden Video Metriken Warum? Was? 4

5 REMOTE-TESTS IM VERGLEICH ZUM USABILITY-TEST IM LABOR NEGATIVE FINDINGS EMPFEHLUNGEN Im Labor Besser für technisch wenig versierte Probanden Eingreifen in Prototypen möglich Bessere Beobachtungsmöglichkeiten für das Team Besserer Rapport zum Probanden Bessere Beobachtung von Körpersprache und Mimik Eyetracking möglich Remote Schwierig zu rekrutierende Probanden Natürlichere Nutzungssituation Website-Intercepts möglich Keine Labormiete (ohne Beobachtung) Keine Reisekosten (internationale Tests) Geheimhaltung schwieriger Zugriff auf Prototypen und geschützte Systeme schwieriger 5

6 ERKENNTNISSE AUS BISHERIGEN REMOTE-TESTS Moderiert NEGATIVE FINDINGS vs. Unmoderiert EMPFEHLUNGEN Die Ergebnisse zeigen, dass die Moderation durch einen geschulten Testleiter einen positiven Effekt auf die Probanden besitzt Durch die Moderation des Testleiters wirkten die Probanden engagierter. Die Angst Fehler zu machen wurden ihnen genommen Besonders ruhige Probanden wurden durch den Moderator zum lauten Denken animiert Besonders bei sehr kritischen Usability-Problemen lieferten die moderierten Methoden deutlich bessere Ergebnisse als der asynchrone RUT Labor vs. Remote Bei Remote-Tests ist der technische Anspruch an die Probanden deutlich höher als bei einem Usability-Test im Labor Quelle: Dustin Rauch: Mobile Usability-Evaluation: Ein empirischer Vergleich der qualitativen Testmethoden Labortest, synchroner Remote-Test und asynchroner Remote-Test im Kontext mobiler Applikationen Masterarbeit in Zusammenarbeit mit der Stiftung Universität Hildesheim und eresult GmbH 6

7 TOOLS FÜR REMOTE-TESTS GIBT ES VIELE NEGATIVE FINDINGS EMPFEHLUNGEN 7

8 MODERIERTE REMOTE TESTS 8

9 MODERIERTE REMOTE TESTS NEGATIVE FINDINGS EMPFEHLUNGEN Tool Audio und Video des Probanden Screensharing 9

10 MODERIERTE REMOTE TESTS NEGATIVE FINDINGS VORTEILE EMPFEHLUNGEN NACHTEILE Prototypen möglich Anpassungen des Studienkonzeptes zwischen/während Tests möglich Nachfragen durch den Moderator möglich Natürliche Testumgebung Spontaner durchführbar Komplexere, aufeinander aufbauende Szenarien möglich Hilfestellungen zum nächsten Schritt einer Aufgabe möglich Unnatürliche Situation durch Moderator Nur Probanden mit gewisser technischer Affinität möglich 10

11 TEAMVIEWER (QUICKSUPPORT) Weit verbreitete Software für Screen Sharing und Remote Tech Support Bei Android alles möglich ios Apps nur mit eingebautem SDK Man kann auch als Interviewer bedienen, helfen, Prototyp fixen Kosten: einmalig 579 (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 11

12 ZOOM Weitere Software für Screensharing Bei Android alles möglich Auf ios ist ebenfalls alles möglich, aber nur via AirPlay auf PC/Mac Keine Bedienung des Probanden-Gerätes durch den Moderator, nur Screen- Sharing Kosten: 15 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 12

13 VALIDATELY Speziell auf Usability-Tests ausgelegtes Tool Websites sowie Android-Apps über Validately-App möglich, die beim Probanden installiert wird Bisher alles nur auf Englisch, also Erklärungen und Tutorials zur Installation Rekrutierung möglich, aber keine Details bekannt Kosten: 199 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 13

14 LOOKBACK Lookback Live: Ebenfalls Tool speziell für Usability-Tests Aktuell nur MAC und ios-websites möglich Alle weiteren Devices aber soon, auch Apps Sollte beobachtet werden Kosten: 59 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 14

15 SELBST-MODERIERTE REMOTE TESTS 15

16 SELBST-MODERIERTE REMOTE TESTS NEGATIVE FINDINGS VORTEILE EMPFEHLUNGEN NACHTEILE Keine unnatürliche Situation durch Moderator Natürliche Testumgebung Spontaner durchführbar Prototypen nur eingeschränkt möglich Keine Anpassung des Studienkonzeptes zwischen/während Tests Kein Nachfragen durch Moderator möglich Nur Probanden mit gewisser technischer Affinität möglich Keine zu komplexen, z.b. aufeinander aufbauenden Szenarien Dauer ist begrenzt auf max. 30min 16

17 VALIDATELY Beliebige Aufgaben und Zwischenfragen möglich Aktuell Anleitung für Probanden nur auf englisch Bisher nur mobile Web möglich Android-App-Unterstützung soll im März kommen Rekrutierung aus Panel ist möglich, aber nur für bestimmte englischsprachige Länder Kosten: 199 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 17

18 LOOKBACK Lookback war Vorreiter in diesem Bereich ios wird nur über Verbindung mit Mac-Laptop unterstützt Problem: Es kann kein Testablauf mit Aufgaben und Fragen angelegt werden. Das Tool ist nur für die Aufnahme und das Hochladen der Videos. Somit müssen die Aufgaben auf anderem Web übermittelt werden, z.b. per Mail Kosten: 59 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 18

19 RAPIDUSERTESTS Einer der wenigen deutschen Anbieter Schon lange am Markt, Fokus auf kleineren, günstigen Studien Anzahl der Aufgaben und Fragen relativ eingeschränkt Tool und Rekrutierung vermutlich nur in Deutsch Kosten: ab 49 / Proband (Tool + Rekrutierung), ab 3000 (Full-Service) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 19

20 USERTESTING.COM Pionier und Marktführer für selbst-moderierte Tests Alle Plattformen möglich Tool nur auf Englisch Rekrutierung direkt nur für bestimmte englischsprachige Länder, mit anderen Panels aber auch für andere Länder Eigene Nutzer für App-Testing nur als Custom Panel mit Technik-Einführung Kosten: ab 49 / Proband Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 20

21 APPLAUSE Reiner Full-Service-Anbieter Panel von Probanden, das geschult ist für die Durchführung der Tests ios und Android, Web und Apps Sprachen des Tools sind unklar Dies würde über englisch sprechende Tester (in den gewünschten Ländern) abgedeckt Kosten: individuell, ca. ab 3000 / Studie (Full-Service) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 21

22 USERZOOM Umfangreiche Tool-Suite, auf größere Unternehmen ausgerichtet App-Testing erfordert eingebaute SDKs Je nach gewünschten Daten (Video, Klickpfade) müssen gewisse Plugins bei den Probanden installiert werden Anbindung an diverse Panel-Anbieter für die Rekrutierung Kosten: individuell, ca. ab 2500 / Studie (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 22

23 AUTOMATISIERTE REMOTE TESTS 23

24 AUTOMATISIERTE REMOTE TESTS NEGATIVE FINDINGS VORTEILE EMPFEHLUNGEN NACHTEILE Keine unnatürliche Situation durch Lautes Denken und Moderator Natürliche Testumgebung Leicht quantitativ durchzuführen und auszuwerten, somit gut für Metriken Spontaner durchführbar Prototypen nur eingeschränkt möglich Keine Anpassung des Studienkonzeptes zwischen/während Tests Kein Nachfragen durch Moderator Keine verbalen Aussagen zur Begründung, maximal in Textform Nur Probanden mit gewisser technischer Affinität möglich Keine zu komplexen, z.b. aufeinander aufbauenden Szenarien Dauer ist begrenzt auf max. 20min 24

25 APPLAUSE Eigentlich kein richtiges automatisiertes Testing, da es keine automatisierte Auswertung, Klickpfade etc. gibt Aber es lassen sich auch Studien mit vielen Nutzern und Fokus auf einem quantitativen Fragen durchführen Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 25

26 USERZOOM Bietet den größten Feature-Umfang für automatisierte Tests Beliebige Kombination von verschiedenen Methoden (Test-Aufgaben, Survey-Fragen, Card Sorting etc.) möglich Umfangreiche automatisierte Auswertungsmöglichkeiten (Klickpfade etc.) Kosten: individuell, ca. ab 2500 / Studie (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 26

27 LOOP11 Klarer Fokus auf automatisierte Tests, preisgünstiger als UserZoom Übliche Auswertungsmöglichkeiten: Success Rates, Klickpfade etc. Session Recordings (ähnlich Mousetracking) sind möglich, wenn Javascript eingebunden wird Rekrutierung über Panel möglich, aber wohl ohne direkte Anbindung Kosten: 199 / Monat (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 27

28 CHALKMARK Sehr kleiner Fokus: First-Click-Testing Es wird je Aufgabe ein Screenshot gezeigt und eine Aufgabe dazu. Das erste Klickziel wird gespeichert Dazu noch Fragebogen möglich Rekrutierung über Panel möglich, aber wahrscheinlich nur englischsprachig Kosten: 99 / Studie (nur Tool) Deutsche Sprache Weitere relevante Sprachen Mobile Web (ios) Mobile Web (Android) Native Apps (ios) Native Apps (Android) Probanden-Rekrutierung Eigene Probanden DIY-Studien Full-Service-Studien 28

29 KONTAKT 29

30 KONTAKT Kundenbetreuer Elske Ludewig Principal UX-Consultant & Managing Partner Tel: Projektleiter Dustin Rauch User Experience Consultant Tel: Webseite: Themenblog: eresult-standorte: Hamburg Göttingen Köln Frankfurt München Stuttgart