EVALUATION. Usability-Test (Nutzertest)

Transkript

1 EVALUATION Usability-Test (Nutzertest) Bei einem Usability-Test (auch Nutzertest) führen repräsentative Nutzer typische Aufgaben auf der Website/ Software aus, um Probleme und positive Aspekte der Seite/ des Programms ausfindig zu machen. Der Test wird für die spätere Auswertung im Normalfall aufgezeichnet. Zusätzlich wird die subjektive Wahrnehmung der Nutzer mittels Interview- oder Fragebogenmethoden erfasst. Es ist nicht untypisch, dass das tatsächliche Verhalten und die subjektiven Aussagen teilweise überraschend andere Ergebnisse liefern. Wann? Wer? Wo? Tools? Kann zu verschiedenen Zeitpunkten der Entwicklung nützlich sein (Prototypen, Zwischenversionen und fertige Produkte können getestet werden; generell gilt: je früher, desto besser!) Hier ist vor allem darauf zu achten, dass die ausgewählten Nutzer repräsentativ für die spätere Nutzergruppe sind. Anwesende Personen: Testpersonen, Testleiter, Protokollanten ruhige Räumlichkeit mit möglichst wenig Ablenkung Computer, Screencapture-Programm, Audiorekorder, Kamera, Interviewleitfaden Der Usability-Test ist generell auch nur mit einem Computer durchführbar, jedoch erleichtern zusätzliche Tools die Auswertung der gewonnenen Informationen.

2 Planung des Usability-Tests: Die Testleiter sollten sich mit der zu testenden Website/ Software vertraut machen. Im Voraus sollte ein Ziel festgelegt werden, was durch den Nutzertest erreicht werden soll (gesamte Software testen oder nur ein Teil?). Ein Testleitfaden wird erstellt, welcher aus typischen Aufgaben besteht, die mithilfe der Personas und Use Cases formuliert werden. Der Testleitfaden dient auch dem einheitlichen Testablauf über alle Testpersonen. Ein wichtiger Teil ist die Rekrutierung der Testpersonen, die möglichst der Zielgruppe des Produktes entsprechen sollten (5-7 reichen in der Regel aus, um ca. 90% der Usability- Mängel festzustellen). Wenn die Vorbereitungen abgeschlossen sind, erfolgt ein Vortest (z.b. mit Kollegen), um Fehler im Aufbau auszumachen und den zeitlichen Rahmen zu testen. Durchführung des Usability-Tests: Eine Checkliste (Material ist unterstrichen) 1. Begrüßen Sie die Testperson und stellen Sie sich (sowie weitere Personen in den Rolle Protokollanten/ Beobachter) vor. Weisen Sie auf Erfrischungen hin. 2. Beschreiben Sie kurz das übergeordnete Ziel der Testsituation. Beispiel: Mit Ihrer Hilfe wollen wir eine Software verbessern. Wir testen nicht Sie, sondern die Software. Weisen Sie ggf. darauf hin, dass alle Verbesserungsvorschläge und Anmerkungen aufgenommen werden, eine Umsetzung aber nicht garantiert werden kann. 3. Erläutern Sie den Ablauf der Testsitzung. Beispiel: Sie werden von mir eine Reihe von Aufgaben erhalten, die Sie mit der Software lösen sollen. Außerdem werde ich Sie mehrmals bitten, einen Fragebogen auszufüllen. Am Ende werde ich Ihnen einige Fragen zur Software stellen. 4. Weisen Sie die Testperson darauf hin, dass Sie sich während der Sitzung Notizen machen. 5. Weisen Sie die Testperson darauf hin, dass sich Protokollanten/ Beobachter im (Nachbar-)Raum ebenfalls Notizen machen. Erläutern Sie die Notwendigkeit von Kameras.

3 6. Erläutern Sie der Testperson, was Sie tun werden bzw. was die Testperson tun soll, wenn Probleme auftreten. Beispiel: Bitte versuchen Sie zunächst, die Aufgaben eigenständig zu lösen. Sollten Sie an einer Stelle nicht weiter kommen, kann ich Hilfestellung geben. 7. Wiederholen Sie, dass nicht die Person, sondern das Produkt getestet wird. 8. Lassen Sie die Testperson eine Einverständniserklärung (inkl. Audio-, Bild- und Video-Freigabe) (Stift!) unterzeichnen. 9. Helfen Sie der Testperson, sich einzurollen, indem Sie Ihnen Informationen zu Use Cases und Personas geben und somit einen geeigneten Kontext zur Aufgabenbearbeitung schaffen. 10. Sofern es keine Fragen der Testperson gibt, stellen Sie den Evaluationsgegenstand, z.b. eine Website, kurz vor. 11. Geben Sie der Testperson ihre erste Aufgabe (mündlich oder besser, ausgedruckt auf Karten). 12. Instruieren Sie die Testperson, laut zu denken. 13. Machen Sie sich als Testleiter Notizen für die Nachbefragung. Auch Beobachter und Protokollanten sollten mit einem Notizbogen ausgestattet sein. 14. Wenn es den Flow der Testsituation nicht stört, führen Sie nach jeder Aufgabe/ jedem Aufgabenblock eine kurze Zwischenbefragung durch, z.b. mit einem Kurzfragebogen. 15. Führen Sie ein Interview mit der Testperson durch. Nutzen Sie hierfür einen vorbereiteten Interviewleitfaden sowie Ihre Notizen. Halten Sie die Fragen möglichst offen, um viel über die Sichtweisen der Testperson auf das System zu erfahren ( Mentales Modell ). Nutzen Sie das Interview auch, um Verständnisfragen Ihrerseits zu klären. Achten Sie darauf, dass die Testperson nicht das Gefühl bekommt, sich rechtfertigen zu müssen. 16. Lassen Sie Ihre Testperson einen demographischen Fragebogen (z.b. Alter, Geschlecht, Vorwissen) ausfüllen. Damit kann die Testperson im Nachhinein leichter der Zielgruppe zugeordnet werden. 17. Bedanken Sie sich bei der Testperson für ihre Zeit und ihre Rückmeldung. Teilen Sie ggf. Aufwandsentschädigung/ Honorar/ Gratifikation (ggf. Quittung)/ Give-aways aus. 18. Geben Sie der Testperson einen Zettel mit Kontaktmöglichkeiten zum Testleitenden für Rückfragen.

4 Auswertung des Usability-Tests: Die Auswertung erfolgt zum einen anhand der zuvor formulierten Fragestellungen und Nutzungsszenarien Usability-Tests decken aber auch im Laufe der Testung unerwartete Probleme unterschiedlicher Schweregrade auf. Ausschlaggebend ist eine gute Protokollierung. Neben den gefundenen Problemen sollten auch immer fehlerfreie Interaktionsschritte und die von den Nutzern positiv bewerteten Aspekte festgehalten werden.

5 EVALUATION Usability-Test (Nutzertest) Best Practice An dieser Stelle noch ein paar Best-Practice-Tipps von Usability.gov (U.S. Department of Health and Human Services): 1. Behandeln Sie die Teilnehmer mit Respekt und sorgen Sie dafür, dass diese sich wohl fühlen. 2. Behalten Sie im Hinterkopf, dass Sie das Produkt testen und nicht die Nutzer! Helfen Sie ihnen zu verstehen, dass sie dazu beitragen, das Produkt zu verbessern. 3. Bleiben Sie neutral Sie sind da, um zuzuhören und zu beobachten. Sollten Fragen aufkommen, entgegnen Sie diesen mit Was denken Sie? oder Mich würde interessieren, was Sie an dieser Stelle tun würden. 4. Vermeiden Sie es, die Nutzer zu leiten. Sollten Hindernisse auftreten, springen Sie nicht sofort ein und bieten Ihre Hilfe an. Sind die Nutzer an dem Punkt angekommen, aufgeben zu wollen, entscheiden Sie, ob Sie das Szenario beenden, einen Hinweis geben oder tiefer greifende Hilfe anbieten. 5. Es sollte im Vorhinein festgelegt werden, wie lange Sie die Nutzer fortfahren lassen wollen, wenn sie einen klar unproduktiven Weg eingeschlagen haben. Auch das Ausmaß der angebotenen Hilfe sollte einheitlich sein. 6. Protokollieren Sie Ihre Beobachtungen übersichtlich und einheitlich. Dabei sollten Sie darauf achten, dass Sie das Verhalten und die Aussagen der Nutzer so detailreich wie möglich festhalten. Je besser die Dokumentation der Testung ist, umso einfacher wird die folgende Auswertung sein.

6 7. Unterscheiden Sie in Ihrer Testung zwischen der Leistung, die die Nutzer zeigen und ihrer subjektiven Erfahrung/ ihrem Eindruck. Beides sollte erhoben werden, denn es kommt nicht selten vor, dass die Nutzer eine schlechte Leistung zeigen, aber einen guten Eindruck gewonnen haben (und anders herum). a. Leistungsdaten sind z.b. Erfolg bei einer Aufgabe, Zeit, Fehler b. Subjektive Daten umfassen z.b. Skalen, die Zufriedenheit und/ oder Behaglichkeit erfassen. A/B-Test Eine besondere Form des Usability-Tests Warum? Wann? Wer? Vergleich von zwei ähnlichen Produkten Kann zu verschiedenen Zeitpunkten der Entwicklung nützlich sein (Prototypen, Zwischenversionen und fertige Produkte können getestet werden; generell gilt: je früher, desto besser!) Testleiter mit grundlegendem Verständnis von Statistik Hier werden zwei Versionen eines Systems gegeneinander getestet. Dies bietet sich z.b. an, wenn es zwei Möglichkeiten gibt, eine neue Funktion zu implementieren und Unsicherheit besteht, welches die für den Nutzer verständlichere ist. Eine andere Möglichkeit ist der Einsatz des A/B-Tests, um eine neue Version des Produkts gegen eine alte zu testen und zu überprüfen, ob intendierte Verbesserungen bezüglich der Usability tatsächlich greifen. Der A/B-Test wird auch als Split-Testing bezeichnet, da die Nutzer bzw. Probanden in zwei (möglichst homogene) Gruppen gesplittet werden, von denen die eine Gruppe Version A testet und die andere Gruppe Version B. Die Auswertung erfolgt wie beim einfachen Usability-Test, nur das die beiden Testergebnisse im Anschluss miteinander verglichen werden. Ein Grundwissen über Statistik ist dabei empfohlen, sonst besteht die Gefahr, nicht-signifikante Unterschiede zwischen beiden Gruppen und damit Versionen zu überschätzen. Kleine Schwankungen in den Testergebnissen sind normal und können verschiedenste, nicht-produktbezogene Ursachen haben. Daher sollte man bei kleinen Unterschieden Vorsicht walten lassen.

7 Der nächste Schritt: Probieren Sie es aus! Für 5 Minuten Usability-Testleiter Machen Sie den Selbsttest! 1. Laden Sie sich eine beliebige App auf Ihr Smartphone/ Tablet. 2. Überlegen Sie sich eine typische Aufgabe mit dieser App. Schreiben Sie diese Aufgabe auf einen Zettel. 3. Bitten Sie einen Kollegen, diese Aufgabe auf Ihrem Smartphone/ Tablet zu lösen. Bitten Sie Ihren Bekannten, beim Lösen der Aufgabe laut auszusprechen, wie er/ sie vorgeht, was ihm/ ihr auffällt. 4. Machen Sie sich Notizen, z.b. nach dem Schema: Auffälligkeit (P/N/F/K) Screen/ Aufgabenschritt Aussage/ Verhalten P = Positiv N = Negativ F = Frage K = Kommentar

8 5. Fragen Sie Ihren Bekannten, welche Schulnote er/ sie der App geben würde. Nutzen Sie dieses Urteil sowie Ihre Notizen, um in eine kurze Nachbefragung einzusteigen: Was würde Ihr Bekannter an der App beibehalten? Welche drei Aspekte würde er gerne ändern? 6. Vielleicht haben Sie die Möglichkeit, eine vergleichbare App herunterzuladen. Ihr Bekannter löst die Aufgabe erneut. Worin unterscheiden sich die Apps und wie wirkt sich dies auf das Verhalten als auch auf das Urteil Ihres Bekannten aus? Rückblick: Wie viele Hinweise auf gute, aber auch schlechte Gestaltung der App konnten Sie so gewinnen? Wie haben Sie die Rolle des Testleiters empfunden? Weiterführende Infos Zwei sehr gute Bücher, die den Einstieg und die Vertiefung in das Gebiet des Usability- Testing ermöglichen und viele Anregungen geben: Rubin, J., Chisnell, D., & Spool, J. (2011). Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests. Hoboken: John Wiley & Sons, Inc Barnum, C. (2010). Usability Testing Essentials: Ready, Set...Test. Burlington, MA: Morgan Kaufmann. Ein sehr umfassender Wiki-Eintrag von Studierenden der Technischen Universität Berlin über Usability-Tests im Feld, d.h. im Alltag von Nutzern, finden Sie hier: