User Interface und seine Evaluierung Teil I Eugenie Rerich Checkliste für das Durchführen einer Usability Evaluation: 1. Festsetzen eines Evaluationsziels: Wieso evaluiere ich das Feature/Design/etc. des User Interface? Was möchte ich damit erreichen? 2. Erstellen von Anforderungen an die Usability eines Systems: (Wichtig: Die Usability eines Objekts ist: effective, efficient, engaging, error tolerant, easy to learn ) Habe ich Zugriff auf die bereits erstellten Usability Anforderungen? Welche Usability Anforderungen stehen mir zur Verfügung? Welche Priorität haben die einzelnen Anforderungen in Bezug auf das getestete Feature? (pro Anforderung: min. 5% - max. 80%) wenn keine Usability Anforderungen vorhanden sind oder man keinen Zugriff darauf hat, dann Erstellung von eigenen Anforderungen an die Usability 3. Erstellen einer Evaluationsstrategie: Was ist das Evaluationsziel? Welche Usability Anforderungen möchte ich untersuchen? Welche Art von Daten brauche ich für meine Evaluation? Qualitative Daten? Quantitative Daten? Welche Technik möchte ich für meine Evaluation verwenden? Beobachtung der Teilnehmer? Untersuchung des User Interface durch einen Experten? Andere Evaluationstechniken? Welches System/Feature/etc. evaluiere ich und in welchem Entwicklungsstadium befindet es sich? Welche Einschränkungen habe ich bei der Evaluation? Finanzielle Einschränkungen? Zeitliche Einschränkungen? Technische Einschränkungen? Einschränkungen in Bezug auf die Verfügbarkeit von Teilnehmern und Evaluierenden? Anmerkung: In einer Evaluationsstrategie werden oben genannte Fragen festgehalten, ebenso wie die Informationen, die einem dazu vorliegen, erste Ansätze und Fragen, die noch ungeklärt sind und den Zuständigen (Designer, etc.) noch gestellt werden müssen.) 4. Erstellen eines Evaluationsplans: 4.1. Aussuchen von Teilnehmern für die Evaluation: Welche Teilnehmer brauche ich in meiner Evaluation? Realer Teilnehmer? Repräsentativer Teilnehmer? Experte Wie viele Teilnehmer brauche ich? Brauche ich extra Teilnehmer für den Fall, dass jemand ausfällt? Wie viele Durchgänge brauche ich (schätzungsweise)? Wie sollen die Teilnehmer während der Evaluation arbeiten?
In Gruppen? Alleine? Mit Hilfsteilnehmern (Erziehungsberechtigte bei Kindern, Übersetzter bei Fremdsprachlern, etc.?) Sollen die Teilnehmer eine Vergütung bekommen? Wenn ja, welche? Anmerkung: Eine zufällige Auswahl von Teilnehmern macht keinen großen Sinn. Es ist sinnvoll ein präzise definiertes Teilnehmerprofil zu erstellen. 4.2. Erstellen eines Zeitplanes: Wie lange brauche ich für einen Evaluationsdurchlauf? (Wichtig: Ein Evaluationsdurchlauf sollte zwischen 30min und 90min dauern und bei langen Evaluationen sollten Pausen eingeplant werden.) Wie lange wird die Evaluation insgesamt in Anspruch nehmen? Anmerkung: Man erstellt bei einer Evaluation einen Wochenzeitplan und einen gesamten Evaluationsplan. Der Wochenplan enthält das Datum und die Uhrzeit der Evaluationsdurchläufe, der Durchführung der Analyse, des Schreibens des Analyseberichts und des Meetings zum Vorstellen der Ergebnisse) 4.3. Vorbereiten und Erstellen von Aufgabenstellungen: Welche Aufgabenstellungen passen auf die Usability Anforderungen, die ich untersuchen möchte? Soll der Teilnehmer festgelegte Aufgabenstellungen erhalten oder darf er sich selbst Aufgaben stellen? 4.4. Festlegung des Evaluationsortes und evtl. Buchung des Raumes: Wo soll die Evaluation stattfinden? Im Umfeld des Teilnehmers (Feldstudie)? In festgelegten Untersuchungsräumen (kontrollierte Studie)? Wo soll der Evaluierende den Teilnehmer beobachten? Im Raum? Außerhalb des Raumes? Wann führe ich die Evaluation durch? In welchem Raum führe ich die Evaluation durch? Bei kontrollierter Studie: vorzeitige Buchung des Raumes
User Interface und seine Evaluierung Teil II Joscha Zöpfgen Vorbereitung/Equipment Blätter für Notizen Audio/Video Evaluation Script Pilot Test Im besten Fall schon vor Rekrutierung der eigentlichen Teilnehmer Testen der Räumlichkeiten Zeitplanung für Aufgaben Überprüfen der Technik auf Vollständigkeit und Funktion Prüfen/Erstellen des Evaluation Script Evaluation Script Im Script sollte möglichst alles stehen was die Teilnehmer vor und während der Evaluation zu hören bekommen, dies stellt sicher das jeder Teilnehmer die selben Informationen erhält keine Informationen und Fragen vergessen werden Grober Ablauf Evaluation Begrüßung Einführung/Erklärung und rechtliches (Einverständnis für Aufnahme / Verschwiegenheitserklärung) evtl. vorab Interview Evaluierung Retrospective Protocol Danken Think-Aloud / Beobachtung wichtig: nicht der Teilnehmer wird getestet! zu viele Zwischenfragen können ablenken und den Arbeitsprozess verlangsamen Teilnehmer sollte im besten Fall erklären was und warum er grade etwas macht offene Fragen stellen um den Teilnehmer möglichst nicht zu beeinflussen Analyse und Interpretation Daten die zur Auswertung zur Verfügung stehen sollten Hintergrundinformationen zu Teilnehmern (un-/erfahren,..) Beobachtungen als Notizen Audio-/Videoaufnahmen quantitative Daten (gestoppte Zeiten) Fragebögen Retrospective Protocol erkannte Usability Probleme z.b. in Listenform Rohdaten möglichst zeitnah sammeln und zusammenfassen statistische Auswertung der quantitativen Daten
User Interface und seine Evaluierung! Teil III!!! Stefan Grund Usability-Inspektion / Heuristische Evaluierung Damit die Teilnehmer eines Usability-Tests nicht auf allzu große Probleme stoßen, empfiehlt es sich ergänzend zu diesem im Vorfeld eine Usability-Inspektion durchzuführen, bei der ein System auf einen Katalog von Richtlinien hin überprüft wird. Diese Richtlinien, auch Heuristiken genannt, müssen zunächst gewählt bzw. aufgestellt werden. Dies können z.b. sein: - Style Guides - Standards (z.b. ISO 9241) - Accessibility-Guidelines (z.b. WCAG) - Usability-Heuristiken von Jakob Nielsen Auch wenn andere Richtlinien gewählt wurden, ist ein Vergleich mit Nielsens Heuristiken empfehlenswert, da andernfalls Usability-Probleme übersehen werden könnten. Nach Nielsen ist ein System auf folgende Heuristiken zu überprüfen:! 1. Visibility of system status Zeigt das System dem Nutzer zu jedem Zeitpunkt und in angemessener Zeit (also innerhalb weniger Sekunden), womit es sich gerade beschäftigt? 2. Match between system and the real world Spricht das System die Sprache des Benutzers und folgt den Konventionen der realen Welt, anstatt systemorientierte Meldungen und (Fehler-)Codes auszugeben? 3. User control and freedom Gibt es immer einen Notausgang, der es dem Benutzer ermöglicht Unerwünschtes rückgängig zu machen? Gibt es Undo- und Redo-Buttons? 4. Consistency and standards Werden für Aktionen und Situationen, die dieselbe Sache beschreiben, einheitliche Terminologien verwendet? Werden Plattformkonventionen eingehalten? 5. Error prevention Wird Fehlern vorgebeugt, anstatt den Nutzer ständig mit Fehlermeldungen zu konfrontieren? 6. Recognition rather than recall Sind Objekte, Aktionen und Optionen ständig sichtbar? Haben sie einen guten Wiedererkennungswert? Werden Instruktionen angezeigt oder können angezeigt werden, wenn der Nutzer diese benötigt? 7. Flexibility and efficiency of use Besteht die Möglichkeit, Arbeitsschritte (z.b. über Tastaturkürzel) zu beschleunigen und anzupassen? 8. Aesthetic and minimalist design Werden nur relevante Informationen angezeigt? Sind die dargestellten Informationen so kurz und gehaltvoll wie möglich? 9. Help users recognize, diagnose, and recover from errors Sind Fehlermeldungen verständlich formuliert (keine Fehlercodes!)? Beschreiben sie das Problem präzise und bieten Lösungen an? 10. Help and documentation Verfügt das System über eine Hilfe-Funktion und Dokumentation? Kann diese durchsucht werden? Betreffen die Hilfestellungen die Arbeitsschritte des Nutzers? Gibt es Schritt-für-Schritt-Anleitungen? (vgl. auch Nielsens Webseite: http://www.useit.com/papers/heuristic/heuristic_list.html)
User Interface und seine Evaluierung! Teil III!!! Stefan Grund Der Gutachter der die Usability-Inspektion durchführt, testet nun das System und notiert die gefundenen Fehler und die verletzten Heuristiken. Dabei sollten folgende Punkte berücksichtigt werden: - Wo trat der Fehler auf? - Welche Heuristik wurde verletzt? - Beschreibung des Fehlers - Kommentar des Gutachters (ggf. bereits mit Handlungsempfehlung) Abschließend sollten die Usability-Fehler hinsichtlich der Notwendigkeit ihrer Behebung priorisiert werden und endgültige, genaue Handlungsempfehlungen zur Verbesserung des System gegeben werden. Variationen von Evaluationen Evaluationen bestehen aus den vier Grundelementen Observe, Compare, Listen und Measure. Die darin zur Verfügung stehenden Instrumente können so angepasst/ausgewählt werden, dass sie für die jeweilige Evaluation am sinnvollsten sind. Beispiele: Observe! - Direkte Nutzer-Beobachtung!! - Indirekte Nutzer-Beobachtung - Audio-/Videoaufnahmen - Eye-Tracking Compare! Listen! Measure! - Eigene Vorstellungen eines guten User-Interface-Designs - Heuristiken - Standard - Style Guides - Think-Aloud - Retrospective Protocol - Fragebögen - anschließende Fragebögen (bspw. um die Zufriedenheit zu überprüfen) - Zeit, die zur Erledigung eines Arbeitsschritts benötigt wurde - Anzahl der Fehler, die der Nutzer gemacht hat