Usability Evaluation Daniel Felix felix@easy-to-use.ch fld1@bfh.ch Unterlagen und Anweisungen unter: www.giessform.ch/wordpress
Projekt Konstruktion einer neuen Lösung Benutzungsmodell Checklisten (DO / DONOT -Liste) GUI-Styleguides User-Requirements... Eine Lösung nach Usability Kriterien entwickelt ist automatisch gut oder? Falls nein was tun?
Evaluierung! Prüfen anhand von Kriterien > Expertise Prüfen anhand Gebrauch > Evaluierung mit Benutzern
Benutzungszentrierte Entwicklung (nach ISO 13 407) Anforderungen Interviews Usability-Labor Benutzer-Analyse Requirements Analyse Evaluierung Tätigkeits-Analyse Entwurf erfüllt Anforderungen Prototyp-Entwurf Entwurfsworkshops Beobachtung
Expertise Regeln anwenden, um festzustellen ob alles richtig gemacht wurde Regeln: Normen: ISO 9241-110 Gestaltgesetze Best Practice / Erfahrung (Erwartungskonform) > eine Expertise erwarten wir nicht (explizit), implizit wird erwartet, dass Sie diese einhalten > Selbstprüfung! > Allenfalls Lösungsbegründung
Usability-Kriterien ISO 9241/10 Aufgabenangemessenheit Steuerbarkeit Erwartungskonformität Selbstbeschreibungsfähigkeit Fehlertoleranz Individualisierbarkeit Lernförderlichkeit
Aufgabenangemessenheit Ein Dialog ist aufgabenangemessen, wenn er den Benutzer in der effektiven und effizienten Erledigung seiner Aufgabe unterstützt, ohne ihn durch Eigenschaften des Dialogsystems unnötig zu belasten. Die Applikation präsentiert dem Benutzer nur die Information, die ihn in der Erledigung seiner Aufgabe unterstützt. Funktionen, welche nicht dem Eingriff des Benutzers bedürfen, werden automatisch ausgeführt. Das System bietet alle zur Aufgabenerfüllung benötigten Informationen und Funktionen in einer der verlangten Arbeitshandlung entsprechenden Form und Reihenfolge an.
Steuerbarkeit / Flexibilität und Wahlmöglichkeiten Ein Dialog ist steuerbar, wenn der Benutzer die Geschwindigkeit des Ablaufs sowie die Reihenfolge und Menge der Ein- und Ausgaben beeinflussen kann. Das System gibt dem Benutzer keine bestimmte Arbeitsgeschwindigkeit vor. Der Dialog kann jederzeit unterbrochen und danach wieder an der Unterbrechungsstelle fortgeführt werden.
Erwartungskonformität Ein Dialog ist erwartungskonform, wenn er in allen Zuständen dem Modell entspricht, das sich der Benutzer vom System gebildet hat (mentales Modell). Dialogverhalten und -erscheinung innerhalb eines Systems sind konsistent. Dialoge für ähnliche Aufgaben sind zueinander ähnlich, so dass der Benutzer allgemeingültige Problemlösestrategien entwickeln kann. Weicht die Antwortzeit des Systems von der zu erwartenden Antwortzeit ab, wird der Benutzer darüber informiert.
auch das ist ein mentales Modell
und da fehlt uns eines
Selbstbeschreibungsfähigkeit Ein Dialog ist selbstbeschreibungsfähig, wenn dem Benutzer auf Verlangen Einsatzzweck sowie Leistungsumfang des Dialogsystems erläutert werden können und wenn jeder einzelne Dialogschritt unmittelbar verständlich ist. Es werden Informationen und Erklärungen ausgegeben, die zum Verständnis der Arbeitsweise des Anwendungsprogramms beitragen (z.b. Funktionsumfang, Hinweise zum Umgang mit Fehlermeldungen, Hinweise zur Benutzung der Hilfsfunktionen). Informationen und Erklärungen sind in ihrer sprachlichen Gestaltung auf die Benutzer und die spezifische Situation abzustimmen (z.b. Verwendung von Fachbegriffen aus der Berufswelt des Benutzers).
Fehlertoleranz Ein Dialog ist fehlertolerant, wenn - trotz erkennbar fehlerhafter Eingaben - das beabsichtigte Arbeitsergebnis mit minimalem oder ohne Korrekturaufwand erreicht wird. Das System lässt so weit wie möglich keine Fehler zu, da es die Eingaben des Benutzers eigenständig überprüft. Fehlermeldungen geben konkrete Hinweise zum Ort des Fehlers beziehungsweise der Fehlerursache und zu Möglichkeiten der Fehlerbehebung. Sie sind verständlich formuliert und einheitlich strukturiert.
Individualisierbarkeit Ein Dialog ist individualisierbar, wenn der Benutzer ihn seinen Bedürfnissen und persönlichen Fähigkeiten in Hinblick auf eine bestimmte Arbeitsaufgabe anpassen kann. Es werden Mechanismen zur Verfügung gestellt, mit denen das Dialogsystem an Sprache und Kultur, sowie Wissensstand und Fähigkeiten des Benutzers angepasst werden kann. Der Benutzer hat die Möglichkeit, Objekte und Funktionen mit seinem eigenen Vokabular zu benennen. Der Benutzer kann zwischen verschiedenen Eingabemöglichkeiten für verschiedene Aufgaben wählen.
Lernförderlichkeit Ein Dialog ist lernförderlich, wenn er den Benutzer bei der Erlernung des Systems so unterstützt, dass der Lernaufwand möglichst gering ist. Der Dialog ist so strukturiert, dass es dem Benutzer leicht fällt, ein mentales Modell der Struktur des Dialogs aufzubauen. Relevante Lernstrategien (Exploration, learning by doing) des Benutzers werden unterstützt.
Gestaltpsychologie ( Wertheimer Gestaltgesetze (nach Max Gestaltgesetze können die Entstehung von Wahrnehmungseindrücken nur beschreiben Vorhersage der Wahrnehmung ist kaum möglich Deutung unter Zuhilfenahme der G-Gesetze ist stets subjektiv und eine nicht allgemeingültige Interpretation Gestaltgesetze sind nützliche Werkzeuge zur Beschreibung der Wahrnehmung und ihrer Organisation
Gestaltgesetze Gesetz der Nähe Gleiche Elemente (Elemente mit gleichem Reiz) mit geringeren Abständen zueinander werden als zusammengehörig wahrgenommen. Gesetz der Ähnlichkeit Das Gesetz der Ähnlichkeit besagt, daß einander ähnlich sehende Elemente eher als zusammengehörig erlebt werden als einander unähnlich sehende. Die Ähnlichkeit kann hierbei auf Helligkeit, Farbe, Orientierung, Größe und/ oder Form bezogen sein.
Wahrnehmung Gestaltpsychologie: Prägnanz: Jede zusammengesetzte Figur, die nicht auf Anhieb erkannt wird, wird so interpretiert, dass sich die einfachsten Formen ergeben.
Wahrnehmung Gestaltpsychologie: Prägnanz: Jede zusammengesetzt Figur, die nicht auf Anhieb erkannt wird, wird so interpretiert, dass sich die einfachsten Formen ergeben. Das neue Design des Ferrari ;-)
Gestaltgesetze Das Gesetz des gemeinsamen Schicksals Gemäß dem Gesetz des gemeinsamen Schicksals werden Elemente einer Reizvorlage, die eine Bewegung oder Veränderung, beispielsweise durch Drehung oder Verschiebung, in die gleiche Richtung erfahren, als Einheit wahrgenommen.
2472
Symmetrie Nach dem Gesetz der Symmetrie ziehen symmetrische Anordnungen die Aufmerksamkeit des Betrachters spürbar auf sich. Eine symmetrische Anlage unterstützt demnach die klare Gliederung von Inhalten. Im gestaltpsychologischen Sinne ist eine wohlgeformte Balance dann erreicht, wenn die visuellen Elemente gleichmäßig auf den beiden Seiten einer Achse verteilt sind.
Figur - Grund Menschliche Wahrnehmung ordnet optische Sinneseindrücke in die Kategorien Figur und Grund. Zu den Eigenschaften von Figur und Grund gehören [Goldstein, 2002]: Eine Figur wirkt dinghafter. Man behält sie leichter im Gedächtnis als den Hintergrund. Die Figur steht vor dem Hintergrund. Der Hintergrund erstreckt sich hinter der Figur und wird als ungeformtes Material gesehen. Konturen, die eine Figur vom Hintergrund trennen, werden als Teil der Figur wahrgenommen.
Umkehrbedeutung Eindeutigkeit Umkehrtäuschung Diese bekannte Zeichnung, die man als Bildnis eines jungen Mädchens oder einer alten Frau sehen kann, stammt von dem Psychologen E. Boring 0894
Farbkontrast 1942
Geradlinigkeit 2481 Geradlinigkeit Horizontale Kanten scheinen sich auszudehnen, vertikale hingegen sich zusammenzuziehen.
Spiral-Illusion 2477 Spiral-Illusion Konzentrische Felder von Punkten erscheinen als Spiralen
Bewegungstäuschung 2478 Bewegungs-Illusion Der eingesetzte innere Teil scheint sich zu bewegen. Wenn die retinale Bewegung nach rechts ist, geht die scheinbare Bewegung des Innenteils nach oben. Wenn die retinale Bewegung aufwärts ist, geht der Bewegungseindruck nach rechts.
Bewegungstäuschung Bewegungs-Illusion Die beiden Ringe bewegen sich in unterschiedliche Richtung, wenn das Kreuz fixiert wird und die Sehdistanz geändert wird, d.h. die Ringe vergrössert bzw. verkleinert werden. 2479
Merkmalhierarchie: Stroop - Test 1725 BLAU GRÜN ROT GELB ORANGE VIOLETT TÜRKIS ROT ROT ROT ROT ORANGE ORANGE ORANGE ORANGE GELB GELB GELB GELB TÜRKIS TÜRKIS TÜRKIS TÜRKIS GRÜN GRÜN GRÜN GRÜN BLAU BLAU BLAU BLAU BLAU GRÜN GRÜN ROT ROT GELB GELB ORANGE TÜRKIS VIOLETT VIOLETT VIOLETT VIOLETT VIOLETT VIOLETT ORANGE GELB BLAU GELB
Informationsverarbeitung: Konstruktion eines Suchtestes E F bzw. O Q E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E F E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E F E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E F E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E Objektänderung (E) durch Fortlassen eines Elementes derselben Dimension (F) O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O Q O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O Q O O O Q O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O Q O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O Q O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O 2288 Objektänderung (O) durch Hinzufügen eines Elementes einer anderen Dimension (Q)
Kanitzsa-Figur 1857 1857
Unvollständige Information
Grössenkonstanz im Kontext 1152
Bedeutung des Kontextes l2 A BlBl C l4 1687 D S O R1687
Bcuhsatbenslaat Wuram knenön Sei deiesn Txet fast moelhüs lseen? Die Regihenfloe der Buhcsatebn ist dcoh vlonstlädig ducirhenaednr! Aebr dauarf kmomt es acuh gar nihct an. Das stleletn birstihce Wesesnhcaftlsir brieets vor mher als 25 Jhraen fset. Sie baetn Sendutten, Txete mit cohaticsh vetrusachetn Bcuhsatebn zu leesn. Kenier von inehn httae Peborlme dmiat, sloagne nur de esrte und der ltetze Bcushtbae jeeds Wroets rihcitg war. Das Ermpexint biesewt, dsas Wetörr als gnaze whemogranmen wreedn, und dsas das Hrin biem Lseen stniädg Hpoyhtseen afutslelt. Wnen scih dsiee biem Bcilk auf das Writbold acuh nue ofberllcähcih bsietetägn, wreedn die ennilezen Busahtcebn pkarctsih gar nchit mher wramgomhenen. 2873 Spiegel Spezial (4,2003) Die Entschlüsselung des Gehirns
Evaluation mit Benutzern Wieso sich der Mühe unterziehen? Grosser Aufwand Ertrag? Wen es Regeln gibt geht doch einfacher?
Die Rolle des Benutzers Der Benutzer ist der Spezialist für die Benutzung! Expertentum kann Partizipation nicht ersetzen know your user (> Benutzerprofile) >Benutzerpartizipation
Benutzerpartizipation Bereits in frühen Projektphasen Integriert in den Projektablauf Reviews mit heterogenen Benutzergruppen Moderation ist wichtig, Gruppendynamik berücksichtigen
Benutzerpartizipation führt zu: Aufgabenangemessenen Benutzungsschnittstellen Höherer Akzeptanz Besserer Arbeitsgestaltung Mehr Kommunikationsaufwand
Testmethoden mit Benutzern Befragung, Beobachtung: zur Klärung von Wünschen, Anforderungen > Konzeptphase Walkthrough: Begehung eines einfachen Prototypen: zur Klärung von Eindruck, Akzeptanz, Struktur > frühe Prototypphase Labor-Usability-Test: Selbständiges Arbeiten an einem ausgereifteren Prototypen anhand von Szenarien: zur Klärung der Bedienbarkeit, Zielerreichung > ausgereifte Prototyphase, pre-production Feld-Test: Wie Labor, unter realistischen Bedingungen: zum Einbezug von Umgebungsfaktoren > ausgereifte Prototyphase, pre-production
Grundlage der Benutzertest Um testen zu können, muss man etwas zum Zeigen haben Fertige Lösungen sind gut zu zeigen, aber aufwendig zu verbessern Entwürfe sind auch gut zu zeigen, aber leicht(er) zu verbessern > Prototyping
Wireframes Layoutraster Definiert welcher Content wohin kommt Beispielhafte Inhaltsangabe (Widgets, Texte etc.) Inhalt ist Platzhalter
Titelbanner Content Metanavigation Hauptnavigation Service- Navigation
Comps Realistische Screendesigns Zusammengesetzt aus bestehenden Elementen Layoutvariationen Meist zur internen Layoutdiskussion
Storyboards Sammlung von Screenskizzen, die einen Ablauf zeigen Szenariobasiert: welche Schritte führen zum Ziel Zeigt die Konsistenz der Bedienung, erlaubt Abschätzung ob das Ziel erreicht werden kann
HiFi Prototyping Interaktive: Erlaubt es Benutzern, mit den visualisierten Screens zu arbeiten Ist schlussendlich das Instrument zur Prüfung (Evaluierung) der konzeptionellen Modells Enthält beschränkte Funktionalität
Evaluationsmethoden mit Benutzern Walkthrough Usability Test Laufen grundsätzlich gleich ab, die Rolle des Moderator und der Beobachter sind etwas anders Basis sind: Szenario Benutzer Beobachtung
Szenario Typisches Ziel das mit der Applikation erreicht werden kann Keine Schlüsselbegriffe verwenden Kontext setzen Warum will ich das Ziel erreichen Ev. wer bin ich Was will ich mit dem Ziel Etc. Auf Verständlichkeit prüfen! Keine exotischen Ziele wählen
Benutzer Vertreter aus der Zielgruppe (er oder sie muss letztlich mit dem System arbeiten und ist daher das Mass der Dinge) Für Walkthrough 3-5 (pro klar unterscheidbare Zielgruppe) Für Usability Test 5-8 (pro klar unterscheidbare Zielgruppe) 5 Benutzer zeigen 75-80% der Probleme reicht für eine qualitative Aussage Mischen nach demographischen und anderen relevanten Gesichtspunkten Freiwillige (in der Regel ) resp. mit deren Einverständnis (Video!) Was ist das Ziel? Möglichst viele Defizite finden? Oder Testpersonen quälen?
Beobachtung Im Walkthrough: Moderator sitzt neben/hinter dem Benutzer Beobachter sitzen etwas weg vom Benutzer/Moderator Benutzer sollen kommentieren Im Usability Test: Moderator und Beobachter sitzen weiter weg (ideal in einem separaten Raum) und beobachten via Kamera / verspiegelte Scheibe, was die Benutzer tun Benutzer sollen, müssen aber nicht kommentieren
Laut-Denken Protokoll Literatur:...funktioniert nicht Aufgabenlösen vs. Diskurs auf Metaebene Nur ein Log der aktuellen Absichten und Gedanken (Was?) Keine Gedanken auf Metaebene (Weshalb?, Wie?) Aus Mausklicks kann man die Intentionen des Anwenders nicht ablesen Methode mit zwei Testpersonen Ein natürliches Laut-Denken Protokoll Verfälscht aber (Surfer sind einsam)
Interaktion Im Walkthrough: Moderator steht für Rückfragen zur Verfügung, fragt sofort nach wenn etwas unklar war oder etwas interessantes passiert ist Moderator hakt bei Schlüsselfragen nach ( war das klar? ) Im Usability Test: Moderator gibt allenfalls Tipps, wenn Benutzer nicht mehr weiterkommen. Erst am Schluss werden in einem Interview Fragen gestellt.
Konzept des Usability-Labors Testraum Regieraum F E N S T E R
Konzept des Usability-Labors Testraum V1 Regieraum Mikro V3 Tisch mit Ein- /Ausgabe- Geräten F E N S T E R 2 Sitzplätze V2
Konzept des Usability-Labors Testraum V1 Regieraum Mikro V3 Tisch mit Ein- /Ausgabe- Geräten F E N S T E R Auswertungsplatz (Monitoring, Videoschnitt etc.) 2 Sitzplätze V2
Klinische Atmosphäre Arbeit im Labor ist nicht repräsentativ für den Arbeitsplatz des Anwenders Testperson kann sich sehr beobachtet fühlen, kleine Schwächen werden sichtbar, werden sogar filmisch dokumentiert Jedoch: Wenn ein System schon im Labor versagt... Testperson ist wichtigster Teil des Testsystems. Seine Expertise steht in keiner Weise zur Diskussion Erfolg = Fehler und Defizite finden Kameras etc werden nach wenigen Minuten nicht mehr wahrgenommen Labor wohnlicher gestalten (Pflanzen, Bilder,..).
Ziele Walkthrough Verständnis Akzeptanz der Lösung Flow (laufen die Aktivitäten rund ) Stolpersteine Subjektive Bewertung
Ziele Usability Test Zielerreichung Verhalten der Benutzer Benutzungsfreundlichkeit, (Be-)Nutzungsqualität Stolpersteine Subjektive Bewertung
Planungsphase Definition realistischer Tätigkeiten Rekrutierung von potentiellen Benutzern Vorbereitungen Messinstrumente Eventdefinition Fragebogen aufbereiten Zeitplan der Versuche definieren Vorbereitungen Usability-Labor Probelauf
Testphase Begrüssung der Versuchsperson Erklären des Usability-Labors Erklären der Aufgaben Nicht der Benutzer wird getestet, sondern das System! Fragen können gestellt werden! Versuch Fragebogen (zur Person und Erfahrung) Aufgaben Fragebogen zum System Interview Verabschiedung
Mögliche Datenerhebung/-analyse Video vom Bildschirm Video vom Benutzer Lautes Denken? Protokoll durch Beobachter Interview
Abschlussphase Stolpersteinen anhand der Videoaufzeichnungen identifizieren Benutzerkritik am Produkt definieren (Leistungsmessungen auswerten) Auswertung der Fragebögen (Videozusammenschnitt erstellen) Schlüsse ziehen, Massnahmen zur Optimierung festlegen (Bericht verfassen, Diskussion der Ergebnisse mit dem Auftraggeber (Workshop))
gefundene Schwierigkeiten eingebaute Navigationsschwierigkeiten sinnfreie Einhaltung von Standards Überfülle von Daten (5+- 2 Regel) Darstellung irrelevanter Informationen Standardantworten mit unerwarteten Resultaten uneinsichtige / keine konzeptuellen Modelle
Schwierigkeiten, Schwächen des Labors Probanden verhalten sich nicht wie normal? Auftraggeber will die Resultate nicht umsetzen Keine Messgrössen Verbesserung muss wieder getestet werden
Anforderungen an Testteam Gute Beobachtungsgabe Gute Kenntnisse in Wahrnehmung, Technik, Einfühlungsvermögen Sich zurücknehmen können Analytische Fähigkeiten