Fakultät Mathematik & Naturwissenschaften, Psychologie - HPSTS, Seminar Applied Cognitive Research. Usability-Evaluation. Theresa Tratzmüller

Transkript

1 Fakultät Mathematik & Naturwissenschaften, Psychologie - HPSTS, Seminar Applied Cognitive Research Usability-Evaluation Theresa Tratzmüller Dresden,

2 Gliederung Usability-Evaluation o Grundlagen Was ist ein Usability-Problem? Formative vs. summative Evaluation Vorbereitung einer Usability-Evaluation o Kurzer (!) Überblick über verschiedene Verfahren o Usability-Evaluation mittels Fragebogen o Vergleich der Verfahren Usability-Evaluation 2

3 Was ist ein Usability-Problem? Ein Usability-Problem liegt vor, wenn Aspekte eines Systems es Nutzern mit hinreichender Domänenerfahrung unangenehm, ineffizient, beschwerlich oder unmöglich machen, in einem typischen Anwendungskontext die Ziele zu erreichen, für deren Erreichung das System erstellt wurde. (nach Sarodnick & Brau, 2011, S.?, nach Lavery et al., 1997) Zufriedenheit / joy of use Effizienz Effektivität auch: Bezug zu Fehleranfälligkeit Usability-Evaluation 3

4 Handelt es sich hier um ein echtes Usability- Problem? Usability-Evaluation 4

5 P R O Z E S S Formative Evaluation Summative Evaluation P R O Z E S S Analytische Evaluation (durch Experten) eher angemessen Empirische Evaluation (durch Nutzer) eher angemessen Usability-Evaluation 5

6 Vorbereitung einer Usability-Evaluation (Burmester, 2003): Definition der Evaluationsziele/-kriterien Nutzungskontext-Analyse (Nutzergruppen, Aufgaben, Umgebung ) Welche Methoden können im vorliegenden Stadium des Entwicklungsprozesses überhaupt eingesetzt werden? Bestimmung der Evaluatoren (Usability-Experten vs. Nutzer/Domänen-Experten) Usability-Evaluation 6

7 Usability-Evaluation 7

8 Analytische Verfahren Ergebnisse: eher qualitativ! Formalanalytische Methoden Inspektionsmethoden Weitere Verfahren (vgl. Vorlesung) Aufgabenanalyse; Design Guidelines/ Expertenleitfäden Heuristische Evaluation; Walkthroughs Storyboards; Personas/Szenarien; User Interface Protoyping; Thinking aloud Usability-Evaluation 8

9 Empirische Verfahren Ergebnisse: eher quantitativ! Usability- Tests Fragebogen- Verfahren Usability-Evaluation 9

10 Analytische Verfahren 1 Design-Guidelines/ Experten-Leitfäden Aufgabenanalytische Verfahren Listen von in Kategorien gebündelten Gestaltungsanforderungen, die aus Grundlagen- Experimenten / Experten-Konsens abgeleitet wurden. Ein System wird durch Abhaken der Anforderungen überprüft. Wichtig: sorgfältige Auswahl einer jeweils passenden, hochqualitativen Guideline. Aufschlüsselung von Nutz-Aufgaben in kleine Untereinheiten, welche mittels einer formalen Modellsprache beschrieben werden. Einzelne oder kumulierte Bewertung der Teilaufgaben. Für sehr komplexe Systeme / Aufgaben eher weniger geeignet. Usability-Evaluation 10

11 Analytische Verfahren 2 Heuristische Evaluation Exploration eines Systems mittels genereller Prinzipien (Heuristiken). Durchführung durch Experten, wobei versucht wird, die Perspektive eines Endnutzers einzunehmen. Beispiele für Heuristiken: Sichtbarkeit des Systemstatus, Flexibilität & effiziente Nutzung Walkthroughs: Cognitive Walkthrough Es wird für jede Aufgabe eine Handlungsabfolge als Ideallösung entwickelt; dann wird versucht vorauszusagen, ob spätere Anwender von sich aus diese Handlungen in der richtigen Reihenfolge im System umsetzen können und werden. Hier interessiert nur die Heuristik Erlernbarkeit. Usability-Evaluation 11

12 Empirische Verfahren Usability-Tests Fragebogen- Verfahren Prinzip: Erprobung des System durch repräsentativer Laien-Nutzer anhand klar umgrenzter, realer/realistischer Aufgaben. Erhebungen z.b. durch Beobachtung, Video- Aufnahmen, Interviews nach Aufgabenbearbeitung, quantitative Messungen, Eye-tracking Systembewertung mittels Fragebogen im Anschluss an Umgang mit diesem. Große Bandbreite an verfügbaren Usability- Fragebogen, welche sich hinsichtlich Umfang, Standardisierungsgrad, Antwortformat, thematischem Schwerpunkt etc. unterscheiden. Auch möglich: Nutzungs-Tagebücher Usability-Evaluation 12

13 Fragebogen-Verfahren: - Kaum Beeinflussung durch Dritte - Klare Trennung von Evaluationsaspekten möglich - Relativ unaufwendig an jeder Stelle des Entwicklungsprozesses einsetzbar - Eine Vielzahl von Usability-FB liegt vor - Potenziell sehr große Stichproben verfügbar - Potenziell wenig Freiraum (je nach Standardisierungsgrad) - Beschränkung auf vom jeweiligen FB vorgegebene Bereiche nötig - Datenqualität abhängig von Qualität des Instruments - Sehr aufwendig in der Entwicklung Usability-Evaluation 13

14 Fragebogen-Eigenschaften 1: Antwortformat Abfrage von Kriteriumserfüllung; geschlossenes Format (ISONORM 9241/110-S, Prümper, 2010) Beurteilung anhand von Gegensatzpaar, geschlossenes Format (QUIS, Shneiderman 1987) Usability-Evaluation 14

15 Fragebogen-Eigenschaften 1: Antwortformat Zusätzliche Möglichkeit der Gewichtung (Priorisierung) & Beispiel-Nennung, also etwas weniger geschlossen (IsoMetrics, Gediga et al., 1999) Usability-Evaluation 15

16 Fragebogen-Eigenschaften 2: Fokus Eher auf Effektivität & Effizienz (an Normen orientierte Verfahren wie ISONORM 9241/110-S von Prümper, 2010, IsoMetrics von Willumeit, Gediga, & Hamborg, 1996) Eher auf Zufriedenstellung / joy of use / Attraktivität und subjektivem Nutzungserlebnis (z.b. QUIS, Shneiderman, 1987; SUMI/WAMMI von Porteous, Kirakowski, & Corbett, 1995, 2010 s.u.). Oder beides (AttrakDiff von Hassenzahl, 2003; User Experience Questionnaire UEQ von Laugwitz, Held & Schrepp, 2008) Usability-Evaluation 16

17 Fragebogen-Eigenschaften 3 Umfang Durchführungsdauer (von ca. 20 bis hin zu 90 Items) Anwendungsbereich Web-Verfügbarkeit Bezug zu Normierung Kostenfrei vs. kostenpflichtig Psychometrische Eigenschaften Hochwertige, auf Deutsch vorliegende und kostenfreie Verfahren sind z.b. ISONORM S, IsoMetrics & AttrakDiff. Usability-Evaluation 17

18 Praxisrelevanz der Methoden: Usability-Evaluation 18

19 Wissenschaftliche Relevanz der Methoden: Usability-Evaluation 19

20 Fazit: Es gibt nicht die richtige Methode der Usability- Evaluation. Welches Verfahren angemessen ist, hängt von diversen Faktoren ab: z.b. Evaluationsziel (formativ vs. summativ) Evaluationsgegenstand Stadium des Entwicklungsprozesses finanzielle Mittel Usw. Es muss also immer im Einzelfall abgewogen werden. Usability-Evaluation 20

21 Auflösung ISONORM S-Quiz: Die 7 Norm-Kriterien sind: Aufgabenangemessenheit Selbstbeschreibungsfähigkeit Erwartungskonformität Lernförderlichkeit Steuerbarkeit Fehlertoleranz Individualisierbarkeit. Usability-Evaluation 21

22 Usability-Evaluation 22

23 Quellen: Sarodnick, F., & Brau, H. (2011). Methoden der Usability- Evaluation. Bern: Huber/Hogrefe. Prümper, J.: Fragebogen ISONORM 9241/110-S, (zuletzt besucht: ). Auswertungstabelle: erster Treffer bei Eingabe ISONORM S Auswertung in Google. Usability-Evaluation 23