Usability Engineering 3 Messmethoden der Mensch-Maschine- Systemtechnik

Transkript

1 Elektrotechnik und Informationstechnik Institut für Automatisierungstechnik, Professur für Prozessleittechnik Usability Engineering 3 Messmethoden der Mensch-Maschine- Systemtechnik VL MMS Wintersemester 2012/13 Professur für Prozessleittechnik L. Urbas; J. Ziegler

2 Ziele und Inhalt Evaluationen im Usability Engineering Einordnung, Merkmale, Ziele Anwendungskontext und Einsatzmöglichkeiten Methoden der Usability-Evaluation Klassifikation und Charakterisierung ausgewählter Methoden Anwendbarkeit und Nutzen Organisation eines Evaluationsexperiments Planung, Durchführung und Auswertung Dokumentation TU Dresden, MMST Urbas, Ziegler Folie 2

3 EVALUATIONEN IM USABILITY ENGINEERING TU Dresden, MMST Urbas, Ziegler Folie 3

4 Einordnung in das Vorgehensmodell nach ISO Spezifikation Durchführung Auswertung TU Dresden, MMST Urbas, Ziegler Folie 4

5 Evaluation = systematische, möglichst objektive Bewertung eines geplanten, laufenden oder abgeschlossen Projektes (Sarodnick 2006) = alle Aktivitäten und/oder Ergebnisse, die die Bedeutung, Verwendbarkeit, Wert, Wichtigkeit, Zweckmäßigkeit,... einer Sache beurteilen bzw. bewerten. (Baumgärtner 1999) = Beschreibung, Analyse und Bewertung von Evaluationsobjekten mögliche Evaluationsobjekte: Personen Produkte Zielvorgaben Systeme/Strukturen Umwelt- bzw. Umgebungsfaktoren Techniken und Methoden Programme/Projekte Forschungsergebnisse andere Evaluationen (Gediga 1996) TU Dresden, MMST Urbas, Ziegler Folie 5

6 Usability-Evaluation = Evaluation von Gebrauchstauglichkeit zentrales Instrument des Usability-Engineering Einsatz in allen Phasen des Usability-Engineering Formativ: entwicklungsbegleitend (z.b. Bewertung von Iterationsschritten) Aufzeigen von Usability-Problemen Auffinden konkreter Verbesserungsmöglichkeiten Summativ: abschließende Bewertung der Gesamtqualität globale Bewertung kein Aufzeigen konkreter Verbesserungsmöglichkeiten TU Dresden, MMST Urbas, Ziegler Folie 6

7 Evaluationsziele und -kriterien Zielklassifizierung von Evaluationen: (Gediga, Hamborg 2002) Which is better? - Vergleich von Varianten How good? - Erhebung der Ausprägung bestimmter Eigenschaften Why bad? - Usability-Probleme aufdecken Evaluationskriterien gemäß DIN : Effektivität Effizienz Zufriedenstellung TU Dresden, MMST Urbas, Ziegler Folie 7

8 Wiederholung: Anwendungsrahmen Ziele definieren Nutzungskontext bestimmen Maße der Gebrauchstauglichkeit festlegen TU Dresden, MMST Urbas, Ziegler Folie 8

9 METHODEN DER USABILITY-EVALUATION TU Dresden, MMST Urbas, Ziegler Folie 9

10 Kategorien der Usability-Evaluation Nicht-Empirische Methoden: überwiegend expertenorientiert Usability-Experten versetzen sich in Nutzer-Situation geeignet für frühe Konzepte Empirische Methoden: überwiegend benutzerorientiert Beobachtung und Befragung der Nutzer funktionale Prototypen notwendig Empirie: (griech.: embiría - die Erfahrung) auf methodischem Weg gewonnene Erfahrung ggf. gezieltes Induzieren von Beobachtungen durch Experimente Sammeln von Informationen/Daten durch gezielte Beobachtung Objektivität und Wiederholbarkeit der Beobachtungen TU Dresden, MMST Urbas, Ziegler Folie 10

11 Ausgewählte Methoden Nicht-Empirische Methoden: Inspektionsmethoden Empirische Methoden: Usability Tests Heuristische Evaluation Cognitive Walkthrough Formal-Analytische Methoden GOMS-Modelle Expertenleitfäden Lautes Denken Video-Observation Fokusgruppen Logfile-Analysen Standardisierte Befragungen (Fragebögen) Überprüfung nach Standards, Richtlinien, Guidelines TU Dresden, MMST Urbas, Ziegler Folie 11

12 Heuristische Evaluation Ziel: Aufdecken und Identifizieren möglicher Usability- Probleme bei möglichst geringem Aufwand wenige Usability-Experten prüfen System auf Verstöße gegen eine Heuristik Verstoß = potentielles Usability-Problem Heuristik erlaubt Problemklassifikation und Folgenabschätzung 3 bis 5 Experten können ca. 75% der Usability-Probleme finden (Nielsen 1993) Problem: u.u. ist komplexes Domänenwissen nötig Heuristik: Ausdruck erwünschter Interaktionseigenschaften zwischen Nutzer und System TU Dresden, MMST Urbas, Ziegler Folie 12

13 Heuristische Prinzipien nach Nielsen 1. Sichtbarkeit des Systemstatus 2. Übereinstimmung zwischen System und realer Welt 3. Benutzerkontrolle und Freiheit 4. Konsistenz und Standards 5. Fehler vermeiden 6. Erkennen vor Erinnern 7. Flexibilität und effiziente Nutzung 8. Ästhetisches und minimalistisches Design 9. Unterstützung beim Erkennen, Verstehen und Bearbeiten von Fehlern 10. Hilfe und Dokumentation (Nielsen 1994) TU Dresden, MMST Urbas, Ziegler Folie 13

14 Cognitive Walkthrough (CWT) Ziel: Sicherstellen, dass unerfahrenen Nutzern schneller Wissenserwerb durch Exploration des Systems möglich ist Durchführung: Zerlegung von Aufgaben in idealtypische Handlungsabfolgen kritische Analyse durch Usability-Experten nach 4 Leitfragen: 1. Wird der Nutzer versuchen, den gewünschten Effekt zu erzielen? 2. Wird der Nutzer erkennen, dass die korrekte (also notwendige) Handlung ausgeführt werden kann? 3. Wird der Nutzer erkennen, dass die korrekte Handlung zum gewünschten Effekt führen wird? 4. Wird der Nutzer den Fortschritt erkennen, wenn er die korrekte Handlung ausgeführt hat? Erfassen von Misserfolgen Lösungsfindung TU Dresden, MMST Urbas, Ziegler Folie 14

15 Cognitive Walkthrough (CWT) Mögliche Ergebnisse: Das System ist nicht explorativ erlernbar Ungünstige Benennungen von Bedienelementen Diskrepanz im Aufgabenkonzept zwischen Nutzer und Entwickler Inadäquates System-Feedback Voraussetzungen: Screenshots oder Mock-Ups Keine Versuchspersonen, keine lauffähigen Prototypen TU Dresden, MMST Urbas, Ziegler Folie 15

16 Usability-Tests Empirischer Test mit echten Benutzern in kontrollierten Situationen (meist Laborsituationen) Vorteile: umfangreiche qualitative Daten, die zeigen, wie echte Benutzer ein Produkt handhaben Erhebung quantitativer Daten möglich Nachteile: Tests finden zumeist in Laborsituation statt (Übertragbarkeit?) Prototyp notwendig viel Ausrüstung und Organisationsaufwand notwendig, um Tests durchzuführen TU Dresden, MMST Urbas, Ziegler Folie 16

17 Lautes Denken Testpersonen interagieren mit dem Produkt, während sie alles was sie denken und tun laut aussprechen Vorteile: Benutzer teilen mit, was sie warum tun, während sie es tun (keine Rationalisierung möglich) einfache Durchführung Nachteile: Doppelbelastung: Aufgabe + lautes Denken keine (quantitative) Performance-Messung möglich TU Dresden, MMST Urbas, Ziegler Folie 17

18 Video-Observation / Feedback Video-Observation: Aufzeichnen wie Versuchsperson mit Produkt interagiert und anschließende Analyse Video-Feedback: Kombination aus Video-Observation und retrospektivem Laut-Denken TU Dresden, MMST Urbas, Ziegler Folie 18

19 Video-Observation / Feedback Vorteile: detaillierte Handlungsanalysen möglich Wiederholung verpasster oder zu schneller Sequenzen möglich nachträgliche Zeitmessungen möglich Nachteile: Auswertung sehr zeitaufwendig hoher apparativer Aufwand keine Einblick in Denkweise des Nutzers TU Dresden, MMST Urbas, Ziegler Folie 19

20 Weitere Usability Test-Methoden Plus-Minus-Methode: Die Testpersonen interagieren mit dem Produkt Bewerten bestimmter Eigenschaften ihrer Wahl Fokusgruppe: Moderierte Diskussion mit Teilnehmern über vorgegebene Fragen zu einem Produkt und bewerten bestimmter Eigenschaften oder Funktionen Geeignet für Akzeptanztests von Produkten / Funktionen Pfadanalyse / Logfile-Analyse: Aufzeichnung und Auswertung objektiv messbarer Kriterien direkt während der Programmausführung TU Dresden, MMST Urbas, Ziegler Folie 20

21 Fragebögen Ziel: Quantitative Messung subjektiver Nutzer-Aussagen Gütekriterien: Validität (Empirische Gültigkeit) Reliabilität (formale Zuverlässigkeit) Objektivität (Kontextunabhängigkeit) Auswertung: meist statistische Verfahren Vorsicht: Ergänzen, Verändern oder Löschen einzelner Items häufig kritisch (gilt insb. auch für Übersetzungen!) Häufig unzulässig, oder Auswertung nur mit bestimmten Verfahren (die geringere Teststärke besitzen) zulässig TU Dresden, MMST Urbas, Ziegler Folie 21

22 Fragebögen Aufbau: Items = Fragen/Aussagen: Offene Fragen (z.b. Wie ist Ihr Beruf?) Geschlossene Fragen (ja/nein-fragen, ggf. weiß nicht) Eingruppierungsfragen Summenfragen Antwort: Multiple Choice (einschl. ja/nein) Rating-Skalen (stimmt wenig, stimmt, stimmt sehr) Rangordnung Freitexte Zusätzlich: Einfach-/Mehrfachauswahl, Ergänzungsoptionen Subskalen (auch: Dimensionen) = Unterthemen z.b.: 7 Gestaltungsanforderungen gem. ISO TU Dresden, MMST Urbas, Ziegler Folie 22

23 Fragebögen Probleme bei der Entwicklung: Entwicklung ist aufwendig, denn Validität, Reliabilität und Objektivität müssen gesichert sein Entwurf am besten durch Experten deshalb: Rückgriff auf Standard-Fragebögen (falls möglich) Orientierung an EN ISO : IsoMetrics ISONORM-Fragebogen Software Usability Measurement Inventory (SUMI) AttrakDiff TaskLoadIndex(NASA-TLX) TU Dresden, MMST Urbas, Ziegler Folie 23

24 Fragebögen Probleme bei der Durchführung: Unterschiedliche Interpretation von Fragen und mgl. Antworten Antworttendenzen methodische Reaktivität Systematische Fehleinschätzung zentrale Tendenz Antworten sind subjektiv und selbstreflexiv Proband bewertet anhand einer beschränkten, individuell geprägten Erfahrungswelt Proband rationalisiert sein Verhalten Proband differenziert nicht nach den vorgesehenen Kriterien, sondern beurteilt den Gesamteindruck (Halo-Effekt) TU Dresden, MMST Urbas, Ziegler Folie 24

25 ORGANISATION EINES EVALUATIONS- EXPERIMENTS TU Dresden, MMST Urbas, Ziegler Folie 25

26 Fünf Phasen eines Experiments 1) Definieren des Problems durch Hypothesen Vermutung über (Kausal)Zusammenhänge 2) Experiment planen (Wie messe ich Was?) Konzeptualisierung und Operationalisierung (Messbarmachung) Experimentaldesign 3) Durchführung Akquise von Versuchspersonen, Entwicklung von Materialien ggf. Vorstudie (funktioniert alles?) 4) Analyse der Daten Statistische Auswertung 5) Bewertung der Hypothesen und Schlussfolgerung Unterstützen Befunde die Hypothesen. Warum? TU Dresden, MMST Urbas, Ziegler Folie 26

27 Aufstellen von Hypothesen Hypothese (griech.: Unterstellung): Wissenschaftlich formulierte Aussage über einen vermuteten Ursache-Wirkungs-Zusammenhang Die Existenz bestimmter Ursachen- und Randbedingungen (Explanans) erzeugt ein singuläres Ereignis als Wirkung (Explanandum) Raum-Zeit-bezogene Stabilität des erklärten Zusammenhangs erlaubt neben der Erklärung auch eine Prognose Empirische Bewährung und Bestätigung gibt Hinweise für Gestaltungs- und Handlungsempfehlungen in der Praxis TU Dresden, MMST Urbas, Ziegler Folie 27

28 Aufstellen von Hypothesen Eigenschaften: Beispiele: Teil eines systematischen Zusammenhangs Widerspruchsfrei in sich und zu anderen Hypothesen Empirisch überprüfbar, also prinzipiell widerlegbar Operationalisierbar (in beobachtbare Begriffe übertragbar) Enthält keine Wertung (sollte, müsste, richtig, gut) Kann Nebenbedingungen enthalten Es besteht ein positiver Zusammenhang zwischen Motivation und Ergebnisqualität. Wenn die Methoden des Usability-Engineering konsequent genutzt werden, dann erhöht sich die Gebrauchstauglichkeit des Produktes. Je früher Nutzer in den Entwicklungsprozess einbezogen werden, desto eher werden Fehler in der Anforderungsanalyse erkannt. TU Dresden, MMST Urbas, Ziegler Folie 28

29 Aufstellen von Hypothesen Arten: Verteilungshypothese Aussage über die Anzahl von Objekten in einer Klasse Zusammenhangshypothese Aussage, welche Objekte zwei interessierende Merkmale aufweisen Wirkungshypothesen (Kausalhypothese) Aussage über Ursachen Unterschiedshypothese Aussage über die Verteilung von Merkmalen bei Objekten, die zu unterschiedlichen Klassen gehören TU Dresden, MMST Urbas, Ziegler Folie 29

30 Hypothesen in der Statistik Gegensatzpaar Nullhypothese H 0, und Alternativhypothese H A (H 1 ) H 0 und H 1 sind disjunkt und operationalisiert H 0 negiert den postulierten Zusammenhang Kein Unterschied oder kein Zusammenhang Ziel: H 0 soll verworfen werden, um H 1 zu bestätigen Testproblem: Aufgabe, zwischen H 0 und H 1 zu entscheiden Gerichtet (unterstellen einen Unterschied zwischen den untersuchten Kennwerten in eine bestimmte Richtung) oder ungerichtet (unterstellen lediglich einen Unterschied) Spezifisch (machen Aussagen über die Größe des erwarteten Zusammenhang) oder unspezifisch (machen dazu keine Aussage) Einfach (es liegt nur eine einzelne Verteilung zu Grunde) oder zusammengesetzt (Verteilung gehört einer Familie von Verteilungen an) TU Dresden, MMST Urbas, Ziegler Folie 30

31 Planung des Experiments Operationalisieren von Hypothesen: Hypothesen beobachtbare Phänomene zuordnen (operationalisieren) Messverfahren festlegen (Messmodell) Sämtliche beeinflussenden Variablen identifizieren Unabhängige Variablen (UV) Abhängige Variablen (AV) Moderierende Variablen (Kontrollierte Größen und Störgrößen) TU Dresden, MMST Urbas, Ziegler Folie 31

32 Planung des Experiments Experimentaldesign festlegen Experiment oder Quasi-Experiment Zweigruppenexperiment oder Mehrgruppenexperimente Ein- oder Mehrfaktorieller Entwurf Within- oder Between-Subjects (oder Mixed Design) Versuchsmethodik auswählen Überprüfung: Liefert gewählte Methode die gesuchten Ergebnisse? TU Dresden, MMST Urbas, Ziegler Folie 32

33 Planung des Experiments Versuchsplan aufstellen Ablaufplanung (Was passiert wann in welcher Reihenfolge?) Entwurf eines Szenarios Entwurf von Versuchsaufgaben (repräsentativ, prozessorientiert) Auswahl von Testpersonen (Wie viele VPn und in welcher Zusammensetzung?) Auswertung planen Wie sollen Messgrößen ausgewertet werden? (Statistische Verfahren festlegen) Überprüfung: Passt die Auswertung zum Experiment? TU Dresden, MMST Urbas, Ziegler Folie 33

34 Auswahl von Testpersonen Definition einer relevanten Zielgruppe gemäß Nutzungskontext Anzahl vs. Kosten und Verfügbarkeit 5 VPn decken 80% Usability-Probleme auf (Nielsen 1993) 50 VPn: Varianz geht gegen 0 (Faulkner 2003) Bewusste Auswahl vs. Zufallsauswahl Ziehen einer Stichprobe, die repräsentativ für die Zielgruppe ist Verfügbarkeit Vermessbarkeit (z.b.: Blickbewegung bei Brillenträgern) Eignung (z.b.: Besitz eines Führerscheins) Selektionseffekte (Wie wird ZG angesprochen?) TU Dresden, MMST Urbas, Ziegler Folie 34

35 Auswahl von Kontrollvariablen Frage: Wurden tatsächlich alle (externen) Variablen berücksichtigt, welche die AV beeinflussen? Konfundierungseffekt: Das untersuchte Phänomen wird von zwei oder mehr Bedingungen gleichzeitig beeinflusst Manipulierte Variablen + Störvariablen Quellen für externe Variablen: Unterschiede der Versuchspersonengruppen Unterschiede in den Versuchsbedingungen der einzelnen Gruppen Ziel: Sicherstellen, dass unkontrollierte Variablen nicht konfundieren, da sonst keine Aussagen über Beziehungen möglich sind TU Dresden, MMST Urbas, Ziegler Folie 35

36 Durchführung des Experiments Ein Produkttest hat typischerweise vier Phasen: Vorbereitung Präparieren des Raums, Kontrolle der Ausrüstung Einführung (Briefing) Erklären des Zweck des Tests Hinweis auf Freiwilligkeit und Verschwiegenheit Erklären der Vorgehensweise beim Test, ggf. Training Frage nach Fragen Der Test selbst Rückzug des Versuchsleiters auf die Position des Beobachters Abschlussgespräch (Debriefing) ggf. Erklären des tatsächlichen Zwecks des Tests Entlohnung/Bezahlung TU Dresden, MMST Urbas, Ziegler Folie 36

37 Auswertung Deskriptive Analyse Vergleich von Mittelwerten und Verteilungsparametern Beschreibung der Stichprobe Inferenzstatistik Schluss auf Gesamtmenge: Wie groß ist die Wahrscheinlichkeit, dass der Unterschied wirklich Resultat der Manipulation und kein Zufallseffekt der Stichprobe ist? Bekannteste Scoring-Verfahren 2 Gruppen: t-test (Hypothesentest mit t-verteilter Prüfgröße) N Gruppen: ANOVA (Analysis of Variance) TU Dresden, MMST Urbas, Ziegler Folie 37

38 Wichtig: Dokumentation Wichtigste Tätigkeit in sämtlichen Projektphasen! Durchführung: Versuchsprotokolle Diskussionsprotokolle (Pro Contra, Konsens) Logfiles Videos Auswertung Darstellung der Ergebnisse Aufbereitung der Ergebnisse Bewertung: Hypothesen bestätigen / ablehnen Interpretationen/Schlussfolgerungen darlegen TU Dresden, MMST Urbas, Ziegler Folie 38

39 Zusammenfassung Evaluation = systematische, möglichst objektive Bewertung eines geplanten, laufenden oder abgeschlossen Projektes zentrales Instrument in allen Phasen des Usability-Engineering Fragestellungen: How good? / Which is better? / Why bad? Empirische und nichtempirische Methoden E: Usability Tests und Befragungen NE: Inspektionsmethoden und formal-analytische Methoden Evaluationsexperimente bestehen aus 5 Phasen Problembeschreibung, Planung, Durchführung, Analyse, Bewertung Probleme werden über Hypothesen formuliert und operationalisiert Wichtigste Tätigkeit: Dokumentation in allen Phasen TU Dresden, MMST Urbas, Ziegler Folie 39

40 Literatur Baumgärtner, Peter (1999): Evaluation mediengestütztes Lernens : Theorie - Logik - Modelle. In: Kindt, Michael [Hrsg.]: Projektevaluation in der Lehre : Multimedia an Hochschulen zeigt Profil(e). Münster [u.a.], Waxmann. Sarodnick, F. und Brau, H. (2006): Methoden der Usability Evaluation, Wissenschaftliche Grundlagen und praktische Anwendung. Hans Huber Verlag. Nielsen, Jakob (1993): Usability Engineering. In: Wickens, C.D., Lee, J.D., Liu, Yili, Becker, S.E.G.(2004): An Introduction to Human Factors Engineering. Second Edition. Pearson Prentice Hall, Upper Saddle River. Wickens, C.D.; Lee, J. D.; Liu, Y. und Becker, S. E. G. (2004): An Introduction to Human Factors Engineering. Second Edition. New Jersey: Pearson Prentice Hall. Rubin, J.; Chisnell, D. und Spool, J. (2008): Handbook of Usability Testing: Howto Plan, Design, and Conduct Effective Tests. Second Edition. John Wiley & Sons. TU Dresden, MMST Urbas, Ziegler Folie 40