Sitzung 10: Ergebnisse der Usabilityevaluation

Transkript

1 Mathematik und Naturwissenschaften, Ingenieurpsychologie und angewandte Kognitionsforschung Seminar Angewandte Kognitionsforschung Sitzung 10: Ergebnisse der Usabilityevaluation Dresden,

2 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 2 von 33

3 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen a. Berichtformen b. Rollen (Wer macht was?) c. Usabilityprobleme und Bedienfehler vs. Technische Störung/Technischer Defekt 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 3 von 33

4 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen a. Berichtformen b. Rollen (Wer macht was?) c. Usabilityprobleme und Bedienfehler vs. Technische Störung 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 4 von 33

5 1. Ergänzungen/Korrekturen Ergebnisbericht Summative Evaluation Common Industry Format (CIF) des American National Standards Institute (ANSI) in der ISO/IEC Inhalte des Berichts Produktbeschreibung Ziele der Testung, Untersuchungsteilnehmer Aufgabe der Teilnehmer (Instruktion), Untersuchungsdesign Methode oder Prozess der Versuchsdurchführung, Usabilitymaße und Datenerhebungsmethoden und die numerischenergebnisse 10: Ergebnisse Usability Folie Nr. 5 von 33

6 10: Ergebnisse Usability Folie Nr. 6 von 33

7 1. Ergänzungen/Korrekturen Ergebnisbericht Formative Evaluation: 1. Title Page 2. Executive Summary 3. Teaching Usability 4. Business and Test Goals 5. Method and Methodology 6. Overall Test Environment 7. Participants 8. Tasks and Scenarios 9. Results and Recommendations 10. Detail of Recommendations 11. Metrics 12. Quotes, Screenshots and Video 13. Conclusions 14. Next Steps 15. Appendice Beschreibung des Usabilityproblems Benennung Fundort Beschreibung erwartete Auswirkung (Ggf. Lösungsvorschlag)? Sinnvoll während formativer Evaluation? (Theofanos & Quesenbery, 2005; Sarodnick & Brau, 2006) 10: Ergebnisse Usability Folie Nr. 7 von 33

8 1. Ergänzungen/Korrekturen Ergebnisbericht Wie kann die Akzeptanz bei den Entwicklern und Entscheidern erhöht werden? Positive Aspekte benennen Probleme respektvoll und sachlich beschreiben Partizipation (Entwickler als Teil des Evaluatorenteams) Transparenz (Wie sind Ergebnisse und Vorschläge zustande gekommen?) Probleme priorisieren (Häufigkeit, Folgen) Konkrete Lösungsvorschläge unterbreiten 10: Ergebnisse Usability Folie Nr. 8 von 33

9 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen a. Berichtformen b. Rollen (Wer macht was?) c. Was ist eine individuelle Fehlerentdeckungsrate? d. Usabilityprobleme und Bedienfehler vs. Technische Störung 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 9 von 33

10 1. Ergänzungen/Korrekturen Wer macht was? Walkthrough Kogn. Analytische Verfahren Heuristische Evaluation Usability Test Empirische Verfahren Fragebögen Partizipativ Aufgabenausführung Beurteilung der Usability Nutzer - UP UP = Usability Professional UP, Nutzer, Entw. UP UP (datenbasiert) Nutzer nur oberflächliche Probleme? ggf. Domänenexperte notwendig 10: Ergebnisse Usability Folie Nr. 10 von 33

11 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen a. Berichtformen b. Rollen (Wer macht was?) c. Usabilityprobleme und Bedienfehler vs. Technische Störung 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 11 von 33

12 1. Ergänzungen/Korrekturen Problem/Fehler/Störung Definitionen Human Error Usabilityproblem Technische Störung Gelegentlich auftretende Fehlpassung zwischen Mensch und Maschine, die auf der Variabilität des Menschen beruht (Menschliches Versagen, Rasmussen, 1982) -> betrifft das Interface Gelegentlich auftretende Fehlpassung zwischen Mensch und Maschine, die auf der Variabilität des Systems beruht (Systemfehler, Rasmussen, 1982) Systematisch, häufig auftretende Fehlpassung zwischen Mensch und Maschine (Designfehler, Rasmussen, 1982) 10: Ergebnisse Usability Folie Nr. 12 von 33

13 1. Ergänzungen/Korrekturen Problem/Fehler/Störung Definitionen Norman (2013) 10: Ergebnisse Usability Folie Nr. 13 von 33

14 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 14 von 33

15 2. Ergebnispräsentation der Fehler- und Usabilityanalysen 3D-Drucker Lasercutter Tiefziehmaschine Lena Riese, Maria Wunderlich Sandra Hannig, Julia Schäke Rica Bönsel, Carolin Heumann 10: Ergebnisse Usability Folie Nr. 15 von 33

16 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 16 von 33

17 3. Zusammenfassung und Rückmeldung Was ist zu beachten? Planung, Planung, Planung (Auch für den Fall, dass etwas schief geht!) Regelgeleitet Vorgehen Zurückhaltung, aber ethisch problematisch Dokumentation Beurteilungsfehler 10: Ergebnisse Usability Folie Nr. 17 von 33

18 3. Zusammenfassung und Rückmeldung Konzeptuelles Modell/ deklarative Infos nötig? 3D-Drucker Lasercutter Tiefziehmaschine Prozedurale Infos nötig? : Ergebnisse Usability Folie Nr. 18 von 33

19 Was erwartet Sie heute? 1. Ergänzungen/Korrekturen 2. Ergebnispräsentation der Untersuchungen 3. Zusammenfassung und Rückmeldung 4. Ausblick 10: Ergebnisse Usability Folie Nr. 19 von 33

20 # Datum Inhalt Form Ort Studenten Einführung MS Design Gruppe BZW B101 alle Instruktion und Wissenserwerb 5. Ablauf Vortrag BZW B Aufgabenanalyse Vortrag BZW B Wissensanalyse Vortrag BZW B Aufgaben Analyse MS Aufgaben Präsentation BZW B Fehleranalyse und Usability-Evaluation Vortrag BZW B Usability Analyse MS 10 Usability Designentscheidung Präsentation BZW B Inhalt, Form Konzeption BZW B Vorwissen, Ablauf Konzeption BZW B Prototyp Konzeption, (Evaluation) Prototyp Präsentation MS Abschluss BZW B101 MS 10: Ergebnisse Usability Folie Nr. 20 von 33

21 4. Ausblick Interventionsvorschläge Statt Konzeption: Welche Vorschläge können wir für die Entdeckung, Verhinderung und Minderung der Folgen der gefundenen Probleme und Fehler anbieten? 10: Ergebnisse Usability Folie Nr. 21 von 33

22 4. Ausblick Interventionsvorschläge Suchen Sie sich drei Fehler/Probleme aus. Wie lassen sich die Fehler aus kognitionspsychologischer Sicht erklären? Welche Maßnahmen können zur Verhinderung der Fehler oder zur Entdeckung, Identifikation und Minderung der Fehlerfolgen ergriffen werden? 10: Ergebnisse Usability Folie Nr. 22 von 33

23 4. Ausblick Interventionsvorschläge Ordnen Sie die Gestaltungsvorschläge den Interventionsbereichen Design Auswahl Training Maschine Umwelt Aufgabe/ Prozess Tutorial Schulung zu! 10: Ergebnisse Usability Folie Nr. 23 von 33

24 4. Ausblick Interventionsvorschläge Mögliche Informationsquellen: Vorlesungsfolien (Bachelor und Master) Vorwissen aus Allgemeiner Psychologie Heuristiken? (siehe Anhang) Literatur, z.b. Wickens, C. D., Carswell, C. M., & Salvendy, G. (2012). Information Processing. In Handbook of Human Factors and Ergonomics (pp ). John Wiley & Sons, Inc. Retrieved from 10: Ergebnisse Usability Folie Nr. 24 von 33

25 Frohes Fest und guten Rutsch! 10: Ergebnisse Usability Folie Nr. 25 von 33

26 Literatur Deutsches Institut für Normierung. (1998). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten Teil 11: Anforderungen an die Gebrauchstauglichkeit Leitsätze (DIN EN ISO :1998). Berlin: Beuth-Verlag. Deutsches Institut für Normierung. (2008). Ergonomie der Mensch- System-Interaktion Teil 110: Grundsätze der Dialoggestaltung (DIN EN ISO :2006). Berlin: Beuth-Verlag. Gerhardt Powals, J. (1996). Cognitive engineering principles for enhancing human computer performance. International Journal of Human-Computer Interaction, 8(2), Nielsen, J. (1994). Heuristic Evaluation. In J. Nielsen & R. L. Mack (Eds.), Usability Inspection Methods (pp ). New York: John Wiley & Sons. Norman, D. A. (2013). Design of Everyday Things: Revised and Expanded Edition. New York: Basic Books. Rasmussen, J. (1982). Human errors. A taxonomy for describing human malfunction in industrial installations. Journal of Occupational Accidents, 4(2), Sarodnick, F. & Brau, H. (2006). Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung. Bern: Huber. Theofanos, M. & Quesenbery, W. (2005). Towards the design of effective formative test reports. Journal of Usability Studies, 1(1), : Ergebnisse Usability Folie Nr. 26 von 33

27 Anhang Anhang A: Designrichtlinien und Heuristiken Anhang B: Usabilityfragebögen 10: Ergebnisse Usability Folie Nr. 27 von 33

28 Anhang B: Nielsen (1994) Siehe auch nngroup.com/ articles/tenusabilityheuristics/ 10: Ergebnisse Usability Folie Nr. 28 von 33

29 Anhang B: Gerhardt Powals (1996) 10: Ergebnisse Usability Folie Nr. 29 von 33

30 Anhang B: Norman (2013) 10: Ergebnisse Usability Folie Nr. 30 von 33

31 Anhang B: Grundsätze der Dialoggestaltung 10: Ergebnisse Usability Folie Nr. 31 von 33

32 Anhang B: Deutsche Übersetzung der SUS 1. Ich denke, dass ich das System gerne häufig benutzen würde. 2. Ich fand das System unnötig komplex. 3. Ich fand das System einfach zu benutzen. 4. Ich glaube, ich würde die Hilfe einer technisch versierten Person benötigen, um das System benutzen zu können. 5. Ich fand, die verschiedenen Funktionen in diesem System waren gut integriert. 6. Ich denke, das System enthielt zu viele Inkonsistenzen. 7. Ich kann mir vorstellen, dass die meisten Menschen den Umgang mit diesem System sehr schnell lernen. 8. Ich fand das System sehr umständlich zu nutzen. 9. Ich fühlte mich bei der Benutzung des Systems sehr sicher. 10. Ich musste eine Menge lernen, bevor ich anfangen konnte das System zu verwenden. Unter doc 10: Ergebnisse Usability Folie Nr. 32 von 33

33 Anhang B: Links zu Fragebögen ISONORM: en_zur_beurteilung_der/fragebogen_isonorm_ online.htm IsoMetrics: 10: Ergebnisse Usability Folie Nr. 33 von 33