Usability Testing 25.01.08 Roozbeh Faroughi Kapitel: 1.1 Inhalt 1. Usability 2. Usability Evaluation 3. Usability Testing 18.02.2008 Usability Testing 2 1
1.1 Usability Usability = Gebrauchstauglichkeit Kein Labor oder Forschungseinrichtung Benutzerfreundlichkeit Grad der Freundlichkeit eines Systems gegenüber dem Benutzer ist ein diffuses Konzept also Benutzbarkeit DIN EN ISO 9241-11: Effektivität, Effizienz, Zufriedenheit 18.02.2008 Usability Testing 3 1.1 Usability DIN EN ISO 9241-110: Aufgabenangemessenheit Selbstbeschreibungsfähigkeit Steuerbarkeit Erwartungskonformität Fehlertoleranz Individualisierbarkeit Lernförderlichkeit 18.02.2008 Usability Testing 4 2
1.1 Usability Usability Dreieck 18.02.2008 Usability Testing 5 1.1 Usability 4 Komponenten der Usability Benutzer Aufgabe Kontext Werkzeug 18.02.2008 Usability Testing 6 3
1.1 Usability Die Usability eines Hammers 18.02.2008 Usability Testing 7 1.2 Kluft Benutzer/SE Software-Experte Benutzer Perspektivenübernahme = psychische Zustände einer anderen Person (Denken, Fühlen, Wollen) verstehen Perspektivenübernahme von SE zu Benutzer Wesentlicher Bereich der Usability Engineering Benutzersicht systematisch in die Entwicklung einbeziehen 18.02.2008 Usability Testing 8 4
1.2 Kluft Benutzer/SE Don Normans Designer/User-Model Möglichst hohe Übereinstimmung vom Designer und User-Model 18.02.2008 Usability Testing 9 2. Zweck der Benutzer Zweck = Erreichen (Ziel), Aufrechterhalten bzw. Verhinderung (Interessen) von Sachverhalten Interessen wichtig für die Motivation der Benutzer Benutzer wollen evtl. Verhindern des Sachverhalts Jobverlust 18.02.2008 Usability Testing 10 5
2. User Experience User Experience (Norman 04) Positive Benutzungserlebnis Effektivität, Effizienz, Pleasure, Ästhetik, Coolness, Sexiness Marktvorteil 18.02.2008 Usability Testing 11 2. Usability Evaluation 18.02.2008 Usability Testing 12 6
2.1 Usability Evaluation Evaluation = (lat. Valuere = bewerten) Beschreibung, Analyse und Bewertung von Prozessen und Organisationseinheiten - Warum? Usability Probleme finden - Was? Usability Kriterien - Wo? Labor / Feldstudien - Wer? Experte / Benutzer - Wann? formativ / summativ 18.02.2008 Usability Testing 13 2.1 Usability Evaluation Evaluationsparadigmen: - Annahme + Methode Evaluationsmethoden durch Experten Heuristische Evaluation Cognitive Walkthrough Evaluationsmethoden durch Benutzer Usability Testing 18.02.2008 Usability Testing 14 7
2.2 Usability Evaluation durch Experten Heuristische Evaluation Gutachter überprüfen, in wieweit ein bestimmter Gestaltungsvorschlag mit anerkannten Prinzipien und Richtlinien des Usability-Designs übereinstimmt. Smith und Mosier (1986) 944 Guidelines Nielsen/Tahir (2002) 113 Empfehlungen Hompage Usability Web-Usability Nielsens Alertbox: z.b. The Ten Most Violated Homepage Desing Guidelines Top Ten Mistakes in Web Design AARP (Association for the Advancement of Retired Persons) (2004) stellen 20 Heuristiken zur Verfügung 18.02.2008 Usability Testing 15 2.2 Usability Evaluation durch Experten Cognitive Walkthrough Simulation des Problemlösungsverhalten der Benutzer Hauptfokus: Überprüfen Leichter Erlernbarkeit Definition von Aufgaben, Szenarien, Handlungsschritte Diese werden mit einer moderierten Diskussion mit dem Gutachtern kritisch betrachtet Diskussionsergebnisse werden protokolliert Mentale Prozesse statt Interface CW zu einem frühen Zeitpunkt sinnvoll Fehlinvestitionen zu vermeiden 18.02.2008 Usability Testing 16 8
3 Usability Testing 18.02.2008 Usability Testing 17 3.1 Usability Testing DECIDE Framework for User Testing (Preece, Sharp, Roger) Determine the goals & Explore the questions Choose the paradigm and techniques Identify the practical issues - design typical tasks and record what's mentioned above Deal with ethical issues Evaluate, analyze and present the data Comprehensive Testing Plan (Pearrow) 12 Schritte 18.02.2008 Usability Testing 18 9
3.1 Usability Testing Usability Testing Phasen 1. Testziele festlegen und daraus Fragen/Annahmen formulieren 2. Aufgaben zusammenlegen 3. Test-Umgebung und Testlregeln festlegen 4. Testperson / Zielgruppe festlegen (evtl. einladen) 5. Usability Attribute festlegen 6. Test Durchführen 7. Nachbesprechung 8. Analysieren und Bewerten der Daten/Beobachtung 9. Testbericht schreiben 18.02.2008 Usability Testing 19 3.1 Usability Testing 1. Testziele festlegen Was sind die Ziele der Evaluation? Beispiele: Funktioniert das (finale) Produkt Usability Probleme finden Welchen Einfluss hat das Produkt auf die Benutzer? Untersuchung kognitiver Fähigkeiten Untersuchen ob Annahme bestätigt wird Konkrete Fragen und Annahmen stellen Annahme: Ältere Menschen kommen mit dem Interface schlechter als jüngere Menschen zurecht 18.02.2008 Usability Testing 20 10
3.1 Usability Testing 2. Aufgaben definieren Test-Szenarios erstellen Szenario realistisches Beispiel Sicht des Anwendungsgebietes Standardaufgaben definieren Aufgabe mittleren Schwierigkeitsgrades Begriffe und Bezeichnungen, die in der Applikation vorkommen möglichst vermeiden (Beeinflussung vermeiden) 18.02.2008 Usability Testing 21 3. Usability Testing 3.1 Test-Umgebung festlegen Labor vs. Feldstudie Testing crew (Moderator, Protokollschreiber, Evaluator usw.) Hilfsmittel festlegen 3.2 Testregeln definieren Die Testperson darf den Test jederzeit unterbrechen bzw. abbrechen Sollte die Testperson mit einer Aufgabe nicht mehr weiterkommen, kann sie selbstständig zur nächsten Aufgabe weitergehen. Beobachter/ Evaluator darf sich nicht einmischen. 18.02.2008 Usability Testing 22 11
3. Usability Testing 4.1 Testpersonen festlegen erstellen von Personas = archetypische statt stereotypische Benutzerfiguren (Cooper 03) Unterschiedliche vs. gleiche Aufgaben / Kompetenzen Anzahl der Testpersonen Problem: Wahre Aussagen / Testergebnisse 4.2 Testpersonen einladen Anonymität, Verspechen das Informationen nicht an Dritte weitergegeben werden 18.02.2008 Usability Testing 23 3.1 Usability Testing 5. Usability Attribute festlegen Test-Subjekte (Proband), Test-Objekte definieren Vorbedingung, Nachbedingung, der Teilaufgaben festlegen unabhängige / abhängige Variablen (Carroll 02) Quantitative und qualitative Daten 18.02.2008 Usability Testing 24 12
3.1 Usability Testing 6. Test Durchführen Tester müssen sich so wohl wie möglich fühlen Fokus= Leistung des Systems, nicht der Probanden Keine Benutzerfehler, nur Systemfehler 18.02.2008 Usability Testing 25 3.1 Usability Testing 6. Test Durchführen Probanden erledigen die Testszenarien User Experience nicht betrachtbar Daher Think Aloud Protocols Proband: erzählt seine Ziele, Pläne, Reaktionen und Befürchtungen bei der Bewältigung seiner Test- Aufgaben qualitative Daten Testphase < 45 min. Evaluator/Beobachter unterbrechen die Testphase nur im Notfall keine Beeinflussung 18.02.2008 Usability Testing 26 13
3.1 Usability Testing 7. Nachbesprechung Fragebogen oder Interview mit dem Probanden Subjektive Meinung des Probanden User Experience (qualitative Daten) Fragebogen: Isometrics Bei vorhandener Zeit: Der Beobachter analysiert mit dem Probanden im Video nochmals die entsprechenden Stellen Dort wird eine Möglichkeit zur Verbesserung besprochen Proband darf sein Erlebtes kommentieren 18.02.2008 Usability Testing 27 3.1 Usability Testing 8. Analysieren und Bewerten der Daten Think-Aloud-Protokolle Video-Codierung Software Log-Files (Zeit, Webseiten, Clicks usw.) Fragebögen / Interviews Deskriptive Statistiken anhand der Zielgruppen erstellen (z.b. Mittelwertanalyse, Varianzberechnungen) 18.02.2008 Usability Testing 28 14
3.1 Usability Testing 8. Analysieren und Bewerten der Daten Gulf of Execution / Evaluation (Norman 86) 18.02.2008 Usability Testing 29 3.1 Usability Testing 9. Testbericht schreiben Gute wie schlechte Ergebnisse aufführen Für jede Schwachstelle bzw. Verbesserungsmaßnahme wird ein Schweregrad angegeben Schwachstellen mit Screenshots illustrieren Standardaufgaben sowie Beschreibung der Testpersonen werden angefügt Klare Untersuchung zu beobachteten Problemen und persönliche Vorschläge benennen. 18.02.2008 Usability Testing 30 15
3.2 Usability Testing: Stärken und Schwächen Stärken: Guter Nachweis der Schwachstellen Gute Beobachtung der Situation Die Beteiligten werden dazu gezwungen, einen Benutzer zuzusehen, ohne in das Geschehen einzugreifen. Jeder Usability Testleiter wird Ihnen versichern, dass die Scheibe zwischen Test- und Beobachtungsraum vor allem dazu da ist, die Beobachter davon abzuhalten, ein Benutzer zu helfen Beruht nicht auf Annahmen empirische Evaluation 18.02.2008 Usability Testing 31 3.2 Usability Testing: Stärken und Schwächen Schwächen: formale Usability Tests ist aufwendig Methode kommt spät zum Einsatz Gefahr: Testbericht landet in der Schublade da Mitteln und Kenntnisse für eine Verbesserung fehlen 18.02.2008 Usability Testing 32 16
Literatur Richter, Flückiger (2007): Usability Engineering Kompakt. Elsevier GmbH, München Cooper, Reimann (2003): About Face 2.0. Wiley Publishing, Indianapolis Norman (1990):The Design of Everyday Things. Doubleday, New York Rosson, Carroll (2002):Usability Engineering: Szenariobased Developement of Human-Computer Interaction, Morgan Kaufmann Publishers, San Francisco Preece, Rogers, Sharp (2002): Interaction Design. Wiley & Sons, New York 18.02.2008 Usability Testing 33 Vielen Dank für Ihre Aufmerksamkeit 18.02.2008 Usability Testing 34 17