Usability Testing. Theorien, Modelle und Methoden der Softwareevaluation. Andreas Simon. Seminar Software Management

Größe: px

Ab Seite anzeigen:

Download "Usability Testing. Theorien, Modelle und Methoden der Softwareevaluation. Andreas Simon. Seminar Software Management"

Julian Schäfer
vor 8 Jahren
Abrufe

1 Usability Testing Theorien, Modelle und Methoden der Softwareevaluation Andreas Simon Seminar Software Management

2 Agenda Motivation Usability Referenz-Modell Analytische Evaluationsmethoden Heuristische Evaluation Usability Walkthrough Empirische Evaluationsmethoden Vorbereitungen Befragungen Ausführungsmetriken Verhaltensmetriken und physiologische Metriken Fazit 1

Walkthrough Empirische Evaluationsmethoden Vorbereitungen

3 MOTIVATION 2

4 Motivation Usability als erfolgsrelevantes Qualitätsmerkmal Entscheidungskriterien sind erforderlich Usability Testing 3

5 Einsatzzweck Prototyp-Evaluation Produktivsystem-Evaluation t Marktanalyse 4

6 USABILITY REFERENZ-MODELL 5

7 Usability Referenz-Modell Interaktion mit dem Produkt Eingabekanäle Ausgabekanäle Logische Nutzer- schnittstelle Zielbildung Ausführung Auswertung + + 6

8 Usability Referenz-Modell Logische Nutzerschnittstelle Ausgabe- daten Eingabekanäle Ausgabekanäle Dialog- management Eingabedaten 7

9 Logische Nutzerschnittstelle Existenz Relevanz Eindeutigkeit Einfachheit Konformität Konsistenz Beherrschbarkeit Anpassbarkeit Geschütztheit Anpassungsfähigkeit 8

10 Usability Referenz-Modell Interaktion mit dem Produkt Zielbildung Ausführung Auswertung Willensbildung Festlegen der Aktion Ausführung der Aktion Wahrnehmung des Umweltzustandes Interpretation des Umweltzustandes Evaluation des Ergebnisses 9

der Aktion Ausführung der Aktion Wahrnehmung des

11 Nutzerinteraktion Häufigkeit Dauer Physischer Stress Kognitive Belastung Wahrscheinlichkeit eines Fehlers 10

12 Usability-Referenz-Modell [Fakt f ATTRIBUT A 1 ] +/ [Aktivität a ATTRIBUT A 2 ] [Dialogmanagement INTERNE KONSISTENZ] [Interpretation FEHLERWAHRSCHEINLICHKEIT] ] 11

13 ANALYTISCHE EVALUATIONSVERFAHREN 12

14 Analytische Evaluationsverfahren Analytische Evaluationsverfahren Heuristische Evaluation Cognitive Walkthrough 13

15 Cognitive Walkthrough 14

16 Cognitive Walkthrough (Repräsentative) Aufgaben vorbereiten Optimale Aufgabenlösung entwickeln Evaluation der Nutzerschnittstelle 15

17 Cognitive Walkthrough: Evaluationsprozess Vergleich zwischen den tatsächlichen und den erwünschten Zielen eines Nutzers Zielkonflikt Probleme bei der Auswahl einer Aktion mit den gegebenen g Zielen Aktionskonflikt Die Auswirkungen der Systemantwort auf die Zielstrukturen des Nutzers 16

Probleme bei der Auswahl einer Aktion mit den gegebenen g Zielen

18 EMPIRISCHE VERFAHREN 17

19 Überblick: Usability Test Usability-Labor: Ein Arbeitsplatz mit verschiedenen Hilfsmitteln zur Usability- Messung Ein Testleiter Evtl. Einwegspiegel zur Beobachtung des Probanden Ein Proband zur Zeit Erhält konkrete Aufgabenstellung Formuliert Antwort zu der gestellten Aufgabe 18

Einwegspiegel zur Beobachtung des Probanden Ein Proband zur Zeit

20 Vorbereitung einer empirischen Evaluation Zusammenstellung der Testgruppe Anzahl mindestens 5 Probanden bei iterativen Tests mindestens 100 Probanden bei Abschlusstests Demografische Merkmale Alter Geschlecht Nutzungserfahrung Entwickeln von Aufgaben (Tasks) s) Kleine Menge von repräsentativen Aufgaben Abbildung des üblichen / gewünschten Nutzungsverhaltens 19

Demografische Merkmale Alter Geschlecht Nutzungserfahrung Entwickeln von Aufgaben (Tasks)

21 Think-aloud-Protocol Proband denkt laut Einblick in die Ziele / Gedanken des Nutzers (Identifikation von Ziel- / Aktionskonflikten) 20

22 Skalen-Typen Likert-Skala Ich lehne es stark ab Ich lehne es ab Ich weiß nicht / neutral Ich stimme zu Ich stimme stark zu Polaritätsprofil leicht schwierig schön hässlich intuitiv kompliziert 21

23 Befragungen After Scenario Questionnaire (ASQ) Effektivität ität Ich bin damit zufrieden, wie einfach ich die Aufgaben Ich lehne es stark ab erledigen konnte. Effizienzi Ich bin mit dem Zeitaufwand Ich lehne zufrieden, mit dem ich die es stark ab Aufgaben erledigen konnte Ich bin mit den Ich lehne unterstützenden Informationen es stark ab (Online-Hilfe, Nachrichten, Dokumentation) bei der Erfüllung der Aufgaben zufrieden. Zufriedenheit Ich stimme stark zu Ich stimme stark zu Ich stimme stark zu 22

24 Befragungen System Usability Score (SUS) Ich denke, dass ich dieses System gerne häufig nutzen würde. Ich fand das System unnötig komplex. Ich denke, ich würde die Hilfe eines Technikers benötigen, um das System benutzen zu können. Ich denke, das System war einfach zu benutzen. Ich halte die verschiedenen Funktionen des Systems für gut integriert. Ich halte das System für zu inkonsistent. i t Ich kann mir vorstellen, dass die meisten Leute sehr schnell lernen würden, mit dem System umzugehen. Ich fand das System sehr mühsam zu benutzen. Ich fühlte mich bei der Nutzung des Systems sehr sicher. Ich musste viele Dinge lernen, bevor ich das System nutzen konnte. SUM * 2,5 = Usability Score [Prozent] 23

25 Ausführungsmetriken Erfolgsrate Kodierung Bedeutung 1 Bearbeitung nicht erfolgreich 0 Bearbeitung erfolgreich Mittelwert über alle Probanden ergibt die Erfolgsrate 24

26 Ausführungsmetriken Erfolgspunktzahl: Kodierung Interpretation t ti 1,0 Vollständiger Erfolg (ohne Hilfestellung) 0,5 Teilweiser Erfolg 0,0 Aufgabe oder falsche Antwort Relative Häufigkeitsverteilung: Kodierung Bedeutung 1 Kein Problem 2 Kleinere Probleme 3 Größere Probleme 4 Fehlschlag / Aufgabe 25

27 Ausführungsmetriken Bearbeitungsdauer (Time-on-Task) Betriebswirtschaftlich irtschaftlich relevant In der Messung schwierig Leistungsdruck / Ineffizienzen Analyse Mittlere Bearbeitungsdauer Histogramm über verschiedene Intervalle Grenzwert vorgeben Anteil an erfolgreichen Probanden 26

28 Ausführungsmetriken Bearbeitungseffizienz: Messung des kognitiven und physischen Aufwands Anzahl der Klicks bis zur erfolgreichen Lösung (Spezialsoftware) Analyse: Vergleich zwischen Aufgaben mit ähnlicher Komplexität Vergleich im zeitlichen Verlauf 27

29 Verhaltensmetriken und physiologische Metriken Verbale Verhaltensweisen Positiv / neutral / negativ Häufigkeitsverteilung Nichtverbale Verhaltensweisen Gesichtsausdrücke Fingerklopfen (Elektrischer) Hautwiderstand Messung mittels Handschuhen Pulsfrequenz Eye-Tracking Physiologische Stressindikatoren 28

30 Eye-Tracking Heatmap 29

31 FAZIT 30

32 Fazit Großer Methodenkoffer verfügbar Analytische und empirische i Methoden Methoden zur Identifizierung von Problemen und zur Ursachenermittlung Kombination mehrerer Verfahren ist sinnvoll Usability Testing als steuerndes Verfahren zur Verbesserung von Usability 31

33 Vielen Dank für die Aufmerksamkeit! 32

Ähnliche Dokumente

Usability Testing - Theorien, Modelle und Methoden der Softwareevaluation

Westfälische Wilhelms-Universität Münster Ausarbeitung Usability Testing - Theorien, Modelle und Methoden der Softwareevaluation im Rahmen des Seminars Software Management Andreas Simon Themensteller: