Usability Evaluation

Transkript

1 Usability Evaluation

2 Brainstorming: Wie könnte die Usability einer Applikation evaluiert werden? Wer evaluiert Was wird evaluiert? Wie und wann wird evaluiert? Wo wird evaluiert?

3 Überblick Ziele und Arten von Software-Evaluation Expertentests Walkthrough Experteninspektion und Heuristische Evaluation Benutzertests Usability Lab Usability Tests Klassifizierung von Erhebungsmethoden Beobachtung Lautes Denken (Thinking Aloud) Eye Tracking Meinungsbasierte Evaluationsmethoden Andere Evaluierungsmethoden Fallstudie zu Usability Evaluierung im medizinischen Bereich

4 Teil des Software Engineerings Usability-Engineering ergänzt das klassische Software- Engineering Bild:

5 Ziele von Software-Evaluation Welche Lösung ist besser? : alternative Softwaresysteme oder Designalternativen werden miteinander verglichen, um das am besten geeignete auszuwählen Wie gut? : in welcher Ausprägung wurden vorab definierte Usability Ziele oder Normen erreicht; zielt auf Bewertung eines Softwaresystems ab Worin schlecht? : Schwachstellen und Gestaltungsvorschläge für eine Systemweiterentwicklung werden gesucht, Gründe identifizieren, Anstoß für Verbesserungen

6 Summative und formative Evaluation Formative Evaluation Begleitende Evaluation Ergebnisse haben Konsequenzen für die weitere Entwicklung einer Software Schwerpunkt ist die Verbesserung und Qualitätsentwicklung eines Produktes Summative Evaluation Evaluation wird an einem (fast) fertigen System durchgeführt und ein globales Urteil abgegeben

7 Expertentests Expertentests Produkt oder Entwurf der Benutzungsschnittstelle Ergonomie-Experten beurteilen aufgrund der Normen und ihrer Erfahrung Experten sollten die zu erledigenden Aufgaben kennen Vorteil Erfahrene Tester entdecken viele nicht-offensichtliche Einschränkungen Nachteil Schlechte Bewertbarkeit und Reproduzierbarkeit von Erfahrung Experten sind nicht die Nutzer Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

8 Walkthrough Inspektionsmethode, bei der ein bzw. mehrere Experten ein System beurteilen Evaluationsgegenstand: Systementwurf, ein Prototyp oder ein fertiges System Aufgabenabläufe in Form von Bildschirmansichten präsentiert Ohne User-Einbindung, möglichst früh Pluralistic Walkthrough: verschiedene Experten Cognitive Walkthrough: kognitive Verhalten des Users, wenn er die Aufgabe versuchen würde zu bearbeiten, simuliert Nachteil: fehlende Möglichkeit zur eigenständigen Exploration

9 Experteninspektion und Heuristische Evaluation Software wird von Spezialisten begutachtet Genaue Kenntnisse über Usability, Nutzer und Aufgabenanforderungen oftmals mit Hilfe von detaillierten Kriterienkatalogen durchgeführt Heuristische Evaluation Spezielles Beispiel der Experteninspektion durch Heuristiken angeleitet, die besonders benutzerfreundliche Software beschreiben

10 Beispiel zu Katalogen: EVADIS ΙΙ

11 Beispiel: 10 Heuristiken von Nielsen und Mack (1994) + Aspekte f. Mobile Geräte 1. Einfacher und natürlicher Dialog, 2. Software spricht die Sprache des Benutzers, 3. Gedächtnisbelastung des Benutzers ist minimal, 4. Konsistenz (dieselbe Aktion führt immer zum selben Ergebnis), 5. Feedback (Rückmeldung des Systemstatus an den Benutzer), 6. Klar gekennzeichnete Ausstiegspunkte (Möglichkeiten zum Beenden von Aktionen), 7. Shortcuts ( Abkürzungen für häufig benötigte Operationen), 8. Gute Fehlermeldungen, 9. Fehlervermeidung (Software ist so gestaltet, dass Fehler erst gar nicht auftreten), 10. Hilfe und Dokumentation. 11. Ergänzung: Ergonomie

12 Benutzertests Charakteristika von Benutzertests Echte Anwender testen Ausgewählte, typische spätere Benutzer (vgl. Persona ) Prototyp oder (fast) fertiges Produkt Möglichst vollständige Arbeitsschritte (vgl. Aufgabenanalyse) Interviews oder/und Fragebögen Vorteil Finden fehlende Daten oder Funktionen, nicht passende Abläufe Nachteil Benutzer sind nicht genormt (Ergebnis hängt auch von der Tagesverfassung ab) Ergebnisse sind oft nicht genau reproduzierbar Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

13 Beispiel: Mobiltelefon (Video) Bild: Video:

14 und wo kann getestet werden? An Ort(en) und Stelle(n): Feld-Studie Remote im Labor Vorsicht: Mobile Applikationen müssen auch im realen Anwendungskontext getestet werden, nicht nur unter Laborbedingungen, da die Ergebnisse nicht ausreichend übertragbar sind.

15 Usability Lab Bild:

16 Usability Lab Anwender testen Software unter reproduzierbaren Bedingungen Aktionen werden aufgezeichnet Tastatur- und Maus-Aktionen. Bildschirminhalt wird dokumentiert Benutzer wird gefilmt Methode des lauten Denkens Äußerungen, Mimik, Gesten dokumentieren Physiologische Werte (Stresslevel) Puls, Blutdruck oder Herzrhythmus (EKG) Orientierung des Benutzers Eye-Tracking-Systeme Bild: Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

17 Usability Lab Bedingungen Aufwändige technische Ausstattung Software-Hersteller Dienstleister Reproduzierbare Bedingungen An einem echten Arbeitsplatz nicht machbar Keine Störungen Räume sollten gegen äußere Störungen isoliert sein (Normale Büroatmosphäre) Überlastetes Firmennetz Bild: zeitschrift/heft2_99/artikel02/einfach1.jpg Klingelnde Telefone Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

18 Usability Lab - Nutzen Software-Umgebung des Kunden Aufwändig nachzustellen Eher Standardumgebungen, -daten und -aufgaben Vergleichbarkeit gegeben Quantitative Daten Klicks, Anschläge und Zeitintervalle Entwickler erleben echte Anwender mit ihrer Software Live oder per Videoaufzeichnung Video (Windows 8) Video (whatusersdo) Quelle: Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

19 Evaluations-Tools für mobile HCI Touch Heatmaps Screencasts In-App Analytics Statistiken zur Verwendung von Funktionen, Verweildauer, etc. AppSee: UXCam:

20 Usability-Test: Durchführung 1 Motivation -> Startpunkt Warum wird das System nicht so verwendet wie geplant? Zielgruppe analysieren System kennen lernen Spezifizieren wo und wie getestet wird (Testdesign) Aufgaben definieren Testpersonen rekrutieren Material für das Testen zusammenstellen; Vorgehen definieren Durchführungen der Tests (Wichtig: Briefing) Auswertung und Aufbereitung der Ergebnisse (Ranking) Präsentation

21 Usability-Test: Durchführung 2 Tester ist stiller Beobachter Ziel: Aufgabe lösen (evtl. zunächst Exploration) Zuerst leichte Aufgaben Sicherstellen ob es auch für die Testperson lösbar ist Hinweise: Nach einer gewissen Zeit Wenn Testperson nicht mehr weiter weiß Zeit nicht vergessen Insgesamt nicht länger als 1.5 Stunden

22 Was ist eine gute Aufgabe? Relevant für die Zielgruppe und realistisch Relevant für den Erfolg des System Soll nicht zu allgemein aber auch nicht zu spezifisch sein Hat einen eindeutigen Endpunkt Lösungswege sollen eindeutig sein Soll als ein wirklichkeitsnahes Szenario beschrieben werden Nicht länger wie nötig, aber mit allen nötigen Infos In Benutzersprache und verständlich

23 Usability Test Beispiel Zielperson: Jugendliche System: Webportal Vorinterview Erfahrungen mit ähnlichen Portalen Erwartung vom Portal Aufgaben mit jeweils Abschlussfragen Zufriedenheit mit dem System Verbesserungsvorschläge Abschlussinterview Allgemeine Eindrücke Gut bzw. schlecht gefallen Orientierung Erwartungen erfüllt?

24 Quantitative/ Qualitative Daten Quantitative Daten In Zahlen messbare Ergebnisse Dauer der Bearbeitung, Anzahl Klicks, Anzahl Fehler Befindlichkeit oder Zufriedenheit der Benutzer Qualitative Daten Von Beobachtungen / Konversation Sprachlich ausgedrückte Ergebnisse Allgemeiner Eindruck Probleme bei der Interaktion Mixed Methods Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

25 Beobachtung von trainierten Beobachtern durchgeführt eignet sich besonders gut, wenn Benutzer nicht gut verbalisieren können Beobachtung im Nutzungskontext auch Arbeitsumstände werden miteinbezogen Beobachtungen im Labor eine mit dem Verhalten des Nutzers zeitgleiche Beobachtung ist schwierig wegen Fülle an Informationen meist retrospektiv mit Videoaufzeichnungen durchgeführt

26 Lautes Denken (Think Aloud Protocols) Benutzer werden gebeten, alle Gedanken und Überlegungen, die im Zusammenhang mit der Aufgabenlösung stehen, zu verbalisieren präaktional periaktional postaktional -> Videokonfrontation Probleme: schwierig, komplexe, innere Abläufe zu verbalisieren künstliche Situation Video:

27 Thinking Aloud Beispiel 1 Runtastic ist eine Sport-Tracking-App Aufgabe: Du verwendest diese App für herzfrequenzbasiertes Lauftraining. Bei der letzten Ruhepulsmessung hast du festgestellt, dass dieser nun 10 Schläge langsamer ist als bei der Messung zuvor. Nun möchtest du die Herzfrequenzzonen in der App ändern.

28 Thinking Aloud runtastic start screen Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

29 Thinking Aloud runtastic side menu Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

30 Thinking Aloud runtastic settings Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

31 Thinking Aloud Beispiel 2 Runtastic ist eine Sport-Tracking-App Aufgabe: Während du läufst, stehen dir einige Quick-Settings zur Verfügung. Diese werden durch Symbole repräsentiert. Welche Funktion könnte sich hinter den Symbolen verstecken?

32 Thinking Aloud Beispiel 2 runtastic icons Aufgabe Was könnte dieses Symbol bewirken? Thinking aloud Alle Gedanken laut aussprechen

33 Thinking Aloud Beispiel 2 runtastic icons Aufgabe Was könnte dieses Symbol bewirken? Thinking aloud Alle Gedanken laut aussprechen

34 Eye tracking (Video) Video:

35 Meinungsbasierte Evaluationsmethoden Wenige standardisierte mündliche Interviewmethoden Meist Fragebögen Operationalisierung der 7 Kriterien der Isonorm 9241/110: Isonorm 9241/110, Isometrics, Ergonorm Weitere Fragebögen: Quis, Eu-Con 2, IfADo, Sumi, Ergonorm, NASA-TLX

36 ISONORM 9241/110 - Fragebogen Jochen Prümper, Michael Anft 1993 Orientiert sich an der DIN 9241, Teil 110 Sieben Gestaltungsgrundsätze à fünf Fragen Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

37 ISONORM -Fragebogen - Ergebnis Kurze Angaben über die Expertise Zusammenfassendes Urteil über die Software Freitext für Kommentar In 15 bis 20 Minuten zum Beantworten Ergebnis Erster Eindruck der Gebrauchstauglichkeit Keine Details Keine speziellen Aspekte Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

38 Isometrics

39 ErgoNorm

40 QUIS und SUMI QUIS - Questionnaire for User Interface Satisfaction 5.4. Messages which appear on screen: confusing clear NA Mit dem Fragebogen werden erfasst: Zufriedenheit, Bildschirmgestaltung, Informationsgestaltung, Erlernbarkeit, Effizienz, Geschwindigkeit, Zuverlässigkeit, Qualität der Handbücher, Online Hilfe SUMI - Software Usability Measurement Inventory

41 Freude mit AttrakDiff messen Messen von hedonische Qualität Interviews mit Fragen zur Befindlichkeit und Zufriedenheit Qualitative Ergebnisse Nicht gut vergleichbar Evaluationsverfahren AttrakDiff Quantitative Analyse Bedienbarkeit, Aussehen, Attraktivität 23 gegensätzliche Begriffspaare sympathisch unsympathisch, verwirrend übersichtlich, Skala von 1 bis 7 Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

42 AttrakDiff Quelle:

43 Gegensatzpaare - Aufgabe Tripcake ist ein Tool zur Erstellung von Reisen mit Freunden 1. Testet tripcake für 5 Minuten auf dem eigenen Device unter 2. Nach 5 Minuten startet eine Umfrage unter

44 Andere Methoden Evaluierung Mit Nutzern vs. Ohne Nutzer Quantitative vs. Qualitative Field Studies vs. Lab Studies Pre-Design, During-Design, After-Design Formativ vs. Summativ / Usability vs. Utility Heute: Fokus Usability Evaluierungs Methoden Low-cost Informell

45 Health-ITUEM Health-IT Usability Evaluation Model von der Theorie zur Praxis

46 Health-ITUEM Übersicht Mobile Health-IT / ehealth- & Gesundheits-Apps > Apps Usability oftmals mangelhaft Spezielle Anforderungen komplexe Systeme, aber einfachste Handhabung angestrebt Zielgruppe Kranke Health-ITUEM = Usability-Evaluierungsmodell für mhealth

47 Health-ITUEM Hintergrund Ein Startup entwickelt eine Webapp zur Arzt-/Patientenkommunikation. Die Webapp soll zum ersten Mal von Usern getestet werden. Planung des Usability-Tests Testdurchführung auf verschiedenen Endgeräten Quelle: Stonebird IT Solutions

48 Health-ITUEM Prozess Modellauswahl Health- ITUEM Methodenauswahl Beobachtung, Thinking Aloud, Logs/Protokolle, Usability Lab, Videoanalyse Fragebogen Durchführung & Auswertung im Rahmen eines Hackathons

49 Health-ITUEM Das Modell - Entstehung Modell Methode Test Fokusgruppen analyiserten Health-Apps Fragebögen, Beobachtungen und Freitext-Fragen wurden ausgewertet 9 Kriterien entwickelt mit jeweils positiven, negativen und neutralen Ausprägungen

50 Health-ITUEM Das Modell Modell Methode Test

51 Health-ITUEM Kriterien (Auswahl) Modell Methode Test Effektivität & Effizienz sind messbar Fehlervermeidung: Fehlermeldungen, Rückgängig-F., Eingabehilfen Vollständigkeit: Assistenten/Helfer, Fortschrittsanzeige Merkfähigkeit: Aufgabenerledigung wird gemerkt Flexibilität/Anpassbarkeit Sicherheit: die Benutzer fühlen sich sicher, eine Aufgabe erledigen zu können

52 Health-ITUEM Fragebogen Modell Methode Test

53 Health-ITUEM Fragebogen nach Attrak-Diff Modell Methode Test

54 Health-ITUEM Test-Aufgaben Modell Methode Test

55 Health-ITUEM Usability Lab Modell Methode Test Geeigneter Arbeitsplatz Testgeräte Kamera + Stativ Licht Extra-Monitor Mikrofon Sensorik

56 Health-ITUEM Usability Lab Modell Methode Test

57 Health-ITUEM Usability Lab Modell Methode Test Bild & Ton testen, sind Mimik & Gestik Sprache Blickpunkt (ca.) Mauszeiger Tastatureingaben Web-App erkennbar?

58 Health-ITUEM Fotos des Hackathons Modell Methode Test

59 Health-ITUEM Fotos des Hackathons Modell Methode Test

60 Health-ITUEM Thinking Aloud - Videos Modell Methode Test Thinking Aloud präaktional (Download) Thinking Aloud periaktional (Download)

61 Health-ITUEM Auswertung Modell Methode Test

62 Health-ITUEM Lessons learned Modell Methode Inhaltlich zu wenig aussagekräftige Fehlermeldungen zu wenig Hilfe beim Eingeben von Daten Lernkurve ist gut (einmal kapiert, immer funktioniert) Test Methodisch keine großen Unterschiede der Testergebnisse bei mobilen Devices unser Usability-Lab reichte vollkommen aus die Videoanalyse war sehr hilfreich

63 Health-ITUEM Quelle Bei Fragen: Alle Fotos Stonebird IT Solutions GmbH / Christoph Berdenich Health-ITUEM: Assessment of the Health IT Usability Evaluation Model (Health-ITUEM) for evaluating mobile health (mhealth) technology William Brown III, Po-Yin Yen, Marlene Rojas, Rebecca Schnall