Usability Evaluation

Transkript

1 Usability Evaluation

2 Brainstorming: Wie könnte die Usability einer Applikation evaluiert werden? Wer evaluiert Was wird evaluiert? Wie und wann wird evaluiert? Wo wird evaluiert?

3 Überblick Ziele und Arten von Software-Evaluation Expertentests Walkthrough Experteninspektion und Heuristische Evaluation Benutzertests Usability Lab Usability Tests Klassifizierung von Erhebungsmethoden Beobachtung Lautes Denken (Thinking Aloud) Eye Tracking Meinungsbasierte Evaluationsmethoden Andere Evaluierungsmethoden Fallstudie zu Usability Evaluierung im medizinischen Bereich

4 Teil des Software Engineerings Usability-Engineering ergänzt das klassische Software- Engineering Bild:

5 Ziele von Software-Evaluation Welche Lösung ist besser? : alternative Softwaresysteme oder Designalternativen werden miteinander verglichen, um das am besten geeignete auszuwählen Wie gut? : in welcher Ausprägung wurden vorab definierte Usabilityziele oder Normen erreicht; zielt auf Bewertung eines Softwaresystems ab Worin schlecht? : Schwachstellen und Gestaltungsvorschläge für eine Systemweiterentwicklung werden gesucht, Gründe identifizieren, Anstoß für Verbesserungen

6 Summative und formative Evaluation Formative Evaluation Begleitende Evaluation Ergebnisse haben Konsequenzen für die weitere Entwicklung einer Software Schwerpunkt ist die Verbesserung und Qualitätsentwicklung eines Produktes Summative Evaluation Evaluation wird an einem (fast) fertigen System durchgeführt und ein globales Urteil abgegeben

7 Expertentests Expertentests Produkt oder Entwurf der Benutzungsschnittstelle Ergonomie-Experten beurteilen aufgrund der Normen und ihrer Erfahrung Experten sollten die zu erledigenden Aufgaben kennen Vorteil Erfahrene Tester entdecken viele nicht-offensichtliche Einschränkungen Nachteil Schlechte Bewertbarkeit und Reproduzierbarkeit von Erfahrung Experten sind nicht die Nutzer Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

8 Walkthrough Inspektionsmethode, bei der ein bzw. mehrere Experten ein System beurteilen Evaluationsgegenstand: Systementwurf, ein Prototyp oder ein fertiges System Aufgabenabläufe in Form von Bildschirmansichten präsentiert Ohne User-Einbindung, möglichst früh Pluralistic Walkthrough: verschiedene Experten Cognitive Walkthrough: kognitive Verhalten des Users, wenn er die Aufgabe versuchen würde zu bearbeiten, simuliert Nachteil: fehlende Möglichkeit zur eigenständigen Exploration

9 Experteninspektion und Heuristische Evaluation Software wird von Spezialisten begutachtet Genaue Kenntnisse über Usability, Nutzer und Aufgabenanforderungen oftmals mit Hilfe von detaillierten Kriterienkatalogen durchgeführt Heuristische Evaluation Spezielles Beispiel der Experteninspektion durch Heuristiken angeleitet, die besonders benutzerfreundliche Software beschreiben

10 Beispiel zu Katalogen: EVADIS ΙΙ

11 Beispiel: 10 Heuristiken von Nielsen und Mack (1994) + Aspekte f. Mobile Geräte 1. Einfacher und natürlicher Dialog, 2. Software spricht die Sprache des Benutzers, 3. Gedächtnisbelastung des Benutzers ist minimal, 4. Konsistenz (dieselbe Aktion führt immer zum selben Ergebnis), 5. Feedback (Rückmeldung des Systemstatus an den Benutzer), 6. Klar gekennzeichnete Ausstiegspunkte (Möglichkeiten zum Beenden von Aktionen), 7. Shortcuts ( Abkürzungen für häufig benötigte Operationen), 8. Gute Fehlermeldungen, 9. Fehlervermeidung (Software ist so gestaltet, dass Fehler erst gar nicht auftreten), 10. Hilfe und Dokumentation. 11. Ergänzung: Ergonomie

12 1 Einfache und natürliche Dialoge Minimalism: Ästhetik und minimalistisches Design Jegliche Information sollte in einer natürlichen und logischen Ordnung erscheinen. Abbildung 3 Quelle: Google-Play-Store-Version-5-gibt-Ausblick-auf-Android- L_ html

13 2 Ausdrucksweisen der Benutzenden Match: Übereinstimmung zwischen dem System und der realen Welt Das System sollte die Sprache der Benutzer sprechen und systemorientierte Terminologien vermeiden. Abbildung

14 3 Minimale mentale Belastung Recognition: Wiedererkennen statt sich erinnern Das Kurzzeitgedächtnis eines Benutzers ist begrenzt. Deshalb sollten sie sich nicht an Informationen erinnern müssen, die in einem ganz anderen Bereich des Dialogs von Bedeutung waren.

15 4 Konsistenz Consistency: Konsistenz und Standards Benutzer sollten sich nicht über unterschiedliche Wortwahl für gleiche Situationen oder Aktionen wundern müssen.

16 5 Rückmeldungen Visibility: Sichtbarkeit des Systemstatus Das System sollte den Benutzer immer auf dem Laufenden halten, indem es angemessenes Feedback in einer angemessenen Zeit liefert. Abbildung 1http://wp-nulled.com/wpcontent/uploads/2014/12/test.jpg

17 6 Klare Auswege Control: Benutzerkontrolle und Zufriedenheit Ein System sollte Benutzer nie in Situationen geraten lassen, aus denen sie nicht wieder zurückfinden. Bsp.: Button beim Play Store alles grün (Spiele) mit Pfeil kommt man wieder zurück Home Button

18 7 Abkürzungen Flexibility: Flexibilität und Effizienz der Benutzung Features, die es einfach machen ein System zu erlernen, sind für den erfahrenen Benutzer häufig lästig. Gut gewählte Abkürzungen, die der Anfänger nicht sieht, können in ein System aufgenommen werden, so dass beide Nutzergruppen zufrieden sind.

19 8 Gute Fehlermeldungen Hilfe beim Erkennen, Diagnostizieren und Beheben von Fehlern Gute Fehlermeldungen sind defensiv, präzise und konstruktiv. Präzise Fehlermeldungen geben dem User genaue Informationen über die Ursache des Problems.

20 9 Fehlervermeidung Prevention: Fehlervermeidung Besser als gute Fehlermeldungen ist ein gutes Design, welches das Eintreten von Fehlern erst gar nicht zulässt.

21 10 Hilfe und Dokumentation Hilfe und Dokumentation Jede kleine Website sollte ohne Hilfe auskommen.

22 Ergonomie Physikalische Interaktion und Ergonomie Größe, Form und UI Elemente des Gerätes sollen der natürlichen Handhaltung entsprechen Physikalische Buttons für die Hauptfunktionen in erkennbarer Position

23 Benutzertests Charakteristika von Benutzertests Echte Anwender testen Ausgewählte, typische spätere Benutzer (vgl. Persona ) Prototyp oder (fast) fertiges Produkt Möglichst vollständige Arbeitsschritte (vgl. Aufgabenanalyse) Interviews oder/und Fragebögen Vorteil Finden fehlende Daten oder Funktionen, nicht passende Abläufe Nachteil Benutzer sind nicht genormt (Ergebnis hängt auch von der Tagesverfassung ab) Ergebnisse sind oft nicht genau reproduzierbar Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

24 Beispiel: Mobiltelefon (Video) Bild: Video:

25 und wo kann getestet werden? An Ort(en) und Stelle(n): Feld-Studie Remote im Labor Vorsicht: Mobile Applikationen müssen auch im realen Anwendungskontext getestet werden, nicht nur unter Laborbedingungen, da die Ergebnisse nicht ausreichend übertragbar sind.

26 Usability Lab Bild:

27 Usability Lab Anwender testen Software unter reproduzierbaren Bedingungen Aktionen werden aufgezeichnet Tastatur- und Maus-Aktionen. Bildschirminhalt wird dokumentiert Benutzer wird gefilmt Methode des lauten Denkens Äußerungen, Mimik, Gesten dokumentieren Physiologische Werte (Stresslevel) Puls, Blutdruck oder Herzrhythmus (EKG) Orientierung des Benutzers Eye-Tracking-Systeme Bild: Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

28 Usability Lab Bedingungen Aufwändige technische Ausstattung Software-Hersteller Dienstleister Reproduzierbare Bedingungen An einem echten Arbeitsplatz nicht machbar Keine Störungen Räume sollten gegen äußere Störungen isoliert sein (Normale Büroatmosphäre) Überlastetes Firmennetz Bild: zeitschrift/heft2_99/artikel02/einfach1.jpg Klingelnde Telefone Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

29 Usability Lab - Nutzen Software-Umgebung des Kunden Aufwändig nachzustellen Eher Standardumgebungen, -daten und -aufgaben Vergleichbarkeit gegeben Quantitative Daten Klicks, Anschläge und Zeitintervalle Entwickler erleben echte Anwender mit ihrer Software Live oder per Videoaufzeichnung Video (Windows 8) Video (whatusersdo) Quelle: Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

30 Evaluations-Tools für mobile HCI Touch Heatmaps Screencasts In-App Analytics Statistiken zur Verwendung von Funktionen, Verweildauer, etc. AppSee: UXCam:

31 Usability-Test: Durchführung 1 Motivation -> Startpunkt Warum wird das System nicht so verwendet wie geplant? Zielgruppe analysieren System kennen lernen Spezifizieren wo und wie getestet wird (Testdesign) Aufgaben definieren Testpersonen rekrutieren Material für das Testen zusammenstellen; Vorgehen definieren Durchführungen der Tests (Wichtig: Briefing) Auswertung und Aufbereitung der Ergebnisse (Ranking) Präsentation

32 Usability-Test: Durchführung 2 Tester ist stiller Beobachter Ziel: Aufgabe lösen (evtl. zunächst Exploration) Zuerst leichte Aufgaben Sicherstellen ob es auch für die Testperson lösbar ist Hinweise: Nach einer gewissen Zeit Wenn Testperson nicht mehr weiter weiß Zeit nicht vergessen Insgesamt nicht länger als 1.5 Stunden

33 Was ist eine gute Aufgabe? Relevant für die Zielgruppe und realistisch Relevant für den Erfolg des System Soll nicht zu allgemein aber auch nicht zu spezifisch sein Hat einen eindeutigen Endpunkt Lösungswege sollen eindeutig sein Soll als ein wirklichkeitsnahes Szenario beschrieben werden Nicht länger wie nötig, aber mit allen nötigen Infos In Benutzersprache und verständlich

34 Usability Test Beispiel Zielperson: Jugendliche System: Webportal Vorinterview Erfahrungen mit ähnlichen Portalen Erwartung vom Portal Aufgaben mit jeweils Abschlussfragen Zufriedenheit mit dem System Verbesserungsvorschläge Abschlussinterview Allgemeine Eindrücke Gut bzw. schlecht gefallen Orientierung Erwartungen erfüllt?

35 Quantitative/ Qualitative Daten Quantitative Daten In Zahlen messbare Ergebnisse Dauer der Bearbeitung, Anzahl Klicks, Anzahl Fehler Befindlichkeit oder Zufriedenheit der Benutzer Qualitative Daten Von Beobachtungen / Konversation Sprachlich ausgedrückte Ergebnisse Allgemeiner Eindruck Probleme bei der Interaktion Mixed Methods Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

36 Beobachtung von trainierten Beobachtern durchgeführt eignet sich besonders gut, wenn Benutzer nicht gut verbalisieren können Beobachtung im Nutzungskontext auch Arbeitsumstände werden miteinbezogen Beobachtungen im Labor eine mit dem Verhalten des Nutzers zeitgleiche Beobachtung ist schwierig wegen Fülle an Informationen meist retrospektiv mit Videoaufzeichnungen durchgeführt

37 Lautes Denken (Think Aloud Protocols) Benutzer werden gebeten, alle Gedanken und Überlegungen, die im Zusammenhang mit der Aufgabenlösung stehen, zu verbalisieren präaktional periaktional postaktional -> Videokonfrontation Probleme: schwierig, komplexe, innere Abläufe zu verbalisieren künstliche Situation Video:

38 Thinking Aloud Beispiel 1 Runtastic ist eine Sport-Tracking-App Aufgabe: Du verwendest diese App für herzfrequenzbasiertes Lauftraining. Bei der letzten Ruhepulsmessung hast du festgestellt, dass dieser nun 10 Schläge langsamer ist als bei der Messung zuvor. Nun möchtest du die Herzfrequenzzonen in der App ändern.

39 Thinking Aloud runtastic start screen Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

40 Thinking Aloud runtastic side menu Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

41 Thinking Aloud runtastic settings Aufgabe Ändern der Herzfrequenzzonen Thinking aloud Alle Gedanken laut aussprechen

42 Thinking Aloud Beispiel 2 Runtastic ist eine Sport-Tracking-App Aufgabe: Während du läufst, stehen dir einige Quick-Settings zur Verfügung. Diese werden durch Symbole repräsentiert. Welche Funktion könnte sich hinter den Symbolen verstecken?

43 Thinking Aloud Beispiel 2 runtastic icons Aufgabe Was könnte dieses Symbol bewirken? Thinking aloud Alle Gedanken laut aussprechen

44 Thinking Aloud Beispiel 2 runtastic icons Aufgabe Was könnte dieses Symbol bewirken? Thinking aloud Alle Gedanken laut aussprechen

45 Eye tracking (Video) Video:

46 Meinungsbasierte Evaluationsmethoden Wenige standardisierte mündliche Interviewmethoden Meist Fragebögen Operationalisierung der 7 Kriterien der Isonorm 9241/110: Isonorm 9241/110, Isometrics, Ergonorm Weitere Fragebögen: Quis, Eu-Con 2, IfADo, Sumi, Ergonorm, NASA-TLX

47 ISONORM 9241/110 -Fragebogen Jochen Prümper, Michael Anft 1993 Orientiert sich an der DIN 9241, Teil 110 Sieben Gestaltungsgrundsätze à fünf Fragen Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

48 ISONORM -Fragebogen - Ergebnis Kurze Angaben über die Expertise Zusammenfassendes Urteil über die Software Freitext für Kommentar In 15 bis 20 Minuten zum Beantworten Ergebnis Erster Eindruck der Gebrauchstauglichkeit Keine Details Keine speziellen Aspekte Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

49 Isometrics

50 ErgoNorm

51 QUIS und SUMI QUIS - Questionnaire for User Interface Satisfaction 5.4. Messages which appear on screen: confusing clear NA Mit dem Fragebogen werden erfasst: Zufriedenheit, Bildschirmgestaltung, Informationsgestaltung, Erlernbarkeit, Effizienz, Geschwindigkeit, Zuverlässigkeit, Qualität der Handbücher, Online Hilfe SUMI - Software Usability Measurement Inventory

52 Freude mit AttrakDiff messen Messen von hedonische Qualität Interviews mit Fragen zur Befindlichkeit und Zufriedenheit Qualitative Ergebnisse Nicht gut vergleichbar Evaluationsverfahren AttrakDiff Quantitative Analyse Bedienbarkeit, Aussehen, Attraktivität 23 gegensätzliche Begriffspaare sympathisch unsympathisch, verwirrend übersichtlich, Skala von 1 bis 7 Quelle: Pearson Studium, Grundlagen der MCI, M. Dahm,

53 AttrakDiff Quelle:

54 Gegensatzpaare - Aufgabe Tripcake ist ein Tool zur Erstellung von Reisen mit Freunden 1. Testet tripcake für 5 Minuten auf dem eigenen Device unter 2. Nach 5 Minuten startet eine Umfrage unter

55 Andere Methoden Evaluierung Mit Nutzern vs. Ohne Nutzer Quantitative vs. Qualitative Field Studies vs. Lab Studies Pre-Design, During-Design, After-Design Formativ vs. Summativ / Usability vs. Utility Heute: Fokus Usability Evaluierungs Methoden Low-cost Informell

56 Health-ITUEM Health-IT Usability Evaluation Model von der Theorie zur Praxis

57 Health-ITUEM Übersicht Mobile Health-IT / ehealth- & Gesundheits-Apps > Apps Usability oftmals mangelhaft Spezielle Anforderungen komplexe Systeme, aber einfachste Handhabung angestrebt Zielgruppe Kranke Health-ITUEM = Usability-Evaluierungsmodell für mhealth

58 Health-ITUEM Hintergrund Ein Startup entwickelt eine Webapp zur Arzt-/Patientenkommunikation. Die Webapp soll zum ersten Mal von Usern getestet werden. Planung des Usability-Tests Testdurchführung auf verschiedenen Endgeräten Quelle: Stonebird IT Solutions

59 Health-ITUEM Prozess Modellauswahl Health- ITUEM Methodenauswahl Beobachtung, Thinking Aloud, Logs/Protokolle, Usability Lab, Videoanalyse Fragebogen Durchführung & Auswertung im Rahmen eines Hackathons

60 Health-ITUEM Das Modell - Entstehung Modell Methode Test Fokusgruppen analysierten Health-Apps Fragebögen, Beobachtungen und Freitext-Fragen wurden ausgewertet 9 Kriterien entwickelt mit jeweils positiven, negativen und neutralen Ausprägungen

61 Health-ITUEM Das Modell Modell Methode Test

62 Health-ITUEM Kriterien (Auswahl) Modell Methode Test Effektivität & Effizienz sind messbar Fehlervermeidung: Fehlermeldungen, Rückgängig-F., Eingabehilfen Vollständigkeit: Assistenten/Helfer, Fortschrittsanzeige Merkfähigkeit: Aufgabenerledigung wird gemerkt Flexibilität/Anpassbarkeit Sicherheit: die Benutzer fühlen sich sicher, eine Aufgabe erledigen zu können

63 Health-ITUEM Fragebogen Modell Methode Test

64 Health-ITUEM Fragebogen nach Attrak-Diff Modell Methode Test

65 Health-ITUEM Test-Aufgaben Modell Methode Test

66 Health-ITUEM Usability Lab Modell Methode Test Geeigneter Arbeitsplatz Testgeräte Kamera + Stativ Licht Extra-Monitor Mikrofon Sensorik

67 Health-ITUEM Usability Lab Modell Methode Test

68 Health-ITUEM Usability Lab Modell Methode Test Bild & Ton testen, sind Mimik & Gestik Sprache Blickpunkt (ca.) Mauszeiger Tastatureingaben Web-App erkennbar?

69 Health-ITUEM Fotos des Hackathons Modell Methode Test

70 Health-ITUEM Fotos des Hackathons Modell Methode Test

71 Health-ITUEM Auswertung Modell Methode Test

72 Health-ITUEM Lessons learned Modell Methode Inhaltlich zu wenig aussagekräftige Fehlermeldungen zu wenig Hilfe beim Eingeben von Daten Lernkurve ist gut (einmal kapiert, immer funktioniert) Test Methodisch keine großen Unterschiede der Testergebnisse bei mobilen Devices unser Usability-Lab reichte vollkommen aus die Videoanalyse war sehr hilfreich

73 Health-ITUEM Quelle Bei Fragen: Alle Fotos Stonebird IT Solutions GmbH / Christoph Berdenich Health-ITUEM: Assessment of the Health IT Usability Evaluation Model (Health-ITUEM) for evaluating mobile health (mhealth) technology William Brown III, Po-Yin Yen, Marlene Rojas, Rebecca Schnall