EVALUATION. Heuristische Evaluation. Heuristiken im Vergleich

Transkript

1 EVALUATION Heuristische Evaluation Heuristiken im Vergleich Bevor es zur Heuristischen Evaluation geht, soll zunächst der Begriff Heuristik erklärt werden: eine Heuristik könnte lapidar mit einer Pi-mal-Daumen -Regel übersetzt werden. Heuristik kommt vom altgriechischen εὑρίσκω (heurísko), welches wortwörtlich ich finde bedeutet und eng mit dem Wort Eureka! verwandt ist. Gigerenzer et al. (1999) definieren eine Heuristik treffend als Kunst, in kurzer Zeit und mit unvollständigem Wissen zu guten Lösungen zu kommen. Bei der Heuristischen Evaluation handelt es sich um eine Methode, die Gebrauchstauglichkeit einer Benutzeroberfläche durch mehrere Experten beurteilen zu lassen. Hierbei versucht eine kleine Gruppe von Usability-Experten (zunächst unabhängig voneinander) anhand einer Liste von wenig konkret formulierten Heuristiken, möglichst viele potentielle Usability-Probleme zu finden, die spätere reale Nutzer haben könnten. Die Liste der Hinweise auf Usability-Probleme wird im Anschluss den Heuristiken zugeordnet, sodass eine Problemklassifikation möglich ist, die Meta-Aussagen über das zu testende System erlaubt. Eine solche Aussage kann beispielsweise sein, dass das System die Nutzer nicht hinreichend unterstützt oder fehlertolerant ist (Nielsen, 1994). Ein Nachteil in der Anwendung der Methode besteht darin, dass die Experten keine realen Nutzer darstellen und durch ihre Expertise nicht denselben Blick auf das System haben. Dies kann dazu führen, dass nicht alle Probleme aufgedeckt werden. Die Heuristische Evaluation wird dennoch häufig angewendet, da sie im Vergleich zu Nutzertests kostengünstig ist und (je nach Expertise der Evaluatoren) eine gewisse Menge Usability-Probleme aufdecken kann.

2 Weiterhin kann sie in allen Phasen der Produktentwicklung (vom frühen Prototypen bis hin zum fertigen Endprodukt) eingesetzt werden (Nielsen & Molich, 1990). Grundsätzlich sollte die Heuristische Evaluation nicht als Ersatz für Usability-Tests mit realen Nutzern, sondern als Ergänzung zu ihnen, durchgeführt werden. Im Laufe der Jahre haben sich zwei Sammlungen von Heuristiken durchgesetzt: die DIN zur ergonomischen Dialoggestaltung und die Heuristiken von Nielsen und Molich, bzw. Nielsen. Ein Grund, die beiden einmal genauer zu betrachten, und nach Unterschieden und Gemeinsamkeiten zu schauen. Übersicht Heuristiken Grundsätze der Dialoggestaltung (nach DIN EN ISO ) Ende der 80er Jahre entstand die DIN (Ergonomische Dialoggestaltung), aus der später die DIN EN ISO 9241 nach Schweibenz/Thissen mit Empfehlungen für die Softwaregestaltung formuliert wurde. Die DIN EN ISO 9241 enthält die folgenden sieben Dialogprinzipien. 1) Aufgabenangemessenheit angezeigte Informationen sind für Aufgabenbearbeitung relevant Darstellung der Informationen in dem Format, wie es die Aufgabe erfordert Vorschlagen typischer/ bekannter Werte Dialogschritte passen zum Arbeitsablauf 2) Selbstbeschreibungsfähigkeit Nutzer wissen, wo sie sich im Dialog befinden Nutzer wissen, was sie tun können und wie sie es tun können Nutzer werden über Systemzustand informiert System informiert Nutzer, welches Format Eingaben haben müssen 3) Steuerbarkeit Nutzer haben Kontrolle über Dialogablauf (Richtung, Geschwindigkeit) Nutzer können Schritte rückgängig machen Darstellung großer Mengen von Daten ist reduzierbar (Filter)

3 4) Fehlertoleranz fehlerhafte Eingaben führen nicht zum Abbruch des Dialogs System trägt zur Fehlererkennung & -vermeidung bei System korrigiert Fehler selbständig oder hilft den Nutzern dabei ) Lernförderlichkeit Dialog unterstützt Erlernen des Systems Erklärung wichtiger Regeln und Konzepte, nach denen das System arbeitet Nutzer können Verständnis vom System aufbauen Menge an Eingaben minimal gestalten, damit Lernaufwand minimal bleibt 6) Individualisierbarkeit Dialog lässt sich an individuelle Fähigkeiten & Bedürfnisse anpassen Dialog erlaubt z.b. individuelle Einstellungen zu speichern Dialog ist in verschiedenen Formen zugänglich (z.b. für Sehbehinderte) Ziele können auf verschiedenen Wegen erreicht werden 7) Erwartungskonformität Dialog entspricht den Erwartungen der Nutzer und gängigen Konventionen Konsistenz erhöht Vorhersehbarkeit eines Dialogs Dialog verwendet Vokabular, das den Nutzern geläufig ist Eingaben erzeugen eine unmittelbare Rückmeldung; Verzögerungen werden angezeigt (z.b. Ladebalken) Informationen sind in einer für die Nutzer bekannten Weise strukturiert Heuristiken nach Nielsen und Molich (1990) bzw. Nielsen (1994) Die erste Version von Heuristiken entstand in Zusammenarbeit von Nielsen und Molich Diese Heuristiken wurden 1994 von Nielsen verfeinert, in dem eine Faktorenanalyse mit 249 Usability-Problemen durchgeführt wurde, woraus sich die nachfolgenden Heuristiken ergaben. 1) Sichtbarkeit des Systemzustands System informiert Nutzer darüber, was gerade passiert Rückmeldungen erfolgen schnell und sind eindeutig

4 2) Übereinstimmung zwischen System und Realwelt System verwendet bekannte Konzepte (z.b. Papierkorb für Dateien) System verwendet bekanntes Vokabular technische Begriffe und Fehlercodes bleiben verborgen 3) Benutzerkontrolle und Freiheit Nutzer haben die Möglichkeit Dialoge zu verlassen und Fehler zu korrigieren fälschlicherweise aufgerufene Dialoge können abgebrochen werden Aktionen können rückgängig gemacht und wiederholt werden 4) Konsistenz und Standards gleiche Begriffe und Aktionen haben in unterschiedlichen Kontexten eine einheitliche Bedeutung Plattform-Konventionen werden eingehalten ) Fehlerprävention typischen Fehlern (z.b. bei der Eingabe von Werten) wird vorgebeugt (z.b. durch Information über zulässiges Format; sofortige Validierung) Nutzer bestätigt Durchführung kritischer Aktionen 6) Erkennen statt Erinnern Gedächtnisleistung minimieren; Objekte und Optionen sind sichtbar Informationen, die an anderer Stelle wieder gebraucht werden, bleiben sichtbar 7) Flexibilität und Effizienz erfahrene Nutzer können mit Shortcuts schneller ans Ziel kommen häufig durchgeführte Aktionen können angepasst oder verkürzt werden 8) Ästhetik und minimalistisches Design Dialoge enthalten keine irrelevanten oder selten gebrauchten Informationen wichtige Informationen verstecken sich nicht zwischen unwichtigen 9) Hilf Nutzern beim Erkennen, Diagnostizieren u. Rückgängigmachen von Fehlern Fehlermeldungen sind in einfacher Sprache (ohne Fehlercodes) gehalten, beschreiben das Problem präzise und bieten Lösungsvorschläge an

5 ) Hilfe und Dokumentation wenn nötig, werden Hilfe und Dokumentation angeboten sie sind leicht durchsuchbar, fokussieren sich auf die Aufgabe der Nutzer und listen konkret die zu unternehmenden Schritte auf 8 Golden Rules of Shneiderman Ebenfalls relativ bekannt und daher hier aufgeführt sind die acht goldenen Regeln des Interface-Design des amerikanischen Informatikers und Mensch-Computer-Interaktion- Spezialisten Ben Shneiderman. Da es hohe Überschneidungen zu den Heuristiken von Nielsen und den Dialogprinzipien gibt (siehe Vergleich ), werden Beispiele hier weggelassen. 1. Konsistenz 2. Berücksichtige unterschiedliche Erfahrungen 3. Rückmeldungen auf Aktionen der Benutzer 4. Abgeschlossene Operationen. Fehler verhindern 6. Einfache Rücksetzmöglichkeiten 7. Benutzerbestimmte Eingaben 8. Geringe Belastung des Kurzzeitgedächtnisses Weitere Heuristiken Normans seven principles (1988) Normans four principles (2002) Gerhardt-Powals cognitive engineering principles (1996) Weinschenk and Barker classification (2000) First Principles of Interaction Design von Tognazzini (2003)

6 Vergleich Wann sollten nun welche Heuristiken Verwendung finden? Der Leitfaden Usability rät dazu, zur Konformitätsprüfung die Dialogprinzipien zu verwenden, da diese aus dem Nutzungskontext und daraus resultierenden Bedürfnissen konkretisiert wurden. Nielsens Heuristiken werden hingegen kontextneutral angewendet, was u.a. daran deutlich wird, dass der Punkt Aufgabenangemessenheit bei Nielsen nicht genug Beachtung bekommt, dabei ist eben diese ausschlaggebend für das Kriterium der Effektivität. Es wird daher geraten, Nielsens Heuristiken zu verwenden, um einen ersten Eindruck zu bekommen. Dies lohnt sich besonders in frühen Phasen der Produktentwicklung (beim Prototyping). Anhand einer heuristischen Evaluation mit den Dialogprinzipien lassen sich hingegen Normabweichungen von der DIN feststellen. Trotz dieser Differenzierung vom Leitfaden Usability gibt es zahlreiche Überschneidungen zwischen den verschiedenen Heuristiken. In der nachfolgenden Tabelle wird versucht, die Überschneidungen aufzudecken und zu charakterisieren. DIN Nielsen Shneiderman Überschneidung Aufgabenangemessenheit Aesthetic and minimalist design So viel wie nötig, so wenig wie möglich. Das System sollte alle benötigten Funktionen enthalten, nicht mehr und nicht weniger. Selbstbeschreibungsfähigkeit Visibility of system status Rückmeldungen auf Aktionen des Benutzers Feedback bei jeder Aktion sollte das System anzeigen, was gerade passiert. Recognition rather than recall Geringe Belastung des Kurzzeitgedächtnisse s Recognition das System sollte das Gedächtnis der Nutzer entlasten. Erwartungskonformität Match between system and the real world Erwartungen aufgrund von Vorwissen das System sollte die Vorerfahrungen der Nutzer berücksichtigen, z.b. mit dem Einsatz von Metaphern. Consistency and standards Konsistenz Konsistenz und Standards das System sollte gängige Konventionen berücksichtigen und in sich konsistent sein.

7 Lernförderlichkeit Flexibility and efficiency of use Berücksichtige unterschiedliche Erfahrungen Modi für Anfänger und Profis das System sollte fortgeschrittenen Nutzern Möglichkeiten geben, effizienter zu arbeiten. Steuerbarkeit User control and freedom Einfache Rücksetzmöglichkeit en Undo/ Redo das System sollte das Rückgängigmachen sowie das Wieder-herstellen von Aktionen unterstützen. Fehlertoleranz Help users recognize, diagnose, and recover from errors Eindeutige Fehlermeldung mit Handlungsoption tritt ein Fehler auf, sollte das System eine verständliche Beschreibung des Fehlers sowie Lösungsvorschläge liefern. Error prevention Fehler verhindern Vorbeugen von Fehlern das System sollte dem Auftreten von Fehlern vorbeugen, z.b. durch Nachfragen vor Aktionen Individualisierbarkeit Individualisierbarkeit das System sollte den Nutzern die Möglichkeit geben, es an seine persönlichen Bedürfnisse und Präferenzen anzupassen. Help and documentation Hilfe sollte verfügbar sein das System sollte verständliche, nicht zu lange Hilfe an der richtigen Stelle berücksichtigen.

8 EVALUATION Heuristische Evaluation Best Practice Vorbereitung Ideal: 3 - Experten Heuristiken der Wahl Vorlage (in Papierform, digital) zum Dokumentieren der gefundenen Probleme (z.b. Tabelle, Screenshot-Schema; s.u.) Schritt 1: Exploration des Systems Jeder Evaluator exploriert für sich das System. Es kann nötig sein, dass die Evaluatoren eine Einführung in das System bekommen müssen. Handelt es sich um ein sehr komplexes System, können die Evaluatoren Teilbereiche des Systems definieren und diese Teilbereiche untereinander aufteilen. Schritt 2: Individuelle Evaluation Jeder Evaluator evaluiert das System (bzw. sein Teilbereich) für sich alleine. Hierfür wird das System systematisch exploriert (z.b. indem alle Funktionen nacheinander ausprobiert werden), während dem Evaluator die Heuristiken vorliegen. Wird eine Verletzung einer Heuristik gefunden, so wird dies entsprechend dokumentiert: Wie kann in verständlichen Worten das Problem beschrieben werden? An welcher Stelle tritt das Problem auf (Screenshot und/ oder Kurzbeschreibung)? Welche Heuristik/ Heuristiken wird/ werden verletzt? Wie ist das Problem in seiner Schwere einzuschätzen? Wichtig ist zu dokumentieren, wer dieses Problem gefunden hat (z.b. Namenskürzel). Schritt 3: Sitzung der Evaluatoren Die Evaluatoren stellen sich gegenseitig ihre Ergebnisse vor. Sie diskutieren die Zuordnung der Probleme zu den Heuristiken sowie die Einschätzung des Schweregrades. Sie einigen sich auf einen Konsens und besprechen, welche Konsequenzen die gefundenen Probleme für die Usability des Systems haben.

9 Hierbei bietet es sich an, die gefundenen Probleme in zwei Kategorien einzuteilen: (1) Quick fix, also kleinere Usability-Probleme, die sich mit wenig Aufwand beheben lassen (z.b. Schrift auf Buttons größer darstellen), und (2) grundlegendere Usability-Probleme, für deren Behebung erhöhter Aufwand notwendig ist (z.b. Ablauf beim Beantworten von s neu strukturieren). Die Konsolidierungsphase der Evaluatoren sollte dokumentiert und von einer Person moderiert werden. Wie kann ein Problem bewertet werden? Bei der Bewertung, wie schwerwiegend ein Problem ist, können folgende Fragen herangezogen werden: Wie oft tritt bei der Interaktion mit dem System ein Problem auf? (Problemhäufigkeit) Wie sehr wird die Aufgabenbewältigung beeinträchtigt? (Problemeinfluss) Wie leicht ist es, das Problem zu umgehen, sobald es bekannt ist? (Persistenz) Basierend auf der Beantwortung dieser Fragen kann dann der Schweregrad des gefundenen Problems eingeschätzt werden. Schweregrad Beschreibung 1 Kosmetisches Problem (nur beseitigen, wenn genügend Zeit ist) 2 Kleines Problem (geringe Priorität bei der Beseitigung) 3 Großes Problem (hohe Priorität bei der Beseitigung) 4 Usability-Katastrophe (muss unbedingt beseitigt werden)

10 Schritt 4: Erstellen einer abschließenden Dokumentation Die gefundenen Probleme mit der einheitlichen Struktur (Problembeschreibung, Screenshot/ Bezeichnung, Schweregrad, Konsequenzen) werden übersichtlich zusammengestellt. Hierbei kann es sinnvoll sein, die Probleme nach Schwere zu sortieren. Es empfiehlt sich zusätzlich, die schwerwiegendsten Probleme sowie am häufigsten verletzte Heuristiken hervorzuheben. Eine komprimierte Übersicht über Anzahl gefundener Probleme sowie deren Kategorisierung (Schweregrad, Konsequenzen) kann hilfreich sein. Schritt : Präsentation Den Auftraggebern werden die Ergebnisse vorgestellt und die Dokumentation übergeben. Auf dieser Grundlage können (gemeinsam) Verbesserungsvorschläge erarbeitet werden.

11 Protokollbogen (Tabelle) zur Heuristischen Evaluation (am Beispiel Heuristiken nach Nielsen) Evaluator: Beschreibung des Problems Interaktionssituation/ Verletzte Schweregrad Stelle des Problems Heuristik

12 Protokollbogen (Screenshot-Schema) zur Heuristischen Evaluation Beschreibung des Problems: Verletzte Heuristik(en): Schweregrad: Evaluator:

13 Der nächste Schritt: Probieren Sie es aus! Die Heuristiken in der Anwendung - Machen Sie den Selbsttest! 1) Legen Sie einen neuen Kontakt in Ihrem Smartphone an und achten Sie dabei auf die Konsistenz des Systems. Machen Sie sich bewusst: Ist der Zurück-Button immer an der gleichen Stelle? Speichern Sie immer an der gleichen Stelle? Sehen gleiche Dinge gleich aus? Welche Symbole stehen für was? 2) Versuchen Sie bei ausgeschaltetem Internet eine Homepage aufzurufen. Wie sind die Rückmeldungen des Systems? Helfen sie Ihnen weiter, beschreiben sie das Problem angemessen? Helfen die Fehlermeldungen Ihnen, das Problem zu beheben? 3) Laden Sie sich eine beliebige App herunter/ öffnen Sie eine Website: Versuchen Sie 2-3 Aspekte, die Ihnen auf Grundlage der Heuristiken auffallen, mit dem Protokollbogen festzuhalten. Welchem Aspekt konnten Sie welcher Heuristik am leichtesten zuordnen? Gab es Überschneidungen? Exkurs: Heuristische Evaluation VS Usability-Test Heuristische Evaluation Usability-Test Grundlage Heuristiken, was usable ist Bearbeitung realistischer Aufgaben Erfahrung bzgl. Usability Sichtweise auf System Aufwand Untersuchungsbereich gefundene Probleme Ergebnis Experte Außenstehender gering: mehrere Experten evaluieren für sich ganzes System / ganze Teilbereiche betreffen die Systemeigenschaften, unabhängig von den Zielen und dem Verhalten der Nutzer potentielle Usability- Probleme; evtl. Probleme, die Nutzern nicht bewusst werden Novize Zielgruppe mittel/ hoch: Planung, Nutzer-Rekrutierung, Durchführung, Auswertung aufgabenbezogen, Use Cases konzentrieren sich auf die Interaktion mit dem System, decken möglicherweise nicht alle Aspekte ab Reaktionen; positive & negative Eigenschaften des Systems; Aussagen über Effektivität, Effizienz & Zufriedenheit

14 Die Heuristische Evaluation basiert auf abgeleiteten Regeln über gut gestaltete Systeme. Die Heuristiken bilden die Grundlage, setzen aber Erfahrung bei den Evaluatoren voraus, wie sich diese im System widerspiegeln sollten. Die Durchführung ist effizient, sie kann ohne lange Planung, kostengünstig viele Usability-Probleme aufdecken. Dabei werden Funktionsbereiche oder -teilbereiche vollständig untersucht, unabhängig davon, welchen Weg die Nutzer zur Aufgabenbewältigung tatsächlich wählen. Erst durch einen Usability-Test wird die Interkation der Nutzer mit dem System sichtbar. Nur so können auch Aussagen über Effektivität, Effizienz und Zufriedenheit der Nutzer mit dem System getroffen werden. Neben der gründlichen Planung, der sinnvollen Auswahl von Aufgaben und der Rekrutierung von Nutzern machen die Durchführung und Auswertung die Usability-Tests aufwendiger. Quellen Deutsche Akkreditierungsstelle (DAkkS). (20). Leitfaden Usability. Deutsche Akkreditierungsstelle GmbH. Retrieved from DIN Deutsches Institut für Normung e.v. (2008). DIN EN ISO :2008, Ergonomie der Mensch- System-Interaktion Teil 1: Grundsätze der Dialoggestaltung. Beuth Verlag GmbH. Gerhardt-Powals, J. (1996). Cognitive Engineering Principles for Enhancing Human-computer Performance. International Journal of Human-Computer Interaction, 8(2), doi:.80/ Gigerenzer, G., Todd, P. M., & ABC Research Group. (1999). Simple Heuristics That Make Us Smart. Oxford University Press. Nielsen, J. (1994a). Enhancing the Explanatory Power of Usability Heuristics. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp ). New York, NY, USA: ACM. doi:.114/ Nielsen, J. (1994b). Heuristic evaluation. In Usability inspection methods (pp. 2 62). New York: Wiley. Nielsen, J., & Molich, R. (1990). Heuristic Evaluation of User Interfaces. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp ). New York, NY, USA: ACM. doi:.114/ Norman, D. A. (1988). The psychology of everyday things. New York: Basic Books. Norman, D. A. (2002). The Design of Everyday Things. Basic Books. Shneiderman, B., & Plaisant, C. (2003). Designing the User Interface. Pearson Education. Tognazzini, B. (2003). First Principles of Interaction Design. AskTOG: Interaction Design Solutions for the Real World. Retrieved from Weinschenk, S., & Barker, D. T. (2000). Designing effective speech interfaces. John Wiley & Sons.