insbesondere von Software 02.04.2013/1
Empirische Testverfahren Usability (I) 02.04.2013/2
Referenzmodell zu Usability http://www.wi.uni-muenster.de/pi/lehre/ws0809/seminarse2/vortraege/usabilitytesting.pdf Usability (I) 02.04.2013/3
Testlabor [www.useit.com] Usability (I) 02.04.2013/4
Testaufbau [www.useit.com] Usability (I) 02.04.2013/5
Testlabor Usability (I) 02.04.2013/6
Empirische Testverfahren Empirische Testverfahren sind immer Versuchsanordnungen, in denen Menschen als Tester und als Testleiter auf beiden Seiten vorkommen. Die Ethik gebietet, die testenden Personen in ihrem Lebensgefühl nicht zu beeinträchtigen und den Fokus konsequent auf den Test der Interaktionsoberflächen und Abläufe zu richten. Die Methodik des konkreten Tests muss deshalb gekonnt und flexibel gehandhabt werden. 02.04.2013/7
Testatmosphäre [www.infodesign.com.au] Usability (I) 02.04.2013/8
Task Based Testing Testverfahren (I) Es müssen typische Aufgaben für die Website ausgearbeitet werden. Es sind Anwender aus der Zielgruppe auszu- wählen. Die Aufgaben werden von Anwendern bearbeitet. Der Testleiter beobachtet die Anwender und notiert deren Reaktionen und Äußerungen. Unterstützung der Anwender durch ermutigende und motivierende Unterhaltung ist möglich. Usability (I) 02.04.2013/9
Testverfahren (I) Diese Art von Test werden wir im HCI-Seminar anhand von uns zu erkundender Websites nebenbei und direkt mit ausprobieren. Dazu ist es notwendig, für den Testnutzer von Seiten des Testleiters eine Testaufgabe zu formulieren, die mit der Website gelöst werden muss. Zur möglicherweise notwendigen Unterstützung der Testperson sind zulässige Hinweise zu überlegen. Die Testatmosphäre muss kollegial sein. Usability (I) 02.04.2013/10
Testverfahren (I) Das Testergebnis sollte beschreiben, wie der Testnutzer zur Lösung der Testaufgabe benötigte Schritte durchlaufen konnte, welche Beobachtungen zu machen waren, welche Zeiten benötigt wurden, welche Qualität das Ergebnis hatte etc. etc. Dazu muss der Testleiter sich vorher mögliche qualitative Testziele überlegen, die im Test erreicht werden oder zumindest eine Teilantwort bekommen sollten. Usability (I) 02.04.2013/11
Testverfahren (II) Thinking Aloud Test Den Anwendern werden nur spärliche Aufgaben zur Benutzung der Software gestellt, sie müssen kreativ werden. Ihre Motivation wird immer wieder angeregt. Die Anwender äußern ihre Gedanken laut. Der Testverlauf wird per Camcorder oder Aufnahmegerät aufgezeichnet. Die Auswertung erfolgt durch Vergleich von Erwartungen und Tatsachen. Usability (I) 02.04.2013/12
Testverfahren (II) Dieses Testverfahren wäre eine Alternative zu den aufgabenbasierten Tests, die Sie im Seminar ausprobieren werden. Die Aufgaben müssten jedoch allgemeiner formuliert werden, wie Orientieren Sie sich in..., Finden Sie etwas über folgenden komplexeren Sachverhalt heraus..., und dann dürfte die Unterstützung durch den Testleiter nur motivierender Art sein. Usability (I) 02.04.2013/13
Testverfahren (III) Interviews oder Fragebögen Die Einschätzungen des Anwenders können sich von seinem Verhalten deutlich unterscheiden. Beispiel: Gesamteindruck von einer Site und von einzelnen Aspekten dazu. Es sind offene Fragen zu stellen, um möglichst viel Information zu bekommen. Es sind detaillierte, verständliche Fragen zu stellen. Die Auswertung sollte nach inhaltlichen Gesichtspunkten erfolgen. Usability (I) 02.04.2013/14
Beispiel zu Aspekten http://www.wi.uni-muenster.de/pi/lehre/ws0809/seminarse2/vortraege/usabilitytesting.pdf Usability (I) 02.04.2013/15
Testverfahren (IV) Log-Datei-Auswertungen Es werden protokollierbare Ereignisse für Software bzw. Webseiten still im System mitprotokolliert. Man kann auch die Abspeicherung relevanter Ereignisse und Daten in die Software einprogrammieren. Auch die Performance kann gemessen und protokolliert werden. Die Auswertung sollte objektiv und mit Kreativität bzgl. Schlussfolgerungen erfolgen. Usability (I) 02.04.2013/16
Teaching Back Testverfahren (V) Ein Anwender setzt sich mit Software bzw. Website still auseinander. Der Anwender unterstützt danach andere Testpersonen bei der Lösung der Aufgaben, die man damit seiner Meinung nach lösen kann. Der Testleiter protokolliert das, was er beim Zusehen und Zuhören mitbekommt. Im Ergebnis erfährt man, was der anleitende Anwender begriffen hat und was er weitervermitteln konnte, und seine Kommentare. Usability (I) 02.04.2013/17
Testverfahren (VI) Arbeit im Usability-Labor Der Anwender arbeitet selbst mit der Software, auch nach Aufgabenlisten. Der Anwender wird dabei gefilmt, und seine Äußerungen werden mitgeschnitten. Der Testleiter unterstützt ihn, aber dezent. Auch die Ereignisse auf dem Bildschirm können parallel gefilmt werden. Es kann eine Eye-Tracking-Software eingesetzt werden. Usability (I) 02.04.2013/18
Analytische Testverfahren 02.04.2013/19
Testverfahren (VII) Conceptual-based Analysis of Surface and Structural Misfits (CASSM) Der zentrale Denkansatz ist der Begriff des Konzepts mit seinen Variationsarten und Parametern Konzepte werden für die Nutzer, die Interaktionsoberflächen und das System ermittelt und in ihrer Passgenauigkeit verglichen (Conceptual Gap ja oder nein) Ergebnis sind Empfehlungen zur Veränderung einzelner Konzepte der Oberflächen oder des Systems, selten Schulungsempfehlungen. 02.04.2013/20
Testverfahren (VIII) Heuristische Untersuchungen Experten und erfahrene Nutzer untersuchen die Software nach ihren Erfahrungen und Gesichtspunkten. Alternativ wird auf Erfahrungsberichte zurückgegriffen (Drittanbieter) und gezielt nach inhaltlichen Kriterien verglichen. Es werden Erfahrungswerte mit ähnlichen Typen von Software gezielt verglichen und bewertet. 02.04.2013/21
Testverfahren (IX) Cognitive Walkthrough Diese Methode wird oft in der Phase des Prototypings mit Papierentwürfen der Oberflächen oder mit nicht voll funktionalen Oberflächen durch- geführt. Die Teilnehmer müssen genaue Vorstellungen von den Arbeitsabläufen haben, die zukünftige Nutzer mit der Software / dem System durchführen sollen. Ziel ist es, die Intuitivität der Benutzbarkeit der Oberflächen zu prüfen und zu verbessern. 02.04.2013/22
Voraussetzungen: Testverfahren (IX) Wer wird Nutzer des Systems sein? (Personas) Welche Hauptaufgaben sollen analysiert werden, die Nutzer mit dem System lösen sollen? Was ist die korrekte Abfolge von Handlungen für jede Aufgabe? (v.a. kleinskalige Handlungen) Wie soll die Interaktionsoberfläche designt werden? (was muss vor einer Handlung erfolgt sein, wie reagiert die Oberfläche auf eine Handlung etc.) 02.04.2013/23
Analysephase: Testverfahren (IX) Gedankliches Durchspielen aller Aktionen im Lösungsweg von Aufgaben, unter Berücksichtigung von Annahmen über den Nutzer, seine Erfahrungen, sein wahrscheinliches Entscheidungsverhalten, seine Ziele, seine Handlungsmuster. Wird der Nutzer die notwendige Reaktion des Systems mit der Oberfläche erreichen? Erkennt er die Interaktionsangebote? 02.04.2013/24
Testverfahren (IX) Wird der Nutzer die nötigen Optionen des Systems finden? Wird der Nutzer den korrekten Aktionsplan fassen, um die angestrebte Lösung im Sinne der Arbeitsaufgabe zu erreichen? Wird der Nutzer bei korrekt durchgeführter Aktion erkennen, welcher Fortschritt zur Lösung der Arbeitsaufgabe erzielt wurde? Ziel ist die Konstruktion einer Erfolgsstory für jede im Test untersuchte Hauptaufgabe der Nutzer. Fehler im Ablauf sind zu analysieren. 02.04.2013/25
Testverfahren (IX) Ergebnisse: Dem Designer kann erklärt werden, ob, wo und warum das Design die Interaktion Benutzer Produkt beeinträchtigen wird. Differenzen zwischen der Sicht des Benutzers und des Entwicklers bezüglich der Bewältigung von Aufgaben werden aufgedeckt. Auch eine schlechte Menübezeichnung und unzureichende Rückmeldungen des Systems, unklare Fehlermeldungen können durch einen Cognitive Walkthrough erkannt werden. 02.04.2013/26
Testverfahren (X) Eyetracking-Verfahren Ein mögliches Ziel der Blickbewegungsregistrierung ist die Gewinnung zusätzlicher Informationen über den Handlungsablauf und die Nutzergewohn- heiten bei der Interaktion mit Softwareoberflächen für einzelne Nutzer. Ein zweites Ziel wäre die Gewinnung statistischer Informationen über Wahrnehmungsabläufe von ganzen Nutzergruppen, bezogen auf konkrete Interaktionsoberflächen oder Anblicke. 02.04.2013/27
Testverfahren (X) Technologisch gibt es zahlreiche Verfahren des Eyetrackings. Man unterscheidet im Wesentlichen: Verfahren, bei denen der Nutzer körperlich mit Aufzeichnungsgeräten in Berührung kommt (Kopfhelme, Verkabelungen etc.), und Verfahren zur berührungslosen Beobachtung des Nutzers aus der Distanz. Eyetracking ist derzeit noch teuer und oft laborgebunden. 02.04.2013/28
Testverfahren (X) 02.04.2013/29
Testverfahren (X) Tobii Mobile Eye-Tracker 02.04.2013/30
Testverfahren (X) Augenbewegungen werden mit einer speziellen Videokamera verfolgt, Abtastung alle 8,3 ms (Samplingrate von 120 Hz), Nachteil - Pop-Up Fenster können nicht ausgewertet werden www.tobii.com/market_research_usability/home.aspx www.interactive-minds.com/de/eyetracking-forschung 02.04.2013/31
Testverfahren (X) [www.usability.at] Besonderheiten des Eye-Trackings Die meisten Informationen, die dem Menschen zur Verfügung stehen, werden über das Auge aufgenommen. Das Eye-Tracking analysiert, welche Informationen aufgenommen werden. Eye-Tracking ist objektiv und genau. Störfaktoren wie soziale Erwünschtheit werden beim Eye-tracking eliminiert. 02.04.2013/32
Testverfahren (X) Was zeigt Eye-Tracking? [www.usability.at] Worauf die Benutzer achten. In welcher Reihenfolge sie ein Angebot wahrnehmen. Welchen Inhalt die Benutzer ignorieren. Wie lange sie auf einen Punkt fixiert sind. Wie leicht oder wie schwer sie sich orientieren können. 02.04.2013/33
Testverfahren (X) [www.usability.at] Blickverlauf: Der Blickverlauf zeigt die Reihenfolge der Fixationen. Durch Blickverlaufsanalysen kann festgestellt werden, welche Seitenelemente zuerst ins Auge springen. 15.04.2008/34
Testverfahren (X) [www.usability.at] Blickdichte (Hot-Spot-Analyse): Die Blickdichte beschreibt, wie viel visuelle Aufmerksamkeit bestimmte Bildschirmbereiche erhalten. (hier: 20 Nutzer) Visualisierung: Rote (verlaufend auf gelb und grün) Bereiche werden häufiger betrachtet als andere. HTWK-Leipzig, 2008 07.04.2010/35
Testverfahren (X) [www.usability.at] Bereichsanalyse - Area Of Interest: Bei der Bereichsanalyse oder Area of Interest (AOI) Analyse können einzelne Bereiche eines Bildes oder einer Website verglichen werden. Interessante Bereiche eines Mediums werden markiert und ausgewertet: HTWK-Leipzig, 2008 15.04.2008/36
Testverfahren (X) Was testet man mit Eyetracking? [www.usability.at] Softwareoberflächen, Webdesign Hardwareoberflächen Informationsangebote auf Bildschirmen Onlinewerbung, Banner, Pop-ups, etc. E-Mail- und Newsletterwerbung Plakatwerbung und Flyer, Prospekte Regaltests in Verkaufseinrichtungen... und was Ihnen sonst noch einfällt. 02.04.2013/37
Testverfahren (X) [www.usability.at] HTWK-Leipzig, 2008 15.04.2008/38
Testverfahren (X) [www.usability.at] Video unter: http://www.usability.at/leistungen/et_record.html 02.04.2013/39
Weitere Methoden... http://www.onlinemarketing-praxis.de/web-usability /usability-test-16-methoden-zur-messung-der-usability 02.04.2013/40
Weitere Testverfahren... Heuristische Evaluation nach J. Nielsen Verschiedene Sonderformen von Task Analysis State Transition Networks Programmable User Modelling Analyse von schriftlich eingereichten Beschwerden und Kommentaren (Blog, E-Mails)... Viele weitere, siehe Literatur und Wikipedia 02.04.2013/41
Weitere Links www.usabilitynet.org/tools/methods.htm www.usability.gov/methods/index.html nform.ca/tradingcards/ www.usabilityfirst.com/usability-methods www.onlinemarketing-praxis.de/webusability/usability-test-16-methoden-zurmessung-der-usability 02.04.2013/42
Humor 02.04.2013/43
Humor 02.04.2013/44
Quellen Jakob Nielsen, Designing Web Usability, New Riders Publishing, Indianapolis, IN, USA, 2000. Steve Krug, Don t make me think, mitp-verlag, Bonn, 2002. Markus Daus, Vorlesungszyklus Digitales Informations- und Kommunikationsmanagement, Vorlesung Mensch-Computer- Interaktion: Einführung, 05.05.03 Vorlesung Web-Usability und Software-Ergonomie, www.lichtung.de, Links verfolgen (SS 2004) www.useit.com - Jakob Nielsen und Co. www.infodesign.com.au - gute Site mit Anleitungen und Erfahrungsberichten, Materialien für Tests Michael Schumann, Usability Evaluation of Presentation Tools, Bachelorarbeit, HTWK Leipzig und University of Bolton, Juli 2007. 02.04.2013/45
Quellen [Q1] Anon. Concept. The American Heritage Dictionary of the English Language, 2004. URL http://www.answers.com/topic/concept. Datum: April 10, 2006. [Q2] Margaret Matlin. Cognition. Thomson Learning, London, 5th edition, 2002. ISBN 0470002212. CASSM Homepage by Ann Blandford, University College London: http://www.uclic.ucl.ac.uk/annb/cassm/ Cathleen Wharton, John Rieman, Clayton Lewis and Peter Polson, The Cognitive Walkthrough: A practitioner's guide. In: Jakob Nielsen and Robert L. Mack, editors, Usability Inspection Methods, John Wiley and Sons, Inc. 1994. Alan Dix, Janet Finlay, Gregory Abowd and Russell Beale, Human- Computer Interaction, Prentice Hall, International, 1993. Chapter 11. 02.04.2013/46
Quellen www.pages.drexel.edu/~zwz22/cognwalk.htm - gute englische Doku www.cc.gatech.edu/classes/cs3302/documents/cog.walk.html munin.bui.haw-hamburg.de/amoll/use/methoden/cognitivewalkthrough.php www.bui.haw-hamburg.de/pers/ursula.schulz/webusability/methcw.html 02.04.2013/47
Vielen Dank für Ihre Aufmerksamkeit bis demnächst. 02.04.2013/48