Gewichtung von Usability-Kriterien

Transkript

1 Gewichtung von Usability-Kriterien Autoren: Krisztin Pataki 1 und Manfred Thüring 2 Usability-Scoring, AHP, ISONORM , Multiattribute Entscheidungsverfahren, Gewichtung Zusammenfassung Bei der Evaluation interaktiver Produkte spielt die Betrachtung der Wichtigkeit von Usability-Kriterien eine bisher vernachlässigte Rolle. Studien zeigen jedoch, dass Nutzer Usability-Kriterien vor dem Hintergrund verschiedener Nutzungskontexte als verschieden relevant wahrnehmen. Die hier vorgestellte Usability- Scoring-Prozedur (USP) bietet auf der Grundlage entscheidungsanalytischer Verfahren die Möglichkeit, systematisch Gewichte für Usability-Kriterien zu erheben und diese mit Ratingwerten zu Usability-Scores zu verrechnen. Scores erlauben eine ganzheitliche Betrachtung der ergonomischen Güte und ermöglichen eine differenziertere Identifizierung von Entwicklungspotenzialen, weil sie als quantitative Gütemaße Nutzerurteile hinsichtlich des besten Produktes angemessener abbilden. Most of today s software evaluation methods do not focus on weighing usability criteria. Usually, questionnaires only enable users to judge the ergonomic quality of a product by rating it on several usability dimensions. Recent studies however have shown that users may regard usability criteria as differently important. To account for these differences in relevance, we propose the usability scoring procedure (USP) which is based on multi-criteria decision analysis. It provides means for weighing usability criteria systematically and for integrating them with usability ratings into an overall judgment of system usability. Bewertungsaspekte in der Software-Evaluation Im Rahmen der produkt-zentrierten Software-Evaluation bewerten Nutzer die software-ergonomische Qualität (Usability) interaktiver Produkte mittels Fragebögen. Hierfür liefert die Norm DIN EN ISO (ISO, 2006 [1]) mit ihren sieben Grundsätzen der Dialoggestaltung Bewertungsdimensionen in Form globaler Usability-Aspekte. Um auf der Basis dieser Aspekte die Bewertung von Software zu ermöglichen, werden diesen Bewertungsdimensionen spezifizierte Usability- Kriterien in Form von Aussagen (sog. Items) zugeordnet. Anhand von Ratingskalen gibt der Nutzer an, in welchem Ausmaß diese Aussagen auf das zu evaluierende Produkt zutreffen. 1 TU Berlin, Institut für Erziehungswissenschaft 2 TU Berlin, Institut für Kognitionspsychologie und Kognitive Ergonomie

2 Die Bewertung eines Produkts allein anhand von Usability-Kriterien ist allerdings für ein differenziertes Gesamturteil nicht ausreichend. Vor dem Hintergrund variierender Nutzungskontexte, wechselnder Aufgaben und unterschiedlicher Ziele werden diese Kriterien von Nutzern als verschieden relevant wahrgenommen. Spielt z.b. bei einer Lernsoftware der Aspekt der Individualisierbarkeit (ISO, 2006 [1]) eine bedeutende Rolle, so ist ggf. in sicherheitsrelevanten Nutzungskontexten der Aspekt der Fehlertoleranz (ISO, 2006 [1]) weitaus wichtiger. Dieser zentrale Bewertungsaspekt software-ergonomischer Qualität kann durch eine Gewichtung der Usability-Kriterien erfasst werden. Gewichte ermöglichen eine differenziertere Betrachtung identifizierter Schwachstellen hinsichtlich deren Optimierung: Bei der Weiterentwicklung eines Produkts können jene Usability-Aspekte vorrangig berücksichtigt werden, die seine Nutzer als besonders relevant betrachten. Damit die Bewertungen der Usability-Aspekte und deren Wichtigkeit nicht unverbunden nebeneinander stehen, lassen sich beide zu einem Gesamturteil aggregieren, indem sie zu Usability-Scores verrechnet werden. Usability-Scoring-Prozedere Möglichkeiten, systematisch Gewichte zu erheben und diese mit den Ratings zu Gesamturteilen zu verknüpfen, bieten Verfahren der multiattributen Entscheidungstheorie (vgl. Eisenführ & Weber, 2002 [2]). Auf diesem Ansatz basiert die hier vorgestellte Usability Scoring Procedure (USP), die einen speziell für interaktive Produkte entwickelten Fragebogen mit einem hierarchischen Gewichtungsverfahren kombiniert. Als Fragebogen dient der ISONORM 9241/110-Short (Pataki, Sachse, Prümper & Thüring [3]), als Gewichtungsverfahren der Analytisch Hierarchische Prozess - kurz AHP von Saaty (1990 [4]). Bewertung der software-ergonomischen Qualität Zur Erläuterung der Scoring-Prozedur verwenden wir das Beispiel, das in Abbildung 1 dargestellt ist und den Usability-Aspekt der Fehlertoleranz behandelt. Dieser Aspekt wird im ISONORM 9241/110-Short durch die Items verständliche Fehlermeldung (Item 1), geringer Korrekturaufwand (Item 2) und konkrete Hinweise zur Fehlerbehebung (Item 3) vollständig repräsentiert. Im ersten Schritt der Scoring-Prozedur geben die Nutzer auf einer siebenstufigen Ratingskala an, in welchem Ausmaß jedes Item auf das zu evaluierende Produkt zutrifft. Dabei reicht die Skala von -3 = der Aspekt trifft überhaupt nicht auf das zu bewertende Produkt zu bis + 3 = der Aspekt trifft in starkem Maß auf das zu bewertende Produkt zu. Im Beispiel wird ein Rating von 3 für Item 1 und Item 3 vergeben, während Item 2 ein Rating von 2 erhält. Gewichtung der Usability-Kriterien Im nächsten Schritt erfolgt die Gewichtung der Aspekte, wobei AHP eine systematische Gewichtung von Usability-Aspekten auf Dimensions- und Itemebene er-

3 möglicht. Die Gewichtung beginnt mit der Betrachtung der Aspekte auf Itemebene. Dabei werden zuerst alle Items innerhalb einer Bewertungsdimension paarweise verglichen. Hierzu dient eine neunstufige Skala (1 = gleich wichtig, 3 = etwas wichtiger, 5 = sehr viel wichtiger, 7 = erheblich wichtiger, 9 = dominant wichtig). Auf dieser Skala geben Nutzer an, wie wichtig ein Aspekt im Vergleich zu den anderen Aspekten ist. Die Ergebnisse der Paarvergleiche werden in Paarvergleichsmatrizen festgehalten. Wie die Matrix in Abbildung 1 zeigt, wird Item 1 als etwas wichtiger im Vergleich zu Item 3 bewertet und erhält entsprechend einen Skalenwert von 3. Da AHP von der Annahme der Reziprozität von Wichtigkeitsurteilen ausgeht, erhält der Vergleich Item 3 zu Item 1 automatisch den umgekehrten Skalenwert 1/3, also.33 Die anderen Werte ergeben sich analog, wobei insgesamt n(n-1)/2-vergleiche erfasst werden. Aus den Werten der Paarvergleichsmatrix werden die itemspezifischen Gewichte w i berechnet. Dabei wird zunächst jedes Zeilenelement durch die Summe seiner Spalte dividiert. Anschließend werden die so normalisierten Elemente jeder Zeile der Matrix gemittelt. Im Beispiel erhält Item 1 das Gewicht w i1 =.20 gemäß der Berechung [1/( )+2/(2+1+5)+3/( )]/3. Die Summe der resultierenden itemspezifischen Gewichte (Item 1 bis 3) ergibt eins. 1. Rating (R): Fehlertoleranz Item 1 Item Item 3 3 Paarvergleichsmatrix: Item 1 Item 2 Item 3 Item Item Item Gewichtung: itemspezifische Gewichte w i Gesamtgewichte w g 3. Scoring: gewichtete Ratings R g dimenssionspezifischer Usability-Score US d dimensionsspezifisches Gewicht w d =.30 Fehlertoleranz Lernförderlichkeit Steuerbarkeit Abb. 1: Gewichtung und Scoring von Usability-Kriterien. Anschließend erfolgt nach dem gleichen Vorgehen die Gewichtung der Dimensionen. Im Beispiel wurde für die Dimension Fehlertoleranz im Vergleich zu weiteren Bewertungsdimensionen des Fragebogens das dimensionsspezifische Gewicht w d =.30 ermittelt. In einem weiteren Schritt werden die itemspezifischen Gewichte w i und die dimensionsspezifischen Gewichte w d zu Gesamtgewichten w g US US d

4 zusammengeführt, indem jedes itemspezifische Gewicht mit dem dazugehörigen dimensionsspezifischen Gewicht multipliziert wird. In Abbildung 1 wird also z.b. das itemspezifische Gewicht für Item 1 w i =.20 mit dem dimensionsspezifischen Gewicht für die Dimension Fehlertoleranz w d =.30 zu dem Gesamtgewicht von w g =.06 aggregiert. Die anderen beiden Gesamtgewichte ergeben sich analog hierzu. Verrechnung von Ratings und Gewichten zu Usability-Scores Um im letzten Schritt die Scores zu erhalten, werden die Gesamtgewichte der Items mit den zuvor ermittelten Ratings verrechnet. Durch Multiplikation beider Bewertungsmaße ergeben sich gewichtete Ratings R g. In unserem Beispiel erhält I- tem 3 ein sehr hohes gewichtetes Rating von R g =.21, da die zu evaluierende Software hinsichtlich Item 3 als sehr positiv beurteilt wurde (R = 3), und diesem Aspekt zudem auch eine hohe Relevanz zukommt (w i =.70). Die gewichteten Ratings werden für jede Dimension addiert, woraus sich dimensionsspezifische Usability Scores US d ergeben. So ergibt die Summe der gewichteten Ratings für die Items der Dimension Fehlertoleranz einen Gesamt-Wert von.87. Dimensionsspezifische Usability-Scores werden für alle Dimensionen des Fragebogens ermittelt und können zu einem Gesamt-Score summiert werden. Im Beispiel ergibt sich auf Basis der Aspekte Fehlertoleranz, Lernförderlichkeit und Steuerbarkeit ein Usability-Score US von 1.8. Auf der Grundlage dieses Scores kann das zu evaluierende Produkt nun mit anderen Produkten verglichen und das mit der höchsten ergonomischen Qualität identifiziert werden. Die Integration von Ratings und Gewichten in Form von Usability-Scores ist für die Wahrnehmung der software-ergonomischen Qualität zu interaktiver Produkte von zentraler Bedeutung: Die bloße Betrachtung von Ratings führt zu einer bestimmten Präferenzordnung hinsichtlich des Produktes mit der höchsten Usability, die sich aufgrund der Berücksichtigung der Gewichte drastisch verändern kann. Das ist z.b. der Fall, wenn positiv bewerteten Usability-Aspekten nur eine geringe Relevanz oder negativ bewerteten Aspekten eine hohe Relevanz zugeschrieben wird. Die Verrechnung der Ratings mit den Gewichten führt dann also möglicherwiese zu einer anderen Präferenzordnung. Vor diesem Hintergrund bilden Usability-Scores die Präferenz des Nutzers zu Gunsten des Produktes mit der höchsten Usability angemessener ab, da sie ein ganzheitlicheres Bild der softwareergonomischer Qualität aufzeigen. Ergebnisse zum Scoring von Usability-Kriterien Die Usability-Scoring-Prozedur wurde bereits in mehreren Studien eingesetzt, von denen eine im Folgenden beschrieben wird. In ihr wurde der Frage nachgegangen, ob Nutzer Usability-Kriterien überhaupt als verschieden relevant wahrnehmen, und in wiefern Usability-Scores die Gesamtbewertung von Produkten verändern. An der Studie nahmen 90 Studierende Berliner Universitäten teil. Als Anwendung

5 dienten Websites aus den Nutzungskontexten Online-Banking, Online-Reisereservierung und Online-Auktion. Die Probanden wählten aus diesen drei vorgegebenen Kontexten denjenigen aus, in dem sie über die meiste Erfahrung verfügten und spezifizierten eine von ihnen häufig genutzte Website. Diese wurde zunächst mit dem Fragebogen ISOMORM (Prümper, 1997 [5] bewertet. Danach gewichteten die Nutzer die Kriterien des Fragebogens mittels AHP unter Verwendung der Bewertungssoftware ExpertChoice. Gewichte Nutzer nehmen sowohl dimensions- als auch itemspezifische Usability-Kriterienbzw. Aspekte in Abhängigkeit von den Nutzungskontexten als verschieden wichtig wahr. So wurde dem Aspekt Lernförderlichkeit für den Kontext Auktion eine signifikant höhere Relevanz zugeschrieben als für die Nutzungskontexte Banking und Reservierung (vgl. Tabelle 1). Der Aspekt Selbstbeschreibungsfähigkeit wurde von den Nutzern relevanter für die Nutzungskontexte Reisereservierung beurteilt (vgl. Tabelle 1). Zudem wurde für alle drei Nutzungskontexte der Aspekt Steuerbarkeit als am wenigsten wichtig im Vergleich zu den verbleibenden Aspekten beschrieben. Im Nutzungskontext Auktion erhält die Bewertungsdimension Lernförderlichkeit im Vergleich zu den verbleibenden Dimensionen die höchste Bedeutung (vgl. Tabelle 1). Tab. 1: Mittlere dimensionsspezifische Gewichte. Banking Reise Auktion F-Wert p < Aufgabenangemessenheit n.s. Selbstbeschreibungsfähigkeit Steuerbarkeit n.s. Erwartungskonformität n.s. Fehlertoleranz n.s. Individualisierbarkeit n.s. Lernförderlichkeit Usability-Scores Für jede Versuchsperson wurde zunächst aus den Ratings nur das Gesamturteil ISO ges errechnet. Dieses zeigte für alle drei Anwendungen eine mittlere Usability und ergab die Rangfolge (1) Auktion (ISO ges =.86), (2) Banking (ISO ges =.58) und (3) Reisereservierung (ISO ges =.55). Im zweiten Schritt wurden die Ratings mit den ermittelten Gewichten verrechnet. Daraus entstand die Rangfolge (1) Auktion (US = 1.08), (2) Banking (US =.78) und (3) Reisereservierung (US =.75). In der vorliegenden Untersuchung veränderte die Betrachtung von Gewichten im Rahmen von Usability-Scores also nicht die Rangfolge der Systeme im Vergleich zur bloßen Betrachtung der über die Dimensionen gemittelten Ratings. Dies ist darauf

6 zurückzuführen, dass Aspekten, die eine gute Bewertung im Rating erhielten, auch eine hohe Wichtigkeit beigemessen wurde und dass Aspekte, die im Rating schlecht abschnitten, als wenig relevant eingeschätzt wurden. Ausblick Die Gewichtung von Usability-Kriterien spielt bisher in der Software-Evaluation eine eher vernachlässigte Rolle. Wie unsere Studie zeigt, messen Nutzer jedoch Usability-Kriterien eine deutlich unterschiedliche Relevanz zu. Bei einer differenzierten Evaluation sollten deshalb Gewichte erhoben und in die Bewertung durch Verrechnung zu Usability-Scores einbezogen werden. Um den Untersuchungsaufwand, der sich bei der Erfassung von Gewichten erhöht, zu minimieren, besteht die Möglichkeit, in zukünftigen Studien domänenspezifische Gewichte zu identifizieren. Derartige Gewichte repräsentieren die Bedeutung von Usability-Aspekten für eine bestimmte Domäne bzw. für einen eng umrissenen Nutzungskontext, wie z.b. Online-Banking. Sie könnten in Untersuchungen als vorab ermittelte Gewichte verwendet und mit den Ratings zu Gesamt-Scores verknüpft werden, so dass Nutzer nur noch mittels Sensitivitätsanalysen (Eisenführ & Weber, 2002 [2]) einzelne Gewichte adjustieren müssten. Die in unserer Studie ermittelten Gewichte können z.b. als spezifisch für die Domäne Online-Anwendungen in ähnlichen Evaluationen genutzt werden, ohne dass der Nutzer diese in Gänze neu ermitteln muss. Dies gilt auch insbesondere deshalb, da die in der Studie ermittelten Wichtigkeiten in einer Folgestudie unter Verwendung eines anderen Gewichtungsverfahrens repliziert wurden. Es könnte sich also um stabile Größen handeln, wobei allerdings noch mehr Daten benötigt werden, um diesen Ansatz abzusichern. Literatur [1] DIN EN ISO (2006). Ergonomie der Mensch-System-Interaktion Teil 110: Grundsätze der Dialoggestaltung. Berlin: Beuth. [2] Eisenführ, F. & Weber, M. (2002). Rationales Entscheiden. Berlin: Springer [3] Pataki, K., Sachse, K., Prümper, J. & Thüring, M. (2006). ISONORM 9241/110-Short: Kurzfragebogen zur Software-Evaluation. In Lösel, F. (Hrsg.): Berichte über den 45. Kongress der Deutschen Gesellschaft für Psychologie. Lengerich: Pabst Science Publishers, S [4] Saaty, L. (1990). How to make a decision: The Analytic Hierarchy Process. European Journal of Operational Research, 48, S [5] Prümper, J. (1997). Der Benutzungsfragebogen ISONORM 9241/10: Ergebnisse zur Reliabilität und Validität. In: R. Liskowsky, B.M. Vilchkovsky & W. Wünschmann (Hrsg.): Software-Ergonomie 97 Usability Engineering: Integration von Mensch-Computer-Interaktion und Software-Entwicklung. Stuttgart: Teubner, S