Fallbeispiel WZB II: Usability-Untersuchung des Inter- und Intranetauftritts des Bereichs Bibliothek und wissenschaftliche Information von Stefanie Hansche
Inhalt Ausgangspunkt Definition von Usability Aspekte von Usability Methodenwahl Welche Bereiche der Website wurden überprüft? Praktische Durchführung Ergebnisse der Tests
Ausgangspunkt Untersuchung der Problemursachen ausgehend von der Nutzerumfrage 10 Jahre alte Website, die im Vorhinein noch nie auf ihre Benutzbarkeit überprüft worden ist
Definition von Usability ISO Norm 9241-11 Usability (dt. Gebrauchstauglichkeit) bezeichnet die Güte, mit der sich ein IT-System durch den menschlichen Nutzer zur Erreichung seiner Ziele bedienen lässt. Effektivität Die Genauigkeit und Vollständigkeit, mit der Benutzer ein bestimmtes Ziel erreichen Effizienz Der im Verhältnis zur Genauigkeit und Vollständigkeit eingesetzte Aufwand, mit dem Benutzer ein bestimmtes Ziel erreichen Zufriedenheit Beeinträchtigungsfreiheit und Akzeptanz der Nutzung
Aspekte von Usability Untersuchung der Usability von Software anhand von: Terminologie Navigation Funktionalität Design Erwartungskonformität des Seiteninhalts Umfang und Qualität der Hinweistexte
Umfrage Methodenwahl I Einsatz einer teilstandardisierten Umfrage Usability-Testing qualitative, personenbezogene und reaktive Evaluationsmethode Interaktion echter Nutzer mit dem System Nachweis von bestehenden Usability-Problemen Identifikation der Ursachen für die Probleme Think Aloud Verstärkung der Methode des Usability-Testings durch Verbalisieren der Gedanken der Testpersonen
Methodenwahl II Traditionelles Usability-Testing Durchführung in einem Usability-Labor Transkribierung der erhaltenen qualitativen Sitzungsdaten Kategorisierung der Probleme anhand eines Schemas Kostenintensiv aufgrund der Technik Discount Usability-Testing Vereinfachte Variante des traditionellen Usability-Testings Durchführung in Büroräumen Eingeschränkte Art und Umfang der Testaufzeichnung Keine artifizielle Testsituation Geringer Aufwand und geringe Kosten Eingliederung in den Entwicklungsprozess einer Website möglich
Evaluationsverfahren Unterscheidung zw. Usability- Methoden und Evaluationsverfahren Methode ist Teil des Verfahrens Wiederkehrende Optimierung des Designs einer Website
Gegenstand der Usability-Untersuchung
Praktische Durchführung der Tests Aufbau der Tests Formulierung der Testfragen Auswahl und Anzahl der Teilnehmer Rekrutierung der Teilnehmer Technische, räumliche und zeitliche Umsetzung Pretests
Aufbau der Tests Usability-Test setzte sich aus 4 Bestandteilen zusammen: Vorbemerkungen zum Testhintergrund Der Fragenkatalog I Lösung der szenariobasierten Testaufgaben Der Fragenkatalog II
Formulierung der Testfragen- und aufgaben I Fragenkatalog I Erhebung von Daten zu Geschlecht, Alter, Status am WZB, Internetverhalten Fragenkatalog II Bewertung der Navigation, Funktionalität der Seiten, Verständlichkeit der Hinweistexte, Wichtigkeit eines Glossars Offene Fragen zur Einschätzung der Navigation, der Verständlichkeit der Rubrikbezeichnungen
Formulierung der Testfragen- und aufgaben II Testaufgaben Auffinden von Kontaktinformationen Durchführung einer Bestandsrecherche außerhalb des Online-Katalogs Durchführung einer Artikel- sowie einer Buchbestellung Identifizierung von Datenbanken aus dem lizenzierten Datenbankangebot der Bibliothek Identifikation und Benutzung von speziellen Services der Bibliothek
Beispielaufgaben Zur Bearbeitung Ihrer derzeitigen Thematik brauchen Sie ein bestimmtes Buch, das in der WZB-Bibliothek nicht vorhanden ist. Wie gehen Sie vor, um die Bibliothek über Ihren Wunsch zu informieren?
Beispielaufgaben Zur Bearbeitung Ihrer derzeitigen Thematik brauchen Sie ein bestimmtes Buch, das in der WZB-Bibliothek nicht vorhanden ist. Wie gehen Sie vor, um die Bibliothek über Ihren Wunsch zu informieren? Welche der von der Bibliothek angebotenen Datenbanken würden Sie auswählen, wenn Sie Literatur zu wirtschaftswissenschaftl. Themen suchen?
Beispielaufgaben Zur Bearbeitung Ihrer derzeitigen Thematik brauchen Sie ein bestimmtes Buch, das in der WZB-Bibliothek nicht vorhanden ist. Wie gehen Sie vor, um die Bibliothek über Ihren Wunsch zu informieren? Welche der von der Bibliothek angebotenen Datenbanken würden Sie auswählen, wenn Sie Literatur zu wirtschaftswissenschaftl. Themen suchen? Die WZB-Bibliothek bietet Ihnen die Möglichkeit, regelmäßig die Inhaltsverzeichnisse neu erschienener, wissenschaftlicher Zeitschriften per E-Mail zugeschickt zu bekommen. Sie möchten diesen Service nutzen; bitte melden Sie sich für die Zeitschrift European journal of political research an!
Auswahl und Anzahl der Teilnehmer Frage: Wer nutzt die Website? Testpersonen sollten idealerweise aus der primären Zielgruppe stammen Die ideale Testperson ist die, für die die gestellten Aufgaben sehr real sind. (Manhartsberger, 2001, S. 322) Angaben zur Anzahl der Testpersonen unterschiedlich hoch zwischen 5-10 Testpersonen Bei homogener Zielgruppe können auch nur 5 Tester ausreichen Gravierende Usability-Probleme werden auch mit wenigen Testern deutlich
Rekrutierung der Teilnehmer Vorgehen: 2 Wochen vor Beginn der Tests erging ein Mailaufruf an die für die Koordinierung der Forschungsbereiche des WZB zuständigen MitarbeiterInnen ( Beuaftragte ) mit Bitte um Weiterleitung an die MitarbeiterInnen der Forschungseinheiten Nach schleppender Rückmeldung erneuter Aufruf Einsatz des Online-Tools Doodle für die Terminfindung
Durchführung von Pretests Pretests eignen sich für die Überprüfung der Abfolge der formulierten Fragen, zur Erprobung der Technik und um eventuelle Inkonsistenzen des Testkonzepts insgesamt aufzudecken Die durchgeführten Pretests zeigten u.a. Defizite in der Abfolge der Testaufgaben auf
Technische, räumliche und zeitliche Umsetzung Tests mittels Laptop Bildschirm- und Tonaufzeichnung durch Screenrecordingsoftware Camstudio Transkription der Mitschnitte in Gesprächsprotokolle pro Datei wurde ca. die doppelte Zeit benötigt Tests fanden in den Räumen der Bibliothek statt Absolvierung von 10 Tests an 4 Tagen Durchschnittliche Dauer eines Test lag bei ca. 60 min. Vor- und Nachbereitungszeit ca. 30 min.
Ergebnisse der Tests
Vor- und Nachteile der Methodenwahl Pro Einsichten in das wirkliche Nutzerverhalten hohe Validität der Daten verallgemeinerungsfähige Ergebnisse Abwesenheit von starren, künstlichen Testsituationen Büroatmosphäre kann eine natürlichere Reaktion der Teilnehmer auf den Testgegenstand begünstigen Contra nicht belastbar im statistischrepräsentativen Sinne, dafür ist die zugrunde liegende Stichprobe zu gering Testpersonen müssen ihr Handeln und Denken verbalisieren können höheres Problembewußtsein der Tester Bekanntheit der Website bei den Testern
Fazit Nutzerumfrage und Usability-Tests Identifikation vielfältiger Probleme Nicht alle Schwachstellen können bereinigt werden Designvorgaben, Abhängigkeit von weiteren Anbietern, etc. Arbeitsaufwand von ca. 100 Stunden ist, gemessen an den Ergebnissen, vertretbar
Benutzte Literatur 1) Bartel, Torsten: Die Verbesserung der Usability von WebSites. 2004 2) Jahn, Naiko: Usability Studie IREON - Fachportal Internationale Beziehungen und Länderkunde: ein anthropologisches Evaluationsmodell für digitale Bibliotheken. 2008 3) Krug, Steve: Web Usability: Rocket Surgery Made Easy. 2010 4) Manhartsberger, Martina: Web usability: Das Prinzip des Vertrauens. 2001
Vielen Dank für Ihre Aufmerksamkeit!