Usability test Analysis

Usability test Analysis

Usability Test Ablauf

Beobachter: - etwas abseits platziert, aber mit gutem Blick aufs Geschehen - bleiben stumm! - fertigen Notizen speziell bei Stolperstellen Testleiter: - führt durch den Test - einziger Ansprechpartner für Testperson Testteam Techniker: - stellt sicher, dass Equipment eingerichtet ist und funktioniert - startet und stoppt Usability-Test Aufzeichnung Analysis

Techniker: - stellt sicher, dass Equipment eingerichtet ist und funktioniert - startet und stoppt Aufzeichnung Beobachter: - etwas abseits platziert, aber mit gutem Blick aufs Geschehen - bleiben stumm! - fertigen Notizen speziell Usability-Test bei Stolperstellen Analysis Testteam

Testleiter: - führt durch den Test - einziger Ansprechpartner für Testperson Testteam

Usability Test Ablauf Testablauf Durchführung UX-Test Aqualogic IMS 2012 Screenrecording mit Insertvideo Gesprächsführung

Usability Test Ablauf Testablauf Durchführung Ermuntern Sie die Testperson freundlich bei jedem Schritt, die sie unternimmt, laut zu denken. Manche Testpersonen empfinden das laute Denken als künstlich und fühlen sich wohler, wenn sie mit einem Partner die Aufgabe gemeinsam lösen und dabei laut reflektieren. Erlaubte Fragen des Testleiters sind z.b.: "Was erwarten Sie, wenn Sie hier klicken?" "Ist das, was Sie jetzt sehen, das, was Sie erwartet haben?" "Warum glaubten Sie, dass dieser Link Sie weiter bringt?"

Usability Test Ablauf Testablauf Auswertung Testteam und Entwicklungsteam gemeinsam: - Beobachtungen durchgehen - aufgetretene Probleme sammeln und strukturieren - Sichtung und Besprechung der aufgefallenen Probleme - Entscheiden, welche gelöst werden sollen

Test-Arten

Test-Arten Summativer Test Verwendet messbare Größen z.b.: Bearbeitungsgeschwindigkeit einer bestimmten Aufgabe Anzahl der selbstständig abgeschlossenen Aufgaben Dauer der Aufgabenbearbeitung Fehlerhäufigkeit Kontrolliert, ob bestimmte Usability-Ziele oder Normen eingehalten werden (zeitlich, zählbar) Auswertung der Beobachtungen (Videoaufzeichnungen) erfolgt oft mit Hilfe von Softwaretools. z.b.: INTERACT (www.mangold.de) oder Tobii Studio Vgl.: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 + Alan Cooper et al., Face 3, Willey 2007

Test-Arten Summativer Test Ergebnis: - Quantifizierung von Ergebnissen - statistisch nutzbare Ergebnisse etwa - Bearbeitungszeiten - Fehlerhäufigkeit - Wahrnehmung einzelner Elemente Erlaubt den messbaren Vergleich zwischen verschiedenen Produkten (Versionen) Vgl.: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 + Alan Cooper et al., Face 3, Willey 2007

Summativer Test Summativer Test Ergebnis: KP UX-Test Ludwig Fahrzeug John Bedienkonzepte UX-Lab 2013 Messwerte Tabellen

Summativer Test Test-Arten UX-Test Fahrzeug Bedienkonzepte UX-Lab 2013 Summativer Test Messwerte Graphen Ergebnis:

UX-Test Fahrzeug Bedienkonzepte UX-Lab 2013 Vergleichende Ergebnistabelle

Navigation über Icon oder Text IMS 2013 Ergebnistabelle + Graphen

Test-Arten Formativer Test - Teil des iterativen Designprozesses in verschiedenen Entwicklungsstufen - beobachtet (nicht: misst) Testnutzer bei der Bearbeitung von Testaufgaben - versucht Usabilityprobleme aus dem Nutzungskontext zu verstehen Erfassungsmethoden - Schriftliches Live-Protokoll - Videoaufzeichnung und anschließendes Protokollieren - Festhalten verbaler Aussagen der Testteilnehmer - Ausfüllen von standardisierten Fragebögen Vgl.: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 + Alan Cooper et al., Face 3, Willey 2007

Test-Arten Formativer Test Es entstehen zuerst: Protokolle in chronologischer Folge alle wichtigen Ereignisse während des Tests wie - Fragen des Moderators - Antworten der Testperson - Beobachtungen der Teammitglieder - spontane Kommentierungen der Testperson >> jedoch KEINE INTERPRETATIONEN seitens der Protokollanten Die Protokolle werden dann im Team ausgewertet, die Ergebnisse interpretiert und strukturiert und so aufbereitet, dass sie für andere nachvollziehbar werden. Dieses Vorgehen wird auch zusammen gefasst unter dem Begriff: Qualitative Analyse Vgl.: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 + Alan Cooper et al., Face 3, Willey 2007

Qualitative Analyse Ziel: Identifizierung von konkreten Usabilityproblemen aus den zur Verfügung stehenden Daten Ergebnis: Pro Usability-Problem eine Tabelle

Qualitative Auswertung 5. Interpretation Usabilityprobleme einzeln zusammen fassen Vgl: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 Quelle: HS-Augsburg IMS WS2011/2012 Anika Sanwald, Gregor Jaruga, Christian Langenmair, Wilfried Pfilf, Jakob Walkobinger

Qualitative Analyse Auswertungsschritte: a) Einschätzung der Testbedingungen 1. Einschätzung Zielgruppennähe Wurde die gewünschte Nutzerzielgruppe im Test ausreichend vertreten? In welchem Grad beeinflussen evtl. Abweichungen Zielgruppe - Testnutzer die Relevanz der gefundenen Probleme? 2. Erfüllte die verwendete Testgrundlage (Software, Prototyp, Dummy, Gerät) die Anforderungen der Testaufgaben? 3. Einschätzung der Aufgabenrepräsentanz Wie gut repräsentieren einzelne Testaufgaben den realen Nutzungskontext? Können die gestellten Aufgaben ihrer Wertigkeit nach gewichtet werden?

Qualitative Analyse Auswertungsschritte: b) Inhaltliche Bewertung und Systematisierung 4. Auswertung der Protokolle Beschreibung der Usabilityprobleme auf Grundlage der Protokolle 5. (ggf.) Auswertung standardisierter Fragebögen Gesamteinschätzung der Nutzungsqualität 6. Bewertung der Schwere der Usabilityprobleme Team bewertet alle Usabilityprobleme nach ihrer Schwere

Qualitative Analyse Interpretation Für jedes Usabilityproblem angeben: - Wo trat das Problem auf? - Welcher prozentuale Anteil der Benutzer, die mit der entsprechenden Stelle des Systems konfrontiert waren, hatten dieses Problem? - Wie genau entsteht das Problem? Was wollte Benutzer erreichen? Was war seine Aufgabe? - Welche möglichen Ursachen für das Problem lassen sich ableiten? ggf. mit Zitaten aus den Protokollen belegen Angaben zu den Fehlersegmenten aus denen es abgeleitet wurde (Probleme zurückverfolgen zu können) Zusammenfassung des Ergebnisses als Tabelle

Qualitative Auswertung 5. Interpretation Usabilityprobleme einzeln zusammen fassen Vgl: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 Quelle: HS-Augsburg IMS WS2011/2012 Bernd Hacker, Boris Heißerer, Manuel Hörman, Moritz Schwind, Nico Thiebes

Qualitative Auswertung 5. Interpretation Usabilityprobleme einzeln zusammen fassen Vgl: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 UX-Test IMS.mobile 2013 Digitaler Ausstellungsbegleiter Britta Diehm, Xiaomeng Jiang, Yue Ma, Kerstin Vierthaler

Qualitative Auswertung 5. Interpretation Usabilityprobleme einzeln zusammen fassen Vgl: Prof. Dr. Burmester, Hochschule der Medien, Script 5, WS 2007/08 Quelle: HS-Augsburg IMS WS2011/2012 Anika Sanwald, Gregor Jaruga, Christian Langenmair, Wilfried Pfilf, Jakob Walkobinger

Qualitative Analyse Schwere des Problems Wichtig: Ranking erfolgt nach Usability-Gesichtspunkten unabhängig vom eingeschätzten Änderungsaufwand Vorgehen: Alle Mitglieder des Usability-Teams nehmen sich Problemliste vor und geben ihre Bewertung ab.

Qualitative Analyse Schwere des Problems Bewertungskriterien: Unterscheidung nach lokalen (tritt nur an einer bestimmten Stelle im System auf) und globalen (Navigation der gesamten Webstruktur) Usability-Problemen. Häufigkeit es Auftretens (z.b. prozentualer Anteil der Testnutzer) Einfluss des Problems auf Aufgabenbearbeitung durch Nutzer (Kann Nutzerziel trotzdem erreicht werden, wenn auch mit Schwierigkeiten) Bleibt Problem auch bei mehrmaliger Nutzung des Systems bestehen? (oder lernt der Nutzer (kann der Nutzer lernen), damit umzugehen?

Qualitative Analyse Schwere des Problems Bewertungsskala: 0 Ich stimme nicht zu Das ist kein Usabilityproblem. 1 Kosmetisches Problem muss nicht geändert werden, es sei denn, es ist genügend Zeit verfügbar 2 Kleines Problem niedrige Änderungspriorität 3 Großes Problem hohe Änderungspriorität Es ist wichtig, dieses Problem zu beheben 5 Usability Desaster(!) muss unbedingt behoben werden

Qualitative Analyse Schwere des Problems Individuelle Bewertungen wird dann über alle Auswerter gemittelt. Jedes Usability-Problem erhält damit einen bestimmten Wert für seine Schwere.

Usability Test Auswertung Highlight Video

Highlight Video Inhalt und Stil Zusammenschnitt exemplarischer Szenen aus den Testaufnahmen möglichst Splitscreen verwenden a) Sicht auf Testperson b) Sicht auf Testgegenstand (Prototyp, Screen, getestetes Interface) Vor jeder Szene Testaufgabe einblenden Beispiel: Bachelor Interaktive Medien 2013 ios IAM Desk

Highlight Video Bachelor Interaktive Medien 2013 ios IAM Desk

Highlight Video Inhalt und Stil sachlich die wesentlichen Szenen aneinander reihen das Highlight-Video soll a) die gefundenen Testergebnisse veranschaulichen b) gegenüber Dritten (evtl. Auftraggeber des Tests) dokumentieren c) möglichst für sich sprechen ergänzt die in Tabellen gelisteten Ergebnisse durch Schlüsselszenen in den Tests Beispiele: Master Interaktive Mediensysteme A/B Test von Navi-Konzepten Bachelor Interaktive Medien 2013 Installation Lumenear

Highlight Video MA Interaktive Mediensysteme 2013 A/B Test Mobile Stand mit EyeTracking

Highlight Video Bachelor Interaktive Medien 2013 Installation Lumenear Testpersonen kommentieren Videoaufzeichnung

Wie weiter? 15.Dez.2014 Vortrag Team F John: Wiss. Arbeit 22.Dez.2014 Einzeltermine auf Wunsch 12.01.2015 Ergoneers 19.01.2015 Vortrag Team D

Wie weiter? 26.01.2015, 14:00 Uhr, W 3.01 Präsentation + Abgabe Dokumentation und Auswertung der Usability-Tests mit folgenden Bestandteilen: 1. Highlight-Video (.mov) max. 5 Minuten 2. Studie in Form einer wiss. Arbeit (.pdf) Präsentation jeweils im Team, ca. 18-20 Minuten Abgabe digital (dropbox): TeamName_HighLight.mov + TeamName_Abgabe.pdf