4. User Centered Design Usability Test im Labor

Software Ergonomie und Usability Engineering. 4. User Centered Design Usability Test im Labor Prof. Kirstin Kohler // Hochschule Mannheim // WS 2015_16

Unser Fahrplan 1. Einführung 2. Grundlagen der Psychologie 3. Normen und Richtlinien 4. User Centered Design SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 2

Entwicklung mit UCD - Aktivitäten 1. UCD Prozess planen 2. Nutzungskontext verstehen und beschreiben Gestaltungslösung erfüllt Nutzeranforderungen IteraNon soweit Evaluierungsergebnis Bedarf zeigt 5. Gestaltungslösung aus Nutzersicht evaluieren 3. Nutzungs- anforderungen spezifizieren Angelehnt an Bild 1: DIN EN ISO 9241-210: Wechselwirkungen zwischen menschzentrierten GestaltungsakNvitäten 4. Gestaltungslösung entwickeln SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 3

Methoden zur Evaluation * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 4

Usability Test * Ziel: repräsentative Probanden verwenden das Produkt * Vor Ort, im Labor oder Remote * Von mobilen oder Desktop-Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 5

Usability Labor (http://www.causause.de/bilder/testlabor_44.jpg) SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 6

SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 7

Ablauf eine Usability Tests 1. Planung und Analyse _ Kennenlernen des zu testenden interaktiven Produkts _ Zielgruppen-, Aufgaben- und Nutzungskontextanalyse 2. Vorbereitung _ Entwicklung von Testaufgaben _ Auswahl geeigneter Datenerhebungsmethoden (Berücksichtigung des Usability Ziels) _ Planung von Material und Testumgebung _ Rekrutierung der Testprobanden _ Durchführung eines Probetests SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 8

Ablauf eines Usability Tests 3. Testdurchführung _ Einführung und Instruktion der Testpersonen _ Bearbeitung der Testaufgaben _ Nachbefragung 4. Datenauswertung _ Erstellung eines Ergebnisberichts (Usability Test Bericht) _ Auswertung quantitativer und qualitativer Daten _ Ausarbeitung der Empfehlungen/ Präsentation _ Highlight Video SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 9

2. Vorbereitung * Die richtigen Aufgaben stellen -> Testaufgaben // Testtasks * Die richtigen Probanden aussuchen * Die richtigen Dinge messen * Der Prototyp muss den richtigen Detailgrad haben _ Ein kritischer wichtiger Ausschnitt _ Keine Trivialitäten SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 10

2. Vorbereitung // Testaufgaben * Sie sollten wie richtige Aufgaben gestellt sein, müssen aber vereinfacht werden. * Sie sollten alle Aspekte des User Interfaces abdecken. _ Vor allem die Kritischen und Wichtigen * Werden aus Ihren Taskanalysen/ Aufgabenbeschreibungen abgeleitet. * Lehnen sich an Ihr Visionsszenario an. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 11

2. Vorbereitung // Testaufgaben Gute Testaufgaben sind * typisch für die Art von Aufgaben, die zukünftige Nutzer mit den System erledigen. * sind aus Sicht des Anwenders und seines Ziels beschrieben. Wenn der Anwender etwas suchen soll, beschreiben sie bspw. warum. *... sollen keine Begriffe verwenden, die Tipps im Hinblick auf das Interface geben. *... sind spezifisch, um Konsistenz zwischen den verschiedenen Probanden zu sichern. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 12

2. Vorbereitung // Probanden hyp://www.scoreberlin.de/kontakt/jobs/usability- tests/ SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 13

3. Testdurchführung * Usability Tests können ganz verschieden ablaufen: _ Film über Paper Prototyping (haben wir schon gesehen) _ Labor: : http://www.youtube.com/watch?v=92sjvenrouo&feature=related _ Guided Walkthrough _ Wizard of Oz _ Think aloud * Ca. 5-8 Probanden // ca. 20 90 min pro Proband * Der Test läuft für jeden Probanden gleich ab Skript wichtig * Ethische Aspekte bedenken SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 14

3. Testdurchführung Thinking aloud - Lautes Denken * Machen Sie dem Anwender klar, nicht der Anwender, sondern das System wird getestet. * Aussagen geben frühe Hinweise auf die Ursache der Verwirrung des Anwenders. * Die Aufzeichnung ist wichtig _ Video: teuer, aber datenreich, Bilder überzeugen _ Notizen: schnell und effektiv SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 15

3. Testdurchführung // Testleiter * Lesen Sie den Comic durch. Erstellen Sie eine Merkliste, die die wichtigsten Regeln für Usability Test Moderator zusammenstellt und Beispielformulierungen enthält, die Sie zur Anleitung oder Befragung der Probanden nutzen können. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 16

4. Datenauswertung// Highlightvideo * Highlightvideo: http://www.youtube.com/watch?v=phvwrlwlbnw SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 17

4. Datenauswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 18

4. Datenauswertung Es gibt einen Standard zur Aufbereitung der Testergebnisse * CIF Common Industry Format * http://uzilla.net/uzilla/blog/cif/template.html SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 19

Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging *... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 20

Formative & Summative Tests * Beim Usability Test unterscheiden wir zwischen formativen und summativen Tests. * Formativer Test _ Werden während der Entwicklung des Produktes durchgeführt _ Gestaltungsfragen stehen im Vordergrund _ Ziel -> Verbesserung des Produktes _ Können überall durchgeführt werden (wir brauchen nicht unbedingt ein Labor) _ Ergebnisse: Kommentare der Teilnehmer (Verhalten, Quellen der Verwirrung, Begründung für Aktionen), Fotos & Highlight-Videos SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 21

Formative & Summative Tests * Summative Tests: _ Am Ende der Entwicklung _ Um die Usability des Produktes zu messen _ Um das Produkt mit Konkurrenzprodukten und/oder Usability Zielen zu messen _ Um Qualität zu belegen, um Gesetzesauflagen zu erfüllen _ Im Labor _ Ergebnisse enthalten statistische Daten (bspw. Erfolgsrate, Durchschnittliche Zeit zur Erreichung einer Aufgabe,...), als Report oder White Paper _ Der CIF bezieht sich auf Summative Usabilty Tests SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 22

Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging *... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 23

* Projektkontext: * - Stadt Kaiserslautern * Überarbeitung im Hinblick auf _ Ausbau in Richtung E-Government _ Außenwirkung (gute Scores) _ Innenwirkung (hohe Bürgernähe) Usability Evaluation einer Internet-Präsentation _ behördeninterner Wirkung (z.b. hohe Wirtschaftlichkeit der Behörde) _ WM 2006 _... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 24

Ein paar Zahlen - Test im IESE Usability Labor * Probanden: _ Anzahl: 12 Probanden (4 Amerikaner, 1 Luxemburger, 7 Pfälzer) _ Alter: 20 Jahre: 2 Personen; 20 40 Jahre: 10 Personen _ Geschlecht: 6 männliche 6 weibliche Testpersonen _ Berufe: Holztechniker; Schüler; Hausfrau; Jurist; Beamter; Arzthelferin; Erzieher; Soldat; Onlineredakteurin * Testdauer: _ 1,5 h pro Sitzung _ 18 h Videomaterial _ 1-2 Probanten pro Tag SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 25

Testszenarien * Berufstätiger sucht Info über Japanischen Garten * Schülerin sucht Busverbindungen zum Kino * Schüler informiert sich über das Jugendzentrum * Geschäftsführer plant Geschäftsreise * Portugiesischer Fußballfan plant WM- Besuch * Geschäftsführer beantragt Parkausweise * Berufstätiger beschwert sich über Lärm * Sergeant informiert sich über Sperrmüll- Entsorgung * Amerikanerin plant Freizeitaktivitäten * Amerikaner plant nach seiner Dienstzeit in Deutschland zu bleiben SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 26

Gefundene Schwachstellen * Gesamt: 89 * Davon schwerwiegend: 12 * Davon störend: 39 * Davon kosmetisch: 38 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 27

Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging * Metriken SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 28

* Wo sehen Sie die Herausforderungen für den Usability Test mobiler Anwendungen? SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 29

Testen Mobiler Anwendungen ( http://easeofweb.com/mobile_usability_testing.html) SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 30

Testen Mobiler Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 31

Highlight Video Highlightvideo: hyp://www.youtube.com/watch?v=phvwrlwlbnw SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 32

Usability Testing Nokia Probanten AusstaYung Drei Kameras Für Displays & Keyboards für das Gesicht für die Umgebung Kabelloser Videosignal Transceever und BaYerien Mikrophone Audio und Video- Aufnahme Gerät Testleiter 6 Zoll LCD Monitor Video Kamera und Drahtloser Video Transceiver A. Kaikkonen et al. (Nokia) Usability TesNng of Mobile ApplicaNons: A Comparison between Laboratory and Field TesNng, JUS, Nov. 2005 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 33

Usability Testing - Google Towards the Perfect Infrastructure for Usability TesNng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 34

Usability Testing - Goolge Towards the Perfect Infrastructure for Usability TesNng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 35

Und sonst... * Mit VNC Server fürs i-phone _ IDemo _ ScreenSplitr _ Display Recorder _ Geht nur mit jailbroken Phones _ http://www.capstrat.com/insights/blog/recording-usability-tests-iphone/ * Gute Gegenüberstellung verschiedener Alternativen: _ http://www.slideshare.net/beleniq/do-it-yourself-mobile-usabilitytesting-ateuroia-2010 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 36

iphone: Laborumgebung Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 37

iphone: Laborumgebung Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 38

iphone: Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 39

Im Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 40

iphone: Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 41

Ihre Aufgabe bis 11. Januar 2016 * Bereiten Sie den Usability Test Ihres Prototypen vor: _ Beschreiben Sie die Usability Testaufgaben (siehe Template zu Chapter 6 unter http://www.paperprototyping.com/download.html) _ Passen Sie Ihren Prototypen an, so dass er die Testaufgaben unterstützt. _ Schreiben Sie ein Skript für das Usability Test Briefing (siehe Beispiel Table 9.1 unter http://www.paperprototyping.com/download.html) _ Laden Sie mindestens zwei Probanten ein. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 42

Hinterher: Aufgabe * Bereiten Sie die Testergebnisse tabellarisch auf. * Erarbeiten Sie Lösungsideen, um die identifizierten Mängel zu beheben. * Nehmen Sie beides in Ihre Dokumentation auf. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 43

Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 44

System Usability Scale (SUS) * Einfachster Fragebogen zur Erfassung subjektiver Usability Einschätzungen. * Entwickelt von Digital Equipment. * Ergibt einen einzigen Score zwischen 0 und 100. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 45

SUS Auswertung * SUS yields a single number representing a composite measure of the overall usability of the system being studied. Note that scores for individual items are not meaningful on their own. * To calculate the SUS score, first sum the score contributions from each item. Each item's score contribution will range from 0 to 5. For items 1,3,5,7,and 9 the score contribution is the scale position minus 1. For items 2,4,6,8 and 10, the contribution is 5 minus the scale position. Multiply the sum of the scores by 2.5 to obtain the overall value of SU.. * SUS scores have a range of 0 to 100. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 46

Auswertung des SUS * http://www.usabilityprofessionals.org/upa_publications/jus/2009may/ bangor5.html SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 47

Auswertung des SUS SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 48

Der AYrakdiff

AttrakDiff - Auswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 50

Attrakdiff - Auswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 51

* Weitere Fragebögen: _ SUMI _ IsoMetrics _ IsoNorm _ QUESI _ TAM _... * http://www.usabilitynet.org/tools/r_questionnaire.htm SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 52