4. User Centered Design Usability Test im Labor

Transkript

1 Software Ergonomie und Usability Engineering. 4. User Centered Design Usability Test im Labor Prof. Kirstin Kohler // Hochschule Mannheim // WS 2015_16

2 Unser Fahrplan 1. Einführung 2. Grundlagen der Psychologie 3. Normen und Richtlinien 4. User Centered Design SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 2

3 Entwicklung mit UCD - Aktivitäten 1. UCD Prozess planen 2. Nutzungskontext verstehen und beschreiben Gestaltungslösung erfüllt Nutzeranforderungen IteraNon soweit Evaluierungsergebnis Bedarf zeigt 5. Gestaltungslösung aus Nutzersicht evaluieren 3. Nutzungs- anforderungen spezifizieren Angelehnt an Bild 1: DIN EN ISO : Wechselwirkungen zwischen menschzentrierten GestaltungsakNvitäten 4. Gestaltungslösung entwickeln SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 3

4 Methoden zur Evaluation * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 4

5 Usability Test * Ziel: repräsentative Probanden verwenden das Produkt * Vor Ort, im Labor oder Remote * Von mobilen oder Desktop-Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 5

6 Usability Labor ( SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 6

7 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 7

8 Ablauf eine Usability Tests 1. Planung und Analyse _ Kennenlernen des zu testenden interaktiven Produkts _ Zielgruppen-, Aufgaben- und Nutzungskontextanalyse 2. Vorbereitung _ Entwicklung von Testaufgaben _ Auswahl geeigneter Datenerhebungsmethoden (Berücksichtigung des Usability Ziels) _ Planung von Material und Testumgebung _ Rekrutierung der Testprobanden _ Durchführung eines Probetests SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 8

9 Ablauf eines Usability Tests 3. Testdurchführung _ Einführung und Instruktion der Testpersonen _ Bearbeitung der Testaufgaben _ Nachbefragung 4. Datenauswertung _ Erstellung eines Ergebnisberichts (Usability Test Bericht) _ Auswertung quantitativer und qualitativer Daten _ Ausarbeitung der Empfehlungen/ Präsentation _ Highlight Video SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 9

10 2. Vorbereitung * Die richtigen Aufgaben stellen -> Testaufgaben // Testtasks * Die richtigen Probanden aussuchen * Die richtigen Dinge messen * Der Prototyp muss den richtigen Detailgrad haben _ Ein kritischer wichtiger Ausschnitt _ Keine Trivialitäten SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 10

11 2. Vorbereitung // Testaufgaben * Sie sollten wie richtige Aufgaben gestellt sein, müssen aber vereinfacht werden. * Sie sollten alle Aspekte des User Interfaces abdecken. _ Vor allem die Kritischen und Wichtigen * Werden aus Ihren Taskanalysen/ Aufgabenbeschreibungen abgeleitet. * Lehnen sich an Ihr Visionsszenario an. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 11

12 2. Vorbereitung // Testaufgaben Gute Testaufgaben sind * typisch für die Art von Aufgaben, die zukünftige Nutzer mit den System erledigen. * sind aus Sicht des Anwenders und seines Ziels beschrieben. Wenn der Anwender etwas suchen soll, beschreiben sie bspw. warum. *... sollen keine Begriffe verwenden, die Tipps im Hinblick auf das Interface geben. *... sind spezifisch, um Konsistenz zwischen den verschiedenen Probanden zu sichern. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 12

13 2. Vorbereitung // Probanden hyp:// tests/ SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 13

14 3. Testdurchführung * Usability Tests können ganz verschieden ablaufen: _ Film über Paper Prototyping (haben wir schon gesehen) _ Labor: : _ Guided Walkthrough _ Wizard of Oz _ Think aloud * Ca. 5-8 Probanden // ca min pro Proband * Der Test läuft für jeden Probanden gleich ab Skript wichtig * Ethische Aspekte bedenken SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 14

15 3. Testdurchführung Thinking aloud - Lautes Denken * Machen Sie dem Anwender klar, nicht der Anwender, sondern das System wird getestet. * Aussagen geben frühe Hinweise auf die Ursache der Verwirrung des Anwenders. * Die Aufzeichnung ist wichtig _ Video: teuer, aber datenreich, Bilder überzeugen _ Notizen: schnell und effektiv SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 15

16 3. Testdurchführung // Testleiter * Lesen Sie den Comic durch. Erstellen Sie eine Merkliste, die die wichtigsten Regeln für Usability Test Moderator zusammenstellt und Beispielformulierungen enthält, die Sie zur Anleitung oder Befragung der Probanden nutzen können. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 16

17 4. Datenauswertung// Highlightvideo * Highlightvideo: SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 17

18 4. Datenauswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 18

19 4. Datenauswertung Es gibt einen Standard zur Aufbereitung der Testergebnisse * CIF Common Industry Format * SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 19

20 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging *... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 20

21 Formative & Summative Tests * Beim Usability Test unterscheiden wir zwischen formativen und summativen Tests. * Formativer Test _ Werden während der Entwicklung des Produktes durchgeführt _ Gestaltungsfragen stehen im Vordergrund _ Ziel -> Verbesserung des Produktes _ Können überall durchgeführt werden (wir brauchen nicht unbedingt ein Labor) _ Ergebnisse: Kommentare der Teilnehmer (Verhalten, Quellen der Verwirrung, Begründung für Aktionen), Fotos & Highlight-Videos SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 21

22 Formative & Summative Tests * Summative Tests: _ Am Ende der Entwicklung _ Um die Usability des Produktes zu messen _ Um das Produkt mit Konkurrenzprodukten und/oder Usability Zielen zu messen _ Um Qualität zu belegen, um Gesetzesauflagen zu erfüllen _ Im Labor _ Ergebnisse enthalten statistische Daten (bspw. Erfolgsrate, Durchschnittliche Zeit zur Erreichung einer Aufgabe,...), als Report oder White Paper _ Der CIF bezieht sich auf Summative Usabilty Tests SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 22

23 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging *... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 23

24 * Projektkontext: * - Stadt Kaiserslautern * Überarbeitung im Hinblick auf _ Ausbau in Richtung E-Government _ Außenwirkung (gute Scores) _ Innenwirkung (hohe Bürgernähe) Usability Evaluation einer Internet-Präsentation _ behördeninterner Wirkung (z.b. hohe Wirtschaftlichkeit der Behörde) _ WM 2006 _... SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 24

25 Ein paar Zahlen - Test im IESE Usability Labor * Probanden: _ Anzahl: 12 Probanden (4 Amerikaner, 1 Luxemburger, 7 Pfälzer) _ Alter: 20 Jahre: 2 Personen; Jahre: 10 Personen _ Geschlecht: 6 männliche 6 weibliche Testpersonen _ Berufe: Holztechniker; Schüler; Hausfrau; Jurist; Beamter; Arzthelferin; Erzieher; Soldat; Onlineredakteurin * Testdauer: _ 1,5 h pro Sitzung _ 18 h Videomaterial _ 1-2 Probanten pro Tag SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 25

26 Testszenarien * Berufstätiger sucht Info über Japanischen Garten * Schülerin sucht Busverbindungen zum Kino * Schüler informiert sich über das Jugendzentrum * Geschäftsführer plant Geschäftsreise * Portugiesischer Fußballfan plant WM- Besuch * Geschäftsführer beantragt Parkausweise * Berufstätiger beschwert sich über Lärm * Sergeant informiert sich über Sperrmüll- Entsorgung * Amerikanerin plant Freizeitaktivitäten * Amerikaner plant nach seiner Dienstzeit in Deutschland zu bleiben SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 26

27 Gefundene Schwachstellen * Gesamt: 89 * Davon schwerwiegend: 12 * Davon störend: 39 * Davon kosmetisch: 38 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 27

28 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen * Eyetracking * Web-Logging * Metriken SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 28

29 * Wo sehen Sie die Herausforderungen für den Usability Test mobiler Anwendungen? SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 29

30 Testen Mobiler Anwendungen ( SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 30

31 Testen Mobiler Anwendungen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 31

32 Highlight Video Highlightvideo: hyp:// SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 32

33 Usability Testing Nokia Probanten AusstaYung Drei Kameras Für Displays & Keyboards für das Gesicht für die Umgebung Kabelloser Videosignal Transceever und BaYerien Mikrophone Audio und Video- Aufnahme Gerät Testleiter 6 Zoll LCD Monitor Video Kamera und Drahtloser Video Transceiver A. Kaikkonen et al. (Nokia) Usability TesNng of Mobile ApplicaNons: A Comparison between Laboratory and Field TesNng, JUS, Nov SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 33

34 Usability Testing - Google Towards the Perfect Infrastructure for Usability TesNng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 34

35 Usability Testing - Goolge Towards the Perfect Infrastructure for Usability TesNng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 35

36 Und sonst... * Mit VNC Server fürs i-phone _ IDemo _ ScreenSplitr _ Display Recorder _ Geht nur mit jailbroken Phones _ * Gute Gegenüberstellung verschiedener Alternativen: _ SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 36

37 iphone: Laborumgebung Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 37

38 iphone: Laborumgebung Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 38

39 iphone: Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 39

40 Im Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 40

41 iphone: Feldtest Bachelorarbeit * MaYhias Brunner * 2011 SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 41

42 Ihre Aufgabe bis 11. Januar 2016 * Bereiten Sie den Usability Test Ihres Prototypen vor: _ Beschreiben Sie die Usability Testaufgaben (siehe Template zu Chapter 6 unter _ Passen Sie Ihren Prototypen an, so dass er die Testaufgaben unterstützt. _ Schreiben Sie ein Skript für das Usability Test Briefing (siehe Beispiel Table 9.1 unter _ Laden Sie mindestens zwei Probanten ein. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 42

43 Hinterher: Aufgabe * Bereiten Sie die Testergebnisse tabellarisch auf. * Erarbeiten Sie Lösungsideen, um die identifizierten Mängel zu beheben. * Nehmen Sie beides in Ihre Dokumentation auf. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 43

44 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 44

45 System Usability Scale (SUS) * Einfachster Fragebogen zur Erfassung subjektiver Usability Einschätzungen. * Entwickelt von Digital Equipment. * Ergibt einen einzigen Score zwischen 0 und 100. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 45

46 SUS Auswertung * SUS yields a single number representing a composite measure of the overall usability of the system being studied. Note that scores for individual items are not meaningful on their own. * To calculate the SUS score, first sum the score contributions from each item. Each item's score contribution will range from 0 to 5. For items 1,3,5,7,and 9 the score contribution is the scale position minus 1. For items 2,4,6,8 and 10, the contribution is 5 minus the scale position. Multiply the sum of the scores by 2.5 to obtain the overall value of SU.. * SUS scores have a range of 0 to 100. SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 46

47 Auswertung des SUS * bangor5.html SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 47

48 Auswertung des SUS SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 48

49 Der AYrakdiff

50 AttrakDiff - Auswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 50

51 Attrakdiff - Auswertung SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 51

52 * Weitere Fragebögen: _ SUMI _ IsoMetrics _ IsoNorm _ QUESI _ TAM _... * SEU // 4. User Centered Design Usability Test // Prof. Kirstin Kohler // WS 2015_16 52