4. Phase Lösung Evaluieren

Transkript

1 Software Ergonomie und Usability Engineering. 4. Phase Lösung Evaluieren Prof. Kirstin Kohler // Hochschule Mannheim // WS 2016_17

2 Entwicklung mit UCD - Aktivitäten 1. UCD Prozess planen 2. Nutzungskontext verstehen und beschreiben Gestaltungslösung erfüllt Nutzeranforderungen IteraLon soweit Evaluierungsergebnis Bedarf zeigt 5. Gestaltungslösung aus Nutzersicht evaluieren 3. Nutzungs- anforderungen spezifizieren Angelehnt an Bild 1: DIN EN ISO : Wechselwirkungen zwischen menschzentrierten GestaltungsakLvitäten 4. Gestaltungslösung entwickeln SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 2

3 Methoden zur Evaluation * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 3

4 Usability Test * Ziel: repräsentative Probanden verwenden das Produkt * Vor Ort, im Labor oder Remote * Von mobilen oder Desktop-Anwendungen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 4

5 Usability Labor ( SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 5

6 Beobachter SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 6

7 Ablauf eine Usability Tests 1. Planung und Analyse _ Kennenlernen des zu testenden interaktiven Produkts _ Zielgruppen-, Aufgaben- und Nutzungskontextanalyse 2. Vorbereitung _ Entwicklung von Testaufgaben _ Auswahl geeigneter Datenerhebungsmethoden (Berücksichtigung des Usability Ziels) _ Planung von Material und Testumgebung _ Rekrutierung der Testprobanden _ Durchführung eines Probetests SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 7

8 Ablauf eines Usability Tests 3. Testdurchführung _ Einführung und Instruktion der Testpersonen _ Bearbeitung der Testaufgaben _ Nachbefragung 4. Datenauswertung _ Erstellung eines Ergebnisberichts (Usability Test Bericht) _ Auswertung quantitativer und qualitativer Daten _ Ausarbeitung der Empfehlungen/ Präsentation _ Highlight Video SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 8

9 2. Vorbereitung * Die richtigen Aufgaben stellen -> Testaufgaben // Testtasks * Die richtigen Probanden aussuchen * Die richtigen Dinge messen * Der Prototyp muss den richtigen Detailgrad haben _ Ein kritischer wichtiger Ausschnitt _ Keine Trivialitäten SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 9

10 2. Vorbereitung // Testaufgaben * Sie sollten wie richtige Aufgaben gestellt sein, müssen aber vereinfacht werden. * Sie sollten alle Aspekte des User Interfaces abdecken. _ Vor allem die Kritischen und Wichtigen * Werden aus Ihren Taskanalysen/ Aufgabenbeschreibungen abgeleitet. * Lehnen sich an Ihr Visionsszenario an. SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 10

11 2. Vorbereitung // Testaufgaben Gute Testaufgaben sind * typisch für die Art von Aufgaben, die zukünftige Nutzer mit den System erledigen. * sind aus Sicht des Anwenders und seines Ziels beschrieben. Wenn der Anwender etwas suchen soll, beschreiben sie bspw. warum. *... sollen keine Begriffe verwenden, die Tipps im Hinblick auf das Interface geben. *... sind spezifisch, um Konsistenz zwischen den verschiedenen Probanden zu sichern. SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 11

12 2. Vorbereitung // Probanden hwp:// tests/ SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 12

13 3. Testdurchführung * Usability Tests können ganz verschieden ablaufen: _ Film über Paper Prototyping (haben wir schon gesehen) _ Labor: : _ Guided Walkthrough _ Wizard of Oz _ Think aloud * Ca. 5-8 Probanden // ca min pro Proband * Der Test läuft für jeden Probanden gleich ab Skript wichtig * Ethische Aspekte bedenken SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 13

14 3. Testdurchführung Thinking aloud - Lautes Denken * Machen Sie dem Anwender klar, nicht der Anwender, sondern das System wird getestet. * Aussagen geben frühe Hinweise auf die Ursache der Verwirrung des Anwenders. * Die Aufzeichnung ist wichtig _ Video: teuer, aber datenreich, Bilder überzeugen _ Notizen: schnell und effektiv SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 14

15 3. Testdurchführung // Testleiter * Lesen Sie den Comic durch. Erstellen Sie eine Merkliste, die die wichtigsten Regeln für Usability Test Moderator zusammenstellt und Beispielformulierungen enthält, die Sie zur Anleitung oder Befragung der Probanden nutzen können. SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 15

16 4. Datenauswertung// Highlightvideo * Highlightvideo: SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 16

17 4. Datenauswertung SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 17

18 4. Datenauswertung Es gibt einen Standard zur Aufbereitung der Testergebnisse * CIF Common Industry Format * SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 18

19 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 19

20 Formative & Summative Tests * Beim Usability Test unterscheiden wir zwischen formativen und summativen Tests. * Formativer Test _ Werden während der Entwicklung des Produktes durchgeführt _ Gestaltungsfragen stehen im Vordergrund _ Ziel -> Verbesserung des Produktes _ Können überall durchgeführt werden (wir brauchen nicht unbedingt ein Labor) _ Ergebnisse: Kommentare der Teilnehmer (Verhalten, Quellen der Verwirrung, Begründung für Aktionen), Fotos & Highlight-Videos SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 20

21 Formative & Summative Tests * Summative Tests: _ Am Ende der Entwicklung _ Um die Usability des Produktes zu messen _ Um das Produkt mit Konkurrenzprodukten und/oder Usability Zielen zu messen _ Um Qualität zu belegen, um Gesetzesauflagen zu erfüllen _ Im Labor _ Ergebnisse enthalten statistische Daten (bspw. Erfolgsrate, Durchschnittliche Zeit zur Erreichung einer Aufgabe,...), als Report oder White Paper _ Der CIF bezieht sich auf Summative Usabilty Tests SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 21

22 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 22

23 * Projektkontext: * - Stadt Kaiserslautern * Überarbeitung im Hinblick auf _ Ausbau in Richtung E-Government _ Außenwirkung (gute Scores) _ Innenwirkung (hohe Bürgernähe) Usability Evaluation einer Internet-Präsentation _ behördeninterner Wirkung (z.b. hohe Wirtschaftlichkeit der Behörde) _ WM 2006 _... SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 23

24 Ein paar Zahlen - Test im IESE Usability Labor * Probanden: _ Anzahl: 12 Probanden (4 Amerikaner, 1 Luxemburger, 7 Pfälzer) _ Alter: 20 Jahre: 2 Personen; Jahre: 10 Personen _ Geschlecht: 6 männliche 6 weibliche Testpersonen _ Berufe: Holztechniker; Schüler; Hausfrau; Jurist; Beamter; Arzthelferin; Erzieher; Soldat; Onlineredakteurin * Testdauer: _ 1,5 h pro Sitzung _ 18 h Videomaterial _ 1-2 Probanten pro Tag SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 24

25 Testszenarien * Berufstätiger sucht Info über Japanischen Garten * Schülerin sucht Busverbindungen zum Kino * Schüler informiert sich über das Jugendzentrum * Geschäftsführer plant Geschäftsreise * Portugiesischer Fußballfan plant WM- Besuch * Geschäftsführer beantragt Parkausweise * Berufstätiger beschwert sich über Lärm * Sergeant informiert sich über Sperrmüll- Entsorgung * Amerikanerin plant Freizeitaktivitäten * Amerikaner plant nach seiner Dienstzeit in Deutschland zu bleiben SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 25

26 Gefundene Schwachstellen * Gesamt: 89 * Davon schwerwiegend: 12 * Davon störend: 39 * Davon kosmetisch: 38 SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 26

27 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 27

28 * Wo sehen Sie die Herausforderungen für den Usability Test mobiler Anwendungen? SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 28

29 Testen Mobiler Anwendungen ( SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 29

30 Testen Mobiler Anwendungen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 30

31 Highlight Video Highlightvideo: hwp:// SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 31

32 Usability Testing Nokia Probanten AusstaWung Drei Kameras Für Displays & Keyboards für das Gesicht für die Umgebung Kabelloser Videosignal Transceever und BaWerien Mikrophone Audio und Video- Aufnahme Gerät Testleiter 6 Zoll LCD Monitor Video Kamera und Drahtloser Video Transceiver A. Kaikkonen et al. (Nokia) Usability TesLng of Mobile ApplicaLons: A Comparison between Laboratory and Field TesLng, JUS, Nov SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 32

33 Usability Testing - Google Towards the Perfect Infrastructure for Usability TesLng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 33

34 Usability Testing - Goolge Towards the Perfect Infrastructure for Usability TesLng on Mobile Devices, CHI 2007, Rudy Schusteritsch et. al SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 34

35 Methoden zur Evaluation * Heuristische Evalution * Usability Testen _ Ablauf _ Summative vs. Formative Usability Tests _ Ergebnisse aus einem Projekt _ Usability Tests mobiler Anwendungen * Fragebögen SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 35

36 System Usability Scale (SUS) * Einfachster Fragebogen zur Erfassung subjektiver Usability Einschätzungen. * Entwickelt von Digital Equipment. * Ergibt einen einzigen Score zwischen 0 und 100. SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 36

37 SUS Auswertung * SUS yields a single number representing a composite measure of the overall usability of the system being studied. Note that scores for individual items are not meaningful on their own. * To calculate the SUS score, first sum the score contributions from each item. Each item's score contribution will range from 0 to 5. For items 1,3,5,7,and 9 the score contribution is the scale position minus 1. For items 2,4,6,8 and 10, the contribution is 5 minus the scale position. Multiply the sum of the scores by 2.5 to obtain the overall value of SU.. * SUS scores have a range of 0 to 100. SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 37

38 Auswertung des SUS SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 38

39 Auswertung des SUS SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 39

40 Der AWrakdiff

41 AttrakDiff - Auswertung SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 41

42 Attrakdiff - Auswertung SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 42

43 * Weitere Fragebögen: _ SUMI _ IsoMetrics _ IsoNorm _ QUESI _ TAM _... * SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 43

44 Evaluationen in Ihrem Projekt * Sammeln/protokollieren Sie alle Schwachstellen, die Sie im Laufe Ihres Projektes identifizieren in einer Liste. Diese ist am Ende des Projektes mit Ihrem Prototypen abzugeben. Annotieren Sie dort _ Den Ort / den Screen der Schwachstelle _ Datum/Version der Gestaltungslösung, die die Schwachstelle aufweist _ Die Ausprägung der Schwachstelle (worin besteht die Schwachstelle: wird eine Aufgabe nicht angemessen unterstützt, ist ein Dialogprinzip oder eine Styleguide Regel verletzt,...?) _ Ihre Einschätzung des Schweregrades der Schwachstelle _ Die Lösung zur Behebung der Schwachstelle SEU // 4. UCD Evaluation Usability Test // Prof. Kirstin Kohler // WS 2016_17 44