Human-Computer-Interaction HCI

Transkript

1 Human-Computer-Interaction HCI WS 09/10 Professur für Angewandte Informatik insb. Kognitive Systeme

2 Gliederung 1. Aufbau & Struktur der Studie 2. Walkthrough 3. Fragebogen 4. Blickbewegungsmessung 5. Bewertung und Ausblick 22

3 Aufbau & Struktur der Studie

4 Exploration der Software Kennenlernen der Software Erstellen von Testdokumenten Suchen von potentiellen Schwachstellen

5 Vorbereitung des Versuchs Zusammenstellen des Fragebogens Erstellung von Aufgaben für Probanden

6 Versuchsablauf Kurze Einführung in die Software EyeTracker-Kalibrierung Versuchsleiter Stellte Aufgaben Griff bei Bedarf ein (nach mehreren Minunten erfolglosen Suchens) Fragebogen

7 Walkthrough

8 Walkthrough Theorie Grund für Walkthrough Durchführung Ergebnisse Hypothesen/Aufgaben

9 Walkthrough - Theorie Ziel: Inspektion der Usability des Interfaces Analytisches (Evolutions-)Verfahren Usability Experte übernimmt Rolle des Nutzers Analyse an Hand einer konkreten Aufgabe Kriterien für Evaluation: Einhaltung von Konventionen Erwartungskonform Effektivität

10 Walkthrough - Grund Keine Log-Files für Analysezwecke Keine Nutzerbefragung Beschränkte Kapazität an Probanden Usability Experten vorhanden EyeTracker vorhanden

11 Walkthrough - Durchführung Einarbeitung in das System Überblick erlangen Teilaufgaben isoliert durchführen Erste Problemstellen erkennen Aufgabenstellung definieren um Workflow zu evaluieren Aufgabenstellung bearbeiten (nächste Folie) Ergebnisse auswerten Protokollierung

12 Walkthrough - Durchführung Nachbildung Handbuch Modellhubschrauber Direkte Aufgaben: Deckblatt Graphiken Sicherheits/Warnhinweise Listen Implizite Aufgaben: Projekt anlegen Ordner definieren Verwendung CMS...

13 Walkthrough - Ergebnisse Auswertung der Protokolle Zusammenführung der Eindrücke Ausarbeitung von Hypothesen Ausarbeitung von isolierten Aufgabenstellungen zur empirischen Verifikation Lösungsansätze für Verbesserungen

14 Walkthrough - Ergebnisse Überblick identifizierter Probleme Stapelverarbeitung (im Kontext von Graphiken) Tastatur/Mauswechsel (Tabbing, Shortcuts) Markieren von Worten und Textabschnitten Ordnerstruktur Suche Inkonsistenzen im Dialog

15 Walkthrough - Stapelverarbeitung

16 Walkthrough Tastatur/Mauswechsel

17 Walkthrough Markierungen Selektierung von Text zwischen Tags nicht durch Triple-Klick möglich

18 Walkthrough - Ordnerstruktur

19 Walkthrough - Suche

20 Walkthrough Inkonsistenz Dialog

21 Walkthrough - Aufgaben/Hypothesen Erstellung von Hypothesen an Hand der Ergebnisse Ausarbeitung Aufgabenstellung: geführter Walkthrough der Probanden empirische Evaluation der Hypothesen Aufdecken weiterer Problemstellungen

22 Walkthrough - Aufgaben/Hypothesen Ordnerstruktur anlegen Hypothese: Fehlende Defaulteinstellungen für Projekterstellung hinderlich Dokument erstellen Hypothese: Offen Kapitel erstellen Hypothese: Offen

23 Walkthrough - Aufgaben/Hypothesen Bilder einfügen Hypothese: Intuitive Drag & Drop Funktionalität wird erwartet Hypothese: Fehlende Stapelverarbeitung von Graphiken hemmt Arbeitsfluss Hypothese: Inkonsistente Dialogführung hemmt Arbeitsfluss Kapitel referenzieren Hypothese: Offen Warnung referenzieren Hypothese: Suchdialog für schnelles Auffinden von Dateien unübersichtlich

24 Fragebogen

25 Zahlen 4 Probanten 3 männlich, 1 weiblich 3x informatik, 1x psychologie 5 Antwortmöglichkeiten 45 Fragen 2 Freie Antwortmöglickeiten (pro und contra) Zu wenig Probanten für Statistik!

26 Theorie Likert Skala Trifft vollkommen zu Trifft eher zu Positive Bewertungen Die Meldungen der Software sind für mich sofort verständlich (11). Trifft teilweise zu Trifft kaum zu Trifft gar nicht zu Ausnahmen: 30, 33, 39 Keine Angabe "gar keine Angabe"

27 Gliederung Fragen Allgemeine Einschätzung Selbstbeschreibungs-fähigkeit Freie Antworten Positives Negatives Steuerbarkeit Fehlerrobustheit Persönliche Angaben Erfahrungen

28 Deutung

29 Formulierung Allgemein Beschreibung Steuerung Fehler

30 Volle Übereinstimmung Allgemein Beschreibung Steuerung Fehler

31 Tenor Allgemein Beschreibung Steuerung Fehler

32 Kritik Allgemein Beschreibung Steuerung Fehler

33 Freie Antworten Es ist für mich unmittelbar ersichtlich, was die Befehle des Systems bewirken (18) Drag&Drop Prinzip zunächst kryptisch Suchbutton ist als solcher nicht erkennbar Stapelverarbeitung: Umständliches Hantieren mit Objekten Teilweise umständliche Bedienung (Bilder einfügen)

34 4. Blickbewegungsmessung und ihre Ergebnisse

35 4.1. Eyetracker Zur Blickbewegungsmessung haben wir das Eyegaze EdgeTM System verwendet: Monokular: 60 Hz Samplingrate Genauigkeit: Mittlere Abweichung von 0,45 Grad Komplett ausgestattetes Computersystem

36 4.2. Aufmerksamkeitsverteilung Wie ist die Aufmerksamkeit der Nutzer während der Nutzung des Programms verteilt? Erstellung von sogenannten Sinnbildernzur Veranschaulichung Aufmerksamkeitsgrad wird mit Abstufungen aus Gelb-und Rottönen dargestellt

37 Versuchsperson 1 Auffällig ist: Oberer horizontaler Bereich (Menüleiste und Iconbar) wird nicht angeschaut Hilfe wurde benutzt

38 Versuchsperson 2 Auffällig ist: Betrachtung und Nutzung der Toolbar Funktionen über Hilfeansicht wurden angeschaut Hilfe wurde fast gar nicht benutzt

39 Versuchsperson 3 Auffällig ist: Betrachtung und Nutzung der Toolbar Funktionen über Hilfeansicht wurden angeschaut Hilfe wurde fast gar nicht benutzt

40 Versuchsperson 4 Auffällig ist: Oberer horizontaler Bereich (Menüleiste und Iconbar) wird nicht angeschaut Hilfe wurde benutzt

41 4.3. Inkonsistenz im Dialog Genauere Betrachtung der Aufgabe 5: Bilder in das Dokument einfügen Annahme: Blick wird von dem Fenster Statusinformationen abgelenkt Festlegen von sogenannten AOIs (Areas Of Interest) zur Auswertung der Daten

42 Wie hat Gerd reagiert? Erster Versuch: Dauer < 1 Sekunde (!) Sehr deutlich: Lenkung der Aufmerksamkeit auf das Fenster Statusinformationen

43 Wie hat Gerd reagiert? Zweiter Versuch: Dauer 11 Sekunden Schnelles Wechseln des Blickes zwischen verschiedenen Orten Mögliche Erklärung: Irritation?

44 Ein paar Zahlen zu Gerds Reaktion Total Fixation Count Total Time to First Fixation

45 Reaktionen von Paul und Bertha Unsere Vermutung trifft hier bei beiden nicht zu Aufmerksamkeit wird bei beiden sofort auf das Auswahlfeld gelenkt Hypothesen könnte man genauer formulieren und in einem Experiment mit mehr Probanden genauer untersuchen

46 4.4. Referenzieren eines Warnhinweises Zusätzliches Problem, das wir nicht erwartet haben Mehrere Versuche, einen Warnhinweis zu referenzieren (s. Video)

47 4.5. Vorschau generieren Zusätzliches Problem, das wir nicht erwartet haben Suche nach dem Generieren einer Vorschau (s. Video)

48 5. Bewertung und Ausblick

49 5. Bewertung und Ausblick Insgesamt ist COSIMA go!ein benutzerfreundliches und ein gut aufgebautes System Wir sind überzeugt, dass sich die identifizierten lokalen Schwachstellen durch geeignete Modifikation beziehungsweise einfache Erweiterungen des Systems einfach beheben lassen