Evaluations-Techniken

Transkript

1 Evaluations-Techniken Tobias Steimer ISM SS08 Software-Ergonomie

2 Aufbau auf vorherigen Kapiteln Interaktions-Design Grundlagen Design Regeln Regeln für Design, goldene Regeln Wie werden Systeme bewertet? Evaluations-Methoden Welche Ansätze gibt es? 2

3 Agenda 1. Was ist Evaluation 1.1 Evaluations-Zyklus 2. Ziele der Evaluation 3. Evaluation durch Experten 3.1 Kognitiver Durchgang 3.2 Heuristische Bewertung 4. Evaluation durch Nutzer 4.1 Stile der Evaluation 4.2 Evaluation durch Experiment 4.3 Evaluation durch Beobachtung 4.4 Evaluation durch Befragung 4.5 Evaluation durch Messung der Physis 3

4 Was ist Evaluation?

5 1. Was ist Evaluation? Testet Usabilty und Funktionalität von Systemen Bewertet Design und Implementierung Identifiziet Probleme mit dem System Messung der Effektivität bei der Nutzung des Systems Was ist Evaluation? 5

6 1.1 Evaluations-Zyklus Die Evaluation eines Systems sollte während des gesamten Design-Prozesses stattfinden. Veränderung des Designs Bewertung = Formative Evaluation Ergebnis der Bewertung Was ist Evaluation? 6

7 1. Allgemein gilt: Es ist viel einfacher, das Design in einem früheren Stadium der Entwicklung zu verändern, als in einem Späteren. Was ist Evaluation? 7

8 Ziele der Evaluation

9 2. Drei Ziele der Evaluation 1 Bewertung der System-Funktionalität 2 Bewertung der Auswirkungen eines Interface auf Nutzer 3 Identifizierung spezifischer Probleme Ziele der Evaluation 9

10 2.1 Bewertung der System- Funktionalität 1 Funktionalität des Systems muss den Anforderungen des Nutzers entsprechen D(B(A)) = B(A) Aufgaben sollen einfacherer & schneller zu erledigen sein System sollte den Erfahrungen des Nutzers angepasst werden Schaffung von Analogien Ziele der Evaluation 10

11 2.1 Beispiel Drag and Drop auf Papierkorb schnell, einfach Herstellung einer Analogie zur realen Welt Ziele der Evaluation 11

12 2.2 Bewertung der Auswirkungen eines Interface Wie einfach ist es, das System zu erlernen? 2 Ist der Nutzer mit dem System zufrieden? Macht es Spaß, das System zu bedienen? Identifikation von Bereichen, an welchen Nutzer überfordert wird Ziele der Evaluation 12

13 2.2 Beispiel Welche Word-Version macht bei der Bedienung mehr Spaß und ist intuitiver bedienbar? Wo wird der Nutzer überfordert? Ziele der Evaluation 13

14 2.3 Aufdecken spezifischer Probleme Identifizierung und Verbesserung von Problemstellen im Design 3 Vermeidung unerwarteter Ergebnisse oder Irritationen bzgl. Funktionalität und Usablility Ziele der Evaluation 14

15 2.3 Beispiel Hätten Sie beim Klick auf Start die Funktion Herunterfahren erwartet? Ziele der Evaluation 15

16 Erreichung dieser 3 Ziele Evaluation durch Experten Evaluation durch Nutzer Ziele der Evaluation 16

17 Evaluation durch Experten 3.1 Kognitiver Durchgang 3.2 Heuristische Bewertung

18 3. Motivation: Warum Experten-Evaluation Evaluation Erste Bewertung eines Designs vor Implementierung Vermeidung teurer Fehler Bewertung im frühen Stadium Bewertung im späten Stadium kostengünstig kostenintensiv schwer, unvollständige Systeme durch Nutzer zu bewerten Evaluation durch Experten 18

19 3. Motivation: Warum Experten-Evaluation Evaluation Bewertung des Systems durch Experten Diese bewerten, welche Auswirkungen das Design auf einen typischen Nutzer hat Ziel: Identifikation von Bereichen, in welchen es höchstwahrscheinlich zu Schwierigkeiten kommt. Evaluation durch Experten 19

20 3. Vor- und Nachteile der Experten- Evaluation Vorteile Relativ billig, da keine Einbeziehung von Nutzern Nachteile Unvollständiges System wird nur nach Usability-Prinzipien untersucht Evaluation durch Experten 20

21 3. Methoden der Experten- Evaluation 1 Kognitiver Durchgang (Cognitive Walkthrough) 2 Heuristische Evaluation Evaluation durch Experten 21

22 3.1 Kognitiver Durchgang

23 3.1 Kognitiver Durchgang Aufgestellt von Polson et al.: Auch Cognitive Walktrough genannt Usability-Inspektionsmethode, die potentielle Usability Probleme aufdeckt Experte versetzt sich in hypothetischen Nutzer Peter Polson Analysiert konkrete Handlungsabläufe Evaluation durch Experten 23

24 3.1 Kognitiver Durchgang Ist das System leicht erlernbar? Analyse konkreter Handlungsabläufe Ändern der Schriftfarbe Experte als hypothetischer Nutzer Interface / Design Ziel: Test der Erlernbarkeit des Produktes Annahme: Nutzer geht den Weg des geringsten kognitiven Aufwands Evaluation durch Experten 24

25 3.1 Voraussetzungen für kognitiven Durchgang Prototyp des Systems Mit Bezeichnung & Endgültiger Einteilung Beschreibung der Aufgabe Liste der einzelnen Schritte z.b. Verändern der Schriftfarbe Klick auf Format, Zeichen Durchführung Protokollierung Was ist gut? Was braucht Verbesserung? Beschreibung des Nutzers Erfahrung Wissen Evaluation durch Experten 25

26 3.2 Heuristische Evaluation

27 3.2 Heuristische Evaluation Ziel: Auffindung von Usability-Problemen Methode zur Strukturierung der Kritik an einem System Heuristische Evaluation debugt Design Jakob Nielsen relativ kostengünstiger Ansatz ( Discount-Usablility-Technik ) Evaluation durch Experten 27

28 3.2 Ablauf der heuristischen Unabhängige Experten Evaluation Kritik auf Basis von 10 Heuristiken Beispiel-Heuristiken Visibility of system status Usability- Probleme Match between System system and the real world User control and freedom Aesthetic and minimalist design Wie verbreitet ist das Problem? Wie einfach ist es, es zu bewältigen? Bericht an Design-Team zur Verbesserung des Systems Einmaliges und permanentes Problem? 5 Experten entdecken ca. 75% der Usability Probleme Wie ernst wird das Problem wahrgenommen? Evaluation durch Experten 28

29 3.2 Beispiel Visibility of system status Match between system and the real world User control and freedom Flexibility and efficiency of use Aesthetic and minimalist design Help and documentation 29

30 3. Experten-Evaluation Evaluation im gesamter Entwicklungsphase Wird eher in späteren Phasen der Entwicklung eingesetzt Funktionierender Prototyp ist Voraussetzung Frühe Entwicklungsphase Späte Entwicklungsphase Nutzer-Evaluation Experten-Evaluation Evaluation durch Experten 30

31 Evaluation durch Teilnahme von Nutzern 4.1 Stile der Evaluation 4.2 Evaluation durch Experiment 4.3 Evaluation durch Beobachtung 4.4 Evaluation durch Befragung 4.4 Evaluation durch Messung der Physis Evaluation durch Experten

32 4.1 Stile der Evaluation Labor-Umgebung Arbeits-Umgebung Vorteile: Spezielles Equipment verfügbar Störungsfreie Umgebung Nachteile: Unnatürliche Umgebung Schwierigkeit, mehrere kooperierender Nutzer zu beobachten Vorteile: Nutzer in natürlicher Umgebung Einfangen besonderer Situationen Langandauernde Untersuchungen möglich Nachteile: Ablenkung (Lärm ) Beeinflussung durch Beobachter / Gerätschaften Aufbau Usability-Labor 32

33 4.1 Entscheidungskriterium Kosten Untersuchung in natürlicher Umgebung Kosten Untersuch in Labor-Umgebung (weg von Arbeitsplatz ) Evaluation durch Nutzer 33

34 4.2 Evaluation durch Experiment

35 4.2 Experimentelle Evaluation Kontrolliertes Experiment Mächtige und verlässliche Methode um Design zu bewerten Empirische Methode Evaluator erstellt zu testende Hypothese auf Hypothese kann durch Messung bestimmter Merkmale (Variablen) im Verhalten des Nutzers belegt / wiederlegt werden Evaluation durch Nutzer 35

36 4.2 Experimentelle Faktoren Hypothese Variablen Teilnehmer Experimentelles Design Was? Modifikation Wer? Wie? Evaluation durch Nutzer 36

37 4.2 Hypothesen Vorhersage über das Ergebnis eines Experiments Beispiel: Mehrere Menü-Punkte erhöhen die Navigations- Geschwindigkeit Null-Hypothese Ein bestimmter Zusammenhang besteht nicht Beispiel: Mehrere Menü-Punkte erhöhen nicht die Navigations- Geschwindigkeit Ziel: Null-Hypothese widerlegen Evaluation durch Nutzer 37

38 4.2 Experimentelle Faktoren Hypothese Variablen Teilnehmer Experimentelles Design Was? Modifikation Wer? Wie? Evaluation durch Nutzer 38

39 4.2 Variablen Bestimmung der Einflussfaktoren Unabhängige Variablen (UV) Manipulation um verschiedene Bedingungen herzustellen Ihr Einfluss wird untersucht Anzahl Menü- Punkte Abhängige Variablen (AV) Werden gemessen Wird von UV beeinflusst Navigations- Geschwindig keit Evaluation durch Nutzer 39

40 4.2 Experimentelle Faktoren Hypothese Variablen Teilnehmer Experimentelles Design Was? Modifikation Wer? Wie? Evaluation durch Nutzer 40

41 4.2 Teilnehmer Entscheidend für den Erfolgs eines jeden Experiments Möglichst übereinstimmend mit späterer Zielgruppe Gleiches Alter Gleicher Bildungsstand Computer-Erfahrung Größe Möglichst repräsentativ Evaluation durch Nutzer 41

42 4.2 Experimentelle Faktoren Hypothese Variablen Teilnehmer Experimentelles Design Was? Modifikation Wer? Wie? Evaluation durch Nutzer 42

43 4.2 Experimentelles Design Between-subjects: Jeder Nutzer nimmt nur unter einer Bedingung teil Experiment (Manipulation der V.) Kontrolle (keine Manipulation der V.) Within-subjects: Jeder Nutzernimmt unter allen Bedingungen teil Vorteil: Kostengünstiger, da weniger Teilnehmer von Nöten Nachteil: Lern-Prozess möglich Evaluation durch Nutzer 43

44 4.2 Steigende Komplexität bei Nutzer-Gruppen Personen Große Anzahl von Testpersonen teuer Schwer zeitlich zu organisieren Datenerfassung Mehrere Videokameras + Protokollierung Aufnahme jeder Teilnehmer- Perspektive Analyse enorme Variationen zwischen Gruppen schwer zu vergleichen Lösung: within groups Experimente Evaluation durch Nutzer 44

45 4.3 Evaluation durch Beobachtung Laut Denken / Think Aloud Kooperative Evaluation Protokol Analyse Automatisierte Analyse Post-task walkthroughs

46 4.3 Thinking Aloud / Laut Denken Nutzer bekommt Aufgabe: (z.b.: Fügen Sie in Word eine Grafik ein ) Nutzer wird aufgefordert, laut mitzudenken Haben sie dieses Verhalten erwartet? Können Sie uns sagen, was sie gerade denken? Voraussetzung: interaktiver Prototyp Evaluation durch Nutzer 46

47 4.3 Thinking Aloud / Laut Denken Vorteile Einfacheit - benötigt wenig Fachwissen Gibt wertvolle Einblicke in Probleme mit Interface Zeigt, wie das System tatsächlich genutzt wird subjektiv Nachteile Nutzer entscheidet, was er beschreibt Erzählen beeinflusst die Aufgaben-Ausführung Effizienz nicht messbar Evaluation durch Nutzer 47

48 4.3 Think-Aloud Aloud: Beispiel Beispiel Think-Aloud Zusammenschnitt der Firma Corel Minute 2:15

49 4.3 Kooperative Bewertung Variation von Laut denken Nutzer = Mitarbeiter (kein Experiment-Teilnehmer) Experte kann Nutzer Fragen stellen Nutzer kann Bewerter zurückfragen Dialog Zusätzliche Vorteile Weniger Einschränkungen Nutzer ist motiviert, das System zu kritisieren Evaluator kann Klärung herbeiführen Evaluation durch Nutzer 49

50 4.3 post-task task walkthroughs Nutzer kommentiert getätigte Aktionen im Nachhinein (z.b. bei Videoaufzeichnung) Notwendig wenn Think Aloud nicht möglich ist (Aufgabe zu fordernd) Vorteile: Experte hat Zeit, sich auf Aktionen des Nutzers zu konzentrieren Experte hat Zeit, Fragen im Nachhinein zu erstellen Aufgabe des Nutzers wird nicht unterbrochen Evaluation durch Nutzer 50

51 4.3 Protokoll-Analyse Festhalten der Beobachtungen: Papier & Bleistift billig Detaillierte Infos durch Schreibgeschw. beschränkt Audio Gut für Laut Denken Schwer den Aktionen zuzuordnen Video Computer logging User Notebook Eine Kamera für Hände & Gesicht Eine Kamera für Bildschirm Tasten-Tracking Große Daten-Mengen Nutzer beschreibt Aktionen selbst subjektiv Besonders sinnvoll bei langandauernden Studien Evaluation durch Nutzer 51

52 4.3 Automatisierte Analyse EVA Manuelle Analyse von Audio- und Video-Aufnahmen ist zeitaufwendig EVA = Experimental Video Annotator Automatisches Analyse-Tool von Videos Erlaubt taggen interessanter Stellen während der Aufnahme Z.B. Fehler, fehlgeschlagener Versuch Hinzufügen von Notizen zum Video Nachteil: evtl. Wichtige Stellen werden verpasst Evaluation durch Nutzer 52

53 4.4 Evaluation durch Befragung Interviews Fragebögen

54 4.4 Interviews Experte befragt Nutzer Fragen sind im Vorfeld vorbereitet = strukturiertes Interview Informativ, subjektiv Vorteile Interessante Aspekte können tiefer befragt werden Nonverbale Reaktionen relativ kostengünstig flexibel Nachteile Sehr subjektiv Zeitaufwändig Eingeschränkte Anonymität Evaluation durch Nutzer 54

55 4.4 Fragebögen Vorgefertigte Fragen werden Nutzern in Form von Fragebögen gestellt Ziel Informationen über Nutzer-Wünsche, Präferenzen und Erfahrungen Vorteile Weniger Analyse-Aufwand (oft quantitativ) erreicht große Anzahl von Nutzern Nachteile Weniger flexibel (Fragen schon im Voraus aufgestellt) Evaluation durch Nutzer 55

56 4.4 Fragebögen Fragetypen Allgemeine Fragen (Alter, Geschlecht, Erfahrungen mit Computer ) Offene Fragen (Meinung, subjekte Informationen) Geschlossene Fragen (sind leichter zu analysieren) Skalierte Fragen (Bewertung) Wie leicht ist das System zu erlernen: 1=Sehr leicht; 2 = Sehr Schwer Multiple Choice-Fragen Rang(Ordinal)-Fragen: Ordnen sie folgende Antworten nach erstens zweitens drittens Evaluation durch Nutzer 56

57 4.5 Evaluation durch Messung der Physis Eye tracking Physiologische Messung

58 4.5 Eye-Tracking Augen-Bewegungen werden augezeichnet (Sakkaden, Fixation) Equipment am Kopf (head-mounted) oder Schreibtisch (remote- Eye-Tracker) montiert Ziel Erforschung kognitiver Prozesse am Bildschirm Identifikation von leicht bzw. schwer zu verstehenden Bereichen im Bildschirm Messung von Anzahl der Fixationen Dauer der Fixation Scan-Pfad: Bewegung der Augen auf ein Ziel mit kurzer Fixation ist optimal Evaluation durch Nutzer 58

59 4.5 Eye-Tracking in der Praxis Grafische Landkarte Head-mounted Kamera Evaluation durch Nutzer 59

60 Beispiel Eye-Tracking Software 60

61 4.5 Physiologische Messungen Messung emotionaler Reaktionen des Nutzers ggb. einem Interface Messung beinhaltet: Herzaktivität: Blutdruck, Volumen, Puls Aktivität der Schweißdrüsen Elektrische Aktivität der Muskeln (EMG) Aktivität des Gerhirns (EEG) Herausforderung: Zusammenhang zwischen körperlicher Reaktion und Aufgabe (Stress, Freude ) Evaluation durch Nutzer 61

62 Wahl der Evaluations-Methode Prozess-Schritt: Evaluations-Typ: Wie objektiv: Mess-Art: Informationstiefe: Verfügbare Ressourcen: Design vs. Implementierung Labor vs. Feld / Arbeitsplatz subjektiv vs. objektiv qualitativ vs. quantitativ hoch vs. gering Zeit, Personen, Equipment, Geld 62

63 Wissenswerte Quellen Usability Engineering: Rosson, Carrol, Morgan Kaufmann Verlag, ISBN Software Ergonomie: Herczeg, Oldenbourg Verlag ISBN Skript: Evaluationstechniken Methoden zur Evaluation von Software 63

64 Danke für die Aufmerksamkeit! Fragen? 64