Mobile Application Management Mobile Usability Usability Testing

Transkript

1 Mobile Application Management Mobile Usability Usability Testing Bruno Borer, BorCon 1

2 Usability Test Usability Test ist der Name für ein Vorgehen, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. Generischer Ablauf in 6 Phasen 5. Analyse 6. Bericht 4. Abschlussbesprechung 3. Test 1. Vorbereitung 2. Einführung der Testperson 2

3 Grundlegende Klassifizierung der Methoden Automatische Evaluation - Überprüfung von Usability-Kriterien durch Evaluationssoftware - funktionieren nicht optimal Empirische Evaluation - Test mit realen Nutzern - brauchbare Testpersonen sind teuer und schwer zu finden Formale Evaluation - exakte Modelle und Formeln - schwer anzuwenden, ungeeignet für komplexe und hochinteraktive Nutzerschnittstellen Informale Evaluation - basierend auf Daumenregeln, allg. Fachwissen, Kenntnissen und Erfahrungen - spart die Testpersonen ein Kombination empirischer & informaler Methoden 3

4 Testverfahren im Überblick Test Methode Analyse Entwicklung Umsetzung Betrieb Aufgabenanalyse Kontextanalyse Fokusgruppen Nutzertagebücher Onsite Befragung Panelbefragung Personas Async Remote Test Synch Remote Test Expertenevaluation Card Sorting UsabilityTest im Labor Rapid Prototyping Eye Tracking Web-Controlling Multivariate Tests Fragebogen 4

5 Usability Testing 2 entscheidende Vorleistungen Auseinandersetzung mit dem «Problem» Testpersonen Task Analyse Rekrutierung 5

6 Testpersonen Zentrale Bedeutung einer Testperson - Testpersonen liefern qualitativ hochwertige und umfassendere Ergebnisse als Experten und liefern neue Erkenntnisse zum Produkt Bedeutung der richtigen Zielgruppe - nicht jeder Nutzer ist auch als Testperson geeignet - unnütze Testpersonen verfälschen das Ergebnis, Fehlrekrutierungsrate ist sehr hoch Anforderung an die Testpersonen vs. Testziel - je nach Ziel: definierte Testpersonen oder stochastische Auswahl - Mehrwert durch Quick & Dirty Tests Anzahl der Testpersonen - keine fixen Werte zur Anzahl der Testpersonen - Faustregel: je komplexer die Anwendung, desto mehr Testpersonen - Richtwert: 6-8 / Teilnehmer pro Zielgruppe (ökonomisch) Incentiv(bei der Rekrutierung erwähnen): - Incentive für die Testperson - Aufwand- und Anreizentschädigung 6

7 Aufgabenanalyse Grundlage - User möchte mit dem Produkt sein Ziel effizient, effektiv und zufriedenstellend erreichen gläserne Nutzer - Planung mit Einbindung und Gestaltung des Nutzers (Grundlage für UCD) Ablauf in 3 Phasen Tiefeneinblick verschaffen Datenerhebung Datenauswertung & Bericht 60 % 10 % 30% 7

8 Aufgabenanalyse - Tiefenblick Grundstein des Erfolgs Benutzererfahrung, Benutzertyp, (Lerntyp) beachten Tiefeneinblick 10 Fragen zu Nutzer, Aufgaben, Nutzungskontext 1. Wer sind die Nutzer des Produkts? 2. Welche Aufgaben führen die Nutzer wirklich durch? 3. Wie häufig wird die Aufgabe durchgeführt? 4. Unter welcher Zeitvorgabe müssen welche Aufgaben erledigt sein? 5. Welches Wissen benötigt der Benutzer um die Aufgabe zu erfüllen? 6. In welcher Umgebung wird das Produkt eingesetzt? 7. Wie stellt sich der Datenzugriff für den Nutzer dar? 8. Welche weiteren Produkte / Hilfsmittel verwendet der Nutzer? 9. Wenn es mehrere Nutzer gibt, wie kommunizieren diese untereinander? 10. Wie ist das Vorgehen im Fehlerfall / bei Zwischenfällen? 8

9 Aufgabenanalyse - Tiefenblick Informationsbeschaffung unter Auswahl der geeigneten Methoden Eignung der Methode je nach Informationswunsch, Einsatzzeitpunkt verschieden, daher oft Methoden-Mix Methoden Usability-Experte Beobachtung (teilnehmend / anonym / Video / Eye Tracking) Datenerhebung via Verhaltensmessung (Logfile) Interview Fragebogen Strukturlegetechniken (Card Sorting) Fokusgruppen 9

10 Aufgabenanalyse - Tiefenblick 10

11 Aufgabenanalyse - Datenauswertung Teil 1: Grobanalyse - Aufgaben - Prozeduren - Handlungen - Art der Nutzung vorhandener Funktionalitäten - Nutzergruppen und deren spez. Aufgaben Teil 2: Feinanalyse - Darstellung von Handlungsabfolgen / Aufgabenstrukturen - Nutzergruppenunterschiede 11

12 Card Sorting Schritt 1: Alle Begriffe für die vorgesehenen Inhalte der Applikation werden jeweils auf eine eigene Karteikarte geschrieben. Schritt 2: Der Stapel wird gemischt und mehreren Benutzern einzeln bzw. kleinen Gruppen von Benutzern übergeben. 12

13 Card Sorting Schritt 3: Karten werden in Kategorien gruppiert. Für die Kategorien wird einen Oberbegriff vorschlagen. Begriffe werden durch Benutzer auch mit einer Note für ihre Wichtigkeit versehen. Es ist sinnvoll, bei dieser Anwendung des Kartenlegens keine Kategorienamen vorzugeben (wie "Über uns" oder "Service"). Denn damit wird bereits eine Struktur vorgegeben. Sinn ist aber, die Struktur zu finden, die den meisten Benutzern logisch erscheint. 13

14 Expertenevaluation Experteneinsatz ein Überblick - Papier-Prototypen, Designentwürfe Inspektionen - Funktionale Prototypen-Phasen Inspektionen und Usability Tests - Funktionale Systeme, Endsysteme Usability Tests - Qualitätsaussagen Usability Tests Inspektion Empirische Verfahren Begutachter beurteilen ein Interface basierend auf ihrer Erfahrung und Richtlinien Nutzergruppen und Aufgaben werden oft nicht berücksichtigt Verfahren ist z.t. sehr schnell und effizient einsetzbar Auch gut für die Beurteilung nichtfunktionaler Prototypen geeignet Keine Erhebung quantitativer Masse Repräsentative Nutzer bearbeiten Aufgaben Kenntnisse über Nutzergruppen und Aufgaben erforderlich Umfangreiche Tests können sehr aufwändig sein Ideal für Untersuchungen funktional vollständiger Systeme Geeignet zu Erhebung von quantitativen Massen (Fehlerrate, Zeitdauer, subjektive Zufriedenheit) 14

15 Expertenevaluation Usability-Inspektionsmethoden Cognitive Walkthrough Formale Inspektion Heuristische Evaluation (Nielsen/ Molch) Evaluatoren führen vorgegebene, korrekte Handlungen aus für jeden Handlungsschritt werden 4 Aspekte beurteilt: Der Nutzer versucht nicht, den richtigen Effekt zu erzielen. Der Nutzer erkennt nicht, dass die korrekte Aktion zur Verfügung steht. Der Nutzer stellt keine Verbindung zwischen der korrekten Aktion und dem gewünschten Effekt her. Der Nutzer erhält keine Rückmeldungen über seine (erfolgreiche) Aktion. Evaluatoren führen vorgegebene, korrekte Handlungen aus mit Nutzercharakteristiken Interfacebegutachtungmit echten Nutzerprofilen und Aufgabenszenarien gründliche Methode sehr hoher Zeitaufwand Prüfung der Benutzerschnittstelle hinsichtlichbestimmter Usability Prinzipien (Heuristiken): 10 Kriterien 15

16 Expertenevaluation - Heuristiken nach Nielsen 1. Sichtbarkeit des Systemstatus (Provide feedback) Der Anwender sollte ständig darüber informiert sein/werden, was gerade geschieht und muss vom System entsprechende Rückmeldungen erhalten. 2. Übereinstimmung zwischen dem System und der realen Welt (Speak the user s language) Die Anwendung muss sich an Worten, Phrasen und Konzepten orientieren, die dem Anwender vertraut sind, also sozusagen "seine Sprache sprechen". 3. Benutzerkontrolle und -freiheit (Provide clearly marked exits) Dem Anwender müssen "Notausgänge" geboten werden, um eine unerwünschte Aktion rückgängig machen zu können oder einen versehentlich rückgängig gemachte Zustand wiederherstellen zu können. 4. Konsistenz und Standards (Be consistent) Begriffe und Funktionen sollten konsistent verwendet werden. Beispiel: gleiche Bezeichnungen für gleiche Funktionen. 5. Fehlerverhütung (Prevent errors) Das Design sollte Fehler möglichst gar nicht erst aufkommen lassen. 16

17 Expertenevaluation - Heuristiken nach Nielsen 6. Wiedererkennen, statt sich erinnern (Minimize user memory load) Objekte, Optionen und Aktionen sollten sichtbar, Instruktionen leicht auffindbar sein um den Benutzer nicht dazu zu zwingen sich an früher angezeigte Informationen erinnern zu müssen. 7. Flexibilität und Effizienz der Benutzung (Provide shortcuts) Der Benutzer sollte häufig auftretende Aktionen anpassen können, um eine schnellere Bedienung zu ermöglichen. 8. Ästhetik und minimalistisches Design (Simple and natural dialog) Der Anwender sollte nicht mit Informationen "überfrachtet" werden, irrelevante Informationen sind zu vermeiden, um die Orientierung und Aufmerksamkeit des Benutzers nicht fehlzuleiten. 9. Hilfe beim Erkennen, Diagnostizieren und Beheben von Fehlern (Good error messages) Fehlermeldungen sollten eine präzise Problembeschreibung geben und konstruktive Lösungen vorschlagen. Beispiel für schlechte Fehlermeldungen: kryptische Fehlercodes. 10. Hilfe und Dokumentation (Help & Documenation) Hilfsinformationen sollten leicht auffindbar sein, der Situation angepasst und konkrete Lösungsschritte nennen und ausserdem so knapp wir möglich sein, um dem Anwender eine "schnelle" Übersicht zu geben. 17

18 Übungen Heuristiken: Untersuchen Sie die Site nach - 1. Einfacher und natürlicher Dialog - 2. Sprich die Sprache des Benutzers - 4. Konsistenz - 6. Minimiere die Gedächtnisbelastung 18

19 Prototyping Unterscheidung des Prototypings in Revolutionary Evolutionary Low-fidelity Prototyping ( lo-fi ) Rapid Prototyping (Paper, Quick & Klick Dummys High-fidelity Prototyping ( hi-fi ) Reusable Prototyping 19

20 Prototyping Low-fidelity Prototyping - Paper Prototyping Fidelity - low, aber höhere Genauigkeit möglich Tools - Papier, Schere, Stifte, evtl. Grafikprogramm Aufwand - meist gering Rapid Prototyping - Klick & Quick Dummys Fidelity - Medium bis High Tools - GUI Builder, Grafikprogramm, Mockups Aufwand deutlich höher 20

21 Prototyping Paper Prototyping Low Fidelity 21

22 Prototyping Paper Prototyping Medium Fidelity 22

23 Prototyping Paper Prototyping Medium Fidelity 23

24 Prototyping Paper Prototyping Low Fidelity 24

25 Prototyping Paper Prototyping Kommunikation im Team Gemeinsamer Aufbau des Interfaces in Brainstorming-Sessions. Walk-through der wichtigsten Usecases mit dem Prototypen. 25

26 Prototyping Paper Prototyping Usability Testing 5-10 Nutzer führen mit dem Prototypen typische Usecases durch. Moderator reagiert wie Computer. 26

27 Prototyping Paper Prototyping Usability Testing Nutzer werden mit Icons einer Software konfrontiert. Sie werden nach Verständlichkeit der Symbolik befragt. 27

28 Prototyping Paper Prototyping Modularer Aufbau 28

29 Prototyping Paper Prototyping White Board 29

30 Prototyping Paper Prototyping White Board / Paper 30

31 Personas / Szenarien Ein Szenario beschreibt typische Aufgaben, die eine Persona mit einer Software lösen soll. Für die einzelnen Personas entwickelt man passende Szenarios Je sorgfältiger Szenarien zusammengestellt und entworfen sind, um so besser geben Sie Aufschluss, auf die Usability Personas werden z. B. auch beim Sinus-Milieu skizziert 31

32 Fokusgruppen Grundsatz und Form - Form der Gruppe ist nicht definiert - Minimalgrösse: 1 Moderator mit Gruppe von 6 bis 10 Tn - Zentrales Merkmal: Austausch!! - Fokusgruppen für gestaltungsunterstützende Massnahmen - Repräsentation der zukünftigen Nutzer - Achtung: Datenqualität!!! 4 Phasen Planen Durchführen Analysieren Berichten Ziele klären Rekrutierung TN Gruppen Homo/hetero Zeit & R aum Anzahl F Gruppen Moderation und Aufgaben Protokollieren Nachbesprechen Aktivitäten Auswerten hoher Zeitaufwand Anschaulichkeit keine Quantifizierung Trade-Offs einfache Aussagen 32

33 Fokusgruppen Planen heisst - Ziele klären (grundlegend!) - ohne Ziele keine erfolgreiche Fokusgruppe - Rekrutierung der Teilnehmer (6-10 TN) - jeder TN trägt entscheidend zur Lösung bei - Klarheit über Homogene / heterogene Gruppenkonstellation - Zeit & Räumlichkeit - Dauer < 7 Stunden für normale FG - Dauer < 3 Stunden für KFG - Räume: hell, offen, einladend, gut erreichbar (Ambiance) - Gediegene und ausreichende Zwischenverpflegung - eine / mehrere Fokusgruppen mehrere FG zum gleichen Thema durchführen - mit der gleichen FG das Rad weiterspinnen Durchführen heisst - nur gute Moderation führt zum Erfolg - Moderationsaufgaben: Anweisen, Fragen, Zusammenfassen, Vertiefen, Gesprächsregeln beachten - Einsatz eines Protokollführers (Tonband, Video) - Nachbesprechung (Auftraggeber, Protokollant, Moderator - Ablauf: o Einleitung (Regeln bekanntgeben) o Aktivitäten o Abschluss (Zusammenfassung) - Anstoss der FG durch den Moderator - Aktivitäten (Wunschkarte, Idea Seeding, Ideen & Konzepte bewerten - Zusammenfassung und Verabschiedung 33

34 Fokusgruppen Analysieren heisst - Abschriften von Audioaufnahmen (Zeit/Budget) - je nach Aktivität spez. Analyse - keine Falschinterpretationen - Selbstkritik des Moderators und Protokollants Auswerten heisst - Anschaulichkeit, Einfachheit, kurze Erläuterungen, Schlussfolgerungen, Interpretationen - Pluralität der Perspektiven Einigen ist das wichtig, den anderen jenes, - Keine Top und Flop 10 - Missbrauch des Sinns einer FG - Vermeiden von Quantifizierung - Trade-Offs: Vor- und Nachteile bewerteter Ideen, Trade Offs (Einfachheit vs Übersichtlichkeit) dem Auftraggeber berichten 34

35 Cognitive Walkthrough Basiert auf logischen Prozessen, die ein Benutzer durchführen soll. Gutachter durchläuft simulierten Weg Analyse korrekter Handlungsabläufe und Eruieren, ob die Benutzer diese tatächlich verfolgen. Konzentration nicht direkt auf das Interface, sondern auf die mentalen Prozesse eines möglichen Users Betonung des Aspektes der leichten Erlernbarkeit Durchführung in 4 Schritten: - Definition des Inputs - Untersuchung der Handlungssequenzen für jede Aufgabe - Protokollierung kritischer Informationen - Revision des Interfaces 35

36 Lautes Denken Nutzer (6-10 Testpersonen): - benötigt einen (teilweise) funktionsfähigen Prototypen - interagiert mit Produkt und löst dabei bestimmte Aufgaben, die der späteren Nutzung sehr ähnlich sind - Testpersonen sprechen aus, was sie tun und wobei sie Probleme haben Versuchsleiter - soll möglichst nicht helfend eingreifen - dokumentiert Äusserungen der Person - hat die Aufgabe, die Person an das Reden zu erinnern Gibt Aufschluss über Gedankengänge und Problemlöseverhalten Ziel: wenig Aufwand, kurze Zeit, viele Probleme aufdecken 36

37 Eye Tracking Standpunkt 37

38 38

39 39

40 40

41 Interview Vorgehen - Interviews mit 20 Personen Ziel - Vertrauensbildende Faktoren analysieren Ergebnis - Bericht, Grundlage für Designkonzeption 41

42 Beobachtungen Standpunkt: - ermöglicht guten Einblick in die Praxis - gute Erfassung des Verhaltens der Beobachteten bzw. der Prozessabläufe - subjektive Beobachtungskriterien - u.u. aufwändige Auswertung - Beeinflussung der Situation durch Beobachter Legende: MB Mausbewegung MDK Maus Doppelklick RTN Return MKL Mausklick links TXT Texteingabe FT Funktionstasten MKR Mausklick rechts ZF Ziffernblock --- Warten 42

43 Fragebogen Standpunkt: - wenig aufwendige und leichte Durchführung - in allen Phasen der Entwicklung anwendbar - Erinnerungsvermögen, Wahrnehmung des Probanden, unkontrollierte Erhebungssituation (allg. Verfassung des Probanden) - viel Zeit bei der Erstellung - schwierige Auswertung durch Vielzahl von Daten Fragen müssen methodisch und technisch einwandfrei sein Schlechte Fragen ermöglichen keine Analyse Gültigkeit und Wirksamkeit ist bei jeder Frage neu zu überdenken 1-2 Testläufe mit Probanden vor der effektiven Befragung 43

44 Fragebogen 10 Gebote der Frageformulierung 1. Verwende einfache, unzweideutige Begriffe, die von allen Befragten in gleicher Weise verstanden werden! 2. Vermeide lange und komplexe Fragen! 3. Vermeide hypothetische Fragen! 4. Vermeide doppelte Stimuli und Verneinungen! 5. Vermeide Unterstellungen und suggestive Fragen! 6. Vermeide Fragen, die auf Informationen abzielen, über die viele Befragte mutmasslich nicht verfügen! 7. Verwende Fragen mit eindeutigem zeitlichen Bezug! 8. Verwende Antwortkategorien, die erschöpfend und überschneidungsfrei sind! 9. Stelle sicher, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! 10.Definiere unklare Begriffe! 44

45 Fragebogen Regeln nach Edwards: - Man vermeide Feststellungen, die sich auf Vergangenheit oder Gegenwart beziehen. - Man vermeide Feststellungen, die sich auf Tatsächliches beziehen oder so interpretiert werden könnten. - Man vermeide Feststellungen, die sich auf mehr als eine Weise interpretieren lassen. - Man vermeide Feststellungen, die entweder von fast jedem oder fast niemandem bejaht werden können. - Man wähle eine einfache, klare, direkte Sprache. - Feststellungen sollten kurz sein und nur selten mehr als zwanzig Wörter enthalten. - Jede Feststellung sollte nur einen einzigen vollständigen Gedanken enthalten. - Man vermeide Wörter, die von den beantwortenden Personen nicht verstanden werden, - Man vermeide den Gebrauch doppelter Verneinung. 45

46 Fragebogen Standardisierte Fragebogen ISONorm SUMI 46

47 Fragebogen Standardisierte Fragebogen IsoMetricsS/L AttrakDiff 47

48 Fragebogen SUMI (Software Usability Measurement Inventory) - voll standardisierter Fragebogen - Aussage über Softwarequalität und Usersicht - Aufbau: o o 50 Items mit 5 Subskalen (Effizienz, Affekt, Hilfe, Kontrollierbarkeit, Erlernbarkeit 3-stufige Anker: stimme zu, weiss nicht, stimme nicht zu - spezielle Auswertesoftware 48

49 Fragebogen IsoMetrics DIN EN ISO voll standardisierter Fragebogen - 2 Verfahren: IsoMetricsS (numerisch) / IsoMetricsL (qualitativ) - Aufbau: 75 Items, sieben Subskalen gemäss ISO

50 Fragebogen AttrakDIff - voll standardisierter Fragebogen - besteht aus Wortpaaren - Wortpaare stellen jeweils extreme Gegensätze dar - Aufbau: 23 siebenstufigen Items zu 3 Subskalen zusammengefasst (pragmatische Q., hedonische Q., Attraktivität Link: 50

51 Fragebogen Aufbau Intro Begleit- bzw. Instruktionstextes Motivation der Versuchspersonen heben Kontext der Untersuchung transparent machen Kenntnisse für das richtige Ausfüllen Eisbrecher Lockerungsfragen stellen Ausfüllmechanismus Kernfragen methodisch und technisch einwandfreie Kernfragen Gültigkeit und Wirksamkeit ist bei jeder Frage neu zu überdenken (Ziel in der Augen behalten) Sozio-Demografische Fragen Anonymität wahren Alter, Geschlecht, Wohnort, etc 51

52 Fragebogen Antwortypus: ja/nein, Art Rating-Skala, mittlere Antwortposition Rating / mittlere Antwortposition Art des Ratings (Regler, etc.) "Weiss nicht"-antwort weglassen gerade Anzahl Antwortmöglichkeiten nur positive und negative Antwortmöglichkeiten Positiv F Negativ 52

53 Fragebogen Beispiel 1 53

54 Fragebogen Beispiel 2 54

55 Fragebogen Beispiel 3 55

56 Fragebogen Beispiel 4 56

57 Fragebogen Beispiel 5 57

58 Fragebogen Beispiel 6 58

59 Fragebogen Beispiel 7 59

60 Fragebogen Beispiel 8 60

61 Fragen 61