HCI - 12 - Usability Engineering Ø Benutzer-orientierte Gestaltung nach ISO 9241-210 Ø Der Usability-Engineering-Prozess Ø Evaluationsmethoden Ø Usability und Wirtschaftlichkeit BHT Berlin Ilse Schmiedecke 2010
Benutzer-orientierte Gestaltung nach DIN EN ISO 9241-210 Grundforderungen aktive Beteiligung der Benutzer klares Verständnis der Systemhersteller für die Benutzer- und Aufgabenanforderungen geeignete Funktionsaufteilung zwischen Benutzern und Technik iteratives Vorgehen bei der Gestaltung multidisziplinäre Gestaltung Verstehen und Festlegen des Nutzungskontexts Festlegen von Benutzeranforderungen und organisatorischen Anforderungen Entwerfen von Gestaltungslösungen (=Prototypen statt direkter Realisierung) Evaluation der Gestaltungslösungen gegenüber den Anforderungen schmiedecke 08 HCI 2
Usability Engineering Usability ist eine Software- Qualität Sicherstellung durch eigenen Prozess Integration in den Software- Engineering-Prozess d.h. Zuordnung der Schritte zu den SE-Phasen Integration der Usability- Evaluation in die Meilenstein- Abnahmen und Qualitätssicherung schmiedecke 08 HCI 3
Usability Engineering und Evaluation Aufgabenanforderungen erfassen Benutzeranforderungen erfassen Lösungen entwerfen Papierprototypen formative Evaluation Entwurf evaluieren summative Evaluation Produkt realisieren Produkt evaluieren Vorgaben für die nächste Version Produktzugang verbessern schmiedecke 08 HCI 4
Einbindung in den SE-Prozess Schritte des Usability- Engineering 1. Analyse der Arbeit und des Arbeitsumfeldes 2. Analyse der Benutzergruppen 3. Bestimmung der Anforderungen Aktivitäten des Software Engineering (zyklisch) 1. Analysephase: Anforderungsanalyse / Systemanalyse 4. Entscheidung über Funktionalität und Ableitung des Handlungs- und Bedienkonzeptes 2. Konzeptionsphase: Entwurf 5. Entwicklungsbegleitende Evaluation und Verbesserung des Systems 6. Einführung und Schulung 7. Weiterentwicklung 3. Entwicklungsphase 4. Bereitstellungs-/Einführungsphase schmiedecke 08 HCI 5
Analysephase Analyse der Benutzeranforderungen parallel zur funktionalen Systemanalyse 1. Welche Benutzer? 2. Welche Aufgaben, welches Fachwissen? 3. Welche Häufigkeit? 4. Welche Zielvorgaben? 5. Welche Daten, Dokumente und Arbeitsmittel? 6. Welche Aufgabenverknüpfung? 7. Welche Benutzerkommunikation? 8. Welche Fehlersituationen? 9. Welches Arbeitsumfeld? 10. Welche Hard- und Zusatzsoftware? Ergebnisse: Protokolle Profile, Personas, UserSt. Prozessbeschreibungen Wie viele? Benutzerklassen Einsatzgebiete Sprachen schmiedecke 08 HCI 6
Konzeptionsphase Interaktionsneutrale Konzeption der Systemfunktionalitäten (Use Cases) Ergebnis der Systemanalyse (SE) à Abgleich mit Benutzeranforderungen Interaktionskonzeption und -Evaluation Kartenmodell à Card Sorting Papierprototypen à Fokusgruppen Prototyp (Papier oder Click-Mockup) à Usability-Test Zusammenführung mit den Use Cases Pflichtenheft: Systemfunktionen und Usability-Kriterien schmiedecke 08 HCI 7
Konzeptionsphase - Fragestellungen Interaktionsmöglichkeiten für häufige Aufgaben Interaktionsmöglichkeiten für seltenere Aufgabe Abhängigkeiten zwischen Aufgaben Zeitliche Verfügbarkeit der erforderlichen Informationen Metaphern und ähnliche Systeme Einbindungsmodus für (spätere) Add-ons und Module Prozess- und Arbeitsplatzänderungen schmiedecke 08 HCI 8
Entwurfs- und frühe Entwicklungsphase: Formative Evaluation Alternative Prototypen Iterationen mit Prototypen wachsender Genauigkeit Implementierungen der Papierprototypen oder Click-Mockups Evaluationstechniken Alle Techniken außer Benutzerbeobachtung! schmiedecke 08 HCI 9
Einführungsphase: Summative Evaluation Pilotbetrieb: Usability-Tests mit Benutzern Fragebögen Interviews Nutzung der Ergebnisse Verbesserung der Schulungsmaterialien Verbesserung der Hilfetexte Bereitstellung von Service-Packs bzw. Updates mit kleinen Funktionserweiterungen Verbesserung der Marketingmaterialen Anregungen für die nächste Version des Systems Anregungen für weitere Add-Ons und Module schmiedecke 08 HCI 10
Evaluation Voraussetzungen: Definiertes Ziel Definierte Annahmen Definierte Methodik Klares Kosten-Nutzen-Verständnis Einordnung in den Entwicklungsprozess Formative Evaluation: Evaluation eines geplanten Produkts Entwurfs- und entwicklungsbegleitend Summative Evaluation: Evaluation eines fertigen Produkts / Teilprodukts Einhaltung der Geforderten Usability-Qualität schmiedecke 08 HCI 11
Evaluationstechniken Experten-Evaluation Informationsanalyse: Dokumentenanalyse, Datenanalyse Expertengutachten: Heuristische Evaluation, Kognitiver Durchlauf Benutzerbasierte Evaluation Befragung. Umfrage, Interview Usability-Test (im Labor): Videoaufzeichnung, Logging, Eyetracking, Think-Aloud Beobachtung (vor Ort): (Feld-)Studie, Ethnographie schmiedecke 08 HCI 12
Theoriebasierte Evaluation: Informationsanalyse Dokumentenanalyse: Styleguides, Schulungs- und Marketingmaterialien Supporttickets und -protokolle Datenanalyse Logdateien Clickstreams Eyetracking-Protokolle Nutzung überblicksartig Nutzungshäfigkeit Schwachstellen, Hürden Detailanalyse sehr aufwändig, Nutzen oft begrenzt. schmiedecke 08 HCI 13
Theoriebasierte Evaluation: Heuristische Evaluation Heuristische Evaluation: Entwickelt von Jakob Nielsen www.useit.com Mehrere Usability-Experten bewerten ein System aufgrund einfacher und allgemeiner Heuristiken (Faustregeln) à einfach und kostengünstig! Ablauf: 1. Input sammeln 2. Evaluation des Systems 3. Sammeln und Auswertung 4. Bewerten der Ergebnisse Einiges Anwendungswissen nötig schmiedecke 08 HCI 14
Heuristische Evaluation Benutzbarkeitsheuristiken nach Nielsen: 1. Sichtbarkeit des Systemstatus 2. Übereinstimmung zwischen System und der realen Welt 3. Benutzerkontrolle und Freiheit 4. Konsistenz und Einhaltung von Standards 5. Fehlervermeidung 6. Wiedererkennen anstelle von Erinnern 7. Flexibilität und Effizienz 8. Ästhetisches und minimalistisches Design 9. Hilfe für den Benutzer um Fehler wahrzunehmen, zu erkennen und zu beheben 10.Hilfe und Dokumentation Andere Heuristiken möglich: z.b. Gestaltungskriterien nach ISO 9241-110. Shneiderman's Goldene Regeln Beispiel Whiteboard schmiedecke 08 HCI 15
Heuristische Evaluation Einsatz auf Mockups, Prototypen oder Fertigsystemen Bewertung anhand vorgegebener Ziele Erlernbarkeit Fehlerbehandlung Funktionalität Frustration... Mit 5 Evaluatoren / Evaluationen werden 75% der Mängel gefunden schmiedecke 08 HCI 16
Theoriebasierte Evaluation: Kognitiver Durchlauf Kognitiver Durchlauf / Cognitive Walkthrough Polson. Lewis at al. Benutzbarkeits-"Gedankenexperiment" naives Benutzerverhalten verschiedener fiktiver Benutzer (Personas) Experten durchlaufen stellvertretend alle Aktionen Versuch, Probleme stellvertretend zu identifizieren Durchführung anhand eines konkreten Testplans ausgewählte Szenarien systematisches Protokoll (anhand Handlungsmodell) Beispiel Whiteboard schmiedecke 08 HCI 17
Kognitiver Durchlauf Vorbereitung: Detaillierte Beschreibung der Personas und Szenarien Liste der möglichen Aktionen / Lösungswege Mockup / Prototyp / Installation des System Arbeitsannahmen: Benutzer sucht die erforderlichen Funktionen Benutzer ist frei in der Wahl der Funktionen Fragen: Affindbarkeit der Funktionen Handhabbarkeit des Systems Verständnis des Feedbacks schmiedecke 08 HCI 18
Benutzerbasierte Evaluation: Benutzerstudie Beobachtung reale Umgebung: Feldstudie, Ethnographie Labor: Usability-Test Befragung Umfrage Interview Vorbedingungen Nutzerauswahl Ziel der Studie Festgelegte Methodik Definierter Evaluationsprozess Metriken und Auswertungsverfahren: Quantifizierbarkeit? Qualität: Pilottest ßà Untersuchung schmiedecke 08 HCI 19
Usability Test Test mit Testnutzern im Usability-Labor (Bild: Usability-Labor bei Siemens 2000) Quelle: A.Bohnenstengel, commons.wikimedia.org/w/index.php?curid=58324245 schmiedecke 08 HCI 20
Usabilty Test: Durchführug Vorbereitung technisches Setup aufbauen und testen Testszenarios ausdrucken Snacks bereitstellen Testleitung: Team (Protokollant, techn. Assistenten, ggf. weitere Beobachter) briefen Testnutzer begrüßen Einstieg: Testnutzer mit dem Ziel vertraut machen (nicht er wird bewertet!) Je Szenario Testnutzer soll "laut denken" ("think aloud") Testleiter begleitet, hilft aber nur, wenn unvermeidlich Protokollant notiert Beobachtungen Abschluss: Feedbackgespräch mit dem Testnutzer Feedbackgespräch im Team schmiedecke 08 HCI 21
Usability Test "professionell" Test im Usability-Labor Beobachtung direkt und verdeckt möglichst Ton-, Video- und Keylogging-Aufzeichnungen Testnutzer repräsentativ nach Profilen ausgewählt Screening Pretests Vergütung Möglichst breite Abdeckung der Anwendungsfälle ausführliche Szenariopläne Vortests Befragung der Benutzer direkt nach dem Test Auswertung aller Daten im gesamten Testteam schmiedecke 08 HCI 22
Rocket Surgery Made Easy Steve Krug senkt die Schwelle für Usability Tests: Kein Labor, sondern ein einfaches Setup Notfalls mit irgendwelchen Testern Nicht alles testen, sondern das dringende Keine teuren technischen Aufzeichnungen Gute sofortige Auswertung mit den Testnutzern Sorgfältige Analyse im Expertenkreis Testfälle laufend anpassen, um möglichst gute Ergebnisse zu bekommen schmiedecke 08 HCI 23
Beobachtungstechniken Beobachtungsprotokoll Videoaufzeichnung Software-Log Think-aloud-Protokoll Eyetracking Ethnographie (unvoreingenommene Beobachtung) oder Feldstudie (vorstrukturierte Beobachtung) schmiedecke 08 HCI 24
Benutzerbefragung Oft in Verbindung mit Benutzerbeobachtung Fragebogen / Umfrage: Große Probandenzahl Mischung aus geschlossenen und offenen Fragen Gut auszuwerten Nachhaken nicht möglich Interview Besonders aufwändig Kleine Probandenzahl sehr gute Ergänzung zur Umfrage Mischung aus vorstrukturierten und spontanen Fragen Auswertung aufwändig. schmiedecke 08 HCI 25
Auswertung Rohdaten sichern! qualitative Ergebnisse: im Evaluatorenteam priorisieren kommentieren Häufigkeiten notieren quantitative Ergebnisse erfordern sorgfältige statistische Arbeit! schmiedecke 08 HCI 26
Usability und Wirtschaftlichkeit Usability kostet! Expertenevaluation ("theoriebasiert") deutlich günstiger als Benutzerevaluation Usability zahlt sich aus größerer Akzeptanz weniger Nachbesserungen weniger Supportbedarf Usability schafft Wettbewerbsvorteile Auf Messen gut vermittelbar Benutzerbewertungen in Foren etc. Awards schmiedecke 08 HCI 27
J Ende BHT Berlin Ilse Schmiedecke 2010