Fehler- und Usabilityevaluation zum 3D-Kunststoffdrucker Alina Andree & Lisa Wackers Dresden, 17.12.2016
Gliederung 1. Ziele der Usability-Evaluation 2. Methodik und Vorgehensweise 3. Nutzungskontext 4. Maße der Gebrauchstauglichkeit 5. Auswertung der Ergebnisse 6. Lösungsvorschläge 7. Reflektion 8. Fazit
1. Ziele der Usability-Evaluation Gewinn von Gestaltungs- und Verbesserungsvorschlägen beim System und Gerät Analyse von Schwachstellen bis hin zur Beurteilung des Systems hinsichtlich Leistung oder Güte
1. Ziele der Usability-Evaluation Empirische Methoden zur Gewinnung von Information über tatsächlichen Nutzer Verwendung von Usability-Tests und Fragebögen
2.1 Methodik Abgewandelte Form des cognitive Walktroughs Deckt tatsächliche Usability-Probleme des Nutzers auf Verwendung von 2 Fragebögen ISONORM 9241/10 Bezieht sich auf die Software System Usability Scale (SUS) Bezieht sich auf das Gerät
2.1 Methodik ISONORM 9241/10 Verwendbar für formative und summative Evaluationen 21 Items werden überprüft Bewertung durch 7-stufige Likert-Skala (sehr negativ sehr positiv) Auswertung anhand von Mittelwertsberechnungen Wahrnehmung von Schwachpunkten in bestimmten Bereichen Aber: bezieht sich nicht auf konkrete Handlungsabfolgen, da Formulierung zu allgemein
2.1 Methodik System Usability Scale (SUS) Sehr simpel gehaltene 10-Item-Skala Gibt Gesamtüberblick über die subjektive Bewertung der Benutzerfreundlichkeit 5-stufige Likert-Skala ( strongly disagree strongly agree ) Auswertung durch Berechnung eins SUS-Scores, welcher allgemeine Benutzerfreundlichkeit des Systems angibt
2.2 Vorgehensweise Erprobung des Systems anhand einer vorher festgelegten Aufgabenabfolge durch Laien Durchführung von typischen Handlungsabfolgen Beobachtung des Nutzers durch Usabiliy-Evaluatoren Festhalten von Erfolgen und Misserfolgen während der Durchführung Gewinn von Schlussfolgerungen über Probleme und Verbesserungsmöglichkeiten
2.2 Vorgehensweise Aufgabe des Nutzers: Vorab ausgewähltes und verändertes Druckmodell nach bestimmten Vorgaben einstellen Rotation: 0 Grad auf allen Achsen Größe: Höhe des Modells auf 1,5 cm Position: 0,00 mm auf allen Achsen
2.2 Vorgehensweise Aufgabe des Nutzers: Bearbeitetes Modell exportieren Exportiertes Modell auf einen USB-Stick übertragen
2.2 Vorgehensweise Aufgabe des Nutzers: USB-Stick am Makerbot anschließen Druckvorgang starten
3. Nutzungskontext Benutzer Zwei Laien ohne Übungsgrad an Software und Gerät Aber: Gerät nicht vollkommen fremd, da Nutzer HPSTS-Masterstudenten (1. Sem) Arbeitsaufgabe Einmalige Durchführung mehrerer Handlungsabfolge beginnend mit Veränderung der Einstellungen eines Modells und endend mit einem Starten des Druckvorgangs Dauer ca. 15-20 min
3. Nutzungskontext Arbeitsmittel Software: MakerBot Desktop 3.2 Gerät: MakerBot Replicator Gen. 5 Kunststoff: Biokunststoff (PLA) USB-Stick Fragebögen: ISONORM und SUS Handycamera Ocam Umgebung Arbeitsplatz: Einzeltisch im MakerSpace Lärm und Geräuschpegel: relativ hoch
4. Maße der Gebrauchstauglichkeit Effektivität (Genauigkeit und Vollständigkeit der Zielerreichung) Klickverhalten und Eingabeschwierigkeiten bei der Bearbeitung des Modells Qualität des Drucks Effizienz (Effektivität pro Aufwand) Beanspruchung Zeitaufwand Materialverbrauch Zufriedenstellung (Beeinträchtigungsfreiheit + Einstellung zur Produktnutzung) Akzeptanz der Software und des Geräts
5.1 Ergebnisse der Beobachtung Probleme: Suche und Auswahl der Setting -Option Unzureichende Wahrnehmung der Objektbearbeitungs- Icons Unzureichende Software-Kenntnisse führen zu Fehler bei der Rotationseinstellung Unzureichende Kenntnisse für Fehlerbehebung Gravierendes Problem, da es zu fehlerhaftem Druck führen kann Endprodukt nicht zufriedenstellend
5.1 Ergebnisse der Beobachtung
5.1 Ergebnisse der Beobachtung Probleme: Nahezu keine Probleme Export -Funktion deutlich sichtbar Aber: Ohne detaillierte Aufgabenstellung möglicherweise fehlerhaftes Abspeichern des Modells Umgang mit USB-Stick bekannt
5.1 Ergebnisse der Beobachtung Probleme: Fehlerhafte Interpretation der Displaybenutzung Wahrnehmung als Touch-Display Untypische Nutzweise der Bedienelemente Fehlende Anzeige der USB-Stick Erkennung Fehlerhaftes Verständnis bei der Nutzung des Print -Buttons
5.2 Integration der Ergebnisse Betrachtung der Grundsätze der Dialoggestaltung Problemangemessenheit Gruppierung der Funktionen teilweise unübersichtlich und unlogisch Selbstbeschreibungsfähigkeit Wenig benutzerangepasste Rückmeldungen Keine Mitteilungen bzgl. des verlangten Wertebereichs Steuerbarkeit Keine alternativen Wege zum Ziel möglich Erwartungskonformität Design der Interaktionswerkzeuge teilweise unbekannt Displaydesign des Geräts kann fehlinterpretiert werden Fehlerrobustheit Keine Fehlerrückmeldungen bei unpassenden Objekteinstellungen
5.3 Ergebnisse der Fragebögen ISONORM 9241/10 Aufgabenangemessenheit Selbstbeschreibungsfähigkeit Steuerbarkeit Erwartungskonformität Fehlertoleranz Individualisierbarkeit Lernförderlichkeit Selbstbeschreibungsfähigkeit gering Fehlertoleranz hoch Starke Varianz im Antwortverhalten der übrigen Items
5.3 Ergebnisse der Fragebögen System Usability Scale SUS-Score: 75 82,5 % 60 80 % grenzwertige bis gute Usability 80 100 % gute bis exzellente Usability Ergebnis deutet auf gute Usability hin Unterscheidung bei nur 1 Item I found the system very cumbersome to use
5.4 Ergebnisse der Gebrauchstauglichkeit Effektivität Eingeschränkt aufgrund ineffektiver Klickbewegungen und Suchaufwand der Bearbeitungstools Qualität des Drucks zufriedenstellend, da alle Einstellungen richtig vorgenommen Effizienz Hinweis auf Einstellungen war jedoch notwendig Zeitaufwand erhöht durch Suchaufwand der Bearbeitungstools und mangelnder Erfahrung mit der Software Beanspruchung und Materialverbrauch gering Zufriedenstellung Akzeptanz des Geräts hoch und geringer bei dem Gebrauch der Software
6. Lösungsvorschläge Objektbearbeitung Objektbearbeitungs-Icons besser kennzeichnen Räumliche Positionierung der Icons an die der Setting - Option anpassen Hinweise bezüglich der Rotationseinstellung durch Software Fehlerrückmeldungen und Mitteilung über verlangte Wertebereiche Druckvorgang Umgestaltung des Displays und der Bedienelemente
7. Reflektion + - + Keine Probleme bei der Durchführung der Evaluation + Keine Probleme beim Druckvorgang + Motivierte Nutzer + SUS-Fragebogen liefert gute Hinweise bzgl. Usability des Geräts o Gerät eher einfach zu bedienen - Laute Hintergrundgeräusche - Aufnahmequalität eher mittelmäßig - Aufgabenanalyse teilweise zu ungenau im Bereich Objektbearbeitung - ISONORM-Fragebogen liefert widersprüchliche Hinweise bzgl. Usability des Geräts Feedback der Nutzer stimmt weitestgehend mit den Ergebnissen der Fragebögen überein Usability des Geräts besser als die der Software
8. Fazit Evaluation konnte einige Probleme bei der Software und dem Gerät aufdecken Probleme bzgl. der Grundsätze der Dialoggestaltung müssen angepasst werden Dennoch: kaum gravierende Probleme (außer Umgang mit Rotationseinstellungen), da Ziel trotzdem erreicht werden kann Umgang mit der Software und dem Gerät nach einiger Einarbeitungszeit gut möglich und zufriedenstellend Anmerkungen für zukünftiges Tutorial Interaktionswerkzeuge abbilden und beschreiben Hinweise auf Umgang mit möglichen Fehlerquellen geben Einweisung in Software hilfreich
Quellenverzeichnis Brooke, J. (1986). SUS A quick and dirty usability scale. Early. Dumas, J.S. & Salzman, M.C. (2006). Usability Assessment Methods. Reviews of Human Factors and Ergonomics (109-140). Prümper, J. & Anft, M. (1993). Beurteilung von Software auf Grundlage der Internationalen Ergonomie-Norm ISO 9241/10. Berlin. Sarodnick, F. & Brau, H. (2011). Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung (2. Aufl.). Bern: Huber. MakerBot Desktop 3.2 MakerBot Replicator Gen. 5