Innovative Prüfungsverfahren in der beruflichen Aus- und Weiterbildung mit digitalen Technologien Michael Kerres / Jörg Stratmann Universität Duisburg-Essen
Aufgabenersteller & Prüfer Items mit der stärksten Zustimmung Aufgaben-/ Prüfungserstellung bessere Auffindbarkeit von Prüfungsaufgaben, durch differenzierte Suchfunktionen in einem Aufgabenpool leichtere Aktualisierbarkeit von Prüfungsaufgaben leichtere Aktualisierbarkeit von Prüfungen Prüfungsdurchführung dass das System fähig ist den Prüfungsablauf automatisch zu protokollieren dass zeitversetzte Prüfungen nun leichter durchzuführen sind
Aufgabenersteller & Prüfer Items mit der stärksten Zustimmung Prüfungsauswertung leichtere Auswertung der Prüfung schnellere Rückmeldung über das Prüfungsergebnis Fragen zu rechtlichen und technischen Themen dass die Aufgabendatenbank vor unautorisierten Zugriff geschützt ist dass die Aufbewahrungsfristen der Prüfungsergebnisse sichergestellt sind
Aufgabenersteller & Prüfer Items mit der stärksten Ablehnung Aufgaben-/ Prüfungserstellung dass die Aufgabenersteller überfordert sind leichtere Erstellung von handlungsorientierten Prüfungen einfachere Zusammenstellung von Prüfung, in denen verschiedene Prüfungsmethoden eingesetzt werden Prüfungsdurchführung dass die Prüfungskandidaten überfordert sind dass Täuschungsversuche zunehmen
Aufgabenersteller & Prüfer Items mit der stärksten Ablehnung Prüfungsauswertung dass Prüfer durch die (teilweise) automatisierte Computerauswertung entmündigt werden dass es Hilfen bei der Auswertung von offenen Antwortmöglichkeiten geben wird Fragen zu rechtlichen und technischen Themen dass ungültige Prüfungen aufgrund von technischen Problemen zunehmen werden dass es zu einer Zunahme von angefochtenen Prüfungsergebnissen aufgrund von (angeblichen) technischen Problemen kommt
Ausbildungs-/ Personalverant. Items mit der stärksten Zustimmung gesteigerte Effizienz von Prüfungen und schnellere Rückmeldung des Ergebnisses Prüfungskandidaten sind durch vereinheitlichte Prüfungen besser vergleichbar Prüfungsergebnisse werden transparenter
Ausbildungs-/ Personalverant. Items mit der stärksten Ablehnung dass der persönliche Eindruck besser mit dem Prüfungsergebnis übereinstimmt dass sich die Qualität von Unterricht und Lehrgängen steigert dass die Qualität der Aufgaben zunimmt
Prüfungsteilnehmer/innen Items mit der stärksten Zustimmung Von computergestützten Prüfungsverfahren erwarte ich eine einfache Bedienung eine schnellere Rückmeldung über das Prüfungsergebnis dass die Prüfungsaufgaben vor unberechtigtem Zugriff geschützt sind die Möglichkeit, durch die gesamte Prüfung zu blättern
Prüfungsteilnehmer/innen Items mit der stärksten Ablehung Von computergestützten Prüfungsverfahren erwarte ich einen wenig übersichtlichen Bildschirmaufbau eine Überforderung in der Prüfung aufgrund geringer Erfahrung im Umgang mit dem Computer mehr Schwierigkeiten bei der Prüfungsdurchführung aufgrund von technischen Problemen
Nach EN ISO Normen 9241-10 und 9241-11 Usability-Studie Erlernbarkeit: Nutzung der rechten Maustaste ist zwingend erforderlich, zentrale Funktionen des Programms sind im Menü nicht vorhanden Selbstbeschreibungsfähigkeit und Erwartungskonformität: Es wurden erhebliche Probleme in Bezug auf die verwendeten Icons festgestellt Steuerbarkeit: Software verfügt offenbar über keinerlei Shortcuts Fehlertoleranz: Da das Programm über keine Undo Funktion verfügt hat es eine sehr geringe Fehlertoleranz Zufriedenstellung: Die Benutzeroberfläche wirkt sehr undynamisch
Fazit Usability-Studie Abschließend lässt sich sagen, dass das System im Gesamten von den Benutzern als befriedigend beurteilt wurde. Besonders gelobt wurden die Vielzahl der unterschiedlichen Aufgabentypen und die damit verbundenen Möglichkeiten. Auch die große Flexibilität des Systems wurde als besonders positiv benannt. Wir hatten den Eindruck, dass die Benutzer die Einführung der Software LPLUS tendenziell befürworten und die Gebrauchstauglichkeit in Abhängigkeit von noch vorzunehmenden Änderungen und Erweiterungen als hoch einschätzen.
Innovative Prüfungsaufgaben Potentiale Qualitätssteigerung Konvergenz: Lernen und Prüfen Situierung Authentizität Interaktivität Aktualität Effizienzsteigerung Durchführungsökonomie Transparenz keine Medienbrüche