Innovative Prüfungsverfahren

Transkript

1 Innovative Prüfungsverfahren in der beruflichen Aus- und Weiterbildung mit digitalen Technologien Michael Kerres / Jörg Stratmann Universität Duisburg-Essen

2 Aufgabenersteller & Prüfer Items mit der stärksten Zustimmung Aufgaben-/ Prüfungserstellung bessere Auffindbarkeit von Prüfungsaufgaben, durch differenzierte Suchfunktionen in einem Aufgabenpool leichtere Aktualisierbarkeit von Prüfungsaufgaben leichtere Aktualisierbarkeit von Prüfungen Prüfungsdurchführung dass das System fähig ist den Prüfungsablauf automatisch zu protokollieren dass zeitversetzte Prüfungen nun leichter durchzuführen sind

3 Aufgabenersteller & Prüfer Items mit der stärksten Zustimmung Prüfungsauswertung leichtere Auswertung der Prüfung schnellere Rückmeldung über das Prüfungsergebnis Fragen zu rechtlichen und technischen Themen dass die Aufgabendatenbank vor unautorisierten Zugriff geschützt ist dass die Aufbewahrungsfristen der Prüfungsergebnisse sichergestellt sind

4 Aufgabenersteller & Prüfer Items mit der stärksten Ablehnung Aufgaben-/ Prüfungserstellung dass die Aufgabenersteller überfordert sind leichtere Erstellung von handlungsorientierten Prüfungen einfachere Zusammenstellung von Prüfung, in denen verschiedene Prüfungsmethoden eingesetzt werden Prüfungsdurchführung dass die Prüfungskandidaten überfordert sind dass Täuschungsversuche zunehmen

5 Aufgabenersteller & Prüfer Items mit der stärksten Ablehnung Prüfungsauswertung dass Prüfer durch die (teilweise) automatisierte Computerauswertung entmündigt werden dass es Hilfen bei der Auswertung von offenen Antwortmöglichkeiten geben wird Fragen zu rechtlichen und technischen Themen dass ungültige Prüfungen aufgrund von technischen Problemen zunehmen werden dass es zu einer Zunahme von angefochtenen Prüfungsergebnissen aufgrund von (angeblichen) technischen Problemen kommt

6 Ausbildungs-/ Personalverant. Items mit der stärksten Zustimmung gesteigerte Effizienz von Prüfungen und schnellere Rückmeldung des Ergebnisses Prüfungskandidaten sind durch vereinheitlichte Prüfungen besser vergleichbar Prüfungsergebnisse werden transparenter

7 Ausbildungs-/ Personalverant. Items mit der stärksten Ablehnung dass der persönliche Eindruck besser mit dem Prüfungsergebnis übereinstimmt dass sich die Qualität von Unterricht und Lehrgängen steigert dass die Qualität der Aufgaben zunimmt

8 Prüfungsteilnehmer/innen Items mit der stärksten Zustimmung Von computergestützten Prüfungsverfahren erwarte ich eine einfache Bedienung eine schnellere Rückmeldung über das Prüfungsergebnis dass die Prüfungsaufgaben vor unberechtigtem Zugriff geschützt sind die Möglichkeit, durch die gesamte Prüfung zu blättern

9 Prüfungsteilnehmer/innen Items mit der stärksten Ablehung Von computergestützten Prüfungsverfahren erwarte ich einen wenig übersichtlichen Bildschirmaufbau eine Überforderung in der Prüfung aufgrund geringer Erfahrung im Umgang mit dem Computer mehr Schwierigkeiten bei der Prüfungsdurchführung aufgrund von technischen Problemen

10 Nach EN ISO Normen und Usability-Studie Erlernbarkeit: Nutzung der rechten Maustaste ist zwingend erforderlich, zentrale Funktionen des Programms sind im Menü nicht vorhanden Selbstbeschreibungsfähigkeit und Erwartungskonformität: Es wurden erhebliche Probleme in Bezug auf die verwendeten Icons festgestellt Steuerbarkeit: Software verfügt offenbar über keinerlei Shortcuts Fehlertoleranz: Da das Programm über keine Undo Funktion verfügt hat es eine sehr geringe Fehlertoleranz Zufriedenstellung: Die Benutzeroberfläche wirkt sehr undynamisch

11 Fazit Usability-Studie Abschließend lässt sich sagen, dass das System im Gesamten von den Benutzern als befriedigend beurteilt wurde. Besonders gelobt wurden die Vielzahl der unterschiedlichen Aufgabentypen und die damit verbundenen Möglichkeiten. Auch die große Flexibilität des Systems wurde als besonders positiv benannt. Wir hatten den Eindruck, dass die Benutzer die Einführung der Software LPLUS tendenziell befürworten und die Gebrauchstauglichkeit in Abhängigkeit von noch vorzunehmenden Änderungen und Erweiterungen als hoch einschätzen.

12 Innovative Prüfungsaufgaben Potentiale Qualitätssteigerung Konvergenz: Lernen und Prüfen Situierung Authentizität Interaktivität Aktualität Effizienzsteigerung Durchführungsökonomie Transparenz keine Medienbrüche

13

14

15

16

17

18

19

20

21

22