Auszug aus Projektbericht

Transkript

1 AAA Continuation Activity Durchführung von E-Assessment mit ILIAS an der Universität Bern Auszug aus dem Projektbericht E-Assessment ilub Auszug aus Projektbericht Report Forschungsmethoden - ILIAS Erweiterungen ilub-team: Timon Amstutz, Hansjörg Lauener, Fabian Schmid, Yvonne Seiler Universität Bern Vizerektorat Lehre, ilub Fabrikstrasse 8 CH-3012 Bern

2 Inhaltsverzeichnis 1. Prüfungsvorbereitung "Forschungsmethoden Statistik I"... 3 Der hier vorliegende Auszug aus dem internen Projektbericht... dokumentiert den Feldtest Forschungsmethoden, und die dabei gewonnenen Erkenntnisse - wie ILIAS erweitert werden muss

3 1. Prüfungsvorbereitung "Forschungsmethoden Statistik I" Ausgangslage für diesen zweiten Feldtest war eine Musterprüfung für die Prüfungsvorbereitung der Veranstaltung Forschungsmethoden Statisik I. Was bisher als Paper-Pencil-Musterprüfung abgegeben und manuell korrigiert wurde, wurde nun mit einem ILIAS-Test umgesetzt. Die Studierenden erhielten eine Woche vor der Besprechung mit dem Dozenten den Zugang zum ILIAS-Test und konnten diesen zu Hause für sich absolvieren. Den Freitextfragen wurden Musterlösungen hinterlegt, so dass die Studierenden selbständig nachprüfen konnten, ob ihre Antworten korrekt waren. Der Dozent nahm eine Woche später offene Fragen der Studierenden zu diesen Testfragen oder anderen Fragen des Themas in einer Prüfungsvorbereitungs-Besprechung entgegen und beantwortete diese. Von 23 Studierenden haben 22 diesen vorbereitenden Testlauf mit der Online-Musterprüfung gestartet. Einige haben mehrere Durchläufe durchgeführt. Die verwendete Bearbeitungsdauer dauerte zwischen 39 Sekunden (Abbruch nach 3 Fragen) bis 4 Stunden (alle 15 Fragen beantwortet). Grundsätzlich konnte die Paper-Pencil-Prüfung problemlos in den ILIAS-Test adaptiert werden. Mit LateX war es auch problemlos möglich, statistische Formeln einzubinden. Für die Beantwortung von statistischen Fragen könnte es für Studierende einfacher sein, wenn sie im Antwort-Editor ebenfalls mathematische Formeln und Zeichen einbinden könnten. Die Befragung zeigte aber auch, dass zusätzliche Formatierungsmöglichkeiten nicht so sehr vermisst wurden, wie gedacht. Bei der Umsetzung der Musterprüfung ins ILIAS-Test-Tool wurden vom Dozenten folgende Anmerkungen und Wünsche geäussert: Bei Freitextfragen wäre es wünschenswert, wenn mehrere Textfelder auf einer Seite dargestellt werden können. Dies würde erlauben, eine Freitext-Frage mit Unterfragen (a, b, c,...) zu formulieren und sowohl für die manuelle Bewertung und Korrektur wie aber auch für die Test-Teilnehmenden eine übersichtlichere Darstellung der zusammengehörigen Antworten zu ermöglichen. Die Druckansicht eines Tests müsste möglich sein, damit der Test auch als Paper-Pencil- Prüfung durchgeführt werden könnte. Aktuell gibt es nur die Möglichkeit ILIAS-Tests mit den Lösungen auszudrucken. Um die Einsicht in Testergebnisse zu ermöglichen (z.b. Prüfungseinsicht bei Nichtbestehen einer Prüfung), müsste es die Möglichkeit geben, Testergebnisse nur für eine/n feste/n (veränderbare/n) Teilnehmer/in zu einem bestimmten Zeitpunkt freigeben zu können. Aktu- Seite 3/5

4 ell könnte mit einem Ausdruck der Testergebnisse gearbeitet werden. Es wäre aber auch eine Weiterentwicklung denkbar, in der man die Testergebnisse einem bestimmten Benutzer zur Durchsicht freigeben könnte. Die positiven Erfahrungen mit dem ILIAS-Test-Tool bewegen den Dozenten dazu den Wunsch zu äussern, im FS2014 mit Online-Prüfungen beginnen zu können. Er sieht hier Vorteile vor allem auch in der vereinfachten Auswertung, da die Antworten automatisiert korrigiert werden. Weiter spielt bei Freitextaufgaben die Problematik mit unleserlichen Handschriften keine Rolle mehr, was ebenfalls dazu beiträgt, dass die Auswertung für den Dozenten vereinfacht wird. Viele Studierende sind es sich nicht mehr gewohnt, so viel von Hand zu schreiben. Dies erkenne man im Verlauf der Prüfung an der erhöhten Unleserlichkeit. Eine nach dem Prüfungsvorbereitungs-Test zu absolvierende Umfrage im Rahmen der Veranstaltung "Forschungsmethoden" sollte ein genaueres Bild davon bieten, wie Studierende den Einsatz eines Online-Prüfung-Tools einschätzen. 6 von 22 Studierenden haben die Umfrage ausgefüllt. Es wird von Studierenden (absolut) erwünscht, dass Selbsttests im Sinne einer Prüfungsvorbereitung mit Online-Tests zum Einsatz kommen. Notenrelevante Prüfungen als Online-Prüfungen absolvieren zu können, wird von 1/3 erwünscht, von 1/2 als neutral beurteilt. Eine Person wünscht sich keine Online-Umsetzung von notenrelevanten Prüfungen. Als ein Grund für den Einsatz von Online-Tests wird die schnellere Rückmeldung über korrekte/falsche Antworten genannt. Das Ausfüllen des Online-Tests scheint keine grosse Umstellung für die Studierenden zu sein, im Vergleich zu Prüfungen, die auf Papier ausgefüllt werden. Es sind gemäss den Aussagen der Studierenden genügend Möglichkeiten zur Text- Formatierung in Freitextaufgaben vorhanden. Was aber fehlt und stark erwünscht wird (5 von 6 Personen), ist die Möglichkeit handschriftliche Notizen oder Skizzen machen zu können. Weiter wurde die Auswertung der eigens formulierten Antworten gewünscht. Dies ist über ILIAS-Test-Tool bereits möglich (manuelle Bewertung), in dieser Prüfung wurde jedoch entschieden, Musterlösungen anzubieten und auf manuelle Prüfung zu verzichten. Es zeigt sich, dass es für die Studierenden technisch keine grosse Hürde darstellt die Fragetypen auszufüllen oder die Testergebnisse einzusehen (1 von 6 Personen fand den Zugang zu den Testergebnissen nicht). Seite 4/5

5 Das Lösen der Probeprüfung über ILIAS wurde als "sehr hilfreich" und das Eingeben der Antworten mit der Tastatur als "einiges angenehmer als von Hand, insbesondere wenn man korrigieren möchte" eingestuft. Technische Hürden gab es bei einer Person beim Ausfüllen einzelner Lücken und bei der Frage danach, wie die eigens formulierten Fragen ausgewertet werden. Dass Freitextaufgaben manuell vom Dozierenden korrigiert werden müssen, muss zusätzlich erwähnt werden. Dadurch wird für die Test-Teilnehmenden auch verständlich, wieso eine Textaufgabe in den Testergebnissen vorers als falsch angezeigt wird, obwohl der Inhalt darin korrekt ist. Solange die Dozierenden die Frage nicht als bestanden bewerten, ist diese als nicht korrekt deklariert. Der Einsatz des ILIAS-Tests zur Prüfungsvorbereitung wurde als gute Idee eingestuft. Bemängelt wurde, dass offene Fragen nicht automatisch korrigiert und in die Bewertung miteinfliessen konnten. Studierende schlagen hier vor, mehr auf Multiple Choice Fragen zu setzen und weniger offene Fragen zu formulieren. Aufgrund der Rückmeldungen der Dozierenden und Studierenden wurden Einträge in das offizielle Feature Wiki der ILIAS-Community erstellt. Dadurch werden neu erwünschte Features diskutiert und zur Entwicklung freigegeben. Der nächstmögliche Feature-Freeze (Eingabeschluss) ist 2014, wodurch die Features bei geeigneter Finanzierung für ILIAS 4.5 entwickelt werden können. Seite 5/5