Auszug aus Projektbericht

Transkript

1 AAA Continuation Activity Durchführung von E-Assessment mit ILIAS an der Universität Bern Auszug aus dem Projektbericht E-Assessment ilub Auszug aus Projektbericht ILIAS und Safe Exam Browser - Pilotprojekt Erfahrungen mit dem Safe Exam Browser, Requirements ilub-team: Timon Amstutz, Hansjörg Lauener, Fabian Schmid, Yvonne Seiler Universität Bern Vizerektorat Lehre, ilub Fabrikstrasse 8 CH-3012 Bern

2 Inhaltsverzeichnis 1. Feldtest Feldtest: Prüfungsvorbereitung "Pädagogische Diagnostik" Erfahrungen mit dem Safe Exam Browser, Requirements Prüfungen mit ILIAS und SEB in einem gemanagten Prüfungsraum Prüfungen mit ILIAS und SEB in BYOD-Konzepte Safe Exam Browser, Version Der hier vorliegende Auszug aus dem internen Projektbericht... dokumentiert die Erkenntnisse, welche mit der Durchführung von e-assessments mit dem Learning Management System ILIAS und dem Safe Exam Browser gewonnen werden konnten zeigt aufgrund der aus dem Pilotversucht gemachten Erfahrungen auf, welche Anforderungen die Supportstelle ilub an den Safe Exam Browser (SEB) stellt

3 1. Feldtest Am 28. Februar fand als ein erster Meilenstein das Meeting mit den in WP 4.1 involvierten Projektpartnern statt. Weil für die Erfüllung der Deliverables von WP 4.1 im Projektantrag definiert wurde, dass ilub verschiedene E-Klausuren an unterschiedlichen Institutionen durchführt und evaluiert, klärten wir ab, welche rechtlichen Fragen vor dem Projektstart geklärt werden müssen. Es sind dies: Inwiefern sind E-Klausuren mit den verschiedenen Studienplänen kompatibel? Ist es bereits für die Pilotprojekte möglich, Klausuren mit ILIAS zu unterstützen? Wann kann (z.b. durch Änderungen an den Studienplänen, Prüfungsreglementen) frühstmöglich mit E- Klausuren begonnen werden? Was sind die Auswirkungen von einem technischen defekt (z.b. Stromausfall)? Dürfte in diesem Fall die Prüfungsform vor Ort geändert werden (z.b. durch Austeilen von Klausuren in gedruckter Form)? Ist es zulässig, von den Studenten zu verlangen, ihre eigenen Geräte an der Prüfung zu verwenden? Ist es problematisch, dass die Geräte über unterschiedliche Konfiguration und Hardware verfügen (insbesondere, dass nicht alle gleich schnell sind)? Wie weit bieten unterschiedliche Notebooks gleiche Voraussetzungen für alle Studierende? Ist es zulässig, in einem ersten Durchlauf E-Klausuren auf freiwilliger Basis durchzuführen (mit einer schriftlichen Alternative)? Müssten die Studenten, welche freiwillig an der E- Klausur teilnehmen, eine Art Nutzungsvereinbarung unterschreiben? In einer ersten Teamsitzung wurde klar, dass die Abklärung obgenannter Punkte aus rechtlicher Sicht für das Projekt unabdingbar wäre, und dass zweitens die Studierenden bereits bei den Kursausschreibungen über die Prüfungsform hätten informiert werden müssen. Aufgrund des verspäteten Beginns des Projektes war es uns dann nicht nicht mehr möglich, E- Klausuren zu organisieren. Als Ersatz für die E-Klausuren wurden zwei Vorbereitungsprüfungen auf dem LMS ILIAS der Universität Bern zusammen mit dem SEB-Browser organisiert und ausgewertet. Weiter wurde zusammen mit dem Obergericht des Kantons Bern analysiert, unter welchen Bedingungen Anwaltsprüfungen auf studentischen Notebooks mit ILIAS und dem SEB-Browser durchgeführt werden können. Und es wurden Abklärungen durchgeführt, und die Funktionalitäten und Fragetypen des Testsystems ILIAS auf allfällige zu schliessende Lücken analysiert. Seite 3/10

4 1.1 Feldtest: Prüfungsvorbereitung "Pädagogische Diagnostik" Als Ausgangslage für einen ersten Feld-Test von ILIAS SEB diente eine fakultative Prüfungsvorbereitung am Freitag, 26. April 2013, Uhr vor Ort. Diese wurde mit studentischen Laptops im Rahmen der Veranstaltung "APP: Pädagogische Diagnostik (vc.edu)" durchgeführt. Vorausgehend wurde mit dem Assistierenden-Team die Aufgabenteilung geklärt: ilub stellte die notwendige technische Infrastruktur zur Erstellung einer Online-Prüfung mit ILIAS zur Verfügung und informiert die teilnehmenden Studierenden über die Installation des SEB während von den Assistierenden die Prüfungsfragen in einem ILIAS-Test vorbereitet werden. Die Studierenden wurden bereits eine Woche vor der Durchführung der Veranstaltung darüber informiert, dass sie ihre eigenen Laptops mitzunehmen haben. Das ilub-team testete vorgängig auf den beiden Betriebssystemen Mac und Windows die Installation und das Verhalten des SEB mit dem ILIAS-Test. Dabei konnte bereits beim Einrichten der SEB-Installationsdatei festgestellt werden, dass die Windows-Version einiges schwieriger anzupassen und vor allem zu installieren ist, als die Mac- Version. Aber auch die Mac-Installation ist bei der Installation nicht unproblematisch: Problem 1: Da Windows nicht automatisch eine ZIP-Datei dekomprimiert, wenn man sie öffnet (wie dies bei Mac der Fall ist), sondern nur den Inhalt des ZIP-Ordners anzeigt, hatten viele Studierende das Installationsprogramm aus dem ZIP-Ordner gestartet und nicht aus der extrahierten Version. Dies führte zu Installations-Fehlern. Problem 2: Im ZIP-Ordner der Windows-SEB-Version ist diejenige Datei enthalten, welche das Beenden des SEB beschreibt. Diese ist nicht geschützt und kann geöffnet werden. Somit kann jede/r Student/in selber einstellen, wie sie aus dem geschützten Modus des SEB rauskommt. Als Prüfungsteam hat man keinen Einfluss mehr auf diese Datei. Problem 3: Wurde bei der Mac-Version das Programm SEB nicht in den Programm-Ordner verschoben, um sie zu installieren, kam es bei einigen wenigen ebenfalls zu Installationsfehlern. Problem 4: Da die Studierenden den SEB selber von zu Hause aus installierten, musste das Passwort (Mac) bzw. die Tastenkombination (Windows) mitgeliefert werden, da sie nach dem Start des SEB ansonsten nicht mehr aus dem Modus herausgekommen wären. Für E-Klausuren ist dies keine Option, da die Studierenden ansonsten jederzeit aus dem SEB-Modus raus- und wieder reinkommen können. Diese Erfahrungen widerspiegelten sich auch bei den Rückmeldungen der Studierenden zur Installation. Seite 4/10

5 Die Anleitung für die Installation des SEB sollte hier möglichst viele dieser Hürden verringern, so gab es aber dennoch drei Meldungen im Vornherein, dass die Installation misslungen ist und Hilfe angefordert wurde: Supportanfrage 1 (Windows): Fehlermeldung nach Installation des SEB. Problem: ZIP- Datei wurde nicht korrekt extrahiert. Supportanfrage 2 (Mac): Meldung über eine beschädigte/fehlerhafte Datei. Problem: Programm wurde nicht korrekt installiert. Supportanfrage 3 (Windows): Die Version Windows Vista wird nicht auf der Webseite von SEB als unterstütztes Betriebssystem aufgelistet. Problem: SEB konnte nicht installiert werden. Auch auf der Seite von ILIAS ist ein Schwachpunkt (Bug) aufgedeckt worden. ILIAS bietet einen Kiosk-Modus für die Durchführung von Tests an: "Alle Bildschirmelemente, die nicht zum Test gehören, werden ausgeblendet, damit die Teilnehmerinnen und Teilnehmer keine Möglichkeit haben, den Test zu verlassen." (Auszug aus der ILIAS-Einstellung). Aktuell kann man nach dem Starten des Tests (1. Frage) mit einem Button zurück zur Startseite gelangen. Das bedeutet auch, dass Probanden Zugang zum gesamten ILIAS-System und dessen Informationen hat. In ILIAS kann zur Zeit noch nicht unterbunden werden, dass man den Test nicht mehr fortführen kann, wenn man aus dem Test aussteigt. Es ist so für die Studierenden möglich, einen Test zu unterbrechen und später weiterzufahren. Für die Prüfungsvorbereitungsveranstaltung wurde das ILIAS der Universität Bern mit einem Patch versehen, so dass vorübergehend dieser Button ausgeblendet ist. Ein entsprechender Mantis-Beitrag (Fehlerbericht) wurde auf der offiziellen ILIAS-Installation hinterlegt. Vor Ort waren 23 Studierende anwesend, davon haben 10 Studierende die Prüfung mit eigenen Notebooks absolviert. Alle haben in Gruppen an den Online-Prüfungsfragen gearbeitet. Waren die technischen Hürden einmal überwunden, wurde die Umsetzung der Prüfungsfragen in einem Online-Test als durchwegs positiv bewertet. Seite 5/10

6 Es traten folgende Probleme beim Starten oder Beenden des SEB auf: Problem 5: Keine funktionierende Internetverbindung vor Start des SEB. Vor dem Start des SEB muss erst die Internetverbindung geprüft und verbunden werden, ansonsten erscheint nur eine weisse Seite. SEB muss mittels Tastenkombination oder Task-Manager beendet werden. Problem 6: Sind die Fn-Tasten (Windows) mit Sonderfunktionen belegt, funktioniert das Beenden des SEB nicht. SEB muss mittels Task-Manager beendet werden. Problem 7: Bei einem Sony Vaio Gerät mit Windows 7 konnte die ZIP-Datei nicht extrahiert werden. Dadurch konnte SEB nicht installiert werden. Problem 8: Als Musterlösung wurde ein PDF-Dokument in ILIAS hinterlegt, dieses konnte nicht geöffnet werden, da durch den Kiosk-Modus und SEB nur der Internetbrowser geöffnet werden durfte. Der SEB-Modus musste erst verlassen werden und man musste sich normal in ILIAS anmelden, um die Musterlösungen einsehen zu können. Das Problem 8 entstand, weil für die Prüfung der PDF-Reader nicht explizit als Drittapp konfiguriert wurde, das ging. Daher ist das auch nicht als Bug von SEB zu verstehen, sondern eher als Merkhinweis, dass man bei den Einstellungen von SEB auch an "einfache" Programme wie Adobe Reader denken muss, die ein Prüfling evt. verwenden muss. Seite 6/10

7 2. Erfahrungen mit dem Safe Exam Browser, Requirements Die Durchführung von E-Klausuren in gemanagten PC-Poolräumen und studentischen Notebooks weisen grosse strukturelle Unterschiede auf, weshalb diese beiden Szenarien getrennt diskutiert werden. Ausserdem liegt seit Mai 2013 eine Beta-Version des neuesten SEB-Browser vor, welche einige der aufgeführten Problemen behebt. Auf diese Neuerungen werden in einem dritten Abschnitt vorgestellt. Für beide Szenarien ist zu bemerken, dass der Kiosk-Modus des ILIAS-Test- Tools ist noch nicht wie beschrieben umgesetzt ist. Dieser Modus sollte verhindern, dass die Test- Teilnehmenden den Test verlassen können, was aber jederzeit möglich ist, da auf der ersten Seite ein Button "Zurück zur Startseite" eingeblendet ist. Dadurch können Teilnehmende jederzeit im gesamten ILIAS navigieren und später zum Test zurückkehren. Aktuell kann zudem ein Test jederzeit unterbrochen und später weitergefahren werden. Es gibt keine Option, dass beim Verlassen eines Tests die Testergebnisse eingereicht und nicht mehr verändert werden können. 2.1 Prüfungen mit ILIAS und SEB in einem gemanagten Prüfungsraum Die in unserem Feldtest aufgedeckten Problemen relativieren sich im Kontext von E-Klausuren in einem gemanagten Prüfungsraum. In einem solchen Raum kann das Betriebssystem der Arbeitsgeräte und die Berechtigungen der Benutzer vorgängig sorgfältig ausgewählt und konfiguriert werden. Studentinnen und Studenten brauchen sich nicht um die Installation zu kümmern und können diese somit auch nicht manipulieren. Die Verbindung zum Server kann vorgängig auf allen Geräten geprüft werden. F r die Durchführung von E-Klausuren in gemenagten Prüfungsräumen sind folgende Punkte zu erfüllen: Einrichtung eines Servers für die Verwaltung der E-Klausuren. Vorgängige, auf den SEB-Browser angepasste, Konfiguration sämtlicher Geräte. Sicherstellung der Serververbindung auf sämtlichen Geräten. Starten des SEB-Browsers auf sämtlichen Geräten. Neustart sämtlicher Geräte im Anschluss einer Prüfung (somit brauchen die Studentinnen und Studenten den Browser nicht selber neu zu starten. Da die Anzahl der Geräte sehr gross werden kann, müssen die beschriebenen Prozesse nach Möglichkeit automatisiert werden. 2.2 Prüfungen mit ILIAS und SEB in BYOD-Konzepte Sowohl bei gemanagten PC-Poolräumen als auch bei Prüfungen auf studentischen Notebooks muss der SEB aus zeitlichen Gründen bereits vorgängig installiert werden. Damit sich dieser Aufwand möglichst gering hält, ist es naheliegend, dass dies von den Studierenden selber gemacht wird. Seite 7/10

8 Problematisch ist, dass in der aktuellen SEB Version keine "Heiminstallation" angedacht ist. D.h. wer den SEB installiert und vorgängig testen will, benötigt das hinterlegte Passwort oder muss die Tastenkombination kennen, mit welcher der SEB beendet werden kann. Da sich das Passwort oder die Tastenkombination nicht nachträglich zentral verändern lässt, können Studierende mit diesem Wissen auch an einer Prüfung den SEB jederzeit beenden und später den Test weiterfahren. Das Installieren des SEB kann zu Problemen führen, die damit zusammenhängen, dass nicht alle Studierenden dieselben ICT-Kenntnisse vorweisen. Das Entpacken eines ZIP stellt sich vor allem für Windows-BenutzerInnen als sehr heikel dar. Zudem ist in der Windows-Version die Datei zum Ändern des Beenden-Passworts sehr einfach zugänglich. Über den Task-Manager kann der SEB jederzeit beendet werden (auch ohne Passwort und Tastenkombination). Da ILIAS zur Zeit das Beenden/Abbrechen eines Tests zulässt, indem man später an derselben Stelle weiterfahren kann, würden wir der SEB in der Version für den Einsatz in E-Klausuren mit ILIAS nur bedingt empfehlen, da Studierende jederzeit aus dem SEB-Modus aussteigen und wieder einsteigen kann. Der SafeExamBrowser wird in der aktuelle Version mit einer hinterlegten Konfiguration ausgeliefert. Diese beinhaltet neben der Prüfungsseite auch die Optionen zum Beenden des Browsers. Für Klausuren, welche auf studentischen Laptops durchgeführt werden, ist unserer Analyse zu folge die aktuelle Version des Safe Exam Browsers nicht geeignet. 2.3 Safe Exam Browser, Version 2 Wie bereits erwähnt, eignet sich die aktuell verfügbare Version des SEB nicht für den Einsatz auf studentischen Notebooks. Um Prüfungen mit eigenen Geräten durchführen zu können, sind einige Entwicklungen beim Safe Exam Browser erforderlich. Die neue Version des Safe Exam Browsers (v 2) behebt wohl einige der in Folgenden aufgeführten Anforderungen: a) Um Installationsprobleme des SEB oder inkompatible Computer bereits im Vorfeld abfangen zu können, ist es wichtig, dass Studierende den SEB vor der Prüfung installieren können. Dies setzt voraus, dass der SEB in einer Version ausgeliefert werden kann, welche installiert, getestet und danach ohne Passwort wieder beendet werden kann. Seite 8/10

9 b) Die neue SEB-Version sollte mit einer offenen Konfiguration ausgeliefert werden können, welche den Browser mit einem SEB-Server (Webportal) der jeweiligen Institution verbindet. Der SEB sollte in dieser Konfiguration beendet werden können. c) Das Webportal listet die jeweils verfügbaren Prüfungen für eine Studentin/einen Studenten auf. Zusätzlich zu den verfügbaren Prüfungen, sollte das Portal eine Test-Prüfung anbieten, um den SEB testen zu können. d) Die Links zu den (Test-)Prüfungen installieren jeweils eine SEB-Konfiguration. So kann bei Prüfungen verhindert werden, dass der Browser beendet werden kann. Nach dem Beenden einer Prüfung wird die Konfiguration wieder auf den Auslieferungszustand zurückgesetzt. Start SEB auf stud. Laptop nein Eingeloggt? Authentifizierung SwitchAAi ja Anzeigen verfügbarer (Test-) Prüfungen Daten von Portal Prüfungs- Portal Klick auf Link Testprüfung Klick auf Link Prüfung Daten von Portal Inst. Konfiguration (beendbar) Inst. Konfiguration (nicht beendbar) Weiterleitung auf ILIAS-Test Beenden des ILIAS-Tests Reset der Konfiguration Seite 9/10

10 e) Die Installationsprozesse sollten grundsätzlich einfacher sein, insbesondere die Windows- Version bedarf einer vereinfachten Installation für die Studierenden. Für zusätzliche Verwirrung kann aber auch bei der Apple-Version sorgen, dass eine Version im AppleStore vorhanden ist. Diese Version ist nicht konfiguriert und führt Studierende auf die SEB-Website. Seite 10/10