Erfahrungsbericht zu elektronischen Prüfungen mit mobilen Endgeräten eines externen Dienstleisters

Transkript

1 Erfahrungsbericht zu elektronischen Prüfungen mit mobilen Endgeräten eines externen Dienstleisters eassessment Austauschtreffen am 10. Mai 2016 in Koblenz Andreas Hoffmann, Marc Sauer Universität Siegen

2 Pilotprojekt E-Klausuren Hochschulweites Pilotprojekt unter der Leitung von Prof. Dr. Roland Wismüller, Leiter des Lehrstuhls für Betriebssysteme und verteilte Systeme ( in Kooperation mit dem Dienstleister IQUL GmbH. Marc Sauer Wissenschaftlicher Mitarbeiter Support E-Klausuren AR Dr. Andreas Hoffmann Wissenschaftlicher Mitarbeiter Lehrstuhl für Betriebssysteme und verteilte Systeme

3 Historie PC-Pools am Campus Hölderlin (seit 2004) Klausie (Eigenentwicklung) Studienleistungen Wirtschaftsdidaktik Bring your own device (seit 2006) MoXSi/Moodle Medienwissenschaft, Germanistik Bring your own device / PC-Pools Duesie Übungsbetrieb Einführung in die Informatik

4 Historie / Probleme (MoXSi/Moodle) Technische Probleme Fehlende Stabilität des separaten Klausur-WLANs Teilweise Abschaltung des Hauptnetzes (eduroam) notwendig Login über zentrale Nutzerkennung Heterogenität der Prüfungsgeräte Keine Chancengleichheit im BYOD-Szenario Betrugssicherheit?

5 Ausgangssituation / Probleme (Klausie) Räumliche/infrastrukturelle Probleme Maximale Kohorten-Größe 100 Aufteilung auf 5 PC-Pools auf verschiedenen Gebäudeebenen Erhöhter Bedarf an Aufsichtspersonal Heterogene Ausstattung der PC-Pools Windows 7, Linux, Thin-Clients mit virt. Windows 7 Unterschiedliche Bildschirmgrößen

6 Ziele und Anforderungen Effiziente Durchführung von Prüfungen mit hohen Teilnehmerzahlen (mehrere 100 TN) Qualitätssicherung / verbesserung (von Prüfungen) Rechts- und Betrugssicherheit Ökonomisierung Etablierung einer dauerhaften Lösung für E-Klausuren an der Universität Siegen (alle Fakultäten) Ablösung der bestehenden E-Prüfungs-Systeme Projektevaluation

7 Anforderungen Infrastruktur / Prüfungssoftware Große Anzahl an Prüfungsgeräten und Sitzplatzmöglichkeiten Baugleiche Prüfungsgeräte Stabile Netzwerk-Infrastruktur technisch zuverlässig und störungsfrei Prüfungserstellung durch mehrere Autoren Automatisierte Korrektur mit manueller Eingriffsmöglichkeit Import/ Export von bestehenden Fragendatenbanken Schnittstelle zum Hochschul-Management-System

8 Anforderungen / Support Ergebnis einer Umfrage im Sept (Rücklauf 90 Fragebögen) 66% haben grundsätzlich Interesse am Einsatz von E-Klausuren Beratende Unterstützung bei der Umstellung von Papier- auf E-Klausuren wünschen 88% Technische Unterstützung wünschen 93%

9 Lösungsmöglichkeiten Prüfungsdurchführung als Dienstleistung Q-Exam als Prüfungssoftware Hardware durch IQUL GmbH an Prüfungstagen gestellt Aufbau eines eigenen Test-Centers PCs / Zero Clients Moodle oder LPLUS als Prüfungssoftware Anschaffung und Wartung eigener Laptops Moodle oder LPLUS als Prüfungssoftware

10 Aktuelle Lösung im Pilotprojekt / Projektumfang Kooperation mit Dienstleister IQuL Bis zu 225 Leihgeräte pro Prüfungstag Mobile WLAN-Infrastruktur Prüfungsmanagement-Plattform Q-Exam Technische Betreuung der Prüfungsdurchführung Fester Raum (Audimax) Server lokal im ZIMT der Universität Siegen

11 Projektumfang Laufzeit: 3 Jahre Finanzierung durch Rektorat 22 Prüfungstage verteilt auf drei bis fünf Tage pro Semester (jeweils 2 Prüfungstermine) Supportstelle Technische und didaktische Beratung Organisation Lokaler Ansprechpartner Erweiterung (ab Sommersemester 2016) Prüfungen in unieigenem PC-Pool

12 Meilensteine September 2012 Erste Überlegungen für ein Pilotprojekt Bedarfsermittlung durch Umfrage (Ergebnisse s.o.) Juni 2013 Testlauf mit IQuL und positivem Feedback (258 TN) April 2014 Hands-On Informationsveranstaltung mit IQUL Umfrage zur Teilnahme am Projekt Februar / März 2015 Erste Klausuren der Veranstaltung Grammatikgrundwissen mit 500 Teilnehmern an zwei Prüfungsterminen (Prüfungsphase WS14/15)

13 Meilensteine Juli / September 2015 Durchführung von 1469 Einzelprüfungen (Prüfungsphase SoSe 2015) Übernahme einiger Moodle-Klausuren (Fak. I) und der Klausie- Klausuren (ZöBiS) in das Pilotprojekt September / Oktober 2015 Evaluation der Prüfungsphase SoSe2015 Anpassung der Prüfungsmanagement-Plattform für die Bedürfnisse der Universität Siegen Februar März 2016 Prüfungen WS 2015/16 mit weiteren Projekt-Teilnehmern Umfrage mit Studierenden und Dozierenden

14 Geschriebene Prüfungen Einzelprüfungen mit Aufteilung Fakultäten SoSe 17 (vor.) WS 16/17 (vor.) SoSe 16 (vor.) WiSe 15/ SoSe WS 14/ Fak 1 Fak 2 Fak 3 Fak 4

15 Umfrageergebnisse (Stud.) / Klausurdurchführung (2.5) Zoomfunktion Skala: trifft zu (1) trifft nicht zu (4) , (2.4) Multimedia 51,4 40,6 8 (2.3) Navigation 51,2 46,5 2,4 (2.2) Design / Layout 50,9 44,8 4,2 (2.1) Laptops 60,8 36,3 2,8 (1.13) Einführung 72,8 25,8 1,5 (1.12) Login 93 1,95,2 (1.11) Tech. Problem 88,9 4,2 6,9 (1.8) erste E-Klausur 64,4 35,

16 Umfrageergebnisse (Stud.) / Vergleich (3.7) bevorz. Klausurart 36,6 E-Klausur neutral Papier 29,6 33,8 (3.6) Bildqualität 53,4 38,3 8,3 (3.4/3.5) Freitextaufgaben (3.1) Bearbeitungsdauer 30,6 48,3 21,1 (3.3) E-Klausuren zeitgemäß 50,5 42,8 6,7 (3.2) Bearbeitung E- Klausur 48,1 44,3 7,

17 Umfrageergebnisse (Stud.) E-Klausur Papierklausur Beliebige, saubere Korrektur von Antworten 14 6 Gewohnheit schnellere / einfachere Bearbeitung 9 6 fehlende Schnelligkeit auf PC Tippen einfacher / schneller 9 4 technische Probleme möglich MC-Klausuren: E-Klausur sehr komfortabel 8 4 Freitext besser zeitgemäß 7 3 Angenehmeres Gefühl (ganze Klausur vor sich haben) Übersicht 6 3 Fragen besser im Überblick weniger Papierverbrauch 3 3 Handhabbarkeit von Papier motiviert schnellere Verfügbarkeit von Ergebnissen 3 Besonders gut gefallen (Technik) Verbesserungsvorschläge (Technik) Übersicht / Übersichtsseite Trackpad aktivieren / Maus anschließen "als unsicher markieren" (Hilfsmittel) 17 4 neuere Laptops Konzept / System / Layout 10 3 lautes Klicken vermeiden Zeitangabe in Prüfungsansicht 7 3 Zoomen gut, aber umständlich Laptops leicht zu bedienen 4 3 Fragestellung größer schreiben Ausschlussverfahren (Hilfsmittel) 3 2 Ausschlussfunktion unnötig / verwirrend Besonders gut gefallen (Organisation / Ablauf) Verbesserungsvorschläge (Organisation / Ablauf) gute Organisation und Einweisung 8 1 Audimax als Prüfungsraum nicht wirklich angenehm Alles startbereit / unkomplizierter Ablauf 3 1 nicht mehrere unterschiedliche Klausuren im Audimax schreiben schnelle, kompetente Hilfe 3 1 aktuelle LSF-Listen an IQUL bzw. das Pilotprojekt weitergeben Kein eigener PC 2 1 Die Termine gleicher Fachbereiche sollten besser abgestimmt sein Fairness 2 1 Man sollte nicht so viele unterschiedliche Programme nutzen.

18 Rückmeldungen Dozierende Gute Organisation, Unterstützung bei Klausurerstellung Einsatz neuer Fragetypen Komfortabel viele org. Aufgaben entfallen Konzentration auf Klausurerstellung Übernahme bestehender Aufgaben (moodle) Störungsfreier Ablauf der Prüfungen Positiver Lernprozess in der Kooperation mit IQuL (Prozesse, Absprachen) Zeitplanung / Terminplanung optimieren

19 Ausblick Nutzerschulungen zu neuen Features Review-Prozess Blueprint / Fragenpools Neue Fragentypen Statistik / Item-Analyse Umsetzung / Prüfung Verbesserungsvorschläge Weiterentwicklung Möglichkeiten für Durchführung naturwiss.-tech. Klausuren Prüfungen in PC-Pool