Online-Prüfungen an der ETH Zürich

Transkript

1 Online-Prüfungen an der ETH Zürich 13. Mai 2008 Dr. B. Schmucki, NET, ETH Zürich NET - Network for Educational Technology

2 Werdegang Studium der Veterinärmedizin an der Universität Zürich Assistenz am Inst. für Veterinärpathologie (Prof. A. Pospischil) Doktorarbeit: Kurs allgemeine Pathologie für Studierende der Veterinärmedizin Assistenz an der Pferdeklinik der Vetsuisse-Fakultät Projekt Online-Prüfung Leitsymptome des Dekanats VetsuisseFakultät Projekt Online-Prüfungen an der ETH 2

3 Inhalt Begriffe im E-Assessment Schritte einer Online Prüfung - Rechtliche Aspekte - Technik/Sicherheit - Infrastruktur - etc. 3

4 Begriffe und Formen im E-Assessment E-Assessment (E-Klausur, E-Prüfung) Online-Assessment (Online-Prüfung) Computer Standalone Internet Intranet vs. Dezentral Zentral 4

5 Schritte einer Online-Prüfung Archivierung Korrektur Analyse Prüfungsziel Zielgruppe Hilfsmittel Prüfungsraum Hard-/Software Personelle Ressourcen Revision Frageneditor Fragenmanagement 5

6 Ausgangslage/Motivation Mehrwert durch den Einsatz von speziellen Frageformaten Lernziel ist eng mit Tätigkeit am Computer verbunden Einsatz von Multimedia Vereinfachung administrativer Prozesse Automatische Korrektur Analyse mit wenigen Klicks Sofortiges (automatisches) Feedback Fragenpool vereinfacht Fragenmanagement 6

7 Rechtliche Aspekte: Grundlagen Prüfungsreglement - keine allgemein gültigen Aussagen möglich - Allgemeine Verordnung über Leistungskontrollen: Leistungskontrolle: jedes Verfahren, mit dem die Leistung von Studierenden gemessen und bewertet wird, insbesondere Prüfungen und schriftliche Arbeiten; - Einsichtnahme - Archivierungspflicht: Löschen der Prüfung nach 2 Jahren nach Verfügung des Resultats Datenschutzrichtlinien - nur Daten, welche nötig sind erheben - Datensicherheit - Leitfaden für die Bearbeitung von Personendaten 7

8 Rechtliche Aspekte: Rekurse Rekurse sind möglich Handhabung wie bei schriftlichen Prüfungen Schwerpunkt der Untersuchung: Benachteiligung Kanditat/in ETH-Leitung setzt Zeichen 8

9 Planung WAS möchte ich prüfen? Inhalte, Lernziel WIE möchte ich prüfen? Hilfsmittel WEN möchte ich prüfen? Computerkenntnisse, Anzahl Studierende SZENARIO für den Einsatz von: Software, Hardware, Prüfungsraum 9

10 Software-Portfolio ETHZ Betriebsapplikationen LMS edoz mystudies Applikationen Prüfung Secure Browser und weitere 10

11 Software-Portfolio ETHZ: Zukunft? Betriebsapplikationen LMS edoz mystudies Applikationen Prüfung Secure Browser und weitere 11

12 WinKeyox Secure Browser zu ILIAS Universität Giessen Firefox-Plugin Open Source Kombination mit Skin Naviless (Entwicklung NET, ETHZ) Weiterentwicklung 12

13 Software: weitere Möglichkeiten Betriebssystem ab USB-Stick/CD-ROM oder als Image - sichere Umgebung - Aufwand (Testen, Starten) wenn Kombination LMS/Secure Browser ungenügend unter Verwendung von studentischen Laptops 13

14 Hardware Permanente Lösungen: Mobile Lösungen: Computer in Studentenarbeitsräumen - Anzahl limitiert - Unterhalt Testcenter - Kosten + Aufwand Unterhalt Studentische Laptops + in grossen Mengen vorhanden - Diversität - kann nicht vorausgesetzt werden - löst Raumproblem nicht Miete von Laptops - löst Raumproblem nicht - Kosten 14

15 Infrastruktur zuwenig Räume vorhanden Computerräume zu klein weit verbreitete Problematik Anforderungen 15

16 Entwicklung Erfassen der Fragen in Editor Revision Pool idealerweise im gleichen System (inkl. Administration) Aufwand stark schwankend 16

17 Durchführung: Testlauf sehr empfehlenswert - Problemquellen erfassen - Verbesserungspotential erkennen - beruhigt Studierende/Examinatoren - Akzeptanz unter Studierenden/Examinatoren 17

18 Durchführung: Schummeln Vorbeugen Authentifizierung - ETH-Login - Legi (- Aufsichtspasswort) (- biometrische Überprüfung) Aufsicht - Person - Remote Desktop Unterbindung von verbotenen Funktionen - Secure Browser 18

19 Durchführung: Ablauf am Beispiel Authentifizierung: Legi, Login via AAI Start LockDown-Browser, Login mit ETH-Login, in BB- Kurs Test anwählen Probleme: - Browser abgestürzt - Eingabe nicht mehr möglich Submission geprüft 19

20 Nachbereitung Korrektur automatisch/manuell - KAF/FIB kontrollieren - Essay zum Teil anonym möglich Analyse - mögliche Parameter abhängig vom LMS - sehr schnell, wenig aufwändig - Qualitätssteigerung - Rückfluss der Daten in Pool Archivierung - Resultate unveränderbar speichern - ETHZ: 2 Jahre 20

21 Fragen? 21