10 Jahre Online-Prüfungen mit Moodle

Transkript

1 10 Jahre Online-Prüfungen mit Moodle Thomas Korner, Lehrentwicklung und technologie (LET), ETH Zürich 15. März 2018 Thomas Korner

2 Inhalt Rahmenbedingungen Online-Prüfungen weshalb? Moodle als Prüfungssystem Projektentwicklung und Infrastruktur Ausblick Thomas Korner

3 Terminologie E-Assessment Offline-Prüfungen Summative Prüfungen Formative Prüfungen Diagnostische Prüfungen Internet Intranet Was wir machen: Prüfungen für Kreditpunkte an einem mit dem Internet verbundenen Computer. Alle Studierenden sitzen in einem Computerraum und werden überwacht. Thomas Korner

4 Prüfungen an der ETH 4 Wochen Prüfung Semester Selbststudium 14 Wochen 4 / 8 Wochen Prüfungssession 4 Wochen Thomas Korner

5 Was ist die wichtigste Frage im Leben Studierender? Thomas Korner

6 Wird dies Teil der Prüfung? Thomas Korner

7 Wieso sind Prüfungen wichtig? «Wird dies Teil der Prüfung?» Prüfungen haben grossen Einfluss darauf, was und wie Studierende lernen. Alignment «Werde ich die Prüfungen bestehen?» Prüfungen haben grossen Einfluss darauf, wer den Lehrgang besteht. Selection Thomas Korner

8 Prüfungssituation heute Lernsituation Prüfung Zielkompetenz Thomas Korner

9 Funktionen des Computers in Online-Prüfungen Klassische Aufgabenformate Computer als Werkzeug Simulation Thomas Korner

10 Angestrebte Prüfungssituation Lernsituation Prüfung Zielkompetenz Thomas Korner

11 eprüfungen: Grosses Potential Qualität Lesbarkeit Editierbarkeit Softwarebasierte Kompetenzen Multimedia Interaktivität Feedback Qualitätskontrolle Effizienz Korrektur automatisch manuell Administration Prozesse Zusammenarbeit Fragepool Thomas Korner

12 Infrastruktur für eprüfungen Thomas Korner

13 Moodle als Prüfungssystem

14 Basis-Setup Standard LMS Safe Exam Browser (SEB) Open-Source- Entwicklung mit Moodle- Integration Thomas Korner

15 SEB Hook Anbindung von SEB an Moodle Thomas Korner

16 Infrastruktur Prüfungsraum Prüfungsclient ObserveIT Moodle Netzwerk Möglichkeiten von Moodle- Logfile begrenzt LMS Server Infrastruktur Datenschutz-konform (automatische Löschung) Quiz Thomas Korner

17 Infrastruktur Prüfungsraum Virtual Desktop Infrastructure Zusätzliche Software: Sicherheit Open-Book-Prüfungen Umkonfiguration Prüfungsclient Virtuelle Desktop Infrastruktur Moodle Netzwerk Software & Dateien LMS Server Infrastruktur Quiz Thomas Korner

18 Dediziertes Prüfungssystem Wartbarkeit Sicherheit Prüfungsspezifische Anpassungen Performance Thomas Korner

19 Anpassungen & Fragetypen File Upload Direkt ohne Repository-Auswahl Thomas Korner

20 Anpassungen & Fragetypen Kprim Fragetyp K / KPrim Geeignet für Sachverhalte mit mehreren Komponenten Kprim-Bewertung Eindeutige Optionen Thomas Korner

21 Anpassungen & Fragetypen Multiple True False (MTF) Bessere MC Häkchen eindeutig True/False anpassbar Keine Negativpunkte Thomas Korner

22 Anpassungen & Fragetypen Single Choice Ausschluss Distraktoren Radiobutton abwählbar Graubereiche Keine Negativpunkte Thomas Korner

23 Anpassungen & Fragetypen WiFi-Resilience Lokale Speicherung bei Netzwerkunterbruch Automatische Wiederaufnahme USB-Speicherung möglich Komplett im Hintergrund Thomas Korner

24 Herausforderungen für Moodle im Kontext von Online-Prüfungen Fragenverwaltung Vielfältige Ansprüche Träge Weiterentwicklung des Quiz-Moduls Verschiedene Prozessoptimierungen erwünscht (bspw. Dateidownload) Thomas Korner

25 Projektentwicklung und Infrastruktur

26 Entwicklung des eprüfungsservices 2007 Erste Pilotversuche 2010 regulärer Service 2013 grosse Prüfungsräume 2014 Dediziertes Prüfungssystem 2017 Prüfung mit Mobilgeräten 2018 neuer, grosser Prüfungsraum Thomas Korner

27 Durchgeführte Prüfungen bis 2018 Anzahl Einzelleistungen pro Semester seit 2012: Bis und mit 2017 HS: Ca. 600 Online-Prüfungen durchgeführt Ca Einzelleistungen geprüft (Bild: Alessandro della Bella) Thomas Korner

28 Prüfungen bis 500 Studierende (Standard-Setting bis HS 2017) Einzelner Raum Eine Gruppe Einzelner Raum Zwei Gruppen Bis 150 Mehrere Räume Eine Gruppe Bis 300 Mehrere Räume Mehrere Gruppen Bis zu 250 Bis zu 500 Thomas Korner

29 Neuer Prüfungsraum Prüfungsplätze (Bild: Alessandro della Bella) Thomas Korner

30 Neue Prüfungen im ONA E 7, Oerlikon Im HS2017 wurde erstmalig das ONA E7 (240 Arbeitsplätze) in Betrieb genommen und die Warteliste abgebaut: Direkter Vergleich 2017FS und 2017HS: 2017FS: 54 Prüfungen, ca Kandidaten Steigerung Steigerung um 64% um 59% 2017HS: 89 Prüfungen, ca Kandidaten Thomas Korner

31 Prüfungen mit mobilen Geräten Im HS2017 wurde ausserdem in Zusammenarbeit mit dem neuen Studiengang BSc Humanmedizin das Projekt mobile Prüfungen gestartet Bisher: 4 Prüfungen während des Semesters 2 Prüfungen in der Session Insgesamt bereits ca. 600 erfolgreiche Einzelprüfungen Thomas Korner

32 Akzeptanz eprüfungen 45.0% 40.0% 35.0% 30.0% 25.0% 20.0% 15.0% 10.0% 5.0% 0.0% n.a. Online (n=568) Paper (n=674) Thomas Korner

33 Akzeptanz eprüfungen 2 Acceptance: Online Scenarios Closed-ended only Mixed: Closed - Open Authentic: 3rd party apps Thomas Korner

34 Erfolgsfaktoren Unterstützung durch die Schulleitung Service-Verantwortung eprüfungen am LET Zentrale Koordination Didaktik bestimmt Service-betrieb und -entwicklung Examinator/innen bleiben verantwortlich Eigenständiges erfassen der Prüfungen in Moodle Schulung der Prüfungsaufsichten Balance zwischen Spezialisierung und Redundanzen Getrennte Verantwortlichkeiten Enge Zusammenarbeit Thomas Korner

35 Ausblick Fun fact: Bis und mit HS2017 haben wir insgesamt und seit 2007 gut 600 Online-Prüfungen mit ca. 55'000 Einzelleistungen durchgeführt dies entspricht in der Grössenordnung der Anzahl Online-Prüfungen, welche wir bis ca pro Jahr durchführen sollen es gibt also noch viel zu tun. Thomas Korner

36 BarCamp 18./19. Juni DevCamp 19./20. Juni cu there!