Nachhaltige Nutzung von Online-Klausuren mit Blackboard in der Lehre

Transkript

1 Nachhaltige Nutzung von Online-Klausuren mit Blackboard in der Lehre Organisation des Supports u. Durchführung an der Universität Ko-Ld 5. LMS Designer-Konferenz Rheinland-Pfalz am in Kaiserslautern Universität Koblenz-Landau, Campus Koblenz

2 Ausgangssituation Typische Ausgangslage Große Klausuren mit vielen Teilnehmern Schwache personelle Besetzung in Instituten (temporär) höhere Klausurdichte wg. Modularisierung d. Studiengänge Szenario: statt herkömmlicher Papier-Stift-Klausur und manueller Korrektur Durchführung von computerunterstützten Klausuren

3 Szenarien am Campus Typen von eklausuren 1. PC-Klausuren in Computerräumen, die online geschrieben und automatisch ausgewertet werden (i.d.r. Blackboard CE6) 2. PC-Klausuren in Computerräumen, die offline geschrieben und von Tutoren ausgewertet werden 3. Papier-Stift-Klausuren, die gescannt und automatisch vom Computer ausgewertet werden (KLAUS) Bisher: überwiegend Klausuren vom Typ 1

4 Entwicklung am Campus Online-PC-Klausur Offline-PC-Klausur Scan-Klausur Summe WS05/06 SoSe06 WS06/07 SoSe07 WS07/08 SoSe08

5 Online-Klausur mit Blackboard CE6 Anforderungen - Inhaltliche Umsetzung Aufgabenformate für automatische Korrektur geeignet - Rechtliche Absicherung soll Papier-Stiftklausur entsprechen Klausuraufsicht (Identitätsfeststellung, keine Hilfsmittel, ) Nachweisbarkeit, Archivierung Datenschutz - Technisch Lastverhalten Absicherung der Klausurumgebung - Organisatorisch Klausurerstellung Klausurdurchführung

6 Online-Klausur mit Blackboard CE6 Inhaltliche Umsetzung - Wie kann die Klausur als Online-Klausur realisiert werden? Wissens- und Verständnisfragen als Multiple-Choice-/ Zuordnungs- Fragen etc. automatische Korrektur durch Blackboard möglich ggf. Freitextaufgaben & teilautomatisierte Auswertung - Inhaltliche Festlegung & Eingabe in Blackboard durch verantwortliche(n) Dozent(in) des jw. Instituts IWM berät bei Bedarf bzgl. konkreter Umsetzung in Klausuraufgaben

7 Online-Klausur mit Blackboard CE6 Konsequenzen für Durchführung (1) - Klausur in Pool-PC-Räumen der UNI - Pool-PCs mit abgesicherter Klausurumgebung - Probeklausur vorab - Einweisung der Studenten bzgl. des rechtl. Umfeldes - Antworten der Studenten werden ausgedruckt und unterschrieben - Archivierung der Ausdrucke - Überprüfung der Logfiles

8 Online-Klausur mit Blackboard CE6 Konsequenzen für Durchführung (2) - Absicherung der Klausur durch Klausurpassworte - Zufällige Permutation der Fragenreihefolge - Zufällige Permutation der Antwortreihenfolge (Distraktoren) bei MC-Aufgaben

9 Technische Umsetzung Klausurumgebung: 4 Pool-PC Räume Pool-PC-Raum Raum A Plätze Pool-PC-Raum Raum C Plätze Pool-PC-Raum Raum F Plätze Pool-PC-Raum Raum F Plätze UNI KO: 90 Plätze + 8 Reserve Internetverbindung Landeshochschulnetz WebCT-Server VCRP / UNI KL Spez. Klausur-Umgebung (Serverimage auf Linux-Basis) Nur Zugriff auf Blackboard über abgesicherten Browser Keine Ressourcen (Festplatte, USB-Stick, andere Software) verfügbar Logfiles

10 Komparative Aufwandsbetrachtung für 150 Teilnehmer (Einmalaufwand nicht eingerechnet!) Schriftlich 1 Raum Online-Klausur 4 Räume Variabel in Mh Variabel in Mh Klausurerstellung (pro Teilnehmer) fix in Mh (pro Teilnehmer) fix in Mh - inhaltlich technisch Administrative Arbeiten Klausurvorbereitung Hörsaalvorbereitung - - 4,5 (0,03) - Klausuraufsicht 8 (0,05) - 33 (0,22) - Klausurkorrektur 30 (0,2) Ergebnisse bereitstellen - 2-0,5 Klausureinsicht SUMME 38 (0,25) 29 37,5 (0,25) 22,5 Summe schriftlich in einem Raum: 67 Stunden; Summe Online-Klausur in 4 Räumen: 60 Stunden -> ca. 10 % Einsparung Summe Online-Klausur in 1 Raum: 35 Stunden -> ca. 50 % Einsparung

11 Evaluationsergebnisse Ergebnisse WS 06/07 im Nebenfach Psychologie Potential zur objektiven und ökonomischen Überprüfung von Grundlagenwissen in Großveranstaltungen Akzeptanz von Online-Klausuren im Vergleich zu Papier- Stift-Klausuren bei den Studierenden Weiterführende Literaturhinweise Rustemeyer, R., Callies, C., Ferdinand, P. & Kutscher, M. (2007). Online-Klausuren als Möglichkeit objektiver und ökonomischer Leistungsbeurteilung. In: Krämer, M., Preiser, S., Brusdeylins, K. (Hg.). Psychologiedidaktik und Evaluation IV. Göttingen: Vandenhoek & Ruprecht. Rustemeyer, R., Callies, C., Ferdinand, P. & Kutscher, M. (2007). Durchführung von Online- Klausuren mit Standard-eLearning-Werkzeugen. Evaluation am Beispiel einer Vorlesung im Nebenfach Psychologie. In A. Kluge & K. Schuler (Hrsg.), Qualitätssicherung und -entwicklung an Hochschulen: Methoden und Ergebnisse. Lengrich: Pabst.

12 Nachhaltigkeit? Campus-Projekt MOSEL lief aus (Juli 2008) wesentl. geringere Supportkapazitäten Online-Klausuren mittlerweile Regelanwendung am Campus höhere Medienkompetenz in den Fachbereichen als vor MOSEL Konsequenz: Sicherung der Nachhaltigkeit anspruchsvoller Online-Klausuren durch neues Support- Konzept Erarbeitung im WS 07/08 Erprobung im SoSe 2008 Ressourcenmanagement vereinheitlichen u. vereinfachen

13 Ziele Personalaufwand reduzieren Weniger technische Aufsichten, da erprobte Technik & Werkzeuge Ziel: Niveau von Papier-Stift-Klausuren zzgl. Support- Bereitschaft (1(-2) Personen IWM; 1 Pers. RZ) Zeitaufwand je Klausur reduzieren Künftig möglichst kein Ausdrucken der Klausur mehr (keine Modulabschluss- sondern nur Scheinklausuren) Archivierung über pdf-ausdrucke der Klausuren (elektronische Speicherung für event. Streitfall)

14 Neues Supportkonzept Maßnahmen (1) standardisierter Workflow wurde erarbeitet und erprobt Individuelle und gegengezeichnete Vereinbarung mit Terminvorgaben als Grundlage für Support Organisation der Klausuren künftig durch Institute gemäß vereinbartem Workflow (-> Vereinbarung) Institute übernehmen organisator. Aufgaben wie bei konventionellen Papier-Stift-Klausuren auch Institute sind selbst prozessverantwortlich!

15 Neues Supportkonzept Maßnahmen (2) lediglich bei Problemen Unterstützung Grundlage bilden Beratung & ggf. Schulung d.d. IWM Umfangreiche webbasierte Support-Ressourcen für Bestandskunden und Interessierte Verantwortlichkeit des IWM Gewährleistung der technischen Qualität Unterstützung der organisatorischen (jurist.) Qualität der Klausurdurchführung durch Beratung, Vereinbarungen und Support

16 Support durch IWM Beratung Ist eine Online-Klausur inhaltlich & ökonomisch sinnvoll? Welcher Typ von Online-Klausur ist geeignet? Welche Tools kommen in Frage? Konzept & Umsetzung ggf. Schulung der Dozenten und ihrer Mitarbeiter Einbettung in Lehrveranstaltungskonzept Unterstützung bei der technischen Umsetzung und Durchführung der Klausuren Organisation Räume & technische Ressourcen Aufsichten, Ablaufplanung, Einweisungen

17 Ablaufdiagramm neuer Workflow für Online-Klausuren

18 Support-Ressourcen Wesentliche Informationen auf einen Blick Als unverbindliche Informationsquelle f. Interessenten Zur konkreten Planung einer Online-Klausur Materialsammlung Ablaufplan u. diagramm gängiges Planungsbeispiel zur Orientierung elektronischer Klausurablaufplanungs-Service (eklaps) Wichtige Planungsunterlagen und Handouts

19 Erfahrungen SoSe 08 Erprobung mit ~900 Studierenden u. 5 DozentInnen Alle Klausuren verliefen ohne (techn.) Probleme Betreuungsaufwand Support: 1-2 Personen Bereitschaft/ Klausurtermin (je nach Anzahl der Klausurräume) Feedback Vereinzelt anfängliche Zurückhaltung wg. stringentem Ablaufplan Für Studierende verlässliche Planung Keine zusätzliche Belastung zu Problemen mit Klips/ HIS Im Nachhinein große Zustimmung bei Dozenten So entspannt waren die letzten Wochen vor einer Klausur noch nie!

20 Ausblick WS 08/09 Übertragung des Workflows auf spezielle eklausuren v.a. Programmierklausuren ggf. auch Scan-Klausuren

21 Ausblick WS 08/09 zentrales Klausuraufgaben-Repository Pilotierung am Campus Koblenz Verwalten & Wiederverwenden von Klausuraufgaben und Konfiguration zu Klausuren in spez. DB Export fertiger Aufgabenpakete für direkten Import in Bb Teilen von Aufgaben mit Kollegen (-> z.b. für Modulklausuren) formatunabhängige Beschreibung der Aufgaben in XML vorerst nur Import/Export in Blackboard CE-Fragenformat Option: Unterstützung offener XML-Schemata (z.b. IMS QTI) für plattformübergreifende Interoperabilität d. Aufgaben

22 Herzlichen Dank für Ihre Aufmerksamkeit! Haben Sie Fragen? Kontakt: Dr. Peter Ferdinand Institut für Wissensmedien (IWM) Universität Koblenz-Landau, Abt. Koblenz ++49-(0)