MULTIPLE-CHOICE-PRÜFUNGEN Erstmalige Durchführung vn Multiple Chice-Prüfungen Tipps und Empfehlungen Generell ist zu beachten, dass bei Multiple-Chice-Prüfungen der Grßteil der Arbeit im Vrfeld des Prüfungstermins anfällt. Beginnen Sie daher rechtzeitig mit der Vrbereitung und planen Sie ausreichend Zeit ein. Einen Überblick der wichtigsten Schritte bei der erstmaligen Durchführung einer MC-Prüfung swie empfhlene Zeitpunkte für deren Umsetzung finden Sie in der nachflgenden Grafik: Zeitlicher Ablauf für die Vrbereitung vn Multiple-Chice-Prüfungen 1) Didaktische Vrbereitung der Prüfung Besuch des didaktischen Wrkshp des CTL Multiple-Chice-Prüfungen entwickeln (Anmeldung unter http://persnalentwicklung.univie.ac.at) Studienziele frmulieren: Was sllen Studierende nach erflgreicher Abslvierung des Studienprgramms, des Mduls der der Lehrveranstaltung kennen und können? Wie kann man die Studienziele überprüfen (welche Fragen eignen sich dafür)? Den Vrlesungsstff s aufarbeiten, dass es möglich ist, gute MC-Fragen zu den Studienzielen zu knstruieren. Im Laufe des Semesters kntinuierlich MC-Fragen entwickeln bzw. schn vrhandene Fragen kntrllieren und gegebenenfalls überarbeiten. Bestehensgrenze festlegen: Ab wie viel Przent der möglichen Punkte ist das Prüfungsergebnis psitiv? Die entwickelten MC-Fragen inhaltlich und auf ihre Qualität hin überprüfen und vn ExpertInnen überprüfen lassen. 1
Hierfür eignet sich auch das didaktische Fllw-up des CTL, in dem eine Durchsicht aller Prüfungsfragen auf versteckte Lösungshinweise, Qualitätskriterien usw. angebten wird. Wenn ein genügend grßer Fragenpl vrhanden ist, können Prüfungen zusammengestellt werden. Ab dem zweiten Prüfungstermin: Auffällige Prüfungsfragen überarbeiten. Auffällig sind insbesndere Fragen, die... vn fast allen der fast niemandem richtig gelöst wurden. vn insgesamt eher schwächeren Studierenden besser gelöst wurden als vn den eher stärkeren. 2) Technische Vrbereitung der Prüfung Besuch der technischen Schulung des ZID Technische Umsetzung mit Offline- Tests in Mdle (Anmeldung unter http://data.univie.ac.at/elearning-schulungen) MC-Fragen in Mdle erstellen: Festlegen des Auswertungsverfahrens (Alles der Nichts, Teilpunkte etc.) und einheitliche Anwendung desselben auf alle Fragen Punktwert der Fragen festlegen (ggf. sllte eine unterschiedliche Gewichtung didaktisch begründet werden können) Feedback-Möglichkeiten nutzen, wenn Studierenden im Zuge der Prüfungseinsicht detaillierte Rückmeldungen gegeben werden sllen Makr-Vrlagen verwenden, wenn Fragen aus MS Wrd der Open Office imprtiert werden sllen. In den Sicherheitseinstellungen müssen hierfür Makrs aktiviert sein. Vrlagen und Infrmatinen finden Sie unter https://typ3.univie.ac.at/index.php?id=72637 Offline-Test zunächst verbergen und die dazugehörige Spalte in den Bewertungen ausblenden, damit Studierende nicht frühzeitig auf Ergebnisse zugreifen können Besuch des technischen Fllw-up I Drucken Sie dazu einige Exemplare Ihre fertigen Prüfungsunterlagen aus (mit dem Drucker und dem Papier, die Sie für den Druck der Unterlagen verwenden wllen). Insbesndere die Verwendung vn färbigem Papier für Antwrtbögen sllten Sie im Vrfeld testen. Vereinbaren Sie das technische Fllw-Up I bitte separat über das Referat E- Learning: Tel. 01-4277-142 95, elearning.zid@univie.ac.at 3) Organisatrische Vrbereitung der Prüfung Organisieren vn ausreichend Persnen für die Prüfungsaufsicht 2
Druck der Prüfungsunterlagen: Rechtzeitig die Antwrt- und Fragebögen in ausreichender Stückzahl drucken (das Drucken der Bögen nimmt insbesndere bei grßen Prüfungen einige Zeit in Anspruch und es kmmt dabei auch einiges an Gewicht zusammen). Um Verschmutzungen und Verzerrungen zu vermeiden, sllten die Antwrtbögen jedenfalls gedruckt (und nicht vn einer Vrlage kpiert) werden. Die Fragebögen können auch kpiert werden. Der Druck kann an jedem beliebigen Drucker erflgen. Bei Bedarf können die autmatisch generierten Fragebögen auch durch eigene ersetzt werden. Bei den Antwrtbögen müssen jedenfalls die vm System generierten Bögen verwendet werden. Achten Sie beim Drucken der Antwrtbögen darauf, dass diese nicht durch die Einstellung vn Seitenrändern verkleinert werden. Bereiten Sie für jede Gruppe eine Reserve an Antwrtbögen vr, falls Studierende ihren Antwrtbgen verderben (z.b. wenn ein bereits ausgemaltes Kästchen dch angekreuzt werden sll). Alternativ können Sie die Ausgabe vn Ersatz-Antwrtbögen auch verweigern, sllten dies aber im Vrfeld ankündigen. Falls ntwendig, erleichtert verschiedenfarbiges Papier für die einzelnen Gruppen die Übersicht. Aber Vrsicht: für die Antwrtbögen keine kräftigen Farben verwenden (irritieren beim Einscannen) und Farbpapier jedenfalls im Vrfeld ausprbieren (vgl. technisches Fllw-up I). Weißes Papier für Antwrtbögen ist unprblematisch, die Fragebögen können auf beliebigem Papier gedruckt werden. Prüfungsunterlagen vrsrtieren, um diese im Hörsaal rasch austeilen zu können: jeweils einen Fragebgen und einen Antwrtbgen zusammenlegen (auf Übereinstimmung der Gruppen achten!) Frage- und Antwrtbgen NICHT zusammenheften. Eine Heftung des mehrseitigen Fragebgens ist möglich, der Antwrtbgen kann dann in den gehefteten Fragebgen eingelegt werden. Wenn genügend Persnal vrhanden ist und man sich zwischen den Reihen gut bewegen kann, kann alternativ dazu pr Gruppe je eine Persn mit den Fragebögen und eine Persn mit den Antwrtbgen durch die Reihen geschickt werden. Anwesenheitslisten in genügender Zahl ausdrucken, damit mehrere Aufsichtspersnen die Identität/Anwesenheit und das Eintragen der Matrikelnummer überprüfen können kurze PwerPint-Präsentatin zum Ausfüllen des Antwrtbgens zusammenstellen (mit Infrmatinen zum Ankreuzen der Matrikelnummer, zum Setzen schöner Kreuze und zum Ausbessern fälschlich gemachter Kreuze) Eine Vrlage, die Sie bei Bedarf an Ihre eigenen Bedürfnisse anpassen können, finden Sie unter http://www.univie.ac.at/zid/daten/elearning/multiple-chice- Pruefung_Ausfuellen_des_Antwrtbgens.pptx 3
4) Durchführung der Prüfung kurze PwerPint-Präsentatin zum Ausfüllen des Antwrtbgens vrführen Prüfungsbögen austeilen Überprüfen der Identität der Studierenden und ihrer Anmeldung zum Prüfungstermin Überprüfen, b die Matrikelnummer am Antwrtbgen eingetragen UND in den entsprechenden Kästchen angekreuzt ist Abgabe der Bögen: Fragebögen mit abgeben lassen, damit die Prüfungsfragen nicht allzu leicht unter den Studierenden kursieren (falls keine Veröffentlichung gewünscht ist) Antwrt- und Fragebögen schn beim Abgeben trennen, damit kein Antwrtbgen zwischen den Seiten verlrengeht (für das Scannen werden nur die Antwrtbögen benötigt) 5) Auswerten der Prüfung VOR dem Einscannen der Antwrtbögen: die Studierenden des jeweiligen Prüfungstermins im Mdle-Kurs registrieren überprüfen, b der Offline-Test und die dazugehörige Spalte in den Bewertungen verbrgen sind Einscannen der Antwrtbögen auf jedem geeigneten Scanner der Kpiergerät: mit 200-300 dpi schwarzweiß als TIF, PNG der GIF jeden Antwrtbgen als eigene Bilddatei speichern Verschmutzungen und schiefe Scans vermeiden Antwrtbögen hchladen und ggf. fehlerhafte Antwrtbögen krrigieren Schwierigkeitsanalyse der Fragen vrnehmen und ggf. Neubewertung durchführen Nten berechnen: Bewertungsanzeige-Typ auf Nte ändern und Beste Bewertung festlegen Berechnungsmethde des Gesamtergebnisses festlegen (z.b. Letzte Bewertung der individuelle Berechnungsfrmel) Ntenstufen festlegen Bei erstmaligem Scannen und Auswerten der Prüfung wird empfhlen, das technische Fllw-up II zu besuchen. Vereinbaren Sie bitte hierfür einen separaten Termin über das Referat E-Learning: Tel. 01-4277-142 95, elearning.zid@univie.ac.at Ab dem zweiten Prüfungstermin: Falls nicht am eigenen Institut eingescannt wird, rechtzeitig Termin für den Scanner am Zentralen Infrmatikdienst reservieren, nline unter: https://typ3.univie.ac.at/index.php?id=74774 4
Falls Online-Prüfungseinsicht erflgen sll: Optinen der Prüfungseinsicht wie gewünscht einstellen und anschließend den Offline-Test und ggf. die dazugehörige Spalte in den Bewertungen für die Studierenden anzeigen. Falls Ntenexprt via egate erflgen sll: Um den Ntenexprt verwenden zu können, ist eine Prüfungsanmeldung der Studierenden zum jeweiligen Prüfungstermin via UNIVIS-nline (https://univis.univie.ac.at) zwingend erfrderlich. Der Ntenexprt muss weiters für den Mdle-Kurs aktiviert und die Lehrenden müssen zum Exprt berechtigt werden. Kntaktieren Sie hierzu das Referat E-Learning: Tel. 01-4277-142 90, elearning.zid@univie.ac.at Ntenexprt spätestens 1 Wche vr der Frist für die Nteneintragung übers egate (https://elearning.univie.ac.at) durchführen Abmeldungen, Sperren und nicht beurteilte Prüfungsleistungen sind separat in UNIVISnline bzw. i3v einzutragen. Fragen Sie ggf. Ihre Studienservicestelle / Ihr Studienservicecenter um Unterstützung. Wir wünschen gutes Gelingen! Weiterführende didaktische Infrmatinen: Center fr Teaching and Learning / CTL Przellangasse 33a 1090 Wien Mag. Silvia Grillitsch: Tel. +43-1-4277-120 54, silvia.grillitsch@univie.ac.at Mag. Reinhard Schtt: Tel. +43-1-4277-120 57, reinhard.schtt@univie.ac.at http://ctl.univie.ac.at/schwerpunktmassnahmen/multiple-chice-pruefungen/ Weiterführende technische Infrmatinen: Zentraler Infrmatikdienst (ZID) Referat E-Learning Universitätsstraße 11, 2. Stck 1010 Wien Tel. 01-4277-142 90, elearning.zid@univie.ac.at Mag. Markus Hintermayer: Tel. 01-4277-142 62, markus.hintermayer@univie.ac.at Eva Meisinger: Tel. 01-4277-142 95, eva.meisinger@univie.ac.at http://ffline-tests.univie.ac.at 5