Leitfaden zur Durchfu hrung von epru fungen

Transkript

1 Leitfaden zur Durchfu hrung von epru fungen Allgemeiner Teil 1. Begriffe eprüfung: An einem Computer ausgeführte elektronische Prüfung eklausurvorlage: Elektronische Fassung der Klausurvorlage mit allen Fragen eklausur: Alle vom Prüfling gegebenen Antworten. Wird vom Prüfer um Korrekturen ergänzt Prüfungssystem: Softwaresystem zur Erstellung, Durchführung und Auswertung einer elektronischen Prüfung Log-File: Aufzeichnung der Interaktionen des Prüflings mit dem Prüfungssystem während der eprüfung durch das Prüfungssystem in Form einer Datei Log-Funktionalität: Fähigkeit des Prüfungssystems, Interaktionen des Prüflings mit dem Prüfungssystem aufzuzeichnen Endgerät: Computer, an dem der Prüfling die Prüfung durchführt Server: Computer, auf dem das Prüfungssystem installiert ist Ersatzsystem: Abh. vom Kontext Ersatz-Endgerät oder Ersatz-Server Benutzerkonto: Betriebssystem-Benutzerkonto des Prüflings 2. Vorbereitung der eprüfung Die technische Infrastruktur ist auf ihre Funktionsfähigkeit zu überprüfen: - Sind alle Rechner (Server und Endgeräte) einsatzfähig (Strom, Netzwerk, Betriebsmodus des Prüfungssystems, Tastatur, Monitor, Maus)? - Sind alle Ersatzsysteme einsatzfähig? Nach Eingabe der Fragen in das elektronische Prüfungssystem ist ein Testdurchlauf aller Fragen durchzuführen mit einem Benutzerkonto, das über dieselben Rechte verfügt, wie das Benutzerkonto der zu prüfenden Personen. Alle Druckmaterialien sind vorzubereiten, d.h. neben den üblichen Erklärungen des Prüflings zur Prüfungsfähigkeit mindestens eine vom Prüfling zu unterschreibende Erklärung zur Führung und etwaigen Durchsicht von Log-Files (im Anhang findet sich eine Vorlage). 3. Während der eprüfung Die Prüfungen werden in Räumen durchgeführt, die für eine mit eprüfung mit Geräten im der Hochschule Hannover (Eigentum oder gemietet) ausgestattet sind (Netzwerk, Client-Rechner (Notebooks), evtl. Server). Studentische Geräte kommen nicht zum Einsatz. Wird die Prüfung aufgrund begrenzter Rechnerkapazitäten in mehrere Gruppen hinterer ausgeführt, ist sicherzustellen, dass vor, während und nach dem Gruppenwechsel eine Kommunikation der Prüfungsteilnehmer über die Prüfungsaufgaben unterbunden ist. Wird mit mehr als zwei Gruppen hintereinander geplant ist die Klausur unter Sicherstellung eines vergleichbaren Schwierigkeitsgrades zu individualisieren. Authentifizierung: - Bei jeder eprüfung hat der Prüfling vor Beginn der Prüfung eine namentliche Erklärung zur Teilnahme an der Prüfung zu unterschreiben, in der er neben der Erklärung zur Prüfungsfähigkeit zur Kenntnis nimmt, dass Log-Files auf Version: 1.0 Datum: Seite 1 von 8

2 Unregelmäßigkeiten gescannt werden (s. Anhang). Diese Erklärung ist später mit dem Prüfungsergebnis zu archivieren. - Das Login in das Prüfungssystem ist so zu gestalten, dass der Prüfling während der Bearbeitung der Prüfung eindeutig am Rechner identifiziert werden kann. Ideal ist ein Login mit der hochschulweiten PC-Kennung, alternativ ist ein Login mit den Matrikelnummern möglich. - Hat sich der Prüfling eingeloggt, ist mittels Studentenausweis und/oder Personalausweis die Übereinstimmung des Prüflings mit dem Unterzeichner der Erklärung zur Klausur sowie mit dem Benutzer des Prüfungssystems zu überprüfen und das Ergebnis dieser Überprüfung geeignet zu dokumentieren. Ergebnismitteilung: Die Prüflinge können das vorläufige Ergebnis in Form der max. und erreichten Punktezahl direkt nach der Prüfung erhalten. Falls Freitextaufgaben vorhanden sind, ist darauf hinzuweisen, dass diese später ausgewertet werden. Die Note darf erst mitgeteilt werden, wenn die Prüfungsergebnisse vom Prüfungsverantwortlichen durchgesehen wurden und eine endgültige Benotung erfolgt ist. Eine automatisierte Benotung ist generell nicht zulässig. Wird über technische Mittel des Prüfungssystems die Bearbeitungszeit begrenzt, ist sicherzustellen, dass die Aufsichtsperson bei etwaigen Systemproblemen einzelner Prüflinge diesen Zusatzzeit im Umfang der Ausfallzeit gewähren kann. Ist dies nicht möglich, muss auf eine technische Zeitbeschränkung verzichtet werden. Bei Störungen im Prüfungsablauf wird folgendes Verfahren angewendet: o Beeinträchtigt die Störung länger als 10% des angesetzten Gesamtzeitraums der Prüfung, ist den Prüflingen anzubieten, die Prüfung an einem anderen Datum zu wiederholen. Der abgebrochene Versuch gilt dabei als nicht durchgeführt. o Eine Störung ergibt sich beispielsweise durch Lärmbelästigung, unerwartete Ereignisse wie Feueralarm oder ein anderer, nicht-ordnungsgemäßer Ablauf der Prüfung. In jedem Fall wird die Art der Störung im Prüfungsprotokoll vermerkt, auch werden hier Hinweise von Prüflingen festgehalten, wenn Sie äußern, dass sie sich in ihrer Prüfungsfähigkeit durch ein Ereignis gestört fühlten. o Fällt ein Endgerät aus, ist dem Prüfling Zugang zu einem Ersatzgerät zu ermöglichen. Weiterhin muss dem betroffenen Prüfling zusätzliche Bearbeitungszeit im Umfang der Wechselzeit eingeräumt werden. o Fällt für denselben Prüfling ein weiteres Mal ein Rechner aus, ist dem Prüfling anzubieten, die Prüfung an einem anderen Datum zu wiederholen. Der abgebrochene Versuch gilt dabei als nicht durchgeführt. Ausgeschlossen ist hier die mutwillige Herbeiführung einer Funktionsunfähigkeit des Endgerätes durch den Prüfling. 4. Nach der eprüfung Ist redundante Speicherung nicht durch das Prüfungssystem respektive dessen Installation selbst gegeben, sind die eklausuren direkt nach Durchführung der Klausur auf einem geeigneten Backup-Medium zu sichern. Zu Freitextaufgaben: Etwaige Freitextaufgaben sind zu korrigieren, so dass zu allen Aufgaben Punkte vergeben worden sind. Eine vollautomatische Bewertung frei eingegebener Texte (hierunter fallen auch Lückentexte) ist nicht zulässig, die Eingaben sind vom Prüfer auf Korrektheit zu prüfen. Weiterhin sollten alle Fragen z.b. unter Zuhilfenahme der üblichen statistischen Parameter wie Trennschärfe und Schwierigkeitsgrad überprüft werden in Bezug auf fehlerhafte Aufgabenstellung. Sollte sich eine Aufgabenstellung im Nachhinein als fehlerhaft herausstellen, ist die Aufgabe aus der Bewertung auszunehmen und eine Version: 1.0 Datum: Seite 2 von 8

3 Neubewertung durchzuführen. Hierbei ist zu beachten, dass sich eine Neubewertung nicht zum Nachteil des Prüflings auswirkt. Die endgültige Bestehensgrenze ist festzulegen, wonach die Noten vergeben und an die Studierenden kommuniziert werden. Für die Festlegung der Bestehensgrenzen bei Klausuren mit Multiple-Choice-Fragen ist die entsprechende Leitlinie der Hochschule Hannover anzuwenden. Archivierung: - Die eklausuren inkl. ihrer Bewertungen sind an der Hochschule Hannover nach gültiger Rechtslage 15 Jahre zu archivieren. Um dies sicherzustellen sind eklausuren inklusive der Auswertungen von Freitextaufgaben ausgedruckt analog zu Papierklausuren zu archivieren. Eine ausschließlich rechnerbasierte Archivierung ist nicht zulässig. - Eine rechnergestützte Archivierung sollte ebenfalls vorgenommen werden. Archiviert werden sollten o die eklausuren inklusive der Korrekturen in Form von PDF/A-Dateien oder in Form der Rohdaten der Prüfungssoftware, o das Benotungsschema der Klausur, o die Log-Files des Prüfungssystems (s.u.). Werden die eklausuren in Form der Rohdaten der Prüfungssoftware archiviert, sollte zudem die jeweils verwendete Softwareversionen des Prüfungssystems archiviert werden. 5. Organisatorische Rahmenbedingungen Es ist sicherzustellen, dass während der eprüfung technisch qualifizierte Mitarbeiter zur Verfügung stehen, um bei technischen Problemen das Prüfungssystem zu reaktivieren. Durch technische Probleme verloren gegangene Bearbeitungszeit ist dem Prüfling/den Prüflingen zusätzlich zur Verfügung zu stellen (s.o.). Eine eprüfung kann auch verteilt auf verschiedene Räume stattfinden. Aufgrund des Gleichbehandlungsgrundsatzes muss die technische Ausstattung und Leistungsfähigkeit dieser Räume vergleichbar sein. Bei nebeneinander stehenden Endgeräten, die potenziell von anderen Prüflingen eingesehen werden können ist ggf. durch Trennwände, mindestens aber durch Randomisierung der Aufgabenreihenfolge und Antwortoptionen sowie ggf. der Aufgabenparameter sicherzustellen, dass nicht abgeschrieben wird. 6. Technische Rahmenbedingungen Die eprüfung muss in einer geschützten Umgebung stattfinden, in der für die zu prüfenden Personen lediglich ein Login / Logout-Vorgang sowie die Beantwortung der Prüfungsfragen möglich ist. Der Prüfling sollte die Reihenfolge der Beantwortung der Fragen frei wählen und auch zurückspringen dürfen mit Ausnahme von Key-Feature- Fragen, in denen basierend auf einer dem Prüfling mitgeteilten Teillösung weitere Fragen gestellt werden. Für die Bearbeitung der Prüfung nicht notwendige Anwendungen sind zu deaktivieren, ebenso ist der Zugriff auf Netzwerkressourcen und Laufwerke (z. B. USB-/Firewire/-Thunderbold-Geräte, zusätzlich eingebauten Festplatten, Optische Datenträger, Disketten) zu unterbinden. , Chat- sowie sonstige Nachrichtensysteme sind sowohl im Betriebssystem als auch im Prüfungssystem zu deaktivieren. Empfohlen wird ein in seinen Rechten entsprechend eingeschränktes Benutzerprofil Prüfling auf Betriebssystemebene, das von allen Prüflingen gleichermaßen genutzt wird 1. Die Authentifizierung des Prüflings muss dann mittels eines zweiten Logins im Prüfungssystem erfolgen. 1 Die els bietet Ihnen auf Anfrage Hilfestellung bei der Einrichtung eines solchen Benutzerprofils. Version: 1.0 Datum: Seite 3 von 8

4 Das Prüfungssystem sollte zur Nachvollziehbarkeit von Täuschungsversuchen und der Eingabehistorie über Log-Funktionalität verfügen und folgende Aktivitäten in Form von Log-Daten aufzeichnen: o Login/Logout-Zeitpunkt(e) des Prüflings in Bezug auf das Prüfungssystem mit Kennung des Prüflings und IP-Adresse des benutzten Endgeräts o Eingaben des Prüflings mit Zeitpunkt Das Prüfungssystem muss abgeschlossene Antworten des Prüflings so speichern, dass Sie bei einem Systemabsturz des Servers oder des Endgeräts nicht verloren gehen und die eprüfung an einem Ersatzsystem oder nach einem neuen Login- Vorgang an derselben Stelle fortgeführt werden kann. Die Datenspeicherung des Prüfungssystems ist redundant auszulegen, so dass durch Ausfall einer Festplatte die Daten dennoch rekonstruiert werden können. Die Ausfallsicherheit des Servers ist sicherzustellen durch geeignete technische Maßnahmen (USV, doppelte Netzteile, RAID-Systeme). Zu empfehlen ist ein redundantes Serversystem mit zwei voneinander unabhängig lauffähigen Serversystemen. Abhängig von der Teilnehmerzahl sind Ersatz-Endgeräte vorzusehen: Empfohlen wird 5% der eingesetzten Endgeräte hierfür bereit zu halten, mindestens aber 2 Endgeräte. Version: 1.0 Datum: Seite 4 von 8

5 Spezifischer Teil: Durchfu hrung von epru fungen mit Moodle 2.x Zur Durchführung von eprüfungen wurde an der Hochschule Hannover eine spezielle Moodle- Installation eingerichtet (im folgenden eprüfungssystem), die unter folgender URL zu finden ist: Diese Moodle-Installation ist abgesichert und erfüllt in Verbindung mit einem speziellen Windows- Prüfungsaccount, der von allen Prüflingen zu benutzen ist, die im allgemeinen Teil formulierten Kriterien im Abschnitt Technische Aspekte. Einmalige Vorbereitung: Beantragen Sie bei der els die Einrichtung eines Moodle-Kontos für sich als Prüferin/Prüfer. Vorbereitung der eprüfung 1. Stimmen Sie mit der els Datum, Dauer, Raum bzw. Räume und Zeit bzw. Zeiten der eprüfung mit Moodle ab. 2. Legen Sie in Ihrem regulären Moodle-System eine eklausurvorlage an, worin Sie die Testfragen integrieren. Achten Sie darauf, dass die Vorlage vor den Studierenden verborgen ist. 3. Exportieren Sie mittels der Moodle-Funktion Sicherung anschließend Ihren Kurs, wobei Sie nur den fertigen Test in eine Sicherungsdatei in das lokale Dateisystem Ihres Computers exportieren. Alle anderen Daten Ihres Kurses (Folien etc.) sollten Sie nicht exportieren. 4. Loggen Sie sich unter der oben genannten URL in das eprüfungssystem ein und importieren Sie den Kurs mittels der Moodle-Funktion Wiederherstellen von Ihrem lokalen Dateisystem. 5. Führen Sie ggf. Aufräumarbeiten durch, um unnötige Fragmente des Kurses zu beseitigen, so dass nur der reine Test übrig bleibt. 6. Legen Sie für Ihren Kurs als Einschreibemethode Selbsteinschreibung fest und definieren Sie einen Einschreibeschlüssel, den Sie den Studierenden zu Beginn der eprüfung mitteilen. Als Rolle legen Sie Prüfling fest. Dies ist ein eingeschränktes Teilnehmerprofil, dass die Benutzung z.b. der Chat-Funktion während der Klausur ausschließt. 7. Über eine reguläre Anmeldung mit Ihrem Standard-Account können Sie als Dozent bei Prüfungsbeginn manuell festlegen, wann eine Einschreibung in den Kurs erfolgen kann. Schalten Sie den Kurs erst zu Beginn der eprüfung für eine Anmeldung frei und schließen Sie die Anmeldung direkt nach der Klausur wieder. 8. Legen Sie ein Klausurkennwort an, mit dem der Zugriff auf die Klausur gesteuert wird. 9. Testen Sie einmal in einem kompletten Durchlauf die Klausur in der Rolle Prüfling. Durchführung der eprüfung nachdem alle Prüflinge Platz genommen haben 1. Lassen Sie von den Studierenden die u.a. Erklärung unterschreiben (abgewandelt für Ihre Fakultät). 2. Geben Sie den Einschreibeschlüssel bekannt und geben Sie den Studierenden Zeit, sich im Kurs einzuschreiben. Überprüfen Sie, ob die Anzahl der Teilnehmer im Moodle-Kurs mit der Anzahl der Teilnehmer im Raum übereinstimmt. 3. Kontrollieren Sie durch Blick auf den Bildschirm und Abgleich mit dem Ausweis des Prüflings, ob sich der Prüfling unter seiner Kennung eingeloggt hat (Namensabgleich). Bei gleichen Namen kontrollieren Sie zusätzlich die -Adresse im Profil des Prüflings und notieren Sie diese auf der schriftlichen Erklärung. Sammeln Sie die schriftlichen Erklärungen ein. 4. Geben Sie dann den Klausurschlüssel bekannt, wonach die Bearbeitungszeit beginnt. Version: 1.0 Datum: Seite 5 von 8

6 Am Ende der Klausur 1. Achten Sie durch Kontrolle des Prüfungsablaufs in Moodle darauf, dass jeder Studierende die Klausur abgeschlossen hat. 2. Schließen Sie den Zugang zum Kurs durch Ausblenden des Kurses und Ändern des Einschreibeschlüssels. 3. Sichern Sie den gesamten Kurs auf ein externes Speichermedium. Klausurkorrektur Im Folgenden wird die Variante mit Klausureinsicht am Rechner beschrieben. Für eine Klausureinsicht der Papierversion ist die Klausur vorher auszudrucken und bei etwaigen Korrekturen der Bewertung direkt zu korrigieren oder am Rechner mit nachfolgendem erneutem Ausdruck. 1. Sichten Sie jede Klausur durch Ansicht im Überprüfungsmodus ( Versuch erneut ansehen ). Schalten Sie dazu im Überprüfungsmodus auf Alle Fragen auf einer Seite anzeigen und prüfen Sie insbesondere Freitextangaben. Korrigieren Sie die Punktzahl zu Einzelaufgaben wo erforderlich. 2. Nach Korrektur ist eine erneute Sicherung des Kurses auf einem externen Medium zu empfehlen, das Sie geeignet archivieren sollten. 3. Bei der Klausureinsichtnahme am Rechner können Sie etwaige Korrekturen direkt am Rechner vornehmen. 4. Nach Abschluss der Klausureinsicht: a. Drucken Sie einzelnen Klausuren durch Ansicht im Überprüfungsmodus ( Versuch erneut ansehen, Alle Fragen auf einer Seite anzeigen ) entweder direkt für das Archiv oder speichern Sie die Klausur als PDF/A-Datei und drucken Sie diese dann für das Archiv aus. b. Wir empfehlen eine erneute Sicherung des Kurses auf einem externen Medium, das Sie geeignet archivieren sollten. In Fakultät III gilt: Die Prüflinge loggen sich mit folgendem Windows-Account an den Rechnern an: Login: ik-epruefung Kennwort: test Der Webbrowser (nur der Internet-Exporer ist verfügbar) lässt unter diesem Account nur die oben genannte URL zu, so dass sich die Prüflinge mit Ihren eigenen Moodle-Accounts dort anmelden können. Es erfolgen weitere Kennwortangaben bei Kurseintritt und bei Testbeginn, die von Ihnen individuell festgelegt werden. Version: 1.0 Datum: Seite 6 von 8

7 Fakultät III Medien, Information und Design Abteilung Information und Kommunikation (IK) FACHPRÜFUNG im Wintersemester 2011/12 Modul: Prüfungsanforderung: Grundlagen der eprüfungen (BEP-101) eprüfungen mit moodle (BEP ) Prüfer: Prof. Dr. Peter Test (3174) Note:... (Unterschrift: P. Test) Name, Vorname:... Matrikel-Nummer:... Studiengang: Prüfungsart: Bachelor E-Learning (Hauptprüfung) Klausur 2stündig Tag der Prüfung/Abgabetermin: Beginn/Ende der Bearbeitungszeit: 10:00 Uhr bis 12:00 Uhr Mir ist bekannt, - dass Täuschungsversuche sowie die Benutzung unerlaubter Hilfsmittel gemäß Prüfungsordnung die Bewertung nicht ausreichend nach sich ziehen (im Falle der letztmaligen Wiederholung entfällt dann der Anspruch auf die mündliche Ergänzungsprüfung), - dass bei einem Verstoß gegen die Ordnung der Prüfung der Ausschluss von der Fortsetzung der Prüfungsleistung mit der Bewertung nicht ausreichend erfolgen kann. Ich bin damit einverstanden, dass bei elektronischen Prüfungen Computer-Log-Files aufgezeichnet und ausgewertet werden, in denen Zeitpunkt des Login und des Logout der zu prüfenden Person, deren Eingaben sowie Systemabstürze des Prüfungssystems protokolliert werden. Ich bin im laufenden Semester an der FHH immatrikuliert und nicht beurlaubt (ausgenommen Pflichtanmeldung). Ich erkläre mich ausdrücklich für prüfungsfähig. Hannover, den (Unterschrift) Das umrandete Feld ist von der/dem Studierenden auszufüllen!

8 Für die Bewertung der Prüfungsleistung sind folgende Noten zu verwenden: 1,0; 1,3 = sehr gut = eine besonders hervorragende Leistung: 1,7; 2,0; 2,3 = gut = eine erheblich über den durchschnittlichen Anforderungen liegende Leistung, 2,7; 3,0; 3,3 = befriedigend = eine Leistung, die in jeder Hinsicht durchschnittlichen Anforderungen entspricht, 3,7; 4,0 = ausreichend = eine Leistung, die trotz ihrer Mängel den Mindestanforderungen entspricht, 5 = nicht ausreichend = eine Leistung, die wegen erheblicher Mängel den Anforderungen nicht mehr genügt