eklausuren im Testcenter der Universität Bremen Ein Praxisbericht

Transkript

1 eklausuren im Testcenter der Universität Bremen Ein Praxisbericht Hintergrund Der Service eassessment Dienstleistungen des ZMML Testcenter Qualitätsmanagement Fazit nach 3 Jahren Testcenter Dr. Jens Bücking ITMC Tagung TU Dortmund 29. Oktober

2 Der eassessment-dienst des ZMML Campusweites Angebot zur Erstellung, Organisation, Durchführung und Auswertung computergestützter Prüfungen, Einstufungstests und Übungen 2

3 Entwicklungspfad von elearning-diensten Lebenszyklusphase Positionierung Einstieg Aufbau Professionalisierung Optimierung Organisationsübergreifend prozessintegriert Etablierung Institutionalisierung PE-orientiert Maßnahmenfokussiert versuchsorientiert Pilotprojekte Diversifizierung 3

4 Positionierung Entwicklung des eassessment-dienstes WS 01/02: erster Pilotversuch mit FirstClass Etablierung Lebenszyklusphase Institutionalisierung WS 04/05: Projekt eexamination + INFORM WS 06/07: Projekt elearningiq + QS Forsch./Lehre 12/2007: Eröffnung des Testcenters 03/2008: 0,5 + 0,5 WiMi-Stellen Veranstaltungen 25 Prüfungsleistungen Pilotprojekte Diversifizierung

5 Tag Slot BIBA1 BIBA2 MZH1 MZH2 MZH3 WIWI GW2 Tag Slot BIBA1 BIBA2 MZH1 MZH2 MZH3 WIWI GW2 Die Ausgangssituation WiSe04/ :00-10:00 10:30-12:30 13:00-15:00 15:30-17: :00-10:30 11:00-12:30 13:00-14:30 15:00-16:30 17:00-18:30 18:00-19: :00-10:00 10:30-12:30 13:00-15:00 15:30-17:30 18:00-20: :00-10:00 10:30-12:30 13:00-15:00 15:30-17: :00-10:00 10:30-12:30 13:00-15:00 15:30-17: :00-16: Durchläufe in max. 7 Parallelen 5

6 Testcenter Testcenter 6 eklausuren in Zahlen Fachbereiche / Veranstaltungen Veranstaltungen mit eklausur Kunst- u. Kulturwiss. Rechtswissenschaft Sprachwissenschaften Sozialwissenschaften Biologie / Chemie Produktionstechnik Human u. Gesundh.wiss. Mathematik / Informatik Erziehungswissenschaft Wirtschaftswissenschaft Prüfungsleistungen / Anmeldungen WS09/10: ~ 5900 Prüfungsleistungen in 50 Prüfungen, 160 Anmeldungen pro Prüfung PC- Pool-Lösung: 9 Durchläufe/Prüfung Testcenter: 2 Durchläufe/Prüfung

7 eassessments im Testcenter der Universität Bremen (12/ /2009) Einstufungstests Probeklausuren 91 eklausuren Softwareprüfungen - Uni Softwareprüfungen - Extern 7

8 Testcenterauslastung 70 Prüfungszeit (h) / Monat (h) 2010 (h) Jan. Feb. Mrz. Apr. Mai Jun. Jul Aug. Sep. Okt. Nov. Dez. Exklusive Wechselphasen, Vor- und Nachbereitung, Einsichten und externe Prüfungen 8

9 eassessment als Dienstleistung des ZMML Unterstützung der Lehrenden in allen Phasen computergestützter Assessments Im Vorfeld Währendessen Im Anschluß Planung Nachbewertung Erstellung Durchführung Auswertung Vorbereitung Archivierung

10 Beratung und Support Dienstleistungen des ZMML Statistische Auswertung Prüfungsmanagement Erstellung und Qualitätssicherung der Fragenkataloge Qualifizierung Technische Betreuung (Prüfungen, Einsichten) Bereitstellung Testcenter und Prüfungssoftware 10

11 Projekt eklausur Editorschulung Beratungsgespräch Anmeldeorganisation Katalogerstellung Aufsichtsorganisation Qualitätssicherung Prüfungsvorbereitung Abnahme / Zugangstest Prüfung im Testcenter ggf. Nachbewertung Ergebnisexport und -analyse Klausureinsicht im Testcenter

12 Testcenter

13 13

14 Ausstattung des Testcenters Arbeitsplätze ( ) Sehr leise + raumsparende Desktop-PCs, 19 TFT-Bildschirm, leise Tastatur + Maus, Headset, WebCam Server (8) Produktiv-Web, Produktiv-DB, Test, Übung, Management, Backup, Firewall, Spare Autonomes Netzwerk Client-Management-System + Remote-Control-Software Parallel-Datenprojektion + Audioanlage (Mediensteuerung) Client-Software (Win-XP, MS-Office) 14

15 Investionskosten Umbau (~ , Bauetat der Universität) Klimatisierung Boden Verkabelung (Netz + Strom) Schließ- und Alarmanlage Mobiliar IT-Ausstattung ( , CIP-HBFG) Clients Server Netzwerk Medien Software Gesamtinvestition ~

16 Prüfungsablauf Testcenterfilm 16

17 Prüfungsablauf Raumvorbereitung Instruktion der Teilnehmer durch die Aufsichten Einloggen (Nachname, Matrikelnummer) Prüfungsstart Bearbeitung Manuelle Abgabe oder Zeitablauf Ggf. Ergebnismitteilung / Einsicht Raumabschluss Testcenterfilm 17

18 Prüfungsorganisation: Statusgruppen bei eklausuren Studierende Aufsichten Autor Editor Verwaltung elearning-support 18

19 Beispielprozess: Erstellung der Fragenkataloge elearning-service Erstberatung Festlegung Deadlines Schulung Produktion Vorlagen Digitalisierung lokale Kontrolle -1 lokale Kontrolle -2 Editoren Autoren Upload Erstversion Kontrolle der Fragen Überarbeitung Upload Endversion Kontrolle Einstellungen Registrierung der TN Zugangstest / Endabnahme 19

20 Qualitätsmanagement der Fragenkataloge Fragenerstellung Prüfkriterien Statistische Auswertung Kontrolle Autoren o Inhaltsvalidität o Konstruktvalidität o Fragestellung o Bewertung Kommentare Studierende Katalog Revision Kontrolle ZMML o Schwierigkeitsgrad o Trennschärfe o Thematische Zuordnung o Layout Einstellungstest Katalogtest o Zeitbedarf

21 TMT Dateiaustausch, Planung, Termine und Controlling 21

22 Prüfungsplanung 22

23 Fazit nach 3 Jahren Testcenter Kapazitätsproblem betrifft nur noch Personalressourcen, nicht die Infrastruktur Stabile Prozesse - 100% Durchführungssicherheit Prüfungsprozesse deutlich effizienter Neue Prüfungsformate (z.b. Anwendungssoftware) möglich ABER Effizienzgewinn darf nicht auf Kosten der Validität gehen (Reinvestment in gute Fragenkataloge und Prüfungsdesigns) Prüfungsdidaktische Beratung und Qualifizierung notwendig 23

24 Fazit: Wo stehen Wir? Projekt Pilotprojekt Etablierung Diversifizierung Institutionalisierung Formen Einstieg Aufbau Professionalisierung Optimierung eportfolio Softwareprüfung eklausur eassessment Generation (Bennett 1998) 1. Generation 2. Generation Generation R Papier Computer Multimedia VR, Simulation, Einmalig, TC Einmalig, TC Wiederholt, Ortsunabhängig

25 Aktuelle Projekte und Ausblick Freie Platzbuchung - Assessment-on-Demand Erprobung für egeneral Studies - Veranstaltungen Förderung formativer eassessments über Kleinprojekte (Stud.IP + DoIT, Stud.IP + ILIAS, eportfolio) Beantragung und Beteiligung am Zentrum für kompetenzorientiertes Prüfen (Prof. Karsten Wolf) 25

26 Vielen Dank für Ihre Aufmerksamkeit 26

27 Ihre Zeit ist abgelaufen OK