Dr. Jens Bücking. HIS-Workshop eassessment 06. Nov

Größe: px

Ab Seite anzeigen:

Download "Dr. Jens Bücking. HIS-Workshop eassessment 06. Nov. 2008 1"

Henriette Esser
vor 8 Jahren
Abrufe

1 Organisation elektronischer Prüfungen an der Universität Bremen Servicemanagement Supportstrukturen Qualitätssicherung Dr. Jens Bücking HIS-Workshop eassessment 06. Nov

2 Inhalt Historie elektronischer Prüfungen an der Universität Bremen Der elearning-dienst eassessment Stakeholder und Arbeitspakete Supportinstrumente Risikomanagement Ausblick 2

3 Entwicklungspfad von elearning-diensten Professionalisierung Lebenszyklusphase Positionierung Einstieg Aufbau Optimierung prozessintegriert Etablierung PE-orientiert Organisationsübergreifend Institutionali- sierung Maßnahmenfokussiert versuchsorientiert Pilotprojekte Diversifizierung 3

prozessintegriert Etablierung PE-orientiert Organisationsübergreifend

4 Entwicklungspfad eassessment WS 01/02: erster Pilotversuch mit FirstClass Lebenszyklusphase WS 04/05: Projekt eexamination + INFORM Position nierung Etablierung Institutionalisierung WS 06/07: Projekt elearningiq + QS Forsch./Lehre 12/2007: Eröffnung des Testcenters 03/2008: 0,5 + 0,5 WiMi-Stellen Veranstaltungen 25 Prüfungsleistungen Pilotprojekte Diversifizierung

5 Der Dienst eassessment: Supportangebote Campusweites Angebot zur Erstellung, Organisation, Durchführung und Auswertung computergestützter Prüfungen, Einstufungstests und Übungen Betrieb des Testcenters Technische Betreuung g( (u.a. bei Prüfungen + Einsichten) Bereitstellung/Administration der Prüfungssoftware (LTS) Digitalisierung und Qualitätssicherung von Fragenkatalogen Beratung, Support und Editorschulungen Prüfungsmanagement Prüfungs- und Fragenstatistik (Item-Analyse) Service- und Changemanagement 5

bei Prüfungen + Einsichten) Bereitstellung/Administration der Prüfungssoftware (LTS) Digitalisierung und Qualitätssicherung von

6 Arbeitspakete zur Organisation und Durchführung von eklausuren AP1 AP2 AP3 AP4 AP5 AP6 AP7 Prüfungsverwaltung (Zeiten, Aufsichten, ) Anmeldeorganisation Katalogentwicklung + Qualitätssicherung Technische Vorbereitung Prüfungsdurchführung Nachbereitung u. Auswertung Klausureinsichten 6

Anmeldeorganisation Katalogentwicklung + Qualitätssicherung Technische

7 Stakeholder bei eklausuren Studierende Aufsichten elearning-support Autoren Editor Verwaltung eklausur Beauftragter 7

8 Beispiel AP3: Erstellung der Fragenkataloge elearning-service eklausurbeauftragte(r) Editoren Autoren Erstberatung Festlegung Deadlines Schulung Produktion Vorlagen Digitalisierung lokale Kontrolle -1 lokale Kontrolle -2 Upload Erstversion Kontrolle der Fragen Überarbeitung Upload Endversion Kontrolle Einstellungen Registrierung der TN Zugangstest / Endabnahme 8

Digitalisierung lokale Kontrolle -1 lokale Kontrolle -2 Upload Erstversion Kontrolle der

9 Qualitätsmanagement der Fragenkataloge 1. Lokale Überprüfung des Fragenkataloges (AU, ED) Fragestellung, Bewertung, thematische Zuordnung, Funktion, Layout beitung Katalog güberar 2. Lokale Überprüfung des Fragenkataloges (ES) Funktion, Auswahlraster, Einstellungen, Layout, graphische Umsetzung 3. Webbasierter Katalogtest (AU, ED, ES) Funktion, Bewertung, Layout 4. Webbasierter Einstellungstest (AU, ED, ES) Zeitkontingent, Auswahl, Anzahl/ Reihenfolge der Fragen, Taschenrechner, 5. Fragenkommentare während der Prüfung (S) Fragestellung (Verständnis, Eindeutigkeit), Schwierigkeitsgrad, Umfang, 6. Testtheoretische Auswertung der Fragen und Themen (ES, AU) Schwierigkeitsgrad, Trennschärfe, Zeitbedarf 9

Lokale Überprüfung des Fragenkataloges (ES) Funktion, Auswahlraster, Einstellungen, Layout, graphische Umsetzung 3.

10 Supportinstrumente Schulungsmaterialien und Softwarepaket Checklisten / Leitfäden Testcenter Management Tool (TCMT) Dateiaustausch, Terminverwaltung, Prüfungsmanagement g Templates für Prüfungsmanagement (Gant-Diagramme) Templates für Prüfungsfragen f Modell zur Kosten-/Nutzenanalyse 10

Terminverwaltung, Prüfungsmanagement g Templates für Prüfungsmanagement

11 Checkliste für Prüfungseinstellungen 11

12 TCMT Dateien, Termine und Controlling 12

13 Risikomanagement Arbeitsmodell zur Einführung von eassessments unter Berücksichtigung g aller universitären Stakeholder 1. Identifikation von Problemfeldern 2. Klassifizierung der Risiken 3. Kalkulation von Konsequenz und Wahrscheinlichkeit (Risikohöhe) 4. Definition von Maßnahmen zur Risikovermeidung/-minimierung Ruedel et al.: Risikomanagement für eassessment in: Merkt et al. (2007), Studieren neu erfinden Hochschule neu denken, Medien in der Wissenschaft Bd. 44, S , Waxmann (GMW-Tagung 2007) Implementierung Graphik modifiziert nach Zakrezewski & Steven (2000): A Model for Computer-based Assessment: the catherine wheel principle. Assessment & Pilotveranstaltung Fakultät Campusweit Evaluation in Higher Education 25(2),

: Risikomanagement für eassessment in: Merkt et al. (2007), Studieren neu erfinden Hochschule neu denken, Medien in der Wissenschaft Bd. 44, S.

14 Risikomanagement Risikobereiche O Organisatorisch T-Technisch P Pädagogisch Risikoklasse = sehr gering = gering = mittel = hoch = sehr hoch Maßnahmen kurzfristig mittelfristig langfristig Ab Arbeitspaket t5: Püf Prüfungsdurchführung 5-6 S Prelogin (Eingabe Nachname Matrikelnummer) O12-, O13- Risiken und Maßnahmen O13 FBV EKB Studierende wurden für die falsche Prüfung registriert Kurzfristig: Abgleich/Kontrolle der TN-Listen im 4-Augen-Prinzip, 14

Prüfungsdurchführung 5-6 S Prelogin (Eingabe Nachname Matrikelnummer) O12-, O13- Risiken und Maßnahmen O13 FBV

15 Ausblick Die nächsten Schritte Ausweitung der Serviceangebote (Schwerpunkt Prüfungsdidaktik) Weitergehende Integration in den Prüfungsordnungen Förderung von Einstufungstests und semesterbegleitenden Übungen Erprobung neuer Prüfungsformen (on demand-assessment, Videoessays, ) 15

Prüfungsordnungen Förderung von Einstufungstests und

16 Vielen Dank für Ihre Aufmerksamkeit Dr. Jens Bücking Das Wiki zu elektronischen Prüfungen: Registrierung i über michael.vogt@hrz.uni-giessen.de 16

de Das Wiki zu elektronischen Prüfungen: http://wiki.

Ähnliche Dokumente

eklausuren im Testcenter der Universität Bremen Ein Praxisbericht

eklausuren im Testcenter der Universität Bremen Ein Praxisbericht Hintergrund Der Service eassessment Dienstleistungen des ZMML Testcenter Qualitätsmanagement Fazit nach 3 Jahren Testcenter Dr. Jens Bücking