Dr. Jens Bücking. GML FU Berlin 30. Juni

Transkript

1 Qualität bei eklausuren Von der Organisation bis zur Prüfungsfrage Hintergrund Risiko- + Qualitätsmanagement Sicht der Studierenden und Lehrenden Fazit Dr. Jens Bücking GML FU Berlin 30. Juni

2 Der Dienst eassessment Campusweites Angebot zur Erstellung, Organisation und Durchführung computergestützter Prüfungen, Einstufungstests und Übungen 2

3 eassessment als Dienstleistung des ZMML Unterstützung der Lehrenden in allen Phasen computergestützter tüt t Prüfungen Im Vorfeld Währenddessen Im Anschluss Planung Nachbewertung Erstellung Durchführung Auswertung Vorbereitung Archivierung

4 eassessment als Dienstleistung des ZMML Be ratung und Su upport Statistische Auswertung Prüfungsmanagement Erstellung und Qualitätssicherung der Fragenkataloge Qualifizierung Technische Betreuung (Prüfungen, Einsichten) Bereitstellung Testcenter und Prüfungssoftware 4

5 Testcenternutzung Externe Einstufungstests V t lt Softwareprüf. Probeklausuren 60 Einsichten eklausuren 0 Veranstaltungen Erö öffnung TC Testcentertermine 12/ /2010 (n=337) WS10/11: 5600 Prüfungsleistungen 44 Veranstaltungen 11 (von 12) Fachbereiche 5

6 Qualität bei eklausuren Strukturen Prozesse Technische Risiken Organisatorische Risiken Rechtliche Risiken Inhalte eassessment.uni-bremen.de/recht.php ep.elan-ev.de/wiki/rechtsfragen / Didaktische Risiken 6

7 Risikomanagement Arbeitsmodell zur Einführung von eassessments 1. Identifikation von Problemfeldern 2. Klassifizierung der Risiken 3. Kalkulation von Konsequenz und Wahrscheinlichkeit (Risikohöhe) 4. Definition von Maßnahmen zur Risikovermeidung/-minimierung Ruedel et al.: Risikomanagement für eassessment in: Merkt et al. (2007), Studieren neu erfinden Hochschule neu denken, Medien in der Wissenschaft Bd. 44, S , Waxmann (GMW-Tagung 2007) Graphik modifiziert nach Zakrezewski & Steven (2000): A Model for Computer-based Assessment: the catherine wheel principle. Assessment & Evaluation in Higher Education 25(2), Implementierung Pilotveranstaltung Fakultät Campusweit 7

8 Technische Risiken Serverausfälle Netzwerkprobleme Datenverluste Performanceprobleme... 8

9 Das Testcenter 9

10 10

11 Vorteile des Testcenters gegenüber PC-Pool-Lösung Stabile Prozesse Hohe Durchführungssicherheit Verbesserter Datenschutz und Datensicherheit Hohe Kapazität Drastisch reduzierter Personalaufwand Neue Aufgaben- und Prüfungsformate

12 Organisatorische Risiken Fehlende oder falsche Prüfungsanmeldungen Pannen in der Kommunikation (Termine, Einstellungen, ) Fehlerhafte Prüfungsfragen... 12

13 Informationsmanagement 13

14 TMT Dateiaustausch, Planung und Prozessmanagement 14

15 Prüfungs- planung 15

16 Inhaltsqualität Objektivität Püf Prüfungsqualität Reliabilität Validität Ökonomie

17 Inhaltsqualität Zeitersparnis durch automatische Korrektur Prozessoptimierung Objektivität Püf Prüfungsqualität Reliabilität Validität Ökonomie

18 Inhaltsqualität Objektivität Sofortige Ergebnisrückmeldung bei geschlossenen Fragen Püf Prüfungsqualität Reliabilität Validität Schnellere Nachbewertung offener Fragen Schwachstellenanalyse Ökonomie

19 Inhaltsqualität Hohe Auswertungs- und Durchführungsobjektivität Objektivität Püf Prüfungsqualität Reliabilität Validität Ökonomie

20 Inhaltsqualität Einfacher messbar Statistische Auswertung im Vergleich unabhängiger Durchläufe Objektivität Püf Prüfungsqualität Reliabilität Validität Ökonomie

21 Inhaltsqualität Lernziele Prüfung Objektivität Püf Prüfungsqualität Reliabilität Validität Software-Integration Internetrecherche Multimediaeinsatz Ökonomie Hoher Initialaufwand

22 Inhaltsqualität Fragenerstellung Prüfkriterien Statistische Auswertung Kontrolle Autoren o Inhaltsvalidität o Konstruktvalidität o Fragestellung o Bewertung Kommentare Studierende Katalog Revision Kontrolle ZMML o Schwierigkeitsgrad o Trennschärfe o Thematische Zuordnung o Zeitbedarf Einstellungs- testt Katalogtest o Layout und Funktion

23 Vorteile aus Sicht der Studierenden Befragung im WiSe09/10 (n=1661, Platz 1-12) Kai Schwedes, Karsten Wolf & Jens Bücking Sofortige oder schnellere Ergebnisbekanntgabe Geringerer Auswertungsaufwand für die Lehrende Einfache, übersichtliche Darstellung und Bearbeitung Schnelles Bearbeiten der Prüfungsfragen Eingaben einfach ändern, umstrukturieren und löschen Geringerer Schreibaufwand (Antwortwahlverfahren) Keine Formulierungsprobleme dank MC Objektivität der Bewertung Stressfreies, ruhiges und konzentriertes Arbeiten Weniger Zettelwirtschaft Eindeutige Fragestellung Ratemöglichkeit und Ausschlussverfahren

24 Nachteile aus Sicht der Studierenden Befragung im WiSe09/10 (n=1661, Platz 1-12) Kai Schwedes, Karsten Wolf & Jens Bücking Lösungswege werden nicht berücksichtigt und bewertet Zu viele Wissensabfragen, die das Bulimielernen fördern Störender Geräuschpegel durch Tastatur und/oder Maus Keine eigenen Ideen und Begründungen Zu viele Fragen im MC-Format / zu wenig Freitextfragen Unklare, ungewohnte oder unvollständige Aufgaben eklausuren sind anstrengend und unangenehm Nur Wissen, Verständnisfragen nicht möglich Einfluss der Tippgeschwindigkeit auf die Bewertung Kein "Drumherum schreiben" und Teilwissen anbringen Zu hoher Zeitdruck / zu viele Fragen Keine Darstellung von Zusammenhängen möglich

25 Vorteile aus Sicht der Lehrenden Interviewserie Okt./Nov (n=19), Erstnennung 3 Punkte, Zweitnennung 2 P., jede weitere 1 P. Zeitersparnis (autom. Korrektur, Lesbarkeit der Freitexte) Hohe Objektivität + eindeutige Bewertung Gute Unterstützung der Prüfungsprozesse Bessere, neu durchdachte Abstimmung Prüfungsfragen - Lernziele Präzisere Fragestellung Einfacherer Einsatz von Fotos und Graphiken Sofortige Ergebnisbekanntgabe g für die Studierenden Einsatz von Anwendungssoftware Statistische Auswertung der Ergebnisse und Fragenkataloge g

26 Nachteile aus Sicht der Lehrenden Interviewserie Okt./Nov (n=19), Erstnennung 3 Punkte, Zweitnennung 2 P., jede weitere 1 P. Keine Berücksichtigung von Lösungswegen und Folgefehlern Rationalisierung führt zum Verzicht auf Interpretationsaufgaben Hoher Initialaufwand für die Erstellung des Fragenkataloges Geschlossene Anwendungs- und Transferfragen schwer zu erstellen Konstruktion guter Fragen mit hoher Trennschärfe ist schwierig Rechtsunsicherheit Nachbewertung von Freitextfragen dauert länger als auf Papier Bei langfristiger Nutzung werden auch große Kataloge bekannt Probleme e mit der VPN-Verbindung behinderten e die Nachbewertung e

27 Prüfungsqualität bei eklausuren Objektivität Püf Prüfungsqualität Reliabilität Validität Auswertungs- und Durchführungsökonomie sind deutlich gestiegen Lehrende schätzen die höhere Objektivität Studierende schätzen die schnellere Ergebnisrückmeldung Auswendiglernen hat bei einigen Prüfungen zugenommen Einfluss auf die Validität ist stark unterschiedlich Ökonomie

28 Fazit Testcenter-Modell für sehr hohe Teilnehmerzahlen unerlässlich Prüfungsmanagement aufwändig (aber machbar) Gute Unterstützung der Prüfungsprozesse und des QM durch eklausuren Prüfungsqualität auf den Ebenen Objektivität und Ökonomie gestiegen Einfluss auf die Validität und das Lernverhalten unterschiedlich (positiv neutral negativ) Didaktische Risiken: Prüfungsdidaktische Beratung und Qualifizierung WORKSHOP Reinvestition der gewonnenen Zeit in gute Prüfungsfragen Entwicklung effizienter formativer eassessments 28