Dr. Jens Bücking. 25. DV-Referententreffen, Bremen 11. Juni Was meint eassessment?

Transkript

1 eassessment Grundlagen + Ziele eassessment-services + QM Risikomanagement Technische Infrastruktur Organisation Oga Nutzungsstatistiken Didaktik Rechtsfragen Nutzerstimmen Fazit Dr. Jens Bücking 25. DV-Referententreffen, Bremen 11. Juni Was meint eassessment? 2

2 Definition eassessment: Erstellung, Durchführung von Auswertung von Bewertungen unter Einsatz von Computern 1 Zeitpunkt Diagnostisch Formativ Summativ Ziel Selektion Lernlenkung Bewertung Form Einstufungstest eportfolio eklausur e-klausur: eassessment, bei dem unter Aufsicht, alleine und nur mit den zugelassenen Hilfsmitteln vorgegebene Aufgaben bearbeitet werden 1) Ruedel (2009) eassessment-formen Quelle: Cornelia Rüdel, Hamburger elmagazin #02 (2009) 4

3 Ziel Qualitätsverbesserung Objek tivität Prüfungsqualität Ökonomie Qualitätsmerkmale bei eklausuren Reliabilität Validität Objek tivität Zeitersparnis durch automatische Korrektur Prozessoptimierung i Prüfungsqualität Reliabilität Validität Ökonomie

4 Arbeitsentlastung durch eklausuren Arbeitsta age Angemeldete TeilnehmerInnen Arbeitsta age Wiederverwendungen des Fragenkatalogs schriftliche Klausur eklausur mit 20 Plätzen/Raum eklausur mit 120 Plätzen im Testcenter Bewertungzeit/Frage: schriftlich 0,5 min eklausur 0 min Fragen: schriftlich 60 eklausur 240 TeilnehmerInnen: 400 Klausurdauer: 2 h 7 Qualitätsmerkmale bei eklausuren Objek tivität Sofortige Ergebnisrückmeldung bei geschlossenen Fragen Prüfungsqualität Reliabilität Validität Schnellere Nachbewertung offener Fragen Schwachstellenanalyse Ökonomie

5 Schwachstellenanalyse Qualitätsmerkmale bei eklausuren Objek tivität Hohe Auswertungs- und Durchführungsobjektivität Prüfungsqualität Reliabilität Validität Ökonomie

6 Qualitätsmerkmale bei eklausuren Objek tivität Einfacher messbar Statistische Auswertung im Vergleich unabhängiger Durchläufe Ökonomie Qualitätsmerkmale bei eklausuren Lernziele Prüfung Prüfungsqualität Relia bilität Validität Objek tivität Prüfungsqualität Reliabilität Vali dität Software-Integration Internetrecherche Multimediaeinsatz Ökonomie Hoher Initialaufwand

7 Der Dienst eassessment Campusweites Angebot zur Erstellung, Organisation und Durchführung computergestützter Prüfungen, Einstufungstests und Übungen 13 Die Ausgangssituation WiSe04/05 Tag Slot BIBA1 BIBA2 MZH1 MZH2 MZH :00-10:00 10:30-12:30 13:00-15:00 15:30-17:30 WIWI GW :00-10:30 11:00-12:30 13:00-14:30 15:00-16:30 17:00-18:30 18:00-19: :00-10:00 10:30-12:30 13:00-15:00 15:30-17:30 18:00-20:00 Tag Slot BIBA1 BIBA2 MZH1 MZH2 MZH3 WIWI :00-10:00 10:30-12:30 13:00-15:00 15:30-17: :00-10:00 10:30-12:30 13:00-15:00 15:30-17: :00-16:30 GW2 100 Durchläufe in max. 7 Parallelen 14

8 Entwicklung des E-Learning Dienstes eassessment Erste eklausuren mit dem LPLUS-System, 1800 PL, 3VA Etablierung in der Wirtschaftswissenschaft 06 Zunehmende Verbreitung in anderen Fakultäten 07 Eröffnung des Testcenters 08 11/12 Fachbereiche, 3300 PL/Semester in 30 VA 09 Gewinn des MedidaPrix PL/Semester, 52 VA PL/Semester PL/Semester, 64 VA 15 eassessment-services des ZMML E A SSESSMENT Prüfungsfo ormen eklausur Self Assessment Eignungstest Softwareprüfung Prüfungseinsicht Servic e Prüfungsdidaktische Qualifizierung u. Beratung, Support Entwicklung und Pflege von Fragenkatalogen Prüfungsorganisation und durchführung Forschung, Entwicklung, Vernetzung Qualitätssicherung i T ESTCENTER (INFRASTRUKTUR) Pro dukte Prüfungsplattformen Serverinfrastruktur Prüfungsrechner und plätze Prüfungsmanagementsystem S e rvice Entwicklung von Prüfungsszenarien Systemadministration und entwicklung Daten und Systemsicherheit Qualitätssicherung 16

9 eassessment-services aus Dozentensicht Unterstützung der Lehrenden in allen Phasen computergestützter Prüfungen Im Vorfeld Währenddessen Im Anschluss Planung Nachbewertung Erstellung Durchführung Auswertung Vorbereitung Archivierung Das Testcenter 18

10 19 Testcenter Ausstattung Prüfungsraum, Wartebereich, Nebenräume (Administration, Server, Lager) 120 Arbeitsplätze, leise PCs inkl. Headset + Webcam 8 Server (LPLUS-Teststudio,...) Autonomes Netzwerk Client-Management + Remote-Control Office-Anwendungen + Fachspezifische Software Medientechnik

11 Investionskosten Umbau (~ , Bauetat der Universität) Klimatisierung Boden Verkabelung (Netz + Strom) Schließ- und Alarmanlage Mobiliar IT-Ausstattung ( , CIP-HBFG) Clients Server Netzwerk Medien Software Gesamtinvestition ~ Personalausstattung tt Servicemanagement Beratung Qualifizierung Support 1 Medienproduktion Systementwicklung 1 Support Testcentermanagement Qualitätssicherung Support 1/2 1/2 Systemadministration 1/3 22

12 Vorteile des Testcenters gegenüber PC-Pool-Lösung Stabilere Prozesse Hohe Durchführungssicherheit Verbesserter Datenschutz und Datensicherheit Höhere Kapazität Drastisch reduzierter Personalaufwand Neue Aufgaben- und Prüfungsformate möglich Softwarekomponenten und Funktionen TMT TM-Editor Statuskontrolle Aufgabenerstellung Dateiaustausch Aufgabenverwaltung Termine Planung Statistik LTMS- Data Uploader MS-SQL SQL Teststudio VPN Lizenztest Prüfungsdurchführung Nachbewertung Benutzer Ergebnisse Statistik Rollen/Rechte Prüfungskonfiguration Prüfungsverwaltung 24

13 Softwarekomponenten und Funktionen (ab 2013) TMT Statuskontrolle Dateiaustausch Termine Planung Statistik MS-SQL SQL VPN LPLUS-Teststudio TS-Editor Lizenztest Prüfungsdurchführung Nachbewertung Benutzer Ergebnisse Statistik Rollen/Rechte Prüfungskonfiguration Prüfungsverwaltung 25 Ablauf einer eklausur Beratungsgespräch Editorschulung Anmeldeorganisation Katalogerstellung Aufsichtsorganisation Qualitätssicherung Prüfungsvorbereitung Abnahme / Zugangstest Prüfung im Testcenter ggf. Nachbewertung Ergebnisexport und -analyse Klausureinsicht im Testcenter

14 Püf Prüfungsorganisation: Statusgruppen t bei eklausuren Studierende Aufsichten Autor Editor Verwaltung elearning-support 27 Checkliste für Prüfungseinstellungen 28

15 Informationsmanagement 29 TMT Dateiaustausch, Planung und Prozessmanagement 30

16 Prüfungsplanung (1) 31 Prüfungsplanung 32

17 Dateiaustausch 33 Fragenerstellung und Qualitätssicherung Fragenerstellung Prüfkriterien Kommentare Studierende Statistische Auswertung Einstellungstest Katalog Revision Kontrolle Autoren Katalogtest Kontrolle ZMML o Inhaltsvalidität o Konstruktvalidität o Fragestellung o Bewertung o Schwierigkeitsgrad o Trennschärfe o Thematische Zuordnung o Zeitbedarf o Layout und Funktion

18 Prüfungsablauf Raumvorbereitung Instruktion der Teilnehmer durch die Aufsichten Einloggen (Nachname, Matrikelnummer) Prüfungsstart Bearbeitung Manuelle Abgabe oder Zeitablauf Ggf. Ergebnismitteilung itt il / Einsicht i Raumabschluss Testcenterfilm 35 Prüfungsablauf Testcenterfilm 36

19 Testcenternutzung Externe Einstufungstests 200 Softwareprüf. Probeklausuren Einsichten 80 eklausuren Erö öffnung TC Testcentertermine 12/ /2010 (n=337) WiSe11/12: 8900 Anmeldungen / Prüfungsleistungen g 37 Testcenternutzung 50 Prüfungstermine e / Monat Jan. Feb. Mrz. Apr. Mai Jun. Jul Aug. Sep. Okt. Nov. Dez

20 Aktuell mögliche Fragetypen M ultimedia, Softw ware, Int ernet Anlagen n (Scripte e, PDF) Kom mplexe Freitextfragen Kurzeingabe Zahlen/Texte Freies Positionieren Zuordnen / Sortieren (Texte, Graphiken) Antwortpaare (z.b. Ja/Nein) Multiple Choice Single Choice Offen Ge schlosse en (autom m. Bewer rtung) Freie Eing gabe Antwort-W Wahl-Verf fahren 4% 16% 80% Anteil (n n=1613) SoSe09 + WS09/ /10 39 Streitpunkt: Validität von eklausuren eklausuren = 100% MC? MC = Reproduktion von Faktenwissen 100% Faktenwissen geringe g Validität eklausuren = Freitext Kurztexte und Zahlen Zuordnungen Videoessays Hörverständnis. MC ABER = Beurteilung Synthese Analyse Anwendung Verständnis Faktenwissen!

21 Prüfungszusammenstellungen (SoSe09 + WS09/10, n=52) Nur Freitext 2% A.W.V. + Kurzeingabe + Freitext 27% 29% Nur Antwortwahlverfahren (A.W.V.) 42% A.W.V. + Kurzeingabe 41 Rechtliche Fragen Curriculare Einbindung Validität Fairnessgebot / Prüfungsgerechtigkeit Eindeutige Zuordnung und Revisionssicherheit Datenschutz und Datensicherheit siehe auch:

22 Allgemeiner Teil der BPO Klausuren im Antwort-Wahl-Verfahren (A.W.V.) sind zulässig Wenn A.W.V., dann Regelungen für PA und Prüfende in der fachspezifischen PO Schrifliche Prüfungen können auch in elektronischer Form stattfinden Bei eklausuren wird den Studierenden die Möglichkeit gegeben, sich mit dem Prüfungssystem vertraut zu machen Datenschutzbestimmungen sind einzuhalten 43 Fachspezifische Prüfungsordnung -1 (Bsp. WiWi) eklausuren zulässig, sofern geforderte Kompetenzen adäquat geprüft werden Prüfungen im A.W.V. von einem Prüfer vorzubereiten (Auswahl, Formulierung, Antwortmöglichkeiten, Bewertung!) Bewertungsschema vorab festgelegen Punktabzug innerhalb einer Aufgabe zulässig Fragen zweifelsfrei f i verstehbar, eindeutig beantwortbar tb und für Kenntnisnachweis geeignet Zufallsauswahl aus Pool gleichwertiger Aufgaben zulässig 44

23 Fachspezifische Prüfungsordnung -2 (Bsp. WiWi) Aufgaben eindeutig identifizierbar, eindeutig und dauerhaft den KandidatInnen zugeordnet Fachpersonal (Aufsicht, Protokoll) Einsichtnahme gewährleisten Archivierung: Aufgaben, Bewertungsschema, Ergebnisse, Protokoll Relative Bestehensgrenze, (Durchschnitt < 50% 15%-Regel) Ausschluss fehlerhafter Fragen (max. 20%) 45 Vorteile aus Sicht der Studierenden Befragung im WiSe09/10 (n=1661, Platz 1-12) Kai Schwedes, Karsten Wolf & Jens Bücking Sofortige oder schnellere Ergebnisbekanntgabe Geringerer Auswertungsaufwand für die Lehrende Einfache, übersichtliche Darstellung und Bearbeitung Schnelles Bearbeiten der Prüfungsfragen Eingaben einfach ändern, umstrukturieren und löschen Geringerer Schreibaufwand (Antwortwahlverfahren) Keine Formulierungsprobleme dank MC Objektivität der Bewertung Stressfreies, ruhiges und konzentriertes Arbeiten Weniger Zettelwirtschaft Eindeutige Fragestellung Ratemöglichkeit und Ausschlussverfahren

24 Nachteile aus Sicht der Studierenden Befragung im WiSe09/10 (n=1661, Platz 1-12) Kai Schwedes, Karsten Wolf & Jens Bücking Lösungswege werden nicht berücksichtigt und bewertet Zu viele Wissensabfragen, die das Bulimielernen i l fördern Störender Geräuschpegel durch Tastatur und/oder Maus Keine eigenen Ideen und Begründungen Zu viele Fragen im MC-Format / zu wenig Freitextfragen Unklare, ungewohnte oder unvollständige Aufgaben eklausuren sind anstrengend und unangenehm Nur Wissen, Verständnisfragen nicht möglich Einfluss der Tippgeschwindigkeit auf die Bewertung Kein "Drumherum schreiben" und Teilwissen i anbringen Zu hoher Zeitdruck / zu viele Fragen Keine Darstellung von Zusammenhängen möglich Vorteile aus Sicht der Lehrenden Interviewserie Okt./Nov (n=19), Erstnennung 3 Punkte, Zweitnennung 2 P., jede weitere 1 P. Zeitersparnis (autom. Korrektur, Lesbarkeit der Freitexte) Hohe Objektivität + eindeutige Bewertung Gute Unterstützung der Prüfungsprozesse Bessere, neu durchdachte Abstimmung Prüfungsfragen - Lernziele Präzisere Fragestellung Einfacherer Einsatz von Fotos und Graphiken Sofortige Ergebnisbekanntgabe für die Studierenden Einsatz von Anwendungssoftware Statistische Auswertung der Ergebnisse und Fragenkataloge

25 Nachteile aus Sicht der Lehrenden Interviewserie Okt./Nov (n=19), Erstnennung 3 Punkte, Zweitnennung 2 P., jede weitere 1 P. Keine Berücksichtigung von Lösungswegen und Folgefehlern Rationalisierung führt zum Verzicht auf Interpretationsaufgaben Hoher Initialaufwand für die Erstellung des Fragenkataloges Geschlossene Anwendungs- und Transferfragen schwer zu erstellen Konstruktion guter Fragen mit hoher Trennschärfe ist schwierig Rechtsunsicherheit Nachbewertung von Freitextfragen dauert länger als auf Papier Bei langfristiger Nutzung werden auch große Kataloge bekannt Probleme mit der VPN-Verbindung behinderten die Nachbewertung Fazit: Einfluss der eklausuren auf die Prüfungsqualität Auswertungs- und Durchführungsökonomie sind deutlich gestiegen Objek tivität Lehrende schätzen die höhere Objektivität Studierende schätzen die schnellere Ergebnisrückmeldung Prüfungsqualität Prüfungen zugenommen Auswendiglernen hat bei einigen Reliabilität Validität Einfluss auf die Validität ist sehr unterschiedlich Ökonomie

26 Wichtigste Erfahrungen nach 7 Jahren eassessment Prüfungs- und Fragenformate bestimmen nicht über die Validität Prüfungsdidaktische Beratung muss ausgebaut werden Gewonnene Zeit muss von den Lehrenden in Teilen reinvestiert werden Formative Prüfungsformen wären oft besser geeignet, aber... Dauerhafte Sicherung und Finanzierung von Personal und Infrastruktur des eassessment-services unumgänglich g 51 Vielen Dank für Ihre Aufmerksamkeit eassessment@uni-bremen.de 52