EVALuna. Fakultätsweite anonymisierte Online-Evaluation als Grundlage für Qualitätssicherung und Benchmarking in der Lehre

Transkript

1 EVALuna Fakultätsweite anonymisierte Online-Evaluation als Grundlage für Qualitätssicherung und Benchmarking in der Lehre Dr. T. Ganslandt, Dr. B. Marschall Binary Design GmbH

2 Hintergrund Zieldefinition Rückkopplung Effiziente Lehre Effiziente Evaluation 2

3 Hintergrund Chance Neue Approbationsordnung breite Restrukturierung Qualitätsmanagement kritische Evaluation neuer Curricula Etablierung dauerhaft tragfähiger Feedback-Mechanismen inter-institutionelles Benchmarking & Ranking Gesetzlich verankert (ÄAppO, HRG) regelmäßige Evaluation der Lehrveranstaltungen Beteiligung der Studierenden Veröffentlichung der Ergebnisse 3

4 Hintergrund Ziele und Funktionen Empfehlungen HRK/Wissenschaftsrat 1996 Transparenz Rechenschaftslegung Qualitätssicherung und -entwicklung Leistungsmessung und -vergleich Leistungsbezogene Mittelverteilung 4

5 Hintergrund Projektanforderungen zeitnah hoher Rücklauf anonym sicher nutzerfreundlich kostengünstig 5

6 Evaluationsverfahren Neue Lösungen 6

7 Methoden Workflow Evaluation Studierende Mittelvergabe Dozenten Sekretariate Indiv. Auswertung Bescheinigung Scheinvergabe Gesamtauswertung Studien- Dekanat Zertifizierung 7

8 Methoden Evaluationsformen EVALuna PROJEKTE Kursevaluation Fakultätsevaluation Mailevaluation Pakete Pakete Umfragen Veranstaltungen Veranstaltungen VERANSTALTUNGEN Themen Gruppen Gruppen Mailings 8

9 Methoden Fakultätsevaluation Fakultätsevaluation Kurs 1 Kurs 2 Kurs 3 Gemeinsamer Fragebogen Gemeinsame Auswertung 9

10 Methoden Kursevaluation Kursevaluation Kurs 1 Kurs 2 Kurs 3 Fragebogen 1 Themen 1 Gruppen 1 Fragebogen 2 Themen 2 Gruppen 2 Fragebogen 3 Themen 3 Gruppen 3 Auswertung 1 Auswertung 2 Auswertung 3 10

11 Methoden Mailevaluation EVALuna Mailer Mailevaluation Gruppen Zugangscodes Teilnehmerliste Code-Import Mailing 1 Fragebogen Mailing 2 Mailing 3 Auswertung 11

12 Methoden Implementierung Data Logic Presentation Teilnehmer Zugangscodes User Sessions Projekte Fragebögen Antworten Mailer Userstatistik Evaluation Auswertung Verwaltung Session-Mgt. Administration EVALuna-Portal MS-Med... ER-IMI... MySQL (mod_)perl, PHP Apache / Web-Browser 12

13 Ergebnisse Anwendung in Münster Belegungen Zertifizierungen 2000 Kommentare WS01/02 0 SS WS02/ SS03 User (kumulativ) Nachrichten (kumulativ)

14 Ergebnisse Zeitlicher Verlauf 100 Beurteilen Sie die Veranstaltung auf einer freien Skala: besser schlechter 14 0 WS 2001 SS 2002 WS 2002 SS 2003

15 Ergebnisse Ranking 100 Beurteilen Sie die Veranstaltung auf einer freien Skala: besser schlechter 0 15

16 Diskussion Wirkung Ziele erreicht hoher Rücklauf Wahrung der Anonymität hohe Akzeptanz zeitnaher Einsatz Optimierung der Lehre Identifikation kritischer Bereiche Fokussierung der Ressourcen unmittelbare Auswirkungen auf Lehrveranstaltungen 16

17 Ausblick Funktionalität Mehrsprachlichkeit Unabhängigkeit vom Fach Medizin erweiterte Zugangsmöglichkeiten erweiterte Auswertungen Versionierung der Fragebögen Evaluationsworkflows (Delphi-Verfahren) Professionalisierung Spin-off zum Vertrieb des Systems überregionales Angebot nach dem ASP-Modell 17

18 Ausblick 11/2002 Medica 11/2001 Medica 06/2003 Wissenschaftstage NRW Moskau 18 02/2003 Learntec Karlsruhe 05/2001 WEM Vancouver