Studentische Lehrveranstaltungsevaluation

Transkript

1 Studentische Lehrveranstaltungsevaluation online am Beispiel Münster Niklas Ahn Patrick Mehlich Vortrag auf der PsyFaKo 2006 in Dresden, 14. Januar 2006

2 In the beginning, God created the heaven and the earth. And God saw everything that he made. "Behold," God said, "it is very good." And the evening and the morning were the sixth day. And on the seventh day God rested from all His work. His archangel came then unto Him asking, "God, how do you know that what you have created is 'very good'? What are your criteria? On what data do you base your judgment? Just exactly what results were you expecting to attain? And aren't you a little close to the situation to make a fair and unbiased evaluation?" God thought about these questions all that day and His rest was greatly disturbed. On the eighth day God said, "Lucifer, go to hell. Thus was evaluation born in a blaze of glory. From Halcolm's The Real Story of Paradise Lost 1 Patton, Michael Quinn (1997). Utilization Focused Evaluation. The New Century Text. Thousand Oaks: Sage.

3 Überblick Ziel und Zweck unserer Lehrveranstaltungsevaluation Entwicklung Allgemeine Charakteristika Die Fragebogeninstrumente Online-Gestaltung Zeitlicher Ablauf Daten: Trends und Ergebnisse Allgemeine Empfehlungen und Erfahrungen

5 Ziel und Zweck Qualifikations- und Kommunikationsfunktion Summative Evaluation: Wie war s insgesamt? Hilfestellung für die Lehrenden zur Verbesserung ihrer Lehre Austausch zwischen Lehrenden und Studierenden Vergleichbarkeit von Veranstaltungen ermöglichen Offizielle (anonyme) Rückmeldemöglichkeit für Studierende Interessen des Faches Psychologie

7 Entwicklung Seit 2000: Lehrveranstaltungskritik mittels Paper-Pencil-Fragebögen in Vorlesungen initiiert und entwickelt durch den AK Evaluation der Fachschaft nur mit Einverständnis der jeweiligen Lehrenden nur Vorlesungen 2002/2003: Konstruktion von zwei speziellen Fragebögen für Vorlesungs- und Seminarevaluationen z.t. in einem Seminar unter der Leitung von Dr. Yvonne Grabbe Übernahme der Hauptverantwortlichkeit durch das Dekanat Aufbau einer Internet-Plattform und Implementierung einer Online- Version der Fragebögen

8 Entwicklung Seit 2003: Evaluation aller Vorlesungen und Seminare jeweils zum Ende des Semesters Übernahme von Anregungen durch die Dozenten anfangs bei einem Treffen in jedem Semester neuerdings in einem Internet-Forum Überarbeitung des Seminarfragebogens durch Dr. Yvonne Grabbe modulare Form 2003/2004: Verbesserung der Interface-Gestaltung Ab hier keine inhaltliche Veränderung der Fragebögen mehr 2005/2006: Verbesserung der Instrumente im Zuge einer Diplomarbeit

10 Allgemeine Charakteristika Maßgeschneidertes Instrument für die WWU Münster Obligatorische Vollerhebung aller Veranstaltungen in der Psychologie Administration, Datenerhebung, -export und -auswertung servergestützt und automatisch mittels MySQL-Datenbanken und Scriptsprache PHP Orientiert am Kommunikations- und Qualifikationsmodell (Rindermann, 1996) Kontinuierlicher Dialog und Weiterentwicklung der Evaluation Freiwillige Teilnahme der Studierenden Anonymität der Studierenden

12 Die Fragebogeninstrumente Vorlesungsfragebogen 36 Items zusammengefasst zu acht Skalen 1. Struktur (4) (α =.83) 2. Wahrgenommenes Engagement (4) (α =.86) 3. Angemessenheit des Niveaus (5) (α =.86) 4. Mediengestaltung (3) (α =.72) 5. Rhetorik (3) (α =.87) 6. Eingehen auf Studierende (4) (α =.79) 7. Interessantheit und Praxisbezug (4) (α =.85) 8. Ergänzende Materialien (2) (α =.85) Beispiel: Skala 3) Angemessenheit des Niveaus - Das Tempo der Stoffvermittlung war zu hoch. - Der/Die Lehrende erläuterte schwierige Sachverhalte verständlich. - Der/Die Lehrende passte das Niveau der Vorlesung an den Wissensstand der Studierenden an. - Der/Die Lehrende benutzte oft Beispiele, die zum Verständnis der Inhalte beitrugen. - Die in der Vorlesung behandelten Inhalte waren zu schwierig für mich.

13 Die Fragebogeninstrumente Seminarfragebogen (modular): Ein verbindliches Basismodul mit 21 Items zusammengefasst zu drei Skalen 13 optionale Module (z.b. Referate, Exkursionen oder Gruppenarbeiten) 1. Lehrverhalten/Didaktik der/des Lehrenden, Struktur und wahrgenommenes Engagement (10) (α =.92) 2. Interessantheit, Interaktion und Studierendenmitarbeit (5) (α =.79) 3. Materialien (2) (α =.86) Beispiel: Skala 2) Interessantheit, Interaktion und Studierendenmitarbeit - Die Lehrmethoden des Seminars waren abwechslungsreich - Die Inhalte des Seminars waren sehr interessant - Der/Die Lehrende gab den Studierenden die Möglichkeit, sich einzubringen (durch Fragen, Anregungen, Diskussion) - Ich habe in den Seminarsitzungen motiviert mitgearbeitet - Ich habe die Seminarsitzungen regelmäßig vorbereitet (z.b. durch das Lesen von Literatur oder die Bearbeitung von Hausaufgaben)

15 Online-Gestaltung: Die Darstellung Seminarfragebogen

16 Online-Gestaltung: Die Schnittstellen

17 Online-Gestaltung: Die Plattform Vier verschiedene Zugangsbereiche mit speziellen Operationsmöglichkeiten: 1. Der allgemeine Internetauftritt der Online-Lehrevaluation 2. Der Dozenten-Login-Bereich 3. Der Administrations-Login-Bereich 4. Der Teilnehmer-Bereich

18 Online-Gestaltung: Die Plattform 1. Internetauftritt der Online-Lehrevaluation - Öffentlich zugänglich - Archiv (Berichte, Veröffentlichungen, Zeittafel) - Allgemeine FAQs - Hall of Fame - Kontaktdaten

19 Online-Gestaltung: Die Plattform 1. Allgemeiner Internettauftritt (Startseite)

20 Online-Gestaltung: Die Plattform 2. Dozenten-Login-Bereich - Individueller Login - Ansicht der letzten Evaluationsergebnisse - Editieren der Fragebögen für eigene Veranstaltungen - Abruf der Werbehandzettel für eigene Veranstaltungen - Verfolgen des Rücklaufs für eigene Veranstaltungen - Abruf der Ergebnisdateien der eigenen Veranstaltungen - Online-Forum zur Evaluation - Dozenten-FAQs

21 Online-Gestaltung: Die Plattform 2. Dozenten-Login-Bereich (Editieren der Fragebögen)

22 Online-Gestaltung: Die Plattform 3. Administrationsbereich Administrations-Login Zugang zum Server Editieren der Veranstaltungsdatenbanken der Semester Abruf von Ergebnisdateien einzelner Veranstaltungen oder kompletter Semester-Datensätze inkl. soziodemographischer Angaben) Prüfung der Daten (z.b. Zeitprotokolle, Eingabeprüfungen zur Identifikation unmöglicher Angaben) Abruf verschiedener Statistiken und Listen Freischalten der verschiedenen Evaluationsphasen

23 Online-Gestaltung: Die Plattform 3. Administrationsbereich

24 Online-Gestaltung: Die Plattform 4. Teilnehmerbereich Aufrufen der Veranstaltungen und Ausfüllen der präsentierten Fragebögen Ansicht der letzten Evaluationsergebnisse (nur mit PSY-Login)

25 Online-Gestaltung: Die Plattform 4. Teilnehmerbereich (Veranstaltungsauswahl)

26 Online-Gestaltung: Die Plattform 4. Teilnehmerbereich (Ergebnisdarstellung) Dozent XY

28 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende

29 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Semesterferien Veröffentlichung des Berichts über den letzten Evaluationsdurchlauf

30 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Beginn der Vorlesungszeit Semesterferien Einladung aller Lehrenden in das Veröffentlichung des Berichts über den Evaluations-Forum letzten Evaluationsdurchlauf Verleihung der Pokale durch die Fachschaft Gewinnspiel-Verlosung durch die Fachschaft

31 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Beginn der Vorlesungszeit Semesterferien Einladung Sechs Wochen aller Lehrenden vor Vorlesungsende in das Veröffentlichung Freischaltung des Berichts über den Evaluations-Forum des individuellen letzten Evaluationsdurchlauf Verleihung Administrationsbereichs der Pokale durch der die Lehrenden Fachschaft Gewinnspiel-Verlosung zum Editieren der Fragebögen durch die Fachschaft

32 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Beginn der Vorlesungszeit Semesterferien Einladung Sechs Wochen aller Lehrenden vor Vorlesungsende Ab fünf Wochen vor Vorlesungsende in das Veröffentlichung Freischaltung des Berichts über den Evaluations-Forum des individuellen letzten Evaluationsdurchlauf Verleihung Administrationsbereichs der Pokale durch der Fachschaft Lehrenden Werbung unter Studierenden Gewinnspiel-Verlosung zum Editieren der Fragebögen durch die Fachschaftdurch die Fachschaft

33 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Beginn der Vorlesungszeit Semesterferien Einladung Sechs Wochen aller Lehrenden vor Vorlesungsende Ab fünf Wochen vor Vorlesungsende in das Veröffentlichung Freischaltung Vier bis zwei des Berichts über den Evaluations-Forum des Wochen individuellen vor Vorlesungsende letzten Evaluationsdurchlauf Verleihung Administrationsbereichs der Pokale durch der Fachschaft Lehrenden Werbung unter Studierenden Gewinnspiel-Verlosung zum Datenerhebung Editieren der unter Fragebögen den Studierenden durch die Fachschaft durch die Fachschaft (freiwillig; anonym)

34 Zeitlicher Ablauf Prozessgestaltung in Münster für jedes Semester Vorlesungsbeginn Semesterferien Erhebung Vorlesungsende Beginn der Vorlesungszeit Semesterferien Einladung Sechs Wochen aller Lehrenden vor Vorlesungsende Ab fünf Wochen vor Vorlesungsende in das Veröffentlichung Freischaltung Vier Direkt bis im zwei Anschluss des Berichts über den Evaluations-Forum des Wochen individuellen vor Vorlesungsende letzten Online-Präsentation Evaluationsdurchlauf der Skalenmittelwerte Verleihung Administrationsbereichs der Pokale durch der Fachschaft Lehrenden Werbung und Notenitems unter Studierenden (mit PSY-Login) Datenerhebung Gewinnspiel-Verlosung zum Editieren der unter Fragebögen den Studierenden durch ausführliche die Fachschaft Ergebnis-Dateien durch die Fachschaft an Lehrende Möglichkeit (freiwillig; anonym) zur Besprechung der Ergebnisse im jeweiligen Kurs

36 Daten: Trends und Ergebnisse N 1400 Absoluter Rücklauf über alle Semester WiSe00/01 SoSe01 WiSe01/02 SoSe02 WiSe02/03 SoSe03 WiSe03/04 SoSe04 WiSe04/05 SoSe05 Vorlesungen Seminare

37 Daten: Trends und Ergebnisse WiSe 04/05!" #$ %# &' (# %$!!% )! %!!"#$%&#!'$ ('')*+,% ('-.

38 Daten: Trends und Ergebnisse Motivation der Studierenden, an der Evaluation teilzunehmen Warum hast du an dieser Evaluation teilgenommen? Was war deine Motivation / Intention? Teilnehmermotivation Feedback Qualitätsverbesserung Unterstützung Aufforderung Gewinnspiel Information Sonstiges (Angaben in Prozent der Nennungen; Mehrfachantworten möglich)

40 Allgemeine Empfehlungen Zu beachten bei der Interpretation von studentischer Lehrveranstaltungskritik - "absoluter Gütewert" einer Veranstaltung nicht bestimmbar - Wohl aber spezifische Aspekte in "relativ gut" bis "relativ schlecht" klassifizierbar - Schluss von Lehrveranstaltungskritik lediglich auf Lehrdienstleistungen (Verfahrensparameter) erlaubt, nicht auf Ergebnisparameter (z.b. Berufsqualifikation) - Vergleiche zw. Lehrenden nur vertretbar bei Skalen zu Lehrverhalten Urteilen über mehrere verschiedene Veranstaltungen hinweg (Rindermann, 1996)

41 Erfahrungen Für uns förderliche Rahmenbedingungen (für die Akzeptanz) - frühe Einbindung aller Beteiligten in Konstruktion und Durchführung - Zusammenarbeit Dekanat - Fachschaft - Angemessene technische Ausstattung der Uni - Öffentliche Präsentation der Ergebnisse - Besprechungsmöglichkeit der Ergebnisse mit Studierenden und Lehrenden - Evaluation von Verfahrensparametern: Urteilsfähigkeit und Veränderungsmöglichkeit - Lehrpreise und Gewinnspiel

42 Erfahrungen Positive und negative Effekte für das Fach Psychologie: + Kick-off für Lehrqualitätsdebatte: Was ist gute Lehre? + erhöhtes Leistungsdenken seitens der Lehrenden + Offenlegung der Meinung der Studierenden + Studierende verbinden FS mit Evaluation + Verbesserung der Beziehung FS Dekanat + Möglichkeit von Diplomarbeiten +/- v.a. engagierte Lehrende lassen sich motivieren, Lehre zu verbessern - Validität des Instruments schwer nachweisbar (Außenkriterium?) - Items teilweise zu leicht - Kaum Zusammenhang Schulnote - Skalenmittelwert - Evaluationsmüdigkeit seitens der Studierenden

43 Fragt bitte jetzt! Eure Erfahrungen? Kontakt: Speziell für inhaltliche Fragen: Kristof Haaser Speziell für technische Fragen: Robert Moeck (Studentische Hilfskräfte im Dekanat Fachbereich 07 WWU Münster) Homepage: wwwpsy.uni-muenster.de/evaluation Literatur: Thielsch, M. T., Grabbe, Y., Haaser, K., Moeck, R. (2005). Lehrevaluation online. Vortrag auf der 7. International Conference General Online Research in Zürich. Haaser, K. & Moeck, R. (2005). Online-Lehrevaluation der Psychologie. Aktueller Bericht über das Sommersemester Verfügbar unter download/sose_2005_aktuell.pdf Haaser, K., Moeck, R. (2004). Online-Lehrevaluation der Psychologie. Bericht über das Sommersemester Allgemeiner Teil. Verfügbar unter download/sose_2004_allgemein.pdf Grabbe, Y. (2003). Zwischenbericht: Lehrevaluation. Konstruktion eines Fragebogens für Vorlesungen und Seminare. Verfügbar unter download/zwischenbericht.pdf Rindermann, H. (1996) Untersuchung zur Brauchbarkeit studentischer Lehrevaluation. Landau: Verlag Empirische Pädagogik.