Zur Praxis von Lehrveranstaltungsevaluationen

Transkript

1 Zur Praxis von Lehrveranstaltungsevaluationen Untersuchungen zur differenzierten Analyse und Optimierung der Gestaltung von LVE-Verfahren DeGEval-SEVAL, Dipl.-Psych. Marcus Raser Justus-Liebig-Universität Gießen, Germany FB Psychologie und Sportwissenschaft Professur Hochschuldidaktik und Evaluation

2 Lehrveranstaltungsevaluation (LVE) LVE-Verfahren sollen der Qualitätssicherung in der Lehre dienen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 2

3 (Mögliche) Funktionen von LVE Für Lehrende Verbesserung der eigenen Lehre Hinweise zur hochschuldidaktischen Weiterqualifikation Für Verwaltung Teil von Lehrberichten (Re-)Akkreditierungsverfahren Für Personalmanagement Auswahlkriterium in Berufungsverfahren Steuerung der Personalentwicklung Für Studierende Auswahl von Studiengängen und Lehrveranstaltungen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 3

4 Stellschrauben von LVE-Verfahren Inhaltlich unterschiedliche Qualitätsverständnisse Methodisch Instrument (HILVE, BEvaKomp, etc.) Qualitative/quantitative Daten Zeitlicher Ablauf Erhebung (Mitte, Ende der LV) Differenziert nach Statusgruppen und Erfahrung Durchführung Uni/FB/Lehreinheit/individuell Online/Papier/Mobile Endgeräte Vollerhebung/selektiv/zufällig Rückmeldung Urheber Vergleichsnormen Begleitinformation Ownership Verbindlichkeit/Folgen Partizipation Responsivität Raser - Zur Praxis von Lehrveranstaltungsevaluationen 4

5 (Mögliche) Funktionen von LVE Für Lehrende Verbesserung der eigenen Lehre Hinweise zur hochschuldidaktischen Weiterqualifikation Für Verwaltung Teil von Lehrberichten (Re-)Akkreditierungsverfahren Für Personalmanagement Auswahlkriterium in Berufungsverfahren Steuerung der Personalentwicklung Für Studierende Auswahl von Studiengängen und Lehrveranstaltungen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 5

6 keine Effekte ohne zusätzliche Beratung oder Training (vgl. z.b. Rindermann, 2003; Böttcher & Grewe, 2010) Raser - Zur Praxis von Lehrveranstaltungsevaluationen 6

7 Welche theoretischen Annahmen liegen der Hypothese LVEs verbessern die Lehre von Lehrpersonen zugrunde? (vgl. Hense, 2010) Raser - Zur Praxis von Lehrveranstaltungsevaluationen 7

8 Theory of Evaluation Influence (adaptiert nach Mark & Henry, 2004, p. 46 ) Raser - Zur Praxis von Lehrveranstaltungsevaluationen 8

9 Arbeitsmodell Derzeit in Entwicklung: ELVE Instrument zur Erfassung der Einflussmechanismen von LVEs Raser - Zur Praxis von Lehrveranstaltungsevaluationen 9

10 Studie 1 (geplant): Responsivität Einflussmechanismen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 10

11 Studie 1 (geplant): Responsivität Einflussmechanismen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 11

12 Studie 2 (geplant): Ergebnisrückmeldung Einflussmechanismen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 12

13 Studie 2 (geplant): Ergebnisrückmeldung Einflussmechanismen Hintergrund Variation von Rückmeldungsquelle, Rückmeldeformat und der Begleitinformationen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 13

14 Studie 3: Erhebungszeitpunkt und -medium Datenqualität & Rücklauf Raser - Zur Praxis von Lehrveranstaltungsevaluationen 14

15 Problemstellung Paper LVEs: hoher Aufwand Web-based LVEs: niedrige Rücklaufquote Können LVE-Verfahren zukünftig mit mobilen Endgeräten durchgeführt werden? aber produzieren diese vergleichbare Datenqualität & Rücklauf? handhelds web-based paper Raser - Zur Praxis von Lehrveranstaltungsevaluationen 15

16 Liegt es wirklich am Erhebungs-Medium? Warum sinkt bei web-basierten LVEs die Rücklaufquote? paper web-based = Rücklauf sinkt? in class after class = Rücklauf sinkt? (Kordts-Freudinger & Geithner, 2013) Raser - Zur Praxis von Lehrveranstaltungsevaluationen 16

17 Design Randomisiertes 3x2 Design paper handheld web-based after-class in-class Raser - Zur Praxis von Lehrveranstaltungsevaluationen 17

18 Wichtige Kriterien der Datenqualität von LVEs Abhängige Variablen 1) Rücklaufquote 2) Datenqualität Anzahl fehlender Werte Quantität der offenen Antwort Qualität der offenen Antwort Ehrlichkeit Nützlichkeit Raser - Zur Praxis von Lehrveranstaltungsevaluationen 18

19 Hypothesen 1. in-class: Rücklauf after-class: Rücklauf Theoretischer Hintergrund: Ajzen (2012), Kordts-Freudinger & Geithner (2013), Champagne (2013) 2. paper: Quantität offener Antworten web-based: Quantität offener Antworten handhelds: Quantität offener Antworten abhängig von der Schreibgeschwindigkeit Raser - Zur Praxis von Lehrveranstaltungsevaluationen 19

20 Hypothesen 3. in-class: negative Bewertung after-class: negative Bewertung 4. in-class: Nützlichkeit & Ehrlichkeit after-class: Nützlichkeit & Ehrlichkeit Raser - Zur Praxis von Lehrveranstaltungsevaluationen 20

21 Stichprobe K=7 Seminare (9-29 VPn) N=125 VPn Alle Kurse an das Bachelor oder Masterprogramm Psychologie angebunden paper handheld web-based after-class in-class Raser - Zur Praxis von Lehrveranstaltungsevaluationen 21

22 Erste Ergebnisse 1. in-class: Rücklauf after-class: Rücklauf T-Test: t=-5.53; p<.001*** paper handheld web-based Mean after class 47.4% 16.7% 52.4% 39.7% in class 100.0% 64.7% 90.5% 86.4% Mean 75.0% 40.0% 71.4% Raser - Zur Praxis von Lehrveranstaltungsevaluationen 22

23 Erste Ergebnisse 2. paper: Quantität offener Antworten web-based: Quantität offener Antworten handhelds: Quantität offener Antworten abhängig von der Schreibgeschwindigkeit paper handheld web-based Wörter ANOVA: F=1.851; p=.171 Keine signifikante Korrelation zwischen der Schreibgeschwindigkeit und der Länge der offenen Antworten Raser - Zur Praxis von Lehrveranstaltungsevaluationen 23

24 Raser - Zur Praxis von Lehrveranstaltungsevaluationen 24

25 Stellschrauben von LVE-Verfahren Inhaltlich unterschiedliche Qualitätsverständnisse Methodisch Instrument (HILVE, BEvaKomp, etc.) Qualitative/quantitative Daten Zeitlicher Ablauf Erhebung (Mitte, Ende der LV) Differenziert nach Statusgruppen und Erfahrung Durchführung Uni/FB/Lehreinheit/individuell Online/Papier/Mobile Endgeräte Vollerhebung/selektiv/zufällig Rückmeldung Urheber Vergleichsnormen Begleitinformation Ownership Verbindlichkeit/Folgen Partizipation Responsivität Raser - Zur Praxis von Lehrveranstaltungsevaluationen 25

26 Fazit 1) Die Wirkweise von LVEs sollte differenzierter untersucht werden. ELVE (Instrument zur Erfassung der Einflussmechanismen von LVE-Verfahren) Variation von Merkmalen der LVE- Verfahren 2) LVE-Verfahren ohne explizites Qualitätsverständnis durchzuführen und die entsprechenden Stellschrauben zu drehen, wird kaum die gewünschten Effekte bzw. Funktionen erzielen Raser - Zur Praxis von Lehrveranstaltungsevaluationen 26

27 References I Ajzen, I. (2012). The theory of planned behavior. In P. A. M. Lange, A. W. Kruglanski & E. T. Higgins (Hrsg.), Handbook of theories of social psychology ( ). London, UK: Sage. Böttcher, W. & Grewe, C.M. (2010). Eine Untersuchung zur Wirksamkeit der studentischen Lehrveranstaltungskritik am Beispiel der Westfälischen Wilhelmsuniversität Münster. In P. Polenz & A. Oppermann (Hrsg.), Lehre und Studium professionell evaluieren: Wie viel Wissenschaft braucht die Evaluation? (73-82). Bielefeld: UniversitätsVerlagWebler. Champagne, M.V. (2013). Student use of mobile devices in course evaluation: a longitudinal study. Educational Research and Evaluation, 19(7), Raser - Zur Praxis von Lehrveranstaltungsevaluationen 27

28 References II Hense, J. U. (2010). Nutzen und Nutzung von Evaluation zur Unterrichtsverbesserung. In W. Schönig, A. Baltruschat & G. Klenk (Hrsg.), Dimensionen pädagogisch akzentuierter Schulevaluation ( ). Baltmannsweiler: Schneider Verlag Hohengehren. Hense, J. & Werthern, A. von (2014, March). Lehrveranstaltungsevaluation als wirksames Instrument zur Qualitätsverbesserung? Studie zu möglichen Wirkmechanismen. Poster presented at the 2. Tagung der GEBF in Frankfurt am Main, March Kordts-Freudinger, R. & Geithner, E. (2013). When mode does not matter: evaluation in-class versus out of class. Educational Research and Evaluation, 19(7), Raser - Zur Praxis von Lehrveranstaltungsevaluationen 28

29 References III Mark, M.M. & Henry, G.T. (2004). The Mechanisms and outcomes of evaluation influence. Evaluation, 10(1), Rindermann, H. (2003). Lehrevaluation an Hochschulen: Schlussfolgerungen aus Forschung und Anwendung für Hochschulunterricht und seine Evaluation. Zeitschrift für Evaluation, 2, Viebahn, P. (2004). Hochschullehrerpsychologie. Theorie- und empiriebasierte Praxisanregungen für die Hochschullehre. Bielefeld: UniversitätsVerlagWebler. All pictures by pixabay.com Raser - Zur Praxis von Lehrveranstaltungsevaluationen 29