Freiwillige Lehrveranstaltungsbewertung im Fachbereich Sozialwesen im Sommersemester 2012

Transkript

1 Freiwillige Lehrveranstaltungsbewertung im Fachbereich Sozialwesen im Sommersemester 2012 Ausgewählte Ergebnisse Zur Validierung des Fragebogeninstruments vgl. Präsentationen LVB WS 07/08 WS 08/09; zur Normierung vgl. Präsentation SoSe 08 ( Eichstichprobe )

2 Inhaltsverzeichnis 1. LVB Sommersemester Stichprobenbeschreibung 3. Profillinienvergleiche 4. Indizes 5. Fazit

3 1. LVB SoSe 2012 Die Durchführungsphase der Befragung startete nach Absolvierung des zweiten Drittels des Semesters ( ) und endete zwei Wochen vor Ende der Vorlesungszeit ( ). In diesem Semester wurden wiederum Lehrbeauftragte eingeladen an der Lehrveranstaltungsbewertung teil zu nehmen. Dies erzeugte eine deutlich positivere Resonanz als in den Semestern zuvor. Nach Eingang der ausgefüllten Fragebögen konnten die automatisch generierten Einzelberichte - zuzüglich vorhandener Vergleichswerte - unmittelbar per an die Dozenten oder Lehrbeauftragten zurückgemeldet werden, so dass eine Ergebnisdiskussion mit den Studierenden erfolgen konnte! Die Einzelberichte enthalten neben den auch grafisch aufbereiteten - statistischen Kennwerten zu allen Einzelitems (Fragen) sieben Indikatoren zu zentralen Dimensionen der Lehrqualität, in denen Informationen zu 26 Einzelitems verdichtet werden. Zur Indikatorenbildung auf Basis von Faktoren- und Regressionsanalysen vgl. Präsentationen LVB W07 W08!

4 1. LVB SoSe 2012 Diese Indikatoren (Org. Rahmenbedingen, Instruktionsqualität, Anforderungen, Motivierung/ Unterstützung, Vorwissen/ Studierverhalten, Lernerfolg, Gesamturteil) werden mit den entsprechenden Werten der Eichstichprobe SoSe 08 verglichen, so dass Lehrende nicht nur einen schnellen Überblick über die Bewertungen ihrer eigenen Veranstaltung erhalten, sondern auch deren relative Position im Vergleich zu anderen einschätzen können. In die repräsentative Eichstichprobe (n = 4033) ging jeder hauptamtlich Lehrende jeder Abt. mit mindestens zwei Veranstaltungen ein (vgl. Präsentation LVB S08). Vergleiche finden dabei nur innerhalb folgender Gruppen statt: Seminar <= 20 TN, Sem TN, Sem. > 40 TN, Vorlesung <= 45 TN, Vorl TN, Vorl. >= 100 Teilnehmer (gleiche Veranstaltungsart, vergleichbarer Teilnehmerzahl!) Signifikante positive oder negative Abweichungen von den Vergleichswerten werden im Profillinienvergleich dargestellt und farblich markiert, so dass die Lehrenden mit einem Blick bedeutsame Stärken und Schwächen ihrer Veranstaltungen erfassen können. Die Relevanz der Evaluationsaktivitäten für die Studierenden und die Dozenten wurde so unterstrichen und entspricht den Zielen, die aus den Erfahrungen der ersten Befragungen mit EvaSys sowie aus der LVB 2003 abgeleitet wurden.

5 1. LVB SoSe 2012 Nach wie vor gingen einige Bögen erst in der letzten Woche bzw. nach Ende der Vorlesungszeit ein (bis ), so dass keine Rückmeldung der Ergebnisse an die Studierenden mehr erfolgen konnte. Hier besteht Verbesserungsbedarf, um mittel- und langfristig die Motivation zur Teilnahme zu erhalten! Da Lehrqualität ein Interaktionsprodukt darstellt, sind Ergebnisrückmeldung und -diskussion an/ mit den Studierenden zentrale Bausteine des Qualitätsprozesses. Nur zusammen mit ihnen können Ergebnisinterpretationen gesichert und nachhaltige Konsequenzen abgeleitet werden. Die Resonanz der Lehrbeauftragten war dagegen sehr positiv. Durch eine rege Beteiligung und die Ergebnisrückmeldung an die Studierenden konnte die Durchführung der Seminare diskutiert werden. Dabei gewannen vor allem Lehrbeauftragte, die zum ersten mal ein Seminar gehalten haben, an Erfahrung. Die Evaluation stellte ein sehr hilfreiches Instrument für Sie da, sich im Vergleich zu anderen zu messen und ihre Leistungen einzuschätzen. Für die nächsten Semester ist es weiterhin notwendig die Lehrbeauftragten frühzeitig über die Evaluation zu informieren, da Sie ihre Veranstaltungen oft in Blockform durchführen.

6 2. Stichprobenbeschreibung Insgesamt teilnehmende Lehrpersonen: 35 ( 10 AC, 17 K, 3 MS, 5 PB), davon 16 Lehrbeauftragte 55 Lehrveranstaltungen (46 Seminare, 9 Vorlesungen) ausgefüllte und zurückgesandte Fragebögen: 1568 von 2109 angeforderten Bögen: Bruttorücklaufquote (Br) = 74,3% Stabiler Rücklauf (S07 = 67,3%; W07 = 70,0%; S08 = 70,4%; W08 = 66,2%; S09 = 70,3%; W09 =69,9%; S10= 66,7%; WS10=71,9%; S11 = 69,9%; WS11 = 74,1%) Im Vergleich zu anderen freiwilligen Lehrevaluationen liegt die Beteiligung im SoSe 12 (n = 1568) im oberen Toleranzbereich, nahm im Vergleich zum vorigen Semester jedoch ab. (Spannweite: n=736 W08 n=1863 W07). Im Bezug auf die verbindliche Eichstichprobe SoSe 08 (n = 4036) wurden freiwillig 38,9% erreicht. Zudem verteilen sich Anzahl ausgewerteter Fragebögen/ Veranstaltungen/ einbezogener Lehrender hier und bei den anderen freiwilligen Lehrevaluationen höchst unterschiedlich auf die vier Fachbereiche Sozialwesen.

7 100% Bruttoteilnahmequote ab SoSe 2003 (ab S07 durchgängig mit EvaSys): Verhältnis angeforderter/ zugesendeter und ausgewerteter Fragebögen (absolute Zahlen in Säulen) - S07 Testlauf, S08 Eichstichprobe - Normierung 90% 80% % 60% 50% keine Rücksendung ausgewertet 40% 30% % 10% 0% S03 S07 W07 S08 W08 S09 W09 S10 W10 S11 WS11 S12

8 Anzahl evaluierter Lehrveranstaltungen pro Abteilung ab SoSe 2003 (ab S07 durchgängig mit EvaSys): S07 Testlauf, S08 Eichstichprobe - Normierung LV Paderborn LV Münster LV Köln LV Aachen S03 S07 W07 S08 W08 S09 W09 S10 W10 S11 WS11 S12

9 Anzahl beteiligter Dozent/innen ab SoSe 2003 (ab S07 durchgängig mit EvaSys): S07 Testlauf, S08 Eichstichprobe - Normierung Lehrende Paderborn Lehrende Münster Lehrende Köln Lehrende Aachen S03 S07 W07 S08 W08 S09 W09 S10 W10 S11 WS11 S12

10 Fachbereich (Anzahl LV) Rückläufe Anteile Gesamt (n =1568) Aachen SW (16) ,1% Köln SW (22) ,2% Münster SW (4) 72 4,6% Paderborn SW (13) ,2% Geschlecht weiblich ,7% männlich ,0% k. A ,3% Abschlussgrad Bachelor ,7% Master 68 4,3%

11 Teilnehmer nach Abteilung Studiengang S12 (n=1568) (absolute Zahlen in Säulen) 100% 90% % 70% Soziale Arbeit MA 60% 50% 40% Heilpäd. 0 BA 0 0 BEiK BA SoA BA Frauen 0 AC Soziale Arbeit BA 30% 20% 10% 0% Aachen Köln Münster Paderborn Gesamt

12 Teilnehmer nach Abteilung Abschlussgrad S12 (n=1568) (absolute Zahlen in Säulen) 100% % 80% 70% 60% 50% 40% Master 0 0 Bachelor 30% 20% 10% 0% Aachen Köln Münster Paderborn Gesamt

13 Lehrveranstaltungsart nach Abteilung S12 (55 LV) (absolute Zahlen in Säulen) 100% 90% 80% % 60% 50% Vorl. Groß Vorl. Mittel Vorl. Klein 40% 30% 11 Seminar groß Seminar mittel Seminar klein 20% % 4 1 0% Aachen Köln Münster Paderborn Gesamt

14 Teilnehmer (n=1568) nach Abteilung und Lehrveranstaltungsart S12 (55 LV) (absolute Zahlen in Säulen) 100% 90% 80% % 60% 50% 40% 30% Vorlesung groß Vorlesung mittel Vorlesung klein Seminar groß Seminar mittel Seminar klein 20% % % LV n Aachen Köln Münster Paderborn

15 3. Profillinien Lehrveranstaltungsbewertung SS 2012 Es folgen ausgewählte Profillinienvergleiche aus der Lehrveranstaltungsbewertung. Mittelwerte in einer Zeitreihe (SS03-SS12) Mittelwerte nach Studiengängen Mittelwerte nach Veranstaltungsart Mittelwerte nach Veranstaltungsart und Gruppengröße Mittelwerte nach Veranstaltungsart und Abteilung

16 Lehrveranstaltungsbewertung SoSe Vergleiche ab SoSe 03 (nur n > 1000) Mittelwerte aller Veranstaltungen (1 = stimme voll zu, 5 = stimme gar nicht zu), n: S12=1568, WS11=1656, S11=1833, W10=1628, S08=4036, S03=4042 3,20 3,00 2,80 2,60 2,40 S03 S08 W10 S11 WS11 S12 2,20 2,00 1,80 1,60 1,40

17 Mittelwerte nach Studiengängen SoSe 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) 3,6 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Soziale Arbeit BA (1376) SoA BA Frauen AC (21) BEiK BA (67) Heilpäd. BA (19) Soziale Arbeit MA (67) -

18 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Mittelwerte nach Studiengängen (BASA) SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) AC BASA R (580) AC BASA F (21) K BASA (486) MS BASA (53) PB BASA (257)

19 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Mittelwerte nach Studiengängen (BEiK) SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) K BEiK (57) PB BEiK (10)

20 Mittelwerte nach Studiengängen (MASA/HP) SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) AC MASA (33) K MASA (34) 3,6 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0

21 Mittelwerte nach Veranstaltungsart SS 2012 Seminar (n=816); Vorlesung (n=734) 3,2 3,0 Seminare Vorlesungen 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4

22 Mittelwerte Veranstaltungsart Gruppengröße SS 2012 (1 = stimme voll und ganz zu, 5 = stimme gar nicht zu) 4,0 3,8 3,6 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 Sem klein (239) Sem mittel (548) Sem groß (29) Vorl klein (19) Vorl mittel (133) Vorl groß (582)

23 Mittelwerte Seminare Gruppengröße SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) 3,2 Sem klein (239) Sem mittel (548) Sem groß (29) 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2

24 MW Vorlesungen SS 2012 (1=stimme voll zu; 5 = stimme gar nicht zu) 4,0 3,8 3,6 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 Vorl klein (19) Vorl mittel (133) Vorl groß (582)

25 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Mittelwerte der Veranstaltungen nach Lehrenden SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) Dozent/in (1236) Lehrbeauftragte/r (314)

26 4. Indizes In sieben Indikatoren zu zentralen Dimensionen der Lehrqualität werden die Informationen zu 26 Einzelitems verdichtet. Zur Indikatorenbildung auf Basis von Faktoren- und Regressionsanalysen vgl. Präsentationen LVB W07 W08! Diese Indikatoren lauten: R: Organisatorische Rahmenbedingen (2 Items) I: Instruktionsqualität (8 Items) A: Anforderungen angemessen (3 Items) M: Motivierung/ Unterstützung (6 Items) VS: Vorwissen/ Studierverhalten (3 Items) LE: Einschätzungen zum Lernerfolg (4 Items) GU: Gesamturteil (Einzelitem)

27 Mittelwerte Indizes nach Studiengängen SS12 (1 = stimme voll zu, 5 = stimme gar nicht zu) Soziale Arbeit BA (1389) SoA BA Frauen AC (21) BEiK BA (67) Heilpäd. BA (19) Soziale Arbeit MA (67) 3,3 3,1 2,9 2,7 2,5 2,3 2,1 1,9 1,7 1,5 1,3

28 Mittelwerte nach Studiengängen (BASA) SS 12 (1 = stimme voll zu, 5 = stimme gar nicht zu) AC BASA R K BASA MS BASA PB BASA 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Org. Rahmenbedingungen Instruktionsqualität Anforderungen angemessen Motivierung/ Unterstützung Vorwissen/ Studierverhalten Subjektiver Lernerfolg Gesamtzufriedenheit

29 Mittelwerte nach Studiengängen (MASA/HP) SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) AC MASA K MASA 3,4 3,2 3,0 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Org. Rahmenbedingungen Instruktionsqualität Anforderungen angemessen Motivierung/ Unterstützung Vorwissen/ Studierverhalten Subjektiver Lernerfolg Gesamtzufriedenheit

30 Mittelwerte Indizes nach Studiengängen SS12 ' BA Bildung und Erziehung im Kindesalter BEiK' (1 = stimme voll zu, 5 = stimme gar nicht zu) 3,0 K BEiK PB BEiK 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4 1,2 1,0 Org. Rahmenbedingungen Instruktionsqualität Anforderungen angemessen Motivierung/ Unterstützung Vorwissen/ Studierverhalten Subjektiver Lernerfolg Gesamtzufriedenheit

31 Mittelwerte Indizes Veranstaltungsart/ -größe SS 2012 Sem <=20 (n=239); Sem (n=548); Sem >40 (n=29); Vorl <=45 (n=19); Vorl (n=133); Vorl>=100 (n=582); (1 = stimme voll und ganz zu, 5 = stimme gar nicht zu) 3,2 3,0 2,8 Sem klein Sem mittel Sem groß Vorl klein Vorl mittel Vorl groß 2,6 2,4 2,2 2,0 1,8 1,6 1,4 Org. Rahmenbedingungen Instruktionsqualität Anforderungen angemessen Motivierung/ Unterstützung Vorwissen/ Studierverhalten Subjektiver Lernerfolg Gesamtzufriedenheit

32 3,0 Mittelwerte Indizes nach Lehrenden SS 2012 (1 = stimme voll zu, 5 = stimme gar nicht zu) Dozent/in (1236) Lehrbeauftragte/r (314) 2,8 2,6 2,4 2,2 2,0 1,8 1,6 1,4

33 Mittelwerte Indizes Semestervergleich n:s12=1563, W11=1637, W10=1628, S10=1157, W09=1328, S09=1281, S08=4036, W07=1863 2,9 2,7 2,5 W 07 S 08 S 09 W 09 S 10 W 10 W 11 S 12 2,3 2,1 1,9 1,7 Org. Rahmenbedingungen Instruktionsqualität Anforderungen angemessen Motivierung/ Unterstützung Vorwissen/ Studierverhalten Subjektiver Lernerfolg Gesamtzufriedenheit

34 5. Fazit Im Vergleich zum vorigen Semester verbesserten sich die Ergebnisse wieder. Vor allem die Dimension Organisatorische Rahmenbedingungen schnitt im Vergleich zur Eichstichprobe im SoSe 08 besonders gut ab. Die anderen Indikatoren behielten ihr Vorjahresniveau. Im Vergleich zur Eichstichprobe zeigten wiederum die Indikatoren (Instruktionsqualität, Org. Rahmenbedingungen, Anforderungen angemessen, Motivierung/Unterstützung, Gesamtzufriedenheit) eine Verbesserung. Bei den Indikatoren, die sich direkt mit den Studierenden befassen (Vorwissen/Studierverhalten, subjektiver Lernerfolg) trat eine Angleichung an die Eichstichprobe im SoSe 08 auf. Diese Ergebnisse knüpfen wieder an die Ergebnisse von vor einem Jahr an. Das typische Indikatorenprofil der vorangegangenen Lehrveranstaltungsbewertungen bleibt auf einem mittleren Niveau erhalten, wobei sich die Organisatorischen Rahmenbedingungen deutlich positiv abheben. 6 Indikatoren im Bereich von 1,9/ 2,0; der Indikator Vorwissen/ Studierverhalten reißt wieder deutlich aus (MW = 2,7). Im Vergleich zu der Vorerhebung im WS11 verbessern sich alle Ergebnisse um den Wert 0,1 bis 0,2. In diesem Semester schneiden im Vergleich der Veranstaltungsart Seminare wieder besser ab, als Vorlesungen. Dennoch schneiden die Veranstaltungen der Größe Seminar mittel teilweise schlechter ab, als Vorlesungen.

35 5. Fazit Zudem wurden häufiger mittlere und Seminare mit einer größeren Studierendenanzahl, als kleine Seminare evaluiert. Dies könnte ein Ergebnis der Erhöhung der Studierendenzahlen sein. Erfreulich zeigte sich die große Teilnahme von Lehrbeauftragten. Fast 46% der evaluierten Veranstaltungen wurden von Lehrbeauftragten gehalten. Die Zahl der Veranstaltungen (n=55) bleibt zwar zum Wintersemester gleich, doch verteilte sich die Anzahl der Veranstaltungen auf deutlich mehr Lehrende. Im Vergleich der Lehrbeauftragten und Dozenten zeigen sich in diesem Semester im Bezug auf die Indikatoren Instruktionsqualität und Org. Rahmenbedingungen nennenswerte Unterschiede. Die Instruktionsqualität wird bei Dozenten viel besser (MW=1,9) eingeschätzt als bei Lehrbeauftragten (MW=2,3). Hier zeigt sich die Unerfahrenheit der Lehrbeauftragten, die zum ersten Mal ein eine Veranstaltung geben. Dagegen schneidet der Indikator Org. Rahmenbedingungen bei Lehrbeauftragten (MW=1,8) deutlich besser ab, als bei Dozenten (MW=2,1). Mit Blick auf die zusammengefassten Ergebnisse besteht also - bis auf die Diskussion der Rolle des studentischen Indikators (Vorwissen, aktive Mitarbeit, Vorund Nachbereitung) für die Lehrqualität kein Handlungsbedarf. Zudem sollten Lehrbeauftragte methodisch unterstützt werden. Es ist zu beachten, dass Anzahl und Verteilung der freiwillig in die Evaluation eingegangenen Veranstaltungen kein repräsentatives Bild ergeben und somit die Ergebnisse schwer interpretierbar sind.