Das Trierer Inventar zur Lehrevaluation modular

Transkript

1 Das Trierer Inventar zur Lehrevaluation modular Mario Gollwitzer (Universität Koblenz-Landau) Workshop Qualitätssicherung der Lehre Trier, Arbeitskreis "Lehrevaluation" an der Universität Trier ( ) Autoren des TRIL : Elisabeth Gläßer Mario Gollwitzer Dirk Kranz Christian Meiniger Wolff Schlotz Tatjana Schnell Andreas Voss 1

2 Arbeitskreis "Lehrevaluation" an der Universität Koblenz-Landau Autoren des TRIL-MOD : Mario Gollwitzer Christine Altstötter-Gleich Tobias Gschwendner-Lukas Service und Administration (Freiwillige fächerübergreifende Lehrveranstaltungsevaluation an der Universität Koblenz- Landau) durch das Zentrum für Methoden, Diagnostik und Evaluation ( Methodenzentrum ) Dimensionen des TRIL_1 Hauptskalen: Struktur und Didaktik (6) Anregung und Motivation (5) Interaktion und Kommunikation (5) Persönlicher Gewinn (4) Anwendungsbezug (4) (Qualität studentischer Referate; 4) Weitere Items bezüglich: Ausmaß der Vor- und Nachbereitung Ansprechbarkeit des Dozierenden Angemessenheit der Arbeitsanforderungen Fehlzeiten Grund für die Teilnahme an der Veranstaltung Gesamtbeurteilung 2

3 Kritik am TRIL_1 keine Differenzierung nach Veranstaltungstypen Problem der Testfairness (z.b. Es fanden ausreichend Diskussionen statt ist für Vorlesungen weniger geeignet) globale, teilweise mehrdeutige Formulierungen (z.b. Ich habe in dieser Veranstaltung etwas Sinnvolles und Wichtiges gelernt ) veranstaltungstypspezifische Aspekte der jeweiligen Qualitätsdimension fehlen (z.b. Wechsel der Lehrmethoden, Möglichkeit aktiver Mitgestaltung, Zeitmanagement etc.) Skala Persönlicher Gewinn erfasst nicht ein Merkmal der Veranstaltung, sondern eher ein Merkmal des Lernenden Skala Interaktion und Kommunikation ist nicht homogen Spezielle veranstaltungsspezifische Aspekte fehlen (z.b. Nützlichkeit von Hausaufgaben, Gruppenarbeiten etc.) Dimensionen des TRIL-MOD Hauptskalen ( Basismodul ): Struktur und Didaktik (7) Anregung und Motivation (7) Sprache und Rhetorik (4) Interaktion und Gesprächsführung (6) Praxisrelevanz und Anwendungsbezug (5) Zusatzmodule (optional): Nützlichkeit und Betreuung von Referaten Nützlichkeit und Angemessenheit von Hausaufgaben Betreuung außerhalb der Veranstaltung Nützlichkeit und Qualität von Online-Tools und -Materialien Weitere Items:... wie im TRIL_1 spezifisch formuliert für Vorlesungen Seminare Übungen/Praktika 3

4 Itemkonstruktion TRIL_1: Screening verfügbarer Evaluationsinstrumente (z.b. HILVE) Konzeptuelle Gemeinsamkeiten Expertenbefragung im Fach Psychologie Auswahl, Anpassung und ggf. Neukonstruktion entsprechender Items Schrittweise Verbesserung der Messeigenschaften des TRIL anhand empirischer Gütekriterien ( ) TRIL-MOD: Vorgabe der TRIL-Konstrukte und deren konzeptuelle Beschreibung an Psychologiestudierende in Landau (Seminar Testkonstruktion ) Facettentheoretische Itemkonstruktion: Ermittlung beobachtbarer Verhaltensindikatoren für jedes Konstrukt und Anpassung an veranstaltungstypspezifische Rahmenbedingungen Nachbesserung anhand empirischer Gütekriterien (zum WS 06/07) Items anderer Evaluationsinstrumente Beispiel 1: Medizinische Hochschule Hannover (Fragebogen zur Evaluation von Lehrveranstaltungen durch Studierende, FELS-L) "Die Veranstaltung war effizient (verglichen mit dem Selbststudium)." "Die Lehrkraft hielt die Aufmerksamkeit durch ihren Stil." Beispiel 2: Universität Jena (Projekt "Evaluation der Lehre"; Fragebogen zur Evaluation von Lehrveranstaltungen) "Wie beurteilen Sie die Gruppenleitung durch die Dozentin bzw. den Dozenten?" (1 = schlecht bis 7 = gut) Beispiel 3: Fachhochschule Heilbronn (Zentrum für Hochschuldidaktik, Evaluation und angewandte Forschung) "Das vermittelte Fachwissen finde ich..." 1 = tiefgründig bis 5 = oberflächlich 1 = ganzheitlich bis 5 = schmalspurig 4

5 Items anderer Evaluationsinstrumente Beispiel 4: Fragebogen "HILVE" (Rindermann, 1996) "Ich verstehe alles." Beispiel 5: Medizinische Hochschule Hannover (FELS-L) "Die Lehrkraft war vorbereitet." Beispiel 6: Bundeswehr-Universität München (Fakultät für Informatik; Evaluationsfragebogen des Studiendekans) "Die Korrektur meiner Lösungen [der Übungsaufgaben] ist hilfreich." Beschreibung der TRIL-Skalen Skala Struktur und Didaktik Anregung und Motivation Sprache und Rhetorik Interaktion und Gesprächsführung Praxis- und Anwendungsbezug Hohe Werte bedeuten, dass die Veranstaltung gut strukturiert und die Lehrmaterialien hilfreich und übersichtlich waren.... die Veranstaltung als motivierend erlebt wurde und der Dozent selbst schwierige Inhalte gut erklären konnte.... der Lehrende akustisch verständlich, klar und flüssig gesprochen und den Kontakt zum Plenum gehalten hat.... ausreichend Möglichkeit bestand, sich selbst einzubringen und Diskussionen hilfreich und gut geführt waren.... ausreichend praxisnahe Bezüge und Beispiele gegeben und die Inhalte kritisch auf ihre Brauchbarkeit hin reflektiert wurden. Niedrige Werte bedeuten, dass die Gliederung der Inhalte zu wenig nachvollziehbar war und die Materialien als nicht hilfreich zur Verbesserung der Struktur erlebt wurden.... die Inhalte zu wenig verständlich und interessant vermittelt wurden und die Atmosphäre zu wenig anregend war.... der Rede- und Vortragsstil des Lehrenden ein konzentriertes Zuhören nicht ausreichend ermöglicht hat.... die Menge bzw. die Führung der Diskussionen und Redebeiträge als nicht hilfreich bzw. ausreichend erlebt wurden.... es mehr Bezüge zwischen Theorie und Anwendung, praxisnahere Beispiele oder mehr kritische Reflexionen hätte geben können. 5

6 Erste Anwendung des TRIL-MOD Pilotlauf im Sommersemester 2006: Universität Trier (vermittelt über Koordinationsstelle E-Learning) Universität Koblenz-Landau (v.a. Fachbereich Psychologie) Stichprobe: 29 Dozierende, 63 Veranstaltungen, 1266 Studierende Ziel: Dimensionierung der erfassten Qualitätsfacetten Ermittlung der Testgütekriterien des TRIL-MOD Statistische Kennwerte Dimension Didaktik Diskussion Anregung Rhetorik Praxisbezug Mittelwert Vorlesungen Mittelwert Seminare Mittelwert Übungen Streuung Intra-Class-Korrelation Reliabilität (Alpha) Antwortskala: 1 (negativ) bis 6 (positiv) 6

7 Skaleninterkorrelationen Didaktik Anregung Rhetorik Diskussion Praxisbezug Didaktik Anregung Rhetorik Diskussion Praxisbezug oberhalb/gelb: Korrelationen auf Studierendenebene (innerhalb Veranstaltungen) unterhalb/blau: Korrelationen auf Veranstaltungsebene (zwischen Veranstaltungen) Kritik an studentischer Lehrveranstaltungsevaluation Studierende bewerten Veranstaltungen stets zu positiv. Die Urteile sind nicht valide aufgrund von selektiven drop-outs bzw. Selbstselektionseffekten. Studierende können nicht beurteilen, ob eine Veranstaltung wirklich gut war (weil sie noch nicht genügend Wissen oder Erfahrung haben). Studierendenurteile können nicht zwischen Merkmalen der Veranstaltungsqualität unterscheiden. Studierende bewerten nicht den Lehrenden, sondern vielmehr sich selbst. Studierendenurteile sind verzerrt durch irrelevante Faktoren (Persönlichkeit des Lehrenden, Teilnahmemotivation, Sympathie etc.). 7

8 Validität studentischer Urteile Die [...] Antworten auf bewertende [...] Fragen haben nicht den Status von Evaluation als methodisch kontrollierter, empirischer Qualitätsbewertung. Ermittelt wird lediglich die Akzeptanz (oder Nicht-Akzeptanz), auf die der beurteilte Sachverhalt bei den Befragten stößt; und die hängt im wesentlichen ab von Merkmalen der Befragten und nur relativ gering von Merkmalen des beurteilten Sachverhalts. Kromrey, H. (2001). Evaluation von Lehre und Studium Anforderungen an Methodik und Design. In C. Spiel (Hrsg.), Evaluation universitärer Lehre zwischen Qualitätsmanagement und Selbstzweck (S ). Münster: Waxmann. Validität studentischer Urteile TRIL-Skala: SD AM IK AB Var (zw. Doz.) (Ebene 3): Komponente: 0.188* 0.150* 0.146* anteilig: 25% 18% 16% 9% Var (Ver. in Doz.) (Ebene 2): Komponente: 0.040* 0.079* 0.159* 0.084* anteilig: 5% 9% 17% 11% Var (Stud. in Ver.) (Ebene 1): Komponente: 0.519* 0.610* 0.621* 0.607* anteilig: 70% 73% 67% 80% 8

9 Validität studentischer Urteile Gute Lehrevaluationsresultate spiegeln nicht die Lehrqualität des Dozenten, sondern die Beliebtheit des Lehrers oder des Themas wider. Wer das verkennt, sitzt dem Irrtum auf, die bessere Musik werde stets dort gespielt, wo das Publikum am lautesten klatscht. Wird so evaluiert, so haben die Berliner Philharmoniker gegenüber Ernst Mosch keine Chance. Mußgnug, R. (1992). Gefährden Lehrevaluationen die Freiheit der Wissenschaft? Mitteilungen des Hochschulverbandes, 4, Validität studentischer Urteile TRIL-Skala Wo. 1 Wo. 2 Wo. 3 gesamt Struktur und Didaktik * Anregung und Motivation * Interaktion und Kommunikation.95*.89*.91*.90* Anwendungsbezug * p <.05 N = 5 N = 15 aus Gollwitzer, Kranz & Vogel (2006) 9

10 Fazit TRIL-MOD ist ein mehrdimensionales, universell anwendbares Instrument zur studentischen Evaluation universitärer Lehrveranstaltungen. Die Konstruktion des Messmodells und die Itemkonstruktion orientieren sich an fundierten theoretischen und empirischen Überlegungen. Die Items sind veranstaltungstypspezifisch formuliert; dadurch erhöht sich die Testfairness; Items erfassen spezifischere Verhaltensweisen. Die Pilotversion des TRIL-MOD weist gute interne Konsistenzen sowie ausreichende Intra-Class-Korrelationen auf. Die Skaleninterkorrelation ist auf Veranstaltungsebene höher als auf Studierendenebene: Studierende können also durchaus unterschiedliche Facetten bei der Beurteilung auseinander halten. Auf welcher Ebene eine Skala differenziert, hängt von dem erfassten Merkmal ab. Studierendenurteile decken sich mit Expertenbeurteilungen. Das Trierer Inventar zur Lehrevaluation modular Mario Gollwitzer Kontakt: Workshop Qualitätssicherung der Lehre Trier,