Hinweise zur Interpretation und zur Arbeit mit den Ergebnissen der Lehrveranstaltungsevaluation

Transkript

1 Hinweise zur Interpretation und zur Arbeit mit den Ergebnissen der Lehrveranstaltungsevaluation Leuphana Lehrevaluation Der individuelle Ergebnisbericht enthält Einschätzungen der Studierenden zu einer konkreten Lehrveranstaltung. Die Studierenden schätzen die Lehrveranstaltung mit Hilfe standardisierter Fragebögen aus ihrer Perspektive ein. Die Fragebögen beschreiben anhand verschiedener Aspekte, wie beispielsweise den Beitrag der Lehrenden/des Lehrenden oder den eigenen, subjektiv empfundenen Kompetenzerwerb ein. Die Einschätzung erfolgt überwiegend mittels geschlossener Fragen, d. h. Fragen mit vorgegebenem Antwortformat. Die geschlossenen Fragen werden um offene Fragen ergänzt. Die Einschätzungen der Studierenden fließen in anonymer und statistisch aufbereiteter Form in die Ergebnisberichte ein. In einigen Beispielen werden die Einschätzungen der Studierenden um die Einschätzungen der Lehrenden/des Lehrenden ergänzt. Die vorliegenden Interpretationshinweise enthalten allgemeine Tipps für die Arbeit mit den Evaluationsergebnissen, Hilfestellungen für deren Interpretation und Anregungen für die Diskussion mit den Studierenden über die Ergebnisse. In den folgenden Beispielen werden die einzelnen Aspekte des Fragebogens wie beispielsweise der Beitrag des Lehrenden oder der wahrgenommene Kompetenzerwerb anhand der Einschätzung der Studierenden erläutert und soweit verfügbar um die Perspektive der Lehrenden/des Lehrenden ergänzt. Am Beispiel des Arbeitsaufwandes wird illustriert, wie die Ergebnisse der Lehrveranstaltungsevaluation interpretiert werden können, wenn ausschließlich die Einschätzungen der Studierenden vorliegen. Ergänzend folgen Hinweise für die Arbeit mit freitextlichen Antworten. 1. Beitrag der Lehrenden/des Lehrenden Die beiden Themenbereiche Beitrag der Lehrenden/des Lehrenden und Verhalten der Studierenden enthalten ausschließlich verhaltensbeschreibende Aussagen. Die Studierenden schätzen ein, in welchem Ausmaß sie bestimmte, konkret beobachtbare Verhaltensweisen der Lehrenden/des Lehrenden während der Lehrveranstaltung wahrgenommen haben. Die mittleren Ausprägungen auf diesen Skalen sind daher nicht als Lehrqualität des Lehrendenbeitrages oder als Ausmaß der Lehrkompetenz der Lehrenden/des Lehrenden zu interpretieren. Die im Fragebogen aufgeführten Aussagen beschreiben konkrete Verhaltensweisen, die sich in der Lehrforschung als förderlich bewährt haben. Alle Verhaltensweisen sind positiv formuliert.

2 Im Beispiel wird das Verhalten der Lehrenden/des Lehrenden in den drei dargestellten Aspekten unterschiedlich eingeschätzt. Die Darstellung von Zielen und Struktur der Lehrveranstaltung wird mit M=3,7 leicht überdurchschnittlich gesehen. Bei der Einordnung von Einzelaspekten in einen thematischen Zusammenhang wird diese Lehrperson mit einem Wert von M= 3,3 eher durchschnittlich eingeschätzt, ebenso im dritten Aspekt, der die Vorbereitung der Einzelsitzungen beschreibt. Tipp Wählen Sie einzelne Aspekte aus, zu denen Sie Fragen an Ihre Studierenden haben (z.b. Was könnten Sie nach Ansicht Ihrer Studierenden tun, um Ziele und Struktur klarer oder nachvollziehbarer zu machen?). Achten Sie auf jene Aspekte, in denen Ihre eigenen Einschätzungen (z. B. im Lehrendenfragebogen) oberhalb oder unterhalb der Einschätzung der Studierenden liegen. Grundlage hierfür können insbesondere Ihre eigenen Zielstellungen sein, bspw. welche Kompetenzen Ihre Studierenden in Ihrer Lehrveranstaltung erworben haben sollten. Vergleichen Sie zudem die einzelnen Bewertungsaspekte untereinander: Wo liegen Ihre persönlichen Stärken in der Lehrveranstaltung, wo liegen Ihre Schwächen? Fragen Sie Ihre Studierenden, wie Sie die Stärken Ihres Lehrverhaltens weiter ausbauen und wodurch Sie die Schwächen ausgleichen könnten. 2. Arbeitsaufwand Eine verzerrungsfreie Erhebung des Arbeitsaufwandes ist mittels Fragebogen nicht möglich. Studien belegen, dass die nachträglich selbst eingeschätzte Arbeitszeit erheblich von den Werten abweicht, welche durch objektive Verfahren (z.b. tägliches Lerntagebuch, Verhaltensbeobachtung, biometrische Methoden) gemessen werden. Es fällt Studierenden (und Lehrenden) schwer, ihren tatsächlichen Arbeitsaufwand zu schätzen. Zudem sind viele Tätigkeiten nicht eindeutig dem Selbststudium oder einem einzelnen Fach zuzurechnen. Die Einschätzung des Arbeitsaufwandes im Fragebogen liefert daher nur einen groben Anhaltspunkt für die seitens der Studierenden wahrgenommene Arbeitsbelastung. Falls die Studierenden oder die Lehrende/der Lehrende die Arbeitsanforderungen oder den tatsächlich geleisteten Arbeitsaufwand als problematisch (sei es zu hoch oder zu niedrig) empfinden, kann diese Einschätzung den Einstieg in eine gemeinsame Diskussion bieten, in der dann Details konkretisiert werden.

3 In diesem Fall liegt der von den Studierenden selbst eingeschätzte Arbeitsaufwand für die aktuelle Lehrveranstaltung bei 3,6 Zeitstunden pro Woche. Besondere Aufmerksamkeit sollte in diesem Fall den beiden Werten Minimum und Maximum geschenkt werden. Der Maximumwert liegt mit acht Zeitstunden deutlich über der mittleren Einschätzung. Mindestens ein Studierender gibt an, doppelt soviel Zeit mit dem Selbststudium für die Lehrveranstaltung zu verbringen als der Durchschnitt. Tipp: Nehmen Sie die Zahlenwerte zur Kenntnis und achten Sie vor allem auf die Streuung (Standardabweichung SD sowie auf die Spanne zwischen Minimum und Maximum). Diese gibt einen Hinweis darauf, wie unterschiedlich die Teilnehmenden mit den zeitlichen Anforderungen umgehen. Sprechen Sie allgemein den für Ihre Lehrveranstaltung/Ihr Fach notwendigen Arbeitsaufwand an, und diskutieren Sie nicht über die exakten Zahlenwerte. Falls der Arbeitsaufwand von den Teilnehmenden ohnehin als akzeptabel angesehen wird, brauchen Sie das Thema nicht weiter zu vertiefen. 3. Kompetenzerwerb Der Befragungsblock zum Kompetenzerwerb ermöglicht, das Profil der Lehrveranstaltung in diesem Fach zu beschreiben. Die Studierenden schätzen das Ausmaß der in Ihrer Lehrveranstaltung erworbenen Kompetenzen ein. Ihre eigenen Einschätzungen, als SOLL-Werte in Form der blauen Balken abgetragen, beschreiben die von Ihnen zuvor definierten Zielstellungen und damit das Ausmaß der seitens der Studierenden zu erwerbenden Kompetenzen. Im Gegensatz zu den anderen Fragenblöcken stehen höhere numerische Werte daher nicht zwingend für eine positivere Einschätzung, und niedrigere Zahlenwerte drücken nicht zwingend eine kritischere Bewertung aus. Entscheidend ist hier der Vergleich zwischen den Studierendeneinschätzungen (IST-Werte) und Ihren eigenen Einschätzungen (SOLL-Werte). War es beispielsweise nicht Ihr Ziel, dass die Studierenden sich Kriterien erarbeiten, um die Qualität von Fachartikeln beurteilen zu können, so steht ein niedriger Zahlenwert bei den Studierendeneinschätzung nicht für eine kritische Bewertung, sondern entspricht Ihrer eigenen Zielstellung.

4 Die durchschnittliche Einschätzungen der Studierenden liegen beispielsweise bei den Aspekten in Diskussionen zu den Themen dieser Lehrveranstaltung argumentiert und meine eigenen Wortbeiträge verständlich formuliert unterhalb der SOLL-Einschätzung der Lehrenden/des Lehrenden. Die von den Studierenden wahrgenommene Kompetenzentwicklung liegt damit unterhalb der Ziele, welche seitens der Lehrenden/des Lehrenden für die Lehrveranstaltung in diesem Fach vorgesehen oder angestrebt wurden (z.b. verständliches Formulieren von eigenen Wortbeiträgen mit einem Wert von 4,2 aus Studierendensicht gegenüber 5,0 von der Lehrenden/dem Lehrenden angestrebt). Im Gegensatz hierzu geben die Studierende an, sich intensiver einen Überblick über die behandelten Themen erarbeitet zu haben als die Lehrende/der Lehrende sich dies zum Ziel gesetzt hatte. Tipp: Überlegen Sie, wie realistisch Ihre SOLL-Vorstellungen für die Lehrveranstaltung in diesem Fach gewesen sind. Passt die Art und Weise, wie Sie den Lehr-Lernprozess gestalten, zu den Zielen, die Sie für diese Veranstaltung haben?

5 Achten Sie darauf, ob es einzelne Kompetenzbereiche gibt, die Sie Ihren Studierenden besonders vermitteln wollten, die aber vielleicht bei den Studierenden nicht angekommen sind. Stellen Sie zur Diskussion, was Sie tun könnten, damit künftig die Kompetenzbereiche, die Ihnen wichtig sind, stärker und nachhaltiger erworben werden können (z.b. hier: selbstständiges Bearbeiten einer typischen Fragestellung) 4. Rahmenbedingungen Die Rahmenbedingungen einer Lehrveranstaltung können zu einem wesentlichen Teil zum Erfolg beitragen. Zumeist sind es hierbei ungünstige Rahmenbedingungen (z.b. zu enge Räumlichkeiten, fehlende Ausstattung, schlecht aufbereitete Begleitmaterialien, zu große Gruppengröße), welche die Lehrqualität negativ beeinträchtigen können, indem wünschenswerte Lehrformen oder Darstellungsmethoden nicht umgesetzt werden können. Aber einzelne besonders positive Rahmenbedingungen (z.b. konsequente Einhaltung von zeitlichen und organisatorischen Vereinbarungen zwischen Lehrperson und Teilnehmenden, klar strukturierte Begleitmaterialien) können auch dazu beitragen, ungünstige Voraussetzungen wieder auszugleichen oder den Lehrprozess positiv zu beeinflussen. Im Beispiel werden die unterschiedlichen Aspekte recht ähnlich und als eher durchschnittlich eingeschätzt. Die einzelnen Aspekte weisen bei einer Skala von 1 bis 5 Mittelwerte nahe dem Skalenmittelpunkt auf. Als tendenziell positiv werden die räumlichen Gegebenheiten, wie die Größe, bauliche Qualität und die Lage eingeschätzt (Mittelwert = 3,9). Die geringste Zustimmung durch die Studierenden erhält der Aspekt der Ausstattung, wie beispielsweise die Medien und die Technik (Mittelwert = 3,1).

6 Bei der Ausstattung liegen die Einschätzungen der Studierenden und der Lehrenden/des Lehrenden am weitesten auseinander. Dies illustrieren auch die Detailergebnisse, die Studierenden haben diesen Aspekt mehrheitlich (rund 68%) mit einem Wert von 3 eingeschätzt. Auch wenn die Studierenden den einzelnen Aspekten unterschiedlich stark zu stimmen (Mittelwerte der einzelnen Aspekte zwischen 3,1 für die Ausstattung und 3,9 für den Aspekt räumliche Gegebenheiten ) liegen die einzelnen Einschätzungen innerhalb eines Aspekts sehr nahe beieinander. Die Einschätzungen der Studierenden liegen also in den drei Aspekten jeweils recht nahe beieinander.

7 Tipp: Achten Sie bei den Rahmenbedingungen besonders auf die Aspekte, die Sie persönlich zumindest teilweise beeinflussen können. Suchen Sie gar nicht erst nach Verantwortlichen oder Schuldigen, die es Ihnen unmöglich machen, die Lehrveranstaltung so durchzuführen, wie Sie es sich unter optimalen Bedingungen vorstellen könnten. Suchen Sie nicht nach Lösungen, deren Umsetzung von Ausstattungsfragen (personell, räumlich, finanziell) abhängt: Versuchen Sie stattdessen gemeinsam mit den Studierenden zu ermitteln, was Sie konkret tun könnten, um die Lehre auch unabhängig von den materiellen und finanziellen Rahmenbedingungen positiv zu gestalten. 5. Offene Antworten Je nach Fragebogen werden unterschiedliche offene Fragen gestellt, in denen die Studierenden freitextliche Anmerkungen machen können. Diese offenen Antworten werden wortwörtlich im Ergebnisbericht wiedergegeben, wobei in der Auswertung gleichlautende Antworten zusammengefasst und mit einer Häufigkeitsnennung versehen werden. Sehr ausführliche Originalaussagen werden, soweit möglich, auf wesentliche Teile gekürzt, und nur in sehr seltenen Fällen vorkommende beleidigende Äußerungen, die dem Zweck der Lehrveranstaltungsevaluation widersprechen ( Diese Lehrende/dieser Lehrende ist absolut inkompetent! ) oder solche Aussagen, bei denen der Rückschluss auf die Auskunftsperson möglich ist ( Als ich im August in Ihrer Sprechstunde gewesen bin, haben Sie mich nicht unterstützt! ), werden vollständig ausgelassen oder durch eine neutrale Formulierung ersetzt. Offene Antworten werden in der Regel dann abgegeben, wenn einer Person ein bestimmter Aspekt so wichtig ist, dass dieser einer besonderen Erwähnung bedarf, auch wenn ein ähnlicher Punkt schon in den anderen Teilen des Fragebogens zur Einschätzung vorgegeben sein mag. Zumeist werden Anmerkungen nur dann notiert, wenn die betreffende Person die Hoffnung hat, dass die Lehrende/der Lehrende sich mit dem Hinweis auseinandersetzen wird insoweit steckt in jeder einzelnen offenen Antwort ein konstruktiver Vorschlag oder ein Wunsch, auch wenn manche Aussagen auf den ersten Blick keinen Sinn zu ergeben scheinen, unrealistische Erwartungen oder Ansprüche der Teilnehmenden reflektieren oder schlichtweg nicht umzusetzen sind. In jedem Fall ist eine solche Äußerung ein Wunsch oder eine Erwartung. Eine mögliche Reaktion kann darin bestehen, den Wunsch zur Kenntnis zu nehmen, die Umsetzung zu erwägen oder diesen aus bestimmten Gründen zu verwerfen.

8 Die ersten drei unter der Frage Was hat Ihnen an dieser Lehrveranstaltung besonders gut gefallen? genannten Aspekte werden gleich von mehreren Studierenden mehrfach genannt. So loben beispielsweise fünf Studierende die in der Lehrveranstaltung angeführten Praxisbeispiele und zwei Studierende den logischen Aufbau der Lehrveranstaltung. Konkrete Änderungswünsche werden unter der Frage Was würden Sie sich anders wünschen? genannt, u.a. bessere Begleitmaterialien oder jeweils kurze Zusammenfassungen am Ende der einzelnen Kapitel. Tipp: Gehen Sie zuallererst davon aus, dass jede Anmerkung gleich wichtig ist, denn hinter jeder Anmerkung steht eine Person, die an Ihrer Lehrveranstaltung teilgenommen hat. Oftmals sind es gerade die nur von Einzelnen genannten Ideen und Anregungen, die Ihnen weiterhelfen. Bei Punkten, die Ihnen unklar sind (z.b. Stichwort Veränderung des Lehrkonzepts ) fragen Sie die Studierenden, was konkret eine Möglichkeit wäre, diesem Wunsch zu entsprechen: Wodurch genau könnten Sie die genannte Veränderung des Lehrkonzepts oder des Unterrichtsablaufs erreichen (z.b. durch Verweise auf weiterführende Literatur, durch viele konkrete Praxisbeispiele, durch ein einziges Fallbeispiel, das im ganzen Semester immer wieder benutzt wird, )? Wenn Sie den Studierenden die Zusammenstellung der offenen Antworten zeigen, betonen Sie ausdrücklich, dass Sie nicht interessiert sind, herauszufinden, von wem welche Aussage stammt, sondern dass Sie gerne weitere, ergänzende, vertiefende Ideen der Teilnehmenden aufnehmen möchten, die zu den genannten Punkten passen und die Ihnen helfen, die gegebenen Anregungen umzusetzen. Verzichten Sie darauf, den Studierenden die offenen Antworten zu zeigen, wenn Sie sich selbst oder einzelne Teilnehmende hierdurch in eine peinliche Situation bringen könnten. 6. Weitere Fragen und Antworten Jeder Ergebnisbericht ist anders, und jede Lehrende/jeder Lehrende geht anders mit einem Ergebnisbericht um. Die vorliegenden Hinweise können daher nur die häufigsten Fälle abdecken, und viele Einzelfragen und Details müssen offen bleiben. Nachfolgend finden Sie eine Liste von weiteren Fragen mit Antworten. Nicht immer passen Frage und Antwort exakt auf Ihre spezielle Situation, sie geben aber wertvolle Hinweise, die Ihnen weiterhelfen. Von 26 Teilnehmenden haben nur 7 geantwortet. Ist das denn überhaupt repräsentativ? Antwort: Repräsentativität und Stichprobengröße haben nur bedingt etwas miteinander zu tun. In der Wahlforschung genügt eine Stichprobe von weniger als 1% der Wahlberechtigten, um Prognosen mit einer sehr geringen Abweichung vom tatsächlichen Wahlverhalten zu treffen. Trotzdem ist wahr: Je kleiner die befragte Stichprobe, desto instabiler sind die berechneten statistischen Kennwerte. Falls Sie die Möglichkeit haben, stellen Sie die Ergebnisse allen Studierenden vor auch denjenigen, die nicht geantwortet haben, und fragen Sie nach ergänzenden Einschätzungen und Anregungen. Falls Sie überzeugt sind, dass die kleine Stichprobe zu völlig anderen Einschätzungen gekommen ist, als es in der gesamten Gruppe der Fall gewesen wäre, versuchen Sie, beim nächsten Mal mehr Studierende zu überzeugen, an der Lehrveranstaltungsevaluation teilzunehmen. Die Fehlerbalken sind links viel länger als rechts. Das ist doch unmöglich, oder? Antwort: Die Fehlerbalken umspannen den Bereich von jeweils einer Standardabweichung ober- und unterhalb des Mittelwerts und geben an, wie stark die einzelnen Einschätzungen voneinander abweichen. Da die meisten der verwendeten Skalen von 1,0 bis 5,0 und nicht darüber hinaus reichen,

9 werden Fehlerbalken, die diese Minimal- oder Maximalwerte unter- bzw. überschreiten würden, entsprechend gekürzt. In dem Fragebogen wird doch nur die Beliebtheit von Fächern und Personen, aber nicht die Unterrichtsqualität gemessen. Wozu also das Ganze!? Antwort: Zahlreiche Studien zur Lehrveranstaltungsevaluation haben gezeigt, dass das Interesse der Studierenden am Thema sowie die Teilnahmemotivation (freiwillig, als Wahlfach, ) in der Tat die Bewertung der Lehrveranstaltung leicht beeinflusst. Alle anderen möglichen Einflussfaktoren (z.b. Beliebtheit der Lehrperson, räumliche Bedingungen, Intelligenz der Befragten, ) haben sich als unbedeutend herausgestellt. Fragebögen, in denen vor allem beobachtbare Verhaltensaspekte erhoben werden, sind von derartigen Beeinflussungen in der Regel noch weniger betroffen als Fragebögen, in denen Qualitätsbewertungen ( gut schlecht ) abgegeben werden sollen oder mit denen der Anspruch einer Qualitätsmessung verfolgt wird. Der Kontakt zwischen den Studierenden und mir als Lehrende/Lehrendem ist so eng, dass durch so eine Befragung das Vertrauensverhältnis Schaden nehmen könnte. Antwort: Gerade wenn Sie in kleinen Gruppen unterrichten, kennen Sie die Studierenden ganz persönlich und haben oft auch den Eindruck, dass Ihnen deren Einschätzungen, Anregungen und Kritik längst bekannt sind. Mit der Lehrveranstaltungsevaluation erhalten Sie zusätzlich hierzu strukturierte Einschätzungen nach einem übergreifenden Schema, die Sie Ihren eigenen Einschätzungen gegenüberstellen können. Damit Lehrveranstaltungsevaluation das Vertrauensverhältnis zwischen Ihnen und den Teilnehmenden stärkt, erklären Sie vorher genau die Spielregeln, stellen Sie heraus, dass Sie persönlich daran interessiert sind, auf diesem Wege mehr über die Perspektive Ihrer Studierenden zu erfahren und überlassen Sie es im Zweifelsfall Ihren Studierenden selbst, ob sie unter diesen Bedingungen an der Befragung teilnehmen möchten. Von wem stammt eigentlich welche Aussage? Antwort: Die Lehrveranstaltungsevaluation wird mit nicht zuordenbaren Fragebögen vorgenommen und statistisch zusammenfassend ausgewertet, damit ein Rückschluss auf einzelne Studierende nicht möglich ist. Diese Anonymität ist ein wichtiges Prinzip dieser Befragungsform, damit Ihre Studierenden ihre Einschätzungen unabhängig davon abgeben, ob die jeweilige Einschätzung den Erwartungen der Lehrenden/des Lehrenden (vermutlich) entspricht oder nicht. In einer an die Auswertung anschließenden Diskussion steht es den Studierenden frei, mitzuteilen, welche Einschätzung sie persönlich vorgenommen haben. Die Fragen sind ja so formuliert, dass immer eine positive Aussage dasteht. Kann man denn nirgendwo echte Kritik üben? Antwort: Lehrveranstaltungsevaluation ist kein Scharfgericht, sondern dient dem Zweck, der Lehrenden/dem Lehrenden hilfreiche, umsetzbare Hinweise zur Weiterentwicklung der Lehrveranstaltung und der Lehrkonzepte zu geben und mit den Studierenden in einen Dialog über die Lehre einzutreten. Daher sind die Fragen in den von uns eingesetzten Fragebögen generell verhaltensorientiert formuliert und werden überwiegend auf einer Skala zwischen stimme nicht/wenig zu und stimme zu/völlig zu eingeschätzt. Wenn Sie den Eindruck haben, schärfere Kritik zu benötigen, bitten Sie die Studierenden in der Diskussion der Befragungsergebnisse um entsprechend formulierte Hinweise und Anregungen. Falls die Studierenden den Fragebogen als zu lasch empfinden, stellen Sie zur Diskussion, welchen Zweck die Studierenden mit der Kritik verbinden geht es darum, Ihnen etwas heimzuzahlen, oder darum, Sie durch konstruktive Anregungen zu unterstützen? Wenn Sie weitere Fragen haben, senden Sie uns eine an leva@leuphana.de oder rufen Sie uns an, unsere Hotline ist von Mo-Do, 10:00 12:00 für Sie besetzt. Wir beantworten Ihre Fragen gerne.