Interpretationshinweise

Transkript

1 Zentrum für Qualitätssicherung und -entwicklung Johannes Gutenberg-Universität Forum universitatis 4 D Mainz Veranstaltungsbefragungen Tel. : veranstaltungsbefragungen@ zq.uni-mainz.de URL: Lehrveranstaltungsbefragungen Interpretationshinweise In dem vorliegenden Ergebnisbericht der Lehrveranstaltungsbefragung werden die Einschätzungen der Veranstaltungsteilnehmenden in anonymer und statistisch zusammengefasster Form dargestellt. Zum besseren Verständnis der Ergebnisse hält dieses Dokument einige Informationen für Sie bereit, die Ihnen den Umgang sowie die Interpretation erleichtern sollen. Inhalt Hinweise zur Datenaufbereitung... 2 Hinweise zur Interpretation der Evaluationsergebnisse... 5 Rückmeldung und Diskussion der Ergebnisse mit den Studierenden... 6 Welche hochschuldidaktische Unterstützung steht mir zur Verfügung?... 7 FAQ... 7 Hilfe bei Fragen und Problemen

2 Hinweise zur Datenaufbereitung Die Ergebnisse der Lehrveranstaltungsbefragung liegen in statistisch zusammengefasster und graphisch aufbereiteter Form im PDF Report vor. Verwendung finden hier Mittelwerts und Häufigkeitsdiagramme, die durch ergänzende Angaben (Anzahl der Nennungen, Mittelwert, Standardabweichung sowie ggf. Enthaltungen) ergänzt werden. Diagramme: Die relative bzw. prozentuale Häufigkeitsverteilung gibt Auskunft über die Verteilung des Antwortverhaltens. Zum einen wird dies graphisch durch die weißen und hellblauen Balkendiagramme visualisiert zum anderen steht seitlich bzw. oberhalb des Diagramms die prozentuale Verteilung: Der zweite Diagrammtyp wird durch den graphisch dargestellten Mittelwert sowie die graphisch dargestellte Standardabweichung ergänzt: 2

3 Bewertungsskala: Die Antworten der Studierenden werden anhand einer Antwortskala abgebildet. Die Antwortskala befindet sich in den Diagrammen unterhalt der Diagrammbalken: Die Studierenden werden bei den (meisten) Aussagen im Hinblick auf ihre Zustimmung befragt. 1 bedeutet, dass sie der Aussage völlig zustimmen, 7 heißt, dass der entsprechenden Aussage nicht zugestimmt wird. Beispiel: Die Studierenden werden danach befragt, ob der inhaltlichen Aufbau der Gesamtveranstaltung nachvollziehbar sei. Eine 1 bedeutet hier volle Zustimmung eine 7, dass die Veranstaltung keinerlei erkennbaren Gesamtaufbau für sie aufgewiesen hat. Hinweis: Achten Sie darauf, dass Sie in der Ergebnisdarstellung des PDF Reports bei den Fragen zum Resümee der Veranstaltung eine veränderte Skala vorfinden. Hier ist die Mitte der Skala (4) die beste Bewertung, die den entsprechenden Sachverhalt als angemessen bewertet. Beispiel: Die Studierenden werden danach befragt, ob ihr Vorwissen ausreichend war, um der Veranstaltung folgen zu können. Hier bedeutet die 1, dass das Vorwissen viel zu gering, die 4 bedeutet, dass das Vorwissen genau richtig und die 7, dass das Vorwissen viel zu hoch war. Profillinie: Am Ende des PDF Berichts werden die Ergebnisse (Mittelwerte) der betreffenden Veranstaltung in Form einer Profillinie dargestellt. Die Profillinie bietet vor allem dann zusätzliche Aussagekraft, wenn eine zweite Linie bspw. der aggregierten Daten des Fachbereichs als Vergleich mit abgebildet wird. Diese erhalten Sie soweit Ihr gesamtes Fach bzw. Ihr Fachbereich komplett befragt wurde im Anschluss an die Datenerfassung aller Befragungen per Mail zugesandt. 3

4 Ergänzende Angaben: Im PDF Report befinden sich rechts neben den Graphiken Zahlenangaben, die zur Interpretation der Ergebnisse herangezogen werden können: n (Anzahl) gibt an, wie viele Veranstaltungsteilnehmer diese Frage beantwortet haben (hier: 60 Befragte). mw ist die Abkürzung für Mittelwert. Das arithmetische Mittel, umgangssprachlich auch einfach als Mittelwert bezeichnet, berechnet sich, indem die Summe aller Messwerte durch deren Anzahl dividiert wird. Er gibt die durchschnittliche Einschätzung der Befragten wieder (Mittelwert für alle Befragten hier: 2,5). s ist die Abkürzung für Standardabweichung. Die Standardabweichung gibt Auskunft darüber, wie sich die Antworten auf der Antwortskala verteilen bzw. wie stark sie durchschnittlich um den Mittelwert streuen (d.h. durchschnittlich variieren die Antworten der dargestellten Beispielauswertung mit 1,5 Skalenpunkten um den Mittelwert). E. gibt an, wie viele Enthaltungen es bei einer Frage gibt. Diese Angabe ist nur dann möglich, wenn die Frage eine Ausweichkategorie (bspw. kann ich nicht beurteilen) bereit hält (in der Beispielauswertung gibt es 14 Enthaltungen). Hinweis zum Mittelwert: Extreme Messwerte, die im Vergleich zum Gros der Messwerte sehr klein oder sehr groß sind, werden in der Statistik als Ausreißer bezeichnet. Ausreißer verschieben den Mittelwert deutlich in ihre Richtung und können so zu einer verzerrten Einschätzung des Verteilungsschwerpunktes führen. Dies fällt insbesondere bei geringen Teilnehmerzahlen ins Gewicht. Es sollte daher die Information über die Standardabweichungen bei den Befragungsergebnissen mit betrachtet werden, um die Verteilung angemessen beurteilen zu können. Hinweise zur Standardabweichung: Je größer die Standardabweichung (s) desto heterogener ist die Stichprobe bezogen auf das untersuchte Merkmal. D.h. ist die Standardabweichung groß, streuen die Stichprobenmesswerte über einen großen Bereich. Ist die Standardabweichung klein, sind die Beurteilungen der meisten Befragten relativ ähnlich. Beispiel: Eine große Standardabweichungen bei der Frage, ob es unnötige Überschneidungen mit anderen Veranstaltungen gibt, kann so interpretiert werden, dass die Veranstaltungsteilnehmer im laufenden Semester unterschiedliche weitere Lehrveranstaltungen besuchen. 4

5 Neben dem Wert der Standardabweichung kann auch die Häufigkeitsverteilung Auskunft über die Verteilung des Antwortverhaltens geben. Dies kann anhand der hellblauen Balkendiagramme abgelesen werden (s.o.). Hinweise zur Interpretation der Evaluationsergebnisse Zur Interpretation sowie zum Verständnis des Berichts möchten wir Sie auf folgende Punkte hinweisen: Teilweise werden Fragen von Studierenden beantwortet, die nur wenig Relevanz für die Lehrveranstaltung haben. Dies geschieht, obwohl es die Antwortmöglichkeit kann ich nicht beurteilen gibt. Daher ist es wichtig, die Fragen zu identifizieren, die sinnhaft an die Lehrveranstaltung anschließen und einen Informationsgewinn für die Lehrenden bereitstellen. Die Fragen müssen im jeweiligen Kontext Ihrer Veranstaltung verstanden werden. Beispiel: Geben die Studierenden an, dass ihr Vorwissen, um der Veranstaltung folgen zu können, zu gering war, kann dies bedeuten, dass die Anforderungen für das Fachsemester tatsächlich zu hoch waren. Gleiche Antworten werden Studierende allerdings auch geben, wenn das Thema der Veranstaltung neu im Studium eingeführt worden ist und somit auf keinerlei Vorwissen zurückgegriffen werden konnte. Die Kommentare aus den offenen Fragen können als direktes Feedback der Studierenden verstanden werden. Allerdings handelt es sich um individuelle Äußerungen, die nicht notwendigerweise den Eindruck aller Kommilitoninnen und Kommilitonen der Lehrveranstaltung widergeben. Fragen zur Veranstaltung und zum Lehrenden: Die einzelnen Aussagen in diesen Fragekomplexen sind so gestellt, dass die Studierenden ihre persönlichen Einschätzungen zu der Veranstaltung darlegen können. Die Bewertung bezieht sich ausschließlich auf die jeweilige Lehrveranstaltung. Alle Aussagen sind positiv formuliert und repräsentieren Aspekte des zugrundegelegten Qualitätsmodells. (Zum Verständnis der Antwortskala siehe Hinweise zur Datenaufbereitung.) Fragen zum Kompetenzerwerb: Die Fragen nach dem Kompetenzerwerb decken die Ergebnisebene der Lehrveranstaltung ab. Hier stehen Fragen nach dem Wissenserwerb im Vordergrund. Hinweis: Ein geringer Kompetenzzugewinn einzelner Aspekte bedeutet nicht zwangsläufig ein verfehltes Ziel der Veranstaltung. Es kann ebenso bedeuten, dass der Erwerb der entsprechenden Fähigkeit nicht der Zielsetzung der Veranstaltung entsprach. Gleichen Sie den Kompetenzerwerb mit den Lernzielen für die Veranstaltung ab oder ziehen sie die im Modulhandbuch angegebenen Kompetenzen heran, die innerhalb des Moduls erlernt werden sollen. 5

6 Tipp: Erscheinen Ihnen die aufgeführten Kompetenzen als wenig relevant für Ihre Veranstaltung, nutzen Sie die Frage nach der Erweiterung des Wissensstands durch die Veranstaltung als Indikator für den Wissenserwerb der Teilnehmenden. Fragen zu den Rahmenbedingungen: Hierzu zählen die Fragenbereiche: Rahmenbedingungen, Materialien, Modulhandbuch und Besuchsgrund. Sie dienen dazu, einige Hintergründe der Veranstaltung zu erfassen. Gesamtbewertung: Die Gesamtbewertung der Veranstaltung stellt in einer Frage die Zufriedenheit der Studierenden mit der Veranstaltung dar. Hinweis: Bei der Gesamtbewertung der Lehrveranstaltung spielen Variablen eine Rolle, die Sie als Dozent nicht beeinflussen, die aber gleichzeitig in die Bewertung der Studierenden einfließen können. Diese sogenannten Biasvariablen sind unter anderem das Vorinteresse am Thema, das wahrgenommene Leistungsniveau der Kommilitonen sowie die räumlichen Rahmenbedingungen der Veranstaltung. Personenbezogene Angaben: Hierzu zählen die Abfrage des Studienfachs, des Fachsemesters sowie das Geschlecht. Rückmeldung und Diskussion der Ergebnisse mit den Studierenden Die Rückmeldungen ihrer Studierenden bieten Ihnen wichtige Hinweise zur Optimierung der eigenen Lehre. Die Evaluationsergebnisse sollten wenn möglich in eine gemeinsame Erörterung mit Ihren Studierenden münden. Das ergänzende Gespräch bietet die Chance, die statistischen Ergebnisse zu differenzieren und zusammen mit Ihren Studierenden Verbesserungsmöglichkeiten zu diskutieren. Bei der Erörterung der Ergebnisse können Sie sich an folgenden Leitfragen orientieren: Welche Punkte haben die positivste bzw. negativste Ausprägung? Welche Punkte haben die größte Standardabweichung? Welche Punkte weichen am stärksten von Ihrer Selbsteinschätzung ab? Welche Punkte sind für Sie von besonderem Interesse? Welche Antworten bei den offenen Fragen sind für Sie unklar/unverständlich? Je nach Veranstaltungsgröße kann es schwierig sein einzelne Fragen im Plenum zu diskutieren. Hier bietet es sich an, auf alternative Arbeitsformen auszuweichen. Bilden Sie beispielsweise 6

7 Kleingruppen und lassen in den Gruppen unterschiedliche Fragestellungen diskutieren. Ergebnisse aus den Gruppen können anschließend im Plenum kurz vorgestellt werden. Welche hochschuldidaktische Unterstützung steht mir zur Verfügung? An der Universität Mainz stehen Ihnen unterschiedliche Unterstützungsangebote zur Verfügung: Die Bibliotheken der JGU verfügen über einen großen Bestand an hochschuldidaktischer Literatur, auf den Sie mit Hilfe unserer kommentierten Literaturliste 1 schnell und unkompliziert zugreifen können. Speziell für den Bereich Kompetenzerwerb hat das ZQ eine Handreichung entwickelt, die viele praktische Hinweise und Informationen zu diesem Themenbereich konzise zusammenfasst. Die Mitarbeiterinnen und Mitarbeiter des ZQ stehen Ihnen bei Problemen und Fragen, wie etwa nach der Umsetzung neuer Lehrmethoden etc., gerne mit Rat und Tat zur Seite. Der Hochschulevaluierungsverbund stellt ein umfangreiches Angebot an Veranstaltungen zum Ausbau der didaktischen Kompetenzen in der Hochschullehre bereit. Die Teilnahme ist für Angehörige der JGU kostenlos! FAQ Wer außer mir kann meine Ergebnisse einsehen? Die individuelle Auswertung erhält neben den jeweiligen Lehrenden soweit nicht anders vereinbart nur der Dekan. Die einzelnen Ergebnisse fließen allerdings in aggregierter und anonymer Form in einen Gesamtbericht des Fachbereichs ein, soweit ein gesamter Fachbereich befragt wurde. Ich habe die Veranstaltung mit Kolleg/ innen gemeinsam gehalten. Erhalten diese ebenfalls die Ergebnisse? Ja, soweit dies im Vorfeld angegeben wurde. Der automatische Versand geht an alle Dozierenden, die für diese Veranstaltung angemeldet wurden (sog. Sekundärdozenten). Welcher Qualitätsmaßstab steht hinter den Ergebnissen? Den im Fragebogen abgefragten Aspekten liegt ein Qualitätsmodell zugrunde. Angesichts fehlender absoluter Qualitätsmaßstäbe besteht eine Voraussetzung zur Interpretation der Ergebnisse in einer belastbaren Vergleichsgröße. Diese wird Ihnen, soweit eine fach oder fachbereichsweite Befragung stattgefunden hat, mittels eines Profillinienvergleichs zugänglich gemacht. Darüber hinaus können Sie Ihre eigenen Ergebnisse aus verschiedenen Veranstaltungen und/oder Semestern als Vergleichsmaßstab heranziehen. 1 Die kommentierte Literaturliste erhalten Sie auf Nachfrage im ZQ (zq@uni mainz.de). 7

8 Es haben weniger als 10 Teilnehmer geantwortet. Ist das überhaupt aussagekräftig? Je kleiner eine Stichprobe, desto instabiler sind die berechneten statistischen Kennwerte. Dennoch haben die Ergebnisse eine Aussagekraft. Sollten Sie die Möglichkeit haben, reflektieren Sie ausgewählte Ergebnisse in der Veranstaltung und fragen Sie nach weiteren Anregungen. Von wem stammt eigentlich welche Aussage? Die Lehrveranstaltungsbefragung wird statistisch zusammenfassend ausgewertet, damit ein Rückschluss auf die einzelne antwortende Person nicht möglich ist. Diese Anonymität ist ein wichtiges Prinzip der Befragung, damit die Teilnehmenden ihre Eischätzungen unabhängig davon abgeben, ob die jeweilige Antwort den Erwartungen der Lehrenden entspricht oder nicht. In einer anschließenden Diskussion steht es den Studierenden frei mitzuteilen, welche Einschätzungen sie persönlich vorgenommen haben. Hilfe bei Fragen und Problemen Sollten Sie technische und organisatorische Fragen zum Verfahren sowie Verständnisprobleme hinsichtlich der Ergebnisse haben, wenden Sie sich bitte an: ZQ Lehrveranstaltungsbefragungen Tel.: oder E Mail: veranstaltungsbefragungen@zq.uni mainz.de Resultieren aus den Ergebnissen didaktische Nachfragen wenden Sie sich bitte an: ZQ Hochschuldidaktik Tel.: PD. Dr. Manfred Herzer (manfred.herzer@zq.uni mainz.de) Victoria Lipovsky (victoria.lipovsky@zq.uni mainz.de) 8