Lehrveranstaltungsevaluation durch Studierendenbefragung an der Universität Stuttgart. Dezember 2001

Transkript

1 Lehrveranstaltungsevaluation durch Studierendenbefragung an der Universität Stuttgart Dezember

2 Inhaltsverzeichnis 1. Einleitung Seite 4 2. Ziele und theoretische Überlegungen zur Lehrevaluation Seite Ziel der Lehrevaluation Seite Gegenstand der Lehrevaluation Seite Methoden der Lehrevaluation Seite Lehrveranstaltungsevaluation als ein Element der Lehrevaluation Seite Kriterien für die Lehrveranstaltungsevaluation Seite 6 3. Ziel der Lehrveranstaltungsevaluation an der Universität Stuttgart und Implikationen für die Struktur des Fragebogens Seite Struktur / modularer Aufbau des Fragebogens Seite 8 4. Inhaltliche Gestaltung des Fragebogens Seite Auswahl der Kriterien für die Lehrveranstaltungsevaluation Seite Erläuterung der Kriterien Seite Prinzipien der Fragenauswahl Seite Beschreibung des Fragebogens Seite Teil A des Fragebogens Seite Teil B des Fragebogens Seite Teil C des Fragebogens Seite Teil D des Fragebogens Seite Instruktion Seite Durchführung der Evaluation Seite Verantwortlichkeiten Seite Durchführungszeitpunkt Seite Ablauf der Durchführung Seite 17 2

3 7. Auswertung Seite Ergebnisaufbereitung für den Prorektor Lehre Seite Ergebnisse für die Dekane Seite Ergebnisse für die Studiendekane Seite Ergebnisse für die Dozentinnen Seite Bekanntmachung der Ergebnisse gegenüber den Studierenden Seite Weiterentwicklung der Studierendenbefragung Seite Verwendung und Veröffentlichung der Evaluationsergebnisse Seite Abschließende Bemerkungen Seite 23 Literaturverzeichnis Seite 24 Anhang 1: Kurzzusammenfassung Anhang 2: Fragebogen Teil A Anhang 3: Fragebogen Rahmenbedingungen 3

4 1. Einleitung An der Universität Stuttgart wird seit vielen Jahren eine Evaluation der Lehre auf der Basis von Studierendenbefragungen durchgeführt. In der Vergangenheit wurden dazu eine Vielzahl unterschiedlicher Fragebögen für die unterschiedlichen Fakultäten und z.t. sogar für einzelne Lehrveranstaltungen erarbeitet und eingesetzt. Seit ungefähr einem Jahr steht eine erste vorläufige Version eines einheitlichen Fragebogens zur Verfügung, der jedoch nach kritischer Reflexion einer Überarbeitung bedurfte. Das hier vorgestellte Konzept zur Lehrveranstaltungsevaluation durch Studierendenbefragung ist das Ergebnis der Arbeit einer Arbeitsgruppe, die sich zwischen Mai und November 2001 mit dem Thema befasst hat. Der Senat der Universität Stuttgart hat das erarbeitete Konzept auf seiner Sitzung vom diskutiert und beschlossen. Die Evaluation der Lehre durch Studierendenbefragung nach dem neuen Konzept wird erstmals im Sommersemester 2002 durchgeführt. Den hochschulrechtlichen Rahmen für das vorliegende Konzept bilden 4a, 125 a Abs. 4 UG. Eine umfassende und aussagekräftige Evaluation der Lehre auf alleiniger Basis von Studierendenbefragungen ist prinzipiell nicht möglich. Vielmehr ist die Lehrveranstaltungsevaluation durch Studierendenbefragung lediglich eines von mehreren Elementen bei der umfassenden Evaluation der Qualität der Lehre. Die Studierendenbefragung muss deshalb um weitere Instrumente ergänzt werden (siehe 2.2), die vor allem auch den Aufbau der Studienpläne, das Zusammenspiel einzelner Veranstaltungen und die Anforderungen unterschiedlicher Studiengänge an die Lehrveranstaltungen berücksichtigen und beurteilen. Das vorliegende Dokument befasst sich ausschließlich mit der Evaluation der Lehre durch Studierendenbefragung. Ein Konzept zur gesamthaften Evaluation der Lehre, in welches das hier vorgestellte Konzept zur Lehrveranstaltungsevaluation durch Studierendenbefragungen eingebettet werden kann, wird in einem nächsten Schritt erarbeitet. In Anbetracht der beschränkten Aussagekraft von Lehrveranstaltungsevaluationen durch Studierendenbefragungen ist große Vorsicht bei der Verwendung der Evaluationsergebnisse geboten. Das primäre Ziel soll und kann nur die individuelle Verbesserung der evaluierten Lehrveranstaltung durch den jeweiligen Dozenten auf Basis des Feedbacks der Studierenden sein. Weitergehende Schlussfolgerungen aus den Ergebnissen, z.b. in Bezug auf die Eignung des Dozenten als a- kademischer Lehrer, sind nur schwer zu begründen. Es werden dementsprechend keinerlei Vorschläge hinsichtlich der Verwendung der erhobenen Daten und der Evaluationsergebnisse gemacht. Dies gilt u.a. auch für eine mögliche Verwendung der Ergebnisse im Zusammenhang mit der leistungsorientierten Mittelvergabe. Ziel des vorliegenden Konzepts ist lediglich eine Präzisierung, Strukturierung und Informationsverdichtung der Evaluationsergebnisse im Hinblick auf die diversen Adressaten der Ergebnisse (siehe Abschnitt 7). 4

5 2. Ziele und theoretische Überlegungen zur Lehrevaluation 2.1. Ziel der Lehrevaluation Ziel der Lehrevaluation nach Atag, Ernst & Young (1999) ist es festzustellen, ob das Resultat der Lehre nach Inhalt, Organisation, Methode, etc. dem gesetzlichen Auftrag, modernen Ansprüchen und dem internationalen Standard genügt, oder ob die Lehre Mängel aufweist Gegenstand der Lehrevaluation Gegenstand der Evaluation ist die Lehre in den Studiengängen der Universität. Dazu gehören primär die Lehrveranstaltungen (siehe ausführlich unter 2.4.). Beurteilt werden der Ablauf der Veranstaltung, sowie die Art und Weise der Darbietung des Lehrstoffes. Der Dozent hat einen maßgeblichen Einfluss auf diese Faktoren, weshalb seine Leistung mitbeurteilt wird Methoden der Lehrevaluation Alle gängigen Methoden der Evaluation können auch in der Lehrevaluation eingesetzt werden. Hier einige Beispiele der Evaluationsmethoden: Evaluation von Studiengängen 360 Feedback (Befragung von Vorgesetzten, Kollegen, Mitarbeitern und Selbstbefragung) Peer review (Beurteilung durch externer / betriebsfremder Kollegen) Selbstevaluation der Lehrenden Studierendenbefragungen Alumni Befragungen 2.4. Lehrveranstaltungsevaluation als ein Element der Lehrevaluation Wenn von Evaluation der Lehre die Rede ist, muss unterschieden werden zwischen Lehrevaluation und Lehrveranstaltungsevaluation. Unter Lehrevaluation wird die Evaluation der Lehre insgesamt, Veranstaltungs- und Dozentenübergreifend verstanden. Studentenurteile sind hier nicht ausreichend, es müssen weitere Verfahren (Peer-Reviews, Selbsteinschätzungen, etc.) herangezogen werden. Für die Lehrveranstaltungsevaluation sind neben der Befragung der Veranstaltungsteilnehmer ebenfalls mehrere Methoden denkbar (peer review, stichprobenhafte Befragung von Kollegen oder Studierenden etc.). Die Befragung der Studierenden ist im Falle der Lehrveranstaltungsevaluation die Methode der Wahl, denn die Studierenden sind Zielgruppe der einzelnen Veranstaltungen (Rindermann, 2001, Fent, 1998). 5

6 Um eine universitätsweite, umfassende Evaluation mit dem Ziel der stetigen Steigerung der Qualität der Lehrveranstaltungen durchzuführen, ist die Einschätzung der Veranstaltungen durch die Studierenden die beste Möglichkeit. Durch die Studierendenbefragung wird die subjektive Zufriedenheit der Veranstaltungsteilnehmer mit der durchgeführten Lehrveranstaltung erfasst Kriterien für die Lehrveranstaltungsevaluation Um die Qualität von Lehrveranstaltungen messen zu können, muss als erstes überlegt werden, welches die Kriterien guter Lehre sind. Es gibt in der Literatur zur Lehr- und Lehrveranstaltungsevaluation große Übereinstimmung darüber, was eine gute Lehrveranstaltung ausmacht. Die Kriterien guter Lehre in dem Bedingungsmodell von Rindermann (2000) sind im wesentlichen die gleichen, wie in der Zusammenfassung von el Hage (1999) sowie in weiteren Aufsätzen über Lehrveranstaltungsevaluation (z.b. Bargel, 2000). Zur Vereinfachung haben wir die Kriterien guter Lehrveranstaltungen durch ein in der Pädagogik gängiges Modell, das didaktische Dreieck, systematisiert: Bedingungsfaktoren guter Lehre - Überschneidungen - Schwierigkeit Rahmenbedingungen - Besuchszahl - Pflichtveranstaltung - räumliche Umgebung - zeitliche Faktoren - Prüfungsrelevanz Thema Dozentin Studierende - Klarheit / Struktur - Vorwissen - Breite / Praxisbezug - Fähigkeiten - Verarbeitungstiefe - Vorinteresse - Lehrkompetenz / Rhetorik - Fleiß /Arbeitsbelastung - Engagement / Motivierung - Beteiligung - Betreuung - Referate - Wissenschaftliche Fachkompetenz - Störungen - Fehlzeiten 6

7 Ergänzung zu dem Modell: In dieser Grafik sind aus Platzgründen nur die Eckpunkte des Didaktischen Dreiecks mit den betreffenden Kriterien versehen, es müssen aber außerdem die Interaktionen (IA) zwischen den Eckpunkten des Dreiecks berücksichtigt werden (Dozentin Studierende - IA; Studierende Thema IA...). Der Einsatz dieses Modells dient der systematischen Abdeckung aller für die Lehrveranstaltungsevaluation relevanten Kriterien und zeigt, dass es nicht sinnvoll ist, Kriterien beliebig festzulegen und Fragen beliebig zu formulieren. Eine begründete Auswahl von Kriterien auf der Grundlage eines solchen oder ähnlichen theoretischen Modells ist für die Fragebogenkonstruktion unerlässlich. Aus den Kriterien an den Eckpunkten des didaktischen Dreiecks, und den Kriterien der Interaktionen, die im Bedingungsmodell zusammengefasst werden, kann dann für die Studierendenbefragung eine sinnvolle Auswahl getroffen werden. 7

8 3. Ziel der Lehrveranstaltungsevaluation an der Universität Stuttgart und Implikationen für die Struktur des Fragebogens Die Ergebnisse der Studierendenbefragung sollen primär den folgenden Zweck erfüllen: Feedback an die Dozenten zur Verbesserung ihrer Lehrveranstaltungen. Feedback an die Studienkommission zur Verbesserung der Lehre in den Studiengängen. Feedback an Dekane und Rektorat als Beitrag zur Beurteilung von Studiengängen. Es soll an dieser Stelle aber nochmals hervorgehoben werden, dass eine Studierendenbefragung allein keine umfassende Beurteilung der Lehre oder der Dozenten erlaubt. Dieses Instrument ist nur ein, zugegebenermaßen wichtiger, Aspekt in diesem Kontext. Bedingt durch die verschiedenen Zielsetzungen: - unterschiedliche Bedürfnisse der Fakultäten - unterschiedliche Lehrveranstaltungstypen bietet sich für dieses Konzept der Lehrveranstaltungsevaluation ein modularer Aufbau des Evaluationsinstrumentes an Struktur / modularer Aufbau des Fragebogens Folgende Module sind für das neue Evaluationsinstrument vorgesehen: A. Zentrale, Fakultäts- und Veranstaltungstypen übergreifende Fragen (für alle Fakultäten und Veranstaltungstypen gleich) B. Fragen der Fakultät (Spezifischer Fragenteil der Fakultät des Dozenten) C. Fragen des Dozenten (Spezifische Fragen des Dozenten) zusätzlich: D. Fragen zu den Rahmenbedingungen A-, B-, C- und D-Teil des Fragebogens werden jeweils gesondert auf einem extra Blatt dargeboten. Auf einem 5. Blatt kann der Dozent offene Fragen hinsichtlich seiner Veranstaltung stellen (z. B.: Was hat Ihnen an der Veranstaltung besonders gut gefallen? Was könnte an der Veranstaltung Ihrer Meinung nach noch verbessert werden?). Es ist bekannt, dass offene Fragen wertvolle, sehr differenzierte und konkrete Verbesserungshinweise für den Dozenten liefern. 8

9 4. Inhaltliche Gestaltung des Fragebogens Im folgenden werden die Kriterien, die für die Lehrveranstaltungsevaluation an der Universität Stuttgart als relevant angesehen werden beschrieben. Aus diesen Kriterien leiten sich wie unten dargestellt die einzelnen Fragen des A-Teils des Fragebogens ab Auswahl der Kriterien für die Lehrveranstaltungsevaluation Aus den zahlreichen Kriterien für gute Lehrveranstaltungen muss eine begrenzte Zahl für die Lehrveranstaltungsevaluation an der Universität Stuttgart ausgewählt werden. Die Auswahl hat sich hierbei an Kriterien zu orientieren, die über Ablauf sowie Art und Weise der Darbietung (und nicht die Inhalte) des Lehrstoffs Aufschluss geben. Es ist wenig sinnvoll, Studierende über die Relevanz der Lehrinhalte in bezug auf ihr Gesamtstudium zu befragen. Ebenso sollten nicht Kriterien erhoben werden, welche die Interaktion zwischen Dozentenvariablen und Variablen des Themas erfassen (z. B. Interesse der Dozentinnen am Thema), denn auch dies kann von den befragten Studierenden nicht adäquat eingeschätzt werden. Auf Grundlage der oben genannten Überlegungen wird vorgeschlagen, dass Dozentinnenvariablen, Studierendenvariablen und Variablen der Dozentinnen-Studierenden-Interaktion erhoben werden und dass als gesonderte Kategorie zusätzlich die Rahmenbedingungen Berücksichtigung finden. Nach Rindermann (2001) kann davon ausgegangen werden, dass die Evaluation unvollständige oder sogar falsche Ergebnisse liefert, wenn Studentenvariablen und Variablen der Rahmenbedingungen ausgeklammert werden. Nach Berücksichtigung dieser Überlegungen und der in den gängigen Konzepten zur Lehrveranstaltungsevaluation zu findenden Kriterien wird folgende Auswahl von acht Kriterien vorgeschlagen: Dozentinnenvariablen: Strukturierung / Klarheit Organisation / Vorbereitung Aktivierung / Motivierung Studierendenvariablen: Lernen Fleiß Motivation Variablen der Dozentinnen-Studierenden-Interaktion: Kooperation / Klima Angemessenheit von Umfang, Schwierigkeit und Tempo 9

10 4.2. Erläuterung der Kriterien Strukturierung / Klarheit Organisation und Vorbereitung Aktivierung / Motivierung Lernen Fleiß Motivation Kooperation gibt Informationen über didaktische Fertigkeiten der Dozenten informiert über den organisatorischen Ablauf der Veranstaltung und die inhaltliche Vorbereitung der Dozenten. beschreibt die Fertigkeit der Dozenten, die aktive Teilnahme an der Veranstaltung bei den Studierenden zu fördern. misst die subjektive Einschätzung der Studierenden bezüglich ihres Lernzuwachses aufgrund der betreffenden Veranstaltung. gibt Aufschluss über die Vor- bzw. Nachbereitung der Inhalte der Veranstaltung durch die Studierenden. informiert über die Bereitschaft der Studierenden, der Veranstaltung zu folgen und so zum aktiven Gelingen der Veranstaltung beizutragen. gibt Aufschluss darüber, ob die Dozenten sich den Studierenden gegenüber in den Veranstaltungen kooperativ verhalten. Angemessenheit von Umfang, Schwierigkeit und Tempo erhebt Informationen zur subjektiv empfundenen Angemessenheit von Umfang, Schwierigkeit und Tempo der Veranstaltung auf Studierendenseite Prinzipien der Fragenauswahl Die Auswahl der Fragen, durch welche die Kriterien erhoben werden sollen, erfolgt nach folgenden Prinzipien: Perspektive der Urteile (Subjektivität) Gegenstand der Urteile Differenziertheitsgrad der Urteile Einheitliche Beantwortbarkeit der Fragen Anwendbarkeit der Fragen auf alle Fakultäten und alle Veranstaltungstypen Perspektive der Urteile Die Erhebung der Studierendenurteile ist eine Methode, die keine objektiven Daten liefert. Aus der Formulierung der Fragen sollte ersichtlich sein, dass es sich um die subjektive Einschätzung der Studierenden handelt. 10

11 Dadurch soll das Bewusstsein der studentischen Beurteiler dafür geschärft werden, dass sie nicht angehalten sind, über die Person der Dozentinnen zu urteilen, sondern lediglich ihre subjektive Wahrnehmung bezüglich der Dozentinnen abgeben können. Gegenstand der Urteile Studierende sind nicht in der Lage Eigenschaften, Motive oder Einstellungen der Dozentinnen zu beurteilen, denn diese Variablen erschließen sich nur indirekt und unvollständig über das beobachtbare Verhalten. Es wird aus diesem Grund streng darauf geachtet, dass die Fragen keine Spekulationen über zugrunde liegende Eigenschaften zulassen. Mit Fragen, wie z. B. die Dozentin war persönlich engagiert wird nach solchen, dem Verhalten zugrunde liegenden Eigenschaften gefragt. Der Erkenntnisgewinn aus der Beantwortung einer solchen Frage ist darüber hinaus sehr gering, insbesondere, wenn das Ziel die konkrete Verbesserung bestimmter Aspekte der Veranstaltung (des Dozentinnenverhaltens) ist. Alle Fragen des Teils A sind verhaltensnah und konkret formuliert. Differenziertheitsgrad der Urteile Soll ein Kriterium der Veranstaltungsgüte durch bestimmte Fragen abgebildet werden, muss darauf geachtet werden, dass alle Aspekte des Kriteriums und nicht nur Teile des Kriteriums durch die Fragen erfasst werden. Ist es nicht möglich, alle Aspekte durch Fragen zu erfassen, weil dazu zu viele Fragen benötigt würden und der Rahmen des Fragebogens gesprengt würde oder weil nicht sichergestellt werden kann, dass alle Aspekte gleichgewichtig zur Erfassung des Kriteriums beitragen, so muss eine global gehaltene Frage bevorzugt werden. Dies erklärt, warum für die Kriterien Aktivierung / Motivierung, Kooperativität, Lernen und Interesse jeweils nur eine Frage zur Erfassung des Kriteriums gewählt wurde. Die anderen Kriterien werden durch zwei oder mehr Fragen erfasst. Anwendbarkeit der Fragen auf alle Fakultäten und alle Veranstaltungstypen Der Anspruch des ersten Fragebogenmoduls (Teil A) ist es, für alle Fakultäten der Universität Stuttgart und für die meisten Veranstaltungstypen einsetzbar zu sein. Aus diesem Grund werden Fragen, die sich nur auf spezielle Veranstaltungstypen beziehen (z.b. Fragen nach rhetorischen Fertigkeiten des Dozenten, die z.b. in manchen Seminaren keine Bedeutung haben und deshalb nicht beurteilt werden können) oder nur auf bestimmte Fächer beziehen nicht in den A-Teil des Fragebogens aufgenommen. Einheitliche Beantwortbarkeit der Fragen Im Hinblick auf die Benutzerfreundlichkeit und aus Gründen der vorgesehenen zentralen Auswertung soll es höchstens zwei Antwortmodi geben: Unipolare Fragen, die den Grad der Zustimmung messen sowie bipolare Fragen. 11

12 5. Beschreibung des Fragebogens 5.1. Teil A des Fragebogens: Zuordnung der Fragen zu den Kriterien Kriterium: Strukturierung / Klarheit Ziele und Anforderungen der Veranstaltung wurden klar formuliert. Der (inhaltliche) Aufbau der Veranstaltung war für mich nachvollziehbar. Die Relevanz der behandelten Themen wurde verdeutlicht und / oder es wurden Bezüge zu anderen Teilgebieten des Faches hergestellt. Ich bekam die Erklärungen, die ich brauchte. Die eingesetzten Medien (Tafel, Flip, Overhead, Beamer,...) trugen zum Verständnis der Lehrinhalte bei. Die eingesetzten Methoden (Vortrag, Gruppenarbeit, Diskussionen,...) eigneten sich gut zur Vermittlung der Inhalte. Kriterium: Organisation und Vorbereitung Der/die Dozentin wirkte inhaltlich gut vorbereitet. Der/die Dozentin hatte die Veranstaltung gut organisiert. Kriterium: Aktivierung / Motivierung Die Veranstaltung hat mein Interesse an dem Thema gefördert. Kriterium: Lernen Meinen Lernzuwachs durch diese Veranstaltung schätze ich hoch ein. Kriterium: Fleiß der Teilnehmer Ich habe mich auf die Veranstaltung vorbereitet oder den Veranstaltungsstoff nachgearbeitet. 12

13 Kriterium: Motivation Es war mir wichtig, der Veranstaltung inhaltlich zu folgen. Kriterium: Kooperation Ich fühlte mich frei, Fragen und Kommentare einzubringen. Kriterium: Angemessenheit von Umfang, Schwierigkeit und Tempo Die Anzahl der behandelten Themen schien mir viel zu groß...(bis)...viel zu niedrig. Die Behandlung der Themen war (von) viel zu ausführlich...(bis)...viel zu wenig ausführlich. Die Anforderungen der Veranstaltung an mich waren (von) viel zu hoch...(bis)...viel zu niedrig. Die Vorgehensgeschwindigkeit war (von) viel zu schnell...(bis)...viel zu langsam. Wie oft haben Sie an der Veranstaltung teilgenommen? (von 100% bis 0%) Die ersten sieben Kriterien werden durch sogenannte unipolare Fragen erhoben, bei deren Beantwortung die Studierenden Ihre Zustimmung/Ablehnung zur gemachten Aussage auf einer siebenfach unterteilten Skala zum Ausdruck bringen (von trifft überhaupt nicht zu bis trifft voll und ganz zu. Das letzte Kriterium (Angemessenheit von Umfang, Schwierigkeit und Tempo) kann sinnvoll nur durch sogenannte bipolare Fragen erhoben werden. Hierfür wird eine Unterteilung der Antworten in fünf Werte empfohlen. Es wurde bei der Kriterien- und Fragenauswahl auch darauf geachtet, dass Teil A den Umfang von einer Seite nicht überschreitet. Im Anhang ist eine (vom Layout her vorläufige) Version des Fragebogens Teil A zu finden. Schleifenvariablen: Mit der Aufnahme von Studierendenvariablen (auch Schleifenvariablen oder Schleifenfragen genannt) kann vom Dozenten bei Bedarf überprüft werden, ob bestimmte Verhaltensmerkmale von Studierenden einen ursächlichen Anteil bei einer eventuellen negativen Bewertung der Veranstaltung haben könnten. Diesem Zweck dienen vor allem diejenigen Fragen, die auf die Motiviertheit der Studierenden, den Fleiß und die Teilnahmehäufigkeit abzielen. 13

14 5.2. Teil B des Fragebogens Da in den unterschiedlichen Fakultäten bezüglich der didaktischen Kompetenzen der Dozentinnen und der Anforderungen an eine gute Veranstaltung Unterschiede bestehen, soll in diesem zweiten Modul des Fragebogens die Möglichkeit gegeben werden, fakultätsspezifische Fragen einzufügen, um sie einer zentralen Auswertung zugänglich zu machen. In diesem Teil können auch veranstaltungstypspezifische Fragen aufgenommen werden, sofern sich diese ebenfalls inhaltlich unter Ablauf sowie Art und Weise der Darbietung des Lehrstoffes subsumieren lassen. In diesen Teil können z.b. bewerte Elemente bereits bestehender Fragebögen, die nicht durch Teil A abgedeckt werden, aufgenommen werden. Damit die B-Teile ebenfalls für eine zentrale, automatisierte Auswertung geeignet sind, müssen die Fragen nach Inhalt und Form gewissen Bedingungen gehorchen: 1. Die Fragen müssen entweder so gestellt sein, dass sie die Zustimmung/Ablehnung zu einer Aussage erfragen (beantwortbar in dem Raster von trifft überhaupt nicht zu bis trifft voll und ganz zu ). Als Alternative sind auch bipolare Fragen möglich, wobei die Skalen der Antworten definiert werden müssen. 2. Die konkreten Fragen müssen in ein vom Didaktikzentrum zu erstellendes, im Layout fest vorgegebenes Dokument eingetragen werden. Dadurch wird die anpassungsfreie Auswertung mittels Laserscanner möglich. Es sind nur eine begrenzte, maximale Zahl von unipolaren und von bipolaren Fragen möglich. Die Fakultäten müssen diese Anforderungen nicht erfüllen. In dem vorgeschlagenen Konzept können im Prinzip beliebige Fragen mit beliebigem Antwortraster für Teil B integriert werden. Eine zentrale Auswertung kann aber ausschließlich erfolgen, wenn die oben genannten Minimalanforderungen erfüllt werden. Weiterhin wird darauf hingewiesen, dass sich das Didaktikzentrum der Universität Stuttgart bereit erklärt hat auf Anfrage eine beratende Funktion bei der Konstruktion von theoretisch fundierten und methodisch korrekten Fragebogenmodulen zu übernehmen. Dies betrifft sowohl Beratung bei der Neukonstruktion von Fragebögen, aber auch bei der Revision und Anpassung bestehender Fragebögen. Den Fakultäten wird sehr empfohlen, diesen Service in Anspruch zu nehmen Teil C des Fragebogens In diesem Modul soll den Dozentinnen die Möglichkeit gegeben werden, Fragen zu stellen, welche die Teile A und B ergänzen und ihnen noch differenzierter Aufschluss darüber geben, wie sie ihre Veranstaltungen verbessern könnten. Auch für diesen Fragebogenteil kann eine zentrale Auswertung in Anspruch genommen werden, wenn die Fragen, die in Abschnitt 5.2 genannten Bedingungen erfüllen. Für Teil C wird ebenfalls ein Dokument bereitgestellt, in das der jeweilige Dozent seine Fragen eintragen kann. Es ist vom Didaktikzentrum vorgesehen, bis zur Evaluation im Sommersemester 2002 eine Liste von Beispielfragen bereitzustellen, die dem Dozenten eine Orientierung geben kann und aus welcher die Dozentinnen auch für ihre Veranstaltungen passende Fragen auswählen können. 14

15 5.4. Teil D des Fragebogens Die Erhebung von Rahmenbedingungen als zusätzlicher Aspekt der Lehrveranstaltungsevaluation ist sinnvoll, da bei Nichtberücksichtigung unvollständige oder sogar falsche Ergebnissen möglich sind. So ist zum Beispiel bekannt, dass ungünstige Rahmenbedingungen (überfüllte Räume, schlechte Belüftung oder schlechte Lichtverhältnisse) einen erheblichen Einfluss auf die Bewertung einer Lehrveranstaltung haben können. Um erkennen zu können, ob die Rahmenbedingungen dazu beigetragen haben, dass eine Lehrveranstaltung negativ bewertet wurde ist die Erhebung dieser Faktoren unerlässlich Instruktion Jeder Fragebogen enthält im Kopf Instruktionen für das korrekte Ausfüllen der Bögen (z.b. über die Art, wie die Antworten markiert werden müssen, damit eine maschinelle Auswertung möglich ist). Es muss in der Instruktion darauf hingewiesen werden, dass die Teilnahme an der Befragung nach 125 a Abs. 4 UG freiwillig ist. Weiterhin muss auf allen Bögen, bei denen Freitexteintragungen möglich sind, nachfolgende Formulierung in die Instruktion aufgenommen werden: Die Befragung von Teilnehmerinnen und Teilnehmern von Lehrveranstaltungen hat anonym zu erfolgen. Bei handschriftlich dargelegten Äußerungen oder Bemerkungen lassen sich durch Schriftvergleich Re-Identifizierungen bei der Auswertung nicht ausschließen. Dies kann vermieden werden, indem entsprechende Fragen nicht beantwortet werden, oder Fragebogenteile nicht abgegeben werden. Auf dem durch den Dozenten auszufüllenden Deckblatt (siehe 6.3.) wird das Ziel der Studierendenbefragung kurz erläutert. Der Dozent ist gehalten diese Information an die Studierenden weiterzugeben. 15

16 6. Durchführung der Evaluation 6.1. Verantwortlichkeiten Der Fakultätsvorstand ist verantwortlich für die Evaluationsangelegenheiten. Sofern von dieser Stelle oder der Studienkommission keine Festlegung erfolgt, ist jeder Dozent verantwortlich für die korrekte Durchführung der Studierendenbefragung in seinen Veranstaltungen (siehe 23 Absatz 4 Satz 6 Nr. 6 UG). Prinzipiell wird vorgeschlagen, dass jede Veranstaltung in jedem Semester (in der sie durchgeführt wird) zumindest mit Teil A des Fragebogens evaluiert wird. Die Fakultäten bzw. Dozenten entscheiden individuell ob, und in welchem Rhythmus, zusätzlich eine Evaluation mit den Fragebogenteilen B bzw. C erfolgt. Es gibt einige Lehrveranstaltungstypen, für deren Evaluation der vorliegende Fragebogen Teil A im allgemeinen nicht geeignet erscheint. Diese Veranstaltungstypen sind, nach gegenwärtiger Einschätzung, die folgenden: Labore / Praktika Übungen Exkursionen Studienarbeiten / Diplomarbeiten Ringvorlesungen. Je nach den speziellen Gegebenheiten der Lehrveranstaltung, kann die Befragung der Studierenden mit Teil A des Fragebogens jedoch im Einzelfall auch für diese Veranstaltungstypen sinnvoll sein. Sofern dies der Fall ist, sollte die Befragung stets durchgeführt werden. Prinzipiell sollten alle Veranstaltungen in die Evaluation mit Teil A einbezogen werden, für die der Fragebogen sinnvoll anwendbar ist. In allen anderen Fällen kann eine Evaluation mit Teil B und Teil C erfolgen. Veranstaltungen, die von Studierenden durchgeführt werden sind von der Evaluation ausgeschlossen. Bei Veranstaltungen mit mehr als einem Dozenten muss von dem Dozenten, der die Befragung durchführt, klar vorgegeben werden, auf welchen Dozenten sich die Kriterien zum Dozenten bei der Evaluation beziehen sollen. Dies erfolgt in Absprache mit den anderen Dozenten. In darauf folgenden Semestern sollten sich die Dozentenkriterien dann jeweils auf andere Dozenten beziehen. Bei einer zu großen Zahl an Dozenten pro Veranstaltung erscheint eine Evaluation durch Studierendenbefragung nicht sinnvoll. Die Dozenten entscheiden, ob dies bei ihrer Veranstaltung der Fall ist. Die Rahmenbedingungen sollten bedarfsorientiert in mehr oder weniger regelmäßigen Abständen erhoben werden (nicht notwendigerweise jedes Semester). Die Entscheidung darüber trifft der Dozent oder die Fakultät. Falls die Veranstaltung in verschiedenen Räumen stattfindet spezifiziert der Dozent zu Beginn der Befragung auf welchen Raum sich die Erhebung der Rahmenbedingungen beziehen soll. Weitere Räumen können je nach Bedarf in nachfolgenden Semestern beurteilt werden. 16

17 Der Dozent soll die Ergebnisse der Evaluation mit den Teilnehmern in der Veranstaltung besprechen (siehe 6.3). Die Studiendekane werten die ihnen zur Verfügung stehenden Ergebnisse der Evaluation (siehe Abschnitt 7) studiengangbezogen aus und geben diese den Studienkommissionen zur Kenntnis. Die Dekane werten die ihnen zur Verfügung stehenden Ergebnisse der Evaluation (siehe Abschnitt 7) aus und geben diese gegebenenfalls in den entsprechenden Gremien bekannt Durchführungszeitpunkt Der Zeitpunkt der Durchführung sollte in der Mitte der Veranstaltung liegen. In diversen empirischen Studien hat sich gezeigt, dass es im Hinblick auf die Ergebnisse keine Rolle spielt, ob die Befragung in der Mitte oder am Ende des Semesters durchgeführt wird (Bargel, 2000). Da sich die Ergebnisse bezüglich des Befragungszeitpunktes nicht signifikant unterscheiden, ist es sinnvoll, die Studierendenbefragung schon in der Mitte des Semesters durchzuführen, um erstens Verbesserungsvorschläge noch im laufenden Semester umsetzen zu können und zweitens die Befragungsergebnisse mit den Studierenden besprechen zu können (Sturm, 1994). Es ist darauf hinzuweisen, dass es besser ist, den Befragungszeitpunkt nicht ans Ende der Veranstaltung zu legen, sondern an den Anfang oder, falls dies in den Veranstaltungsablauf integrierbar ist, in die Mitte der Veranstaltung, da am Ende der Veranstaltung die Aufmerksamkeit der Studierenden nachlässt. Ebenso sinkt am Veranstaltungsende die Motivation, den Bogen gründlich und gewissenhaft auszufüllen Ablauf der Durchführung Ab dem Sommersemester 2002 sollen Vorlagen für maschinenlesbare Fragebögen mit dem Teil A des Fragebogens zur Verfügung stehen. Geplant ist nach Abstimmung mit dem Personalrat eine laserscannerbasierte zentrale Auswertung. Die Dozentin bestimmt an welchem Veranstaltungstag in der Mitte des Semesters er / sie die Befragung durchführen möchte und gibt diesen Termin den Veranstaltungsteilnehmern rechtzeitig bekannt. Die Teilnehmer der Lehrveranstaltung sollten darauf hingewiesen werden, dass eine nachträgliche Abgabe der Fragebögen bei vorgesehener maschineller Auswertung nicht möglich ist. Es soll ein Zeitfenster von ca. 15 Minuten für die Studierendenbefragung vorgesehen werden. Je nach Umfang des Fragebogens (Teile B und C) kann das Zeitfenster angepasst werden. Die ausgefüllten Bögen werden getrennt nach zentral auszuwertenden und von Dozenten auszuwertenden Bögen in der Veranstaltung eingesammelt (z.b. durch ausgewählte Teilnehmer, Fachschaftsvertreter, Assistenten oder wissenschaftliche Hilfskräfte). Die Wahrung der Anonymität der Befragten verbietet das selbständige Einsammeln der Bögen durch den Dozenten. 17

18 Der Dozent füllt ein vorgegebenes Deckblatt aus, auf dem (i) der Name der Veranstaltung, (ii) der Dozent (bei mehreren Dozenten der beurteilte Dozent) einschließlich der Adresse und (iii) das Datum der Befragung vermerkt werden. Die ausgefüllten Fragebögen zu Teil A und das ausgefüllte Deckblatt werden in einen Umschlag gesteckt und in jedem Fall der zentralen Auswertung zugeführt. Der Umschlag ist unmittelbar nach der Befragung an das Didaktikzentrum zu senden, ohne dass der Dozent die Fragebögen vorher inspiziert. Falls die Teile B und C ebenfalls zentral ausgewertet werden sollen, wird bei diesen Teilen gleich verfahren. Die Bögen können im gleichen Umschlag versandt werden. Falls die Rahmenbedingungen erhoben werden, werden diese Fragebögen ebenfalls im gleichen Umschlag an das Didaktikzentrum gesandt. Zusätzlich muss auf dem Deckblatt spezifiziert werden, auf welchen Raum sich der Fragebogen bezieht. Die Auswertung der offenen Fragen (Handschriftlicher Teil) kann und soll nicht zentral erfolgen, da diese Informationen ausschließlich für die Dozentinnen relevant sind. Die abgegebenen Bemerkungen sollen von Hilfskräften in den Computer eingegeben werden, oder vom Dozenten gelesen und zur Kenntnis genommen werden. Im ersten Fall wäre den in 125 a Abs. 4 UG geforderten Anonymität der Auswertung in umfassender Weise entsprochen. Für die zentrale Auswertung ist ein Zeitraum von 1-2 Wochen vorgesehen. Erfahrungen an anderen Universitäten mit zentraler Auswertung der Lehrveranstaltungsevaluation lassen diese Zeitangabe realistisch erscheinen. Die Evaluationsergebnisse werden an die Dozentinnen (vermutlich automatisch per ) versandt. Die Auswertung geht nur an den im Deckblatt genannten evaluierten Dozenten. Falls eine Veranstaltung mehrere Dozenten hat, informiert der beurteilte Dozent die andere Dozenten der Veranstaltung über die Ergebnisse der Befragung. Die Erhebungsbögen sind 6 Monate nach der Auswertung in Ermangelung der Erforderlichkeit einer weiteren Vorhaltung zu vernichten. Die Rückmeldung der Ergebnisse an die Studierenden spielt eine wesentliche Rolle im Evaluationsprozess (Rindermann, 2001). Die Besprechung der Ergebnisse soll spätestens 3 Wochen nach der Befragung in der Veranstaltung stattfinden. Der Auswertung liegt eine entsprechende Präsentationshilfe bei. Durch die Ergebnispräsentation kann ein Dialog zwischen Dozentinnen und Studierenden in Gang gesetzt werden, der weitere, im Fragebogen nicht erhobene Informationen zur Verbesserung der Veranstaltung geben kann. Außerdem wird die Akzeptanz und Transparenz der Durchführung der Evaluation bei den Studierenden erhöht. Allerdings ist darauf zu achten, dass Studierende und Lehrende durch die Evaluationsaufgabe nicht überfordert werden, das heißt, lange Diskussionen sollten nur bei kritisch bewerteten Veranstaltungen geführt werden (Rindermann 2001). 18

19 7. Auswertung Für die Auswertungsergebnisse gibt es fünf Adressaten. Rektorat (Prorektor Lehre) Dekan der Fakultät des Dozenten Studiendekane der Studiengänge der Hörer der Veranstaltung Dozentin(nen) der Veranstaltung Studierende (Teilnehmer der Veranstaltung) Die aus dem Universitätsgesetz abgeleitete Erforderlichkeit der Wahrung der Anonymität der Teilnehmerinnen und Teilnehmer von Befragungen von Lehrveranstaltungen verbietet die Evaluierung von Lehrveranstaltungen von weniger als 6 Teilnehmern. Im weiteren unterbleiben Auswertungen, die sich auf Untergruppen der Befragten beziehen (z.b. Auswertungen aufgeschlüsselt nach der Studiengangzugehörigkeit der Befragten), sofern die Anzahl der Ergebnisbögen in diesen Gruppen weniger als 6 beträgt. Die Ergebnisse werden je nach Adressat unterschiedlich zusammengefasst (siehe 7.1) und spätestens bis zum Ende des laufenden Semesters weitergeleitet. Ziel dieser Zusammenfassung ist eine gezielte Informationsverdichtung Ergebnisaufbereitung für den Prorektor Lehre Sobald ein Gesamtkonzept für die Lehrevaluation an der Universität vorliegt und damit der Verwendungszweck entsprechender Daten festliegt, sollen dem Rektorat die Ergebnisse der Studierendenbefragungen zugänglich gemacht werden. Dazu müssen die Befragungsergebnisse entsprechend verdichtet werden. Es wird daher vorgeschlagen, dass dem Rektorat ein Globalindikator für jede Veranstaltung mitgeteilt wird. Dieser Globalindikator setzt sich aus den Mittelwerten der einzelnen Kriterien (Strukturierung / Klarheit; Organisation / Vorbereitung; Aktivierung / Motivierung; Kooperation; Lernen) zusammen. Nicht in dem Globalindikator enthalten sind die Kriterien Fleiß und Motivation der Studierenden, weil diese Kriterien die Funktion von Schleifen- bzw. Kontrollvariablen erfüllen (siehe Abschnitt über Schleifenvariablen oben). Außerdem soll die statistische Verteilung der Veranstaltungen in der Fakultät mitgeliefert werden. Die Ergebnisse werden für das Rektorat nach Fakultäten geordnet. Innerhalb der Fakultäten sollen die Veranstaltungen nach ihren Ergebnissen geordnet aufgelistet werden. An dieser Stelle muss aber betont werden, dass ein Vergleich von Lehrveranstaltungen auf der alleinigen Basis von studentischen Befragungen wissenschaftlich nicht begründbar ist (Kromrey, 1995)! Weiterhin ist festzuhalten, dass ein solcher Globalindikator die subjektive Zufriedenheit der befragten Studierenden mit den Lehrveranstaltungen wiedergibt. Ein Rückschluss auf die Qualitäten des Dozenten als akademischer Lehrer ist nicht möglich. 19

20 7.2. Ergebnisse für die Dekane Die Dekane bekommen die gleichen Ergebnisse wie der Prorektor Lehre, allerdings nur für die eigene Fakultät und nach Dozenten geordnet. Da der Fakultätsvorstand nach 23 Absatz 4 Satz 6 Nr. 6 UG für die Evaluationsangelegenheiten verantwortlich ist, gehen darüber hinaus weitere Informationen an die Dekane. Im Zuge der Informationsverdichtung erscheint die Beschränkung der Information auf die Mittelwerte der fünf folgenden Kriterien sinnvoll: Strukturierung / Klarheit Organisation / Vorbereitung Motivierung / Aktivierung Kooperation Lernen Außerdem erhalten die Dekane auch die Ergebnisse aus dem Teil D Rahmenbedingungen Ergebnisse für die Studiendekane Die Studiendekane erhalten die gleichen Informationen, wie die Dekane. Da bei den Studiendekanen nicht eindeutig festlegbar ist, welche Veranstaltungen im einzelnen für sie von Interesse sind, sollten sie selbst darüber entscheiden, welche in ihrer Zuständigkeit liegenden Ergebnisse sie für Ihre Aufgabe benötigen. Ist die Liste der Veranstaltungen einmal festgelegt, bekommt der Studiendekan jedes Semester die Ergebnisse der festgelegten Veranstaltungen, es sei denn, es werden vom Studiendekan Änderungen an der bestehenden Liste vorgenommen. Allerdings ist es nicht möglich einen Globalindikator des Studienganges als Referenzwert für die Einzelergebnisse zu errechen, da nicht klar unterschieden werden kann, welche Veranstaltungen zum Studiengang gehören und welche nicht Ergebnisse für die Dozentinnen Die Dozentinnen bekommen das Ergebnis ihrer Veranstaltung (wie für den Prorektor Lehre) als Globalwert aufbereitet. Sie bekommen außerdem (wie die Dekane und Studiendekane) die Mittelwerte der oben genannten Kriterien und die Informationen zu den Rahmenbedingungen. Um konkrete Hinweise für eventuell nötige Verbesserungen zu bekommen, werden den Dozentinnen die vollen statistischen Information zu jeder einzelnen Frage (1-18) zur Verfügung gestellt. Als Referenzwert werden die Mittelwerte der Fragen in allen Veranstaltungen der Fakultät der Dozentinnen angegeben. Der Versand der Auswertungsergebnisse an die Dozentinnen hat in einer vertraulichen Form zu erfolgen. 20

21 7.5. Bekanntmachung der Ergebnisse gegenüber den Studierenden Wie schon im Teil Durchführung geschrieben, sollten die Ergebnisse der Veranstaltungsbewertung mit den Studierenden besprochen werden. Die Dozentin sollte die Mittelwerte der einzelnen Kriterien mit Hilfe einer Grafik präsentieren. Da es aufgrund der Heterogenität des Kriteriums Angemessenheit von Umfang, Schwierigkeit und Tempo nicht sinnvoll ist, einen Mittelwert zu errechnen, sollten die Mittelwerte der einzelnen Fragen visualisiert und vorgestellt werden. Ein zeitlich begrenzter Dialog über die Ergebnisse ist erfahrungsgemäß wünschenswert. 21

22 8. Weiterentwicklung der Studierendenbefragung Die erste, vollständig auf Basis des neuen Konzepts durchgeführte Befragung soll zu einer empirische Verifikation des Fragebogens durch Bias-Variablen in ausgewählten Stichproben genutzt werden. Als Bias-Variablen werden diejenigen Einflüsse bezeichnet, die das Ergebnis der Befragung verzerren können. Es handelt sich hierbei z. B. um Sympathie-Einflüsse, Anforderungen an die Studierenden, Unterhaltungswert der Veranstaltung etc. Der Fragebogen soll so gestaltet sein, dass diese Faktoren möglichst keinen Einfluss auf das Ergebnis der Befragung haben. Der Einsatz solcher Bias-Variablen dient ausschließlich der Überprüfung und eventuellen Weiterentwicklung des Fragebogens. Für diesen Zweck ist eine einmalige Überprüfung an einer (möglichst repräsentativen) Stichprobe von ungefähr 300 Fragebögen ausreichend. Für diese Stichprobe (und nur für diese Stichprobe) wird der Fragebogen um weitere Fragen ergänzt. Die Überprüfung des Fragebogens wird an einer geeignete Stelle (Soziologisches Institut oder Didaktikzentrum) durchgeführt. Die Ergebnisse der Auswertung stehen nur diesen Stellen zur wissenschaftlichen Begleitung der Lehrveranstaltungsevaluation zur Verfügung. Diese Daten werden 6 Monate nach der Auswertung gelöscht. Die Stichprobe ist so zu wählen, dass nur von hauptamtlichen Professoren verantwortete Veranstaltungen betroffen sind. Das Einverständnis der jeweiligen Dozenten ist einzuholen. Diese sind nicht verpflichtet an einer durch Bias-Fragen erweiterten Befragung mitzuwirken. Eine kontinuierliche Überprüfung des Konzepts zur Studierendenbefragung an der Universität Stuttgart und eine stetige Weiterentwicklung bzw. Anpassung in kommenden Semestern ist notwendig und sinnvoll. Anregungen zum Konzept und zum Fragebogen können jederzeit an das Didaktikzentrum der Universität Stuttgart gesandt werden Verwendung und Veröffentlichung der Evaluationsergebnisse Unter Bezug auf die Regelung in 125a Abs. 4 UG dürfen Evaluationsergebnisse nur in anonymisierter Form bekannt gegeben werden, es sei denn, die Dozentin willigt in Form und Umfang der Veröffentlichung ein. Die Einwilligung bedarf der Schriftform ( 4 Landesdatenschutzgesetz). Die Ergebnisse der Lehrveranstaltungsevaluation durch Studierendenbefragung dürfen nicht zur Verhaltens- oder Leistungskontrolle von wissenschaftlichen Mitarbeitern herangezogen werden. 22

23 9. Abschlussbemerkungen Das in diesem Dokument beschriebene Konzept zur Lehrveranstaltungsevaluation durch Studierendenbefragung wurde im Zeitraum Mai bis November 2001 von der Arbeitsgruppe Lehrevaluation erarbeitet. Der Senat der Universität Stuttgart hat das Konzept auf seiner Sitzung vom beschlossen. Arbeitsgruppe Lehrevaluation: Vorsitz: Prof. Dr. F. Allgöwer, Institut für Systemtheorie technischer Prozesse Mitglieder der Arbeitsgruppe: Herr K. Angstmann (studentischer Vertreter), Herr F. Drixler (studentischer Vertreter), Prof. Dr. R. Eligehausen, Prof. Dr. M. Fromm, Herr J. Greifeneder (studentischer Vertreter), Frau Dr. phil. S. Hähner, Frau Dipl.-Psych. E. Kröber (Didaktikzentrum), Herr H. Lindhorst, Ma., Frau Prof. Dr. M. Mutti, Prof. Dr. U. Kull, Herr H. Schullerer (Datenschutzbeauftragter der Universität Stuttgart), Prof. Dr. D. Urban. 23

24 Literaturverzeichnis Bargel, T. (2000). Studentische Befragungen als Beitrag zur Evaluation der Lehre: Methodische Einwände und Probleme. Unveröffentlichter Bericht der AG Hochschulforschung. Universität Konstanz. Diehl, J. M. & Kohr, H.-U. (1977). Entwicklung eines Fragebogens zur Beurteilung von Hochschulveranstaltungen im Fach Psychologie. Psychologie in Erziehung und Unterricht, 24, Fent, Ch. (1998). Entwicklung von Fragebögen zur Studentischen Evaluation von Lehrveranstaltungen. Universität Tübingen, Psychologisches Institut: Unveröffentlichte Diplomarbeit. Hage, N. el (1996). Lehrevaluation und studentische Veranstaltungskritik. Projekte, Instrumente, Grundlagen. Bonn: Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie. Kromrey, H. (1995). Evaluation der Lehre durch Umfragenforschung? Methodische Fallstricke bei der Messung der Lehrqualität durch Befragung von Vorlesungsteilnehmern. In P. Ph. Mohler (Hrsg.). Universität und Lehre. Ihre Evaluation als Herausforderung an die empirische Sozialforschung. (S ). Münster: Waxmann. Rindermann, H. & Amelang, M. (1994). Das Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE). Handanweisung: Heidelberg: Asanger. Rindermann, H. (2001). Die studentische Beurteilung von Lehrveranstaltungen Forschungsstand und Implikationen. In: Spiel, Ch. (Hrsg.) Evaluation universitärer Lehre zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann. Stapf, K.-H. & Fuchs, W. (2000). Entwicklung, Erprobung und Implementierung eines Verfahrens zur Evaluation der Lehre an der Fakultät für Sozialund Verhaltenswissenschaften der Universität Tübingen. Unveröffentlichter Abschlußbericht über Verlauf und Ergebnisse des Projektes. Universität Tübingen, Psychologisches Institut. Sturm, M. (1994). Die Reise ins Ich... Selbstevaluation im Hochschulunterricht. Handbuch Hochschullehre, 1-28 (D 1.2). 24

25 Anhang 1 Zusammenfassung des Konzepts zur Lehrveranstaltungsevaluation durch Studierendenbefragung Einleitung An der Universität Stuttgart wird seit vielen Jahren eine Evaluation der Lehre auf der Basis von Studierendenbefragungen durchgeführt. In der Vergangenheit wurden dazu eine Vielzahl unterschiedlicher Fragebögen für die unterschiedlichen Fakultäten und z.t. sogar für einzelne Lehrveranstaltungen erarbeitet und eingesetzt. Seit ungefähr einen Jahr steht eine erste vorläufige Version eines einheitlichen Fragebogens zur Verfügung, der jedoch nach kritischer Reflexion einer Überarbeitung bedurfte. Das vorliegende Dokument beschreibt ein Gesamtkonzept zur Lehrveranstaltungsevaluation durch Studierendenbefragungen und stellt speziell einen neuen, einheitlichen Fragebogen vor, der den unterschiedlichen Anforderungen der diversen Studiengänge und unterschiedlichen Veranstaltungstypen gerecht wird. Lehrevaluation Die Lehrveranstaltungsevaluation durch Studierendenbefragung ist ein Element bei der Evaluation der Lehre, das die subjektive Einschätzung der Studierenden bezüglich der Qualität der Lehrveranstaltung misst. Eine darüber hinaus gehende Beurteilung der Lehre ist nur im Zusammenhang mit weiteren Elementen einer Lehrevaluation wie z.b. peer-reviews, Alumni-Befragungen, Benchmarking etc. möglich. Das hier vorgeschlagene Konzept umfasst a) einen Vorschlag für die Durchführung der Befragung, b) einen Vorschlag für den Fragebogen und c) einen Vorschlag für die Auswertung der ausgefüllten Bögen. Der Fragebogen ist dabei modular aufgebaut, wobei neben einen für alle Veranstaltungen einheitlichen Teil zwei weitere Teile treten, welche die speziellen Belange einzelner Fachrichtungen bzw. einzelner Veranstaltungen abdecken sollen. Als wissenschaftliche Basis und Strukturierungshilfe für die Auswahl der Fragen im allgemeinen Teil des Fragebogen wurde das gängige pädagogische Modell des didaktischen Dreiecks herangezogen, aus dem sich die durch die Befragung zu erhebenden Informationen (Kriterien) ergeben. Dabei sind für die Lehrveranstaltungsevaluation insbesondere die sogenannten Dozentinnenvariablen und die Interaktionen zwischen Dozentinnen- und Studierendenvariablen relevant. Nach Bargel (2000) sind Aussagen über die Lehrveranstaltungsqualität immer dann begrenzt oder sogar unzutreffend, wenn nicht auch Voraussetzungen der Studierenden und Gegebenheiten der Rahmenbedingungen mit erfasst und berücksichtigt sind. Daraus ergaben sich für die Erhebung der Lehrveranstaltungsgüte folgende Kriterien:

26 Anhang 1 Dozentinneneigenschaften: Studierendeneigenschaften: Strukturierung und Klarheit Organisation und Vorbereitung Aktivierung / Motivierung Lernen Fleiß Motivation Dozentin-Studierenden-Interaktion: Kooperativität / Klima Angemessenheit von Umfang, Schwierigkeit, Tempo Außerdem sollen die Rahmenbedingungen erfasst werden. Aus den Kriterien folgen die Fragen des Fragebogens, die nach anerkannten Prinzipien zusammengestellt wurden. Durchführung der Studierendenbefragung Vorrangiges Ziel der Evaluation ist die Qualitätssicherung und stetige Verbesserung der Lehre. Deshalb sollte die Evaluation in der Mitte des jeweiligen Semesters durchgeführt werden, damit die Resultate noch Auswirkungen auf die laufenden Veranstaltungen haben können (Sturm, 1994). Dies wird auch dadurch gerechtfertigt, dass die Wahl des Befragungszeitpunkts (in der Mitte oder am Ende des Semesters) keinen Einfluss auf die Ergebnisse hat (Bargel, 2000). Weiterhin ist sehr zu empfehlen, dass die Evaluationsresultate möglichst rasch nach der Befragung mit den Studierenden besprochen werden (Rindermann, 2001). Die Erhebung erfolgt auf Basis des Fragebogens, der in der Veranstaltung durch die Studierenden ausgefüllt wird und anschließend an eine zentrale Stelle zur maschinellen Auswertung gesandt wird. Der exakte Termin für die Befragung muss den Teilnehmern an der Veranstaltung rechtzeitig bekannt gegeben werden. Es wird eine regelmäßige Evaluation aller Veranstaltungen in jedem Semester empfohlen. Fragebogen Der Fragebogen ist modular aufgebaut, wobei sich die einzelnen Teile an den verschiedenen Anforderungen der unterschiedlichen Adressaten der Ergebnisse (Dozentinnen, Studiendekane, Dekane, Rektorat und Studierende) bzw. der unterschiedlichen Studiengänge und Veranstaltungstypen orientieren. Es sind insgesamt fünf Teile (Teile A bis E) vorgesehen, wobei Teil E der Erfassung der Rahmenbedingungen am Veranstaltungsort dient und somit nicht der eigentlichen Evaluation zugerechnet werden kann. Teil A des Fragebogens ist der Kernteil des Evaluationsinstrumentes. Dieser Teil ist so konzipiert, dass er für alle gängigen Veranstaltungstypen in allen Fakultäten einsetzbar ist. Für sich genommen liefert dieser Fragebogenteil bereits eine relativ umfassende Aussage über die Lehrveranstaltung. Die unter Abschnitt 2 genannten acht Kriterien werden durch 18 Fragen erhoben (siehe Fragebogen Teil A in der Anlage).

27 Anhang 1 Teil A wird ergänzt durch einen fakultätsspezifischen Teil B und einen dozentenspezifischen Teil C. Die Fakultäten haben dabei z.b. die Möglichkeit, bewährte Elemente bereits vorhandener Fragebögen in Teil B aufzunehmen, sofern sich diese ebenfalls inhaltlich unter Ablauf sowie Art und Weise der Darbietung des Lehrstoffes subsumieren lassen. Weiterhin wird das Didaktikzentrum die Fakultäten bei der Anpassung vorhandener Elemente und bei der Erstellung neuer fakultätsspezifischer Teile eine Beratung und Hilfestellung anbieten. Um eine sinnvolle Ergänzung des Teils A und die Kompatibilität der Teile zu gewährleisten wird eine solche Beratung als sinnvoll erachtet. Für den dozentinnenspezifischen Teil C wird das Didaktikzentrum verschiedene Bünde von Zusatzfragen auf Grundlage der Kriterien des didaktischen Dreiecks erarbeiten. Aus diesen Fragenpools kann die Dozentin passende Fragen auswählen und diese gegebenenfalls durch vorlesungsspezifische weitere Fragen ergänzen. Eine zentrale maschinelle Auswertung der Teile B und C wird ebenfalls angestrebt, sofern auch diese Teile die notwendigen Voraussetzungen für eine solche Auswertung erfüllen. Jede Fakultät entscheidet, ob ein fakultätsspezifischer Teil B sinnvoll ist und welche Komponenten gegebenenfalls in diesen Teil aufgenommen werden sollen. Jede Dozentin entscheidet, ob ergänzend ein dozentinnenspezifischer Teil C hinzugefügt werden soll und welche Informationen dadurch erhoben werden. Unter Umständen kann es sinnvoll sein, dass eine Evaluation auf Basis der Teile B und C nicht in jedem Semester erfolgt. Darüber entscheiden die jeweiligen Fakultäten (Teil B), bzw. der verantwortliche Dozent der Veranstaltung (Teil C). In Teil D werden die Studierenden aufgefordert spezifische Anregungen in Textform als Feedback für den Dozenten zu geben. Dieser Teil geht direkt an den Dozenten. Auswertung der Fragebögen Die statistische Auswertung erfolgt maschinell an zentraler Stelle. An das Rektorat geht für jede Veranstaltung ein Globalindikator als zusammenfassendes Ergebnis der Befragung, der sich aus den Bewertungen der unterschiedlichen Kriterien errechnet. Weiterhin erhält das Rektorat die statistische Verteilung für die Veranstaltungen in den einzelnen Fakultäten. Die Dekane und die Studiendekane erhalten zusätzlich zu der oben genannten Zusammenfassung die getrennte Auswertung der acht Kriterien. Die Dozentinnen sind aufgefordert diese Informationen mit den Studierenden in der Lehrveranstaltung zu besprechen. Die Dekane und Studiendekane erhalten zusätzlich statistische Daten zu den Ergebnissen in der jeweiligen Fakultät. Die Dozentin der Veranstaltung erhält zusätzlich zu allen oben genannten Daten eine sehr detaillierte Ergebnisauswertung auf Basis der Einzelfragen. Die Auswertung erfolgt unter Berücksichtigung der datenschutzrechtlichen Vorgaben.

28 Anhang 2 Universität Stuttgart Befragung der Studentinnen und Studenten der Universität Stuttgart zur Qualität der Lehre Liebe Studentin, lieber Student, die Universität Stuttgart ist bemüht, die Situation der Lehre weiter zu verbessern. Dieser Fragebogen ist ein wichtiger Bestandteil dieses Vorhabens. Wir möchten Sie daher bitten, unser Anliegen, die Qualität der Lehre zu verbessern, durch Ihre Mitarbeit zu unterstützen. Füllen Sie bitte den Fragebogen sorgfältig aus. Die Fragen beziehen sich ausschließlich auf diese Veranstaltung. Die Befragung entspricht den Bestimmungen des Datenschutzes. Sie ist freiwillig und anonym. Die Ergebnisse werden ausschließlich in aggregierter Form veröffentlicht und lassen keine Rückschlüsse auf einzelne Personen zu. Vielen Dank für Ihre Unterstützung. Im Auftrag des Prorektors für Lehre der Universität Stuttgart 1. In welchem Studiengang sind Sie eingeschrieben? Ziele und Anforderungen der Veranstaltung wurden klar formuliert. Der (inhaltliche) Aufbau der Veranstaltung war für mich nachvollziehbar. Die Relevanz der behandelten Themen wurde verdeutlicht und/ oder es wurden Bezüge zu anderen Teilgebieten des Faches hergestellt. trifft überhaupt nicht zu trifft voll und ganz zu Ich bekam die Erklärungen, die ich brauchte Die eingesetzten Medien (Tafel, Flip, Overhead, Beamer etc.) trugen zum Verständnis der Lehrinhalte bei. Die eingesetzten Methoden (Vortrag, Gruppenarbeit, Diskussionen etc.) eigneten sich gut zur Vermittlung der Inhalte. 8. Der Dozent wirkte inhaltlich gut vorbereitet. 9. Der Dozent hatte die Veranstaltung gut organisiert. 10. Die Veranstaltung hat mein Interesse an dem Thema gefördert. 11. Ich fühlte mich frei, Fragen und Kommentare einzubringen. 12. Meinen Lernzuwachs durch diese Veranstaltung schätze ich hoch ein. 13. Ich habe mich auf die Veranstaltung vorbereitet oder den Veranstaltungsstoff nachgearbeitet. 14. Es war mir wichtig, der Veranstaltung inhaltlich zu folgen.