International Psychoanalytic University Berlin. Evaluation der Lehre

Transkript

1 International Psychoanalytic University Berlin Evaluation der Lehre Sommersemester 2014

2 International Psychoanalytic University Berlin Lehrevaluationsbericht SoSe 2014 Inhaltsverzeichnis 1 Kompetenzorientierte Lehrevaluation Fragebogen Evaluationsablauf Ankündigung Befragung Ergebnisauswertung Ergebnisse Rücklauf Einschätzungen zum Kompetenzzuwachs der Studierenden Einschätzungen zur Lehr-/Lerngestaltung Vergleich mit dem Sommersemester Vergleich zu den Ergebnissen an der Freien Universität Berlin Resümee und Ausblick Literatur Abbildungsverzeichnis Abbildung 1: Beteiligungsquote von SoSe 2010 bis SoSe Abbildung 2: Beteiligungsquote im SoSe 2014 nach Studiengängen, n = Abbildung 3: Mittelwerte zum Kompetenzzuwachs über alle Veranstaltungen hinweg, n = Abbildung 4: Einschätzungen nach Veranstaltungsformen (Mittelwerte, Skala 1 = trifft nicht zu bis 5 = trifft zu ), für die Form Beratung lag keine Bewertung zur Kooperationskompetenz vor, n = Abbildung 5: Ergebnisse im Sommersemester 2014 zum Item In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. bei verschiedenen Studiengängen (Anzahl Antworten: Bachelor Psychologie: 183, Master Psychologie Vollzeit: 92, Teilstudiengänge: 32) Abbildung 6: Ergebnisse im Wintersemester 2013/2014 zum Item In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. bei verschiedenen Studiengängen (Anzahl Antworten: Bachelor Psychologie: 281, Master Psychologie Vollzeit: 85, Teilstudiengänge: 55) Abbildung 7: Einschätzungen zu den Kompetenzen nach Studiengängen (kumulierte Mittelwerte) Abbildung 8: Einschätzungen zur Lehr-/Lerngestaltung durch die Lehrenden Abbildung 9: Einschätzungen zum Schwierigkeitsgrad der Veranstaltungen Abbildung 10: Mittelwerte zu Lehr-/Lerngestaltung in den verschiedenen Studiengängen Abbildung 11: Vergleich der Einschätzungen zu der Lehr-/Lerngestaltung WiSe 2013/2014 und SoSe Abbildung 12: Vergleich der Einschätzungen zu den Kompetenzzuwächsen WiSe 2013/2014 und SoSe Abbildung 13: Vergleich der Kompetenzzuwächse WiSe 2011/2012 bis SoSe Abbildung 14: Vergleich der Einschätzungen zu den Kompetenzzuwächsen IPU Berlin und FU Berlin (Mittelwerte, n = an der IPU Berlin max. 138, an der FU Berlin max je nach Kompetenzbereich unterschiedlich) Abbildung 15: Vergleich der Einschätzungen zum Item Die Schwierigkeit der Veranstaltung ist zwischen IPU Berlin und FU Berlin... 15

3 International Psychoanalytic University Berlin Lehrevaluationsbericht SoSe Kompetenzorientierte Lehrevaluation Ein wichtiges Instrument der Qualitätsentwicklung des Studienprogramms an der IPU stellt die umfassende Evaluation der Lehre dar. Die summative Lehrevaluation zum Ende der Semester orientiert sich an einem kompetenzbasierten Modell und überprüft die Entwicklung von fachlichen und überfachlichen Kompetenzen der Studierenden im Studium anhand der Selbsteinschätzungen. Das Instrument erfasst damit insbesondere die Output- und Outcome-Qualität der Lehrveranstaltungen. Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp) kam erstmals 2003 an der FU und seit WiSe 2009/2010 auch an der IPU zum Einsatz. In mehreren empirischen Studien ergaben sich gute Ergebnisse zu Validität und Reliabilität (siehe Braun, 2007). Der Begriff Kompetenz ist in diesem Instrument eng verknüpft mit der Vorstellung komplexer Handlungskompetenzen und der konkreten Handlungsfähigkeit. Die thematisierten Kompetenzen decken sich in weiten Bereichen mit denen, die die IPU mit ihren Studiengängen anstrebt. 2 Fragebogen Die IPU setzt den BEvaKomp-Fragebogen mit Ausnahme der Kategorien Methodenkompetenz, Personalkompetenz und Diversity-Kompetenz ein. Mit BEvaKomp schätzen die Studierenden den Zuwachs ihrer individuellen Kompetenzen aufgrund der jeweiligen Veranstaltung (Braun, 2007) ein. Dieses Instrument ist demnach im Wesentlichen lernergebnis- und lerntransferorientiert. Weiterhin können die Studierenden ihre Einschätzungen zur Gestaltung der Lehre abgeben bezogen auf die Bereitstellung von Lernbedingungen und Ausformung der Lehr-/Lernprozesse. Der Fragebogen umfasst in der an der IPU seit diesem Semester genutzten Version (siehe Begründung zur Kürzung weiter unten) folgende Kompetenzbereiche und insgesamt 23 Items: Kompetenzbereich Fachkompetenzen (6 Items): Kenntnisse, Verstehen, Anwendungsfähigkeiten und Analysefähigkeiten, Kompetenzbereich Präsentationskompetenz (3 Items): Fähigkeit, zuhörerorientiert und abwechslungsreich Referate, Vorträge und Präsentationen zu gestalten, Kompetenzbereich Kommunikationskompetenz (5 Items): Fähigkeit, sich mit der eigenen Meinung verständlich zu äußern und sich konstruktiv in Diskussionen einzubringen, Kompetenzbereich Kooperationskompetenz (5 Items): Fähigkeit, in Arbeitsgruppen zusammen zu arbeiten, Konflikte so zu lösen, Kompetenzbereich Fachspezifische Praxiskompetenz (4 Items): Fähigkeit und Vorstellungsvermögen, mit künftigen Anforderungen in der Praxis adäquat umzugehen. 3 von 17

4 Weiterhin enthält der Fragebogen Items zur Lehr-/Lerngestaltung, anhand derer die Prozessqualität der Lehre eingeschätzt werden soll. Um die Beteiligungsquote zu erhöhen, wurde in einer Arbeitsgruppe der Studienkommission zur Lehrevaluation entschieden, den Fragebogen zu kürzen. Daher wurden die Items zu den Kompetenzbereichen Methodenkompetenz und Personalkompetenz gestrichen. Die Arbeitsgruppe wählte diese für die Kürzung aus, da sie für die Lehrenden einen geringeren Nutzen zur Verbesserung der Lehre hatten als die anderen Kompetenzbereiche: Die Methodenkompetenz, wie sie über die drei Items operationalisiert ist 1, wird im Wesentlichen schon vor dem Studium in der Schule oder zu Beginn des Studiums gelehrt (z. B. beim Bachelorstudiengang Psychologie im Modul 12 oder Modul 13). Ein explizites Eingehen auf diesen Kompetenzbereich im Sinne eines Lehrinhalts findet in Folge im Prinzip nicht mehr statt: Dies geschieht eher in den direkten Betreuungen von Hausarbeiten oder Referaten, auf die wiederum nicht in der Lehrevaluation Bezug genommen wird. Künftig sollen solche Fragestellungen in den Qualitätsgesprächen 2 jährlich erörtert werden. Um die Entwicklung von Engagement und Interesse am Fach, die bisher im Bereich Personalkompetenz abgefragt wurde, dennoch zu thematisieren, wurde bei der Lehr- /Lerngestaltung ein entsprechendes Item formuliert: Der/Die Lehrende fördert mein Interesse an den Inhalten der Lehrveranstaltung. Weiterhin erörterte die oben erwähnte Arbeitsgruppe, dass ein wichtiges Kriterium für die Prozessqualität die Abstimmung der Lerninhalte auf die veröffentlichten Ziele der Veranstaltung darstellt. Das entsprechende Item lautet: Der/Die Lehrende stimmt die Lerninhalte konsequent auf die von ihm/ihr angegebenen Lernziele der Veranstaltung (in Vorlesungsverzeichnis, Seminarplan, Modulbeschreibungen o.ä.) ab. Eine weitere Frage mit einem offenen Antwortformat ergänzt in diesem Semester die bisherigen (Was gefiel Ihnen bei dieser Veranstaltung besonders gut? Was gefiel Ihnen bei dieser Veranstaltung nicht so gut und wie könnten diese Punkte jeweils verbessert werden?): Welche Hinweise möchten Sie zu den von Ihnen gegebenen Antworten geben?. Damit sollten die Studierenden die Möglichkeit haben, ihr Verständnis der Items oder den Umgang damit zu erläutern. 1 Items der Methodenkompetenz : Ich kann durch diese Lehrveranstaltung effektiver nach Informationen suchen. In Folge dieser Lehrveranstaltung kann ich meine Arbeit besser organisieren. Ich habe meine Arbeitstechniken durch den Besuch dieser Lehrveranstaltung verbessert. 2 Dazu erhalten Lehrende und Studierende noch im WiSe 2014/2015 Informationen. 4 von 17

5 3 Evaluationsablauf Durch den Einsatz der Software Zensus sind Anonymität 3 und Objektivität des Verfahrens gegeben. Die Befragung umfasst drei Phasen: die Vorbereitung und Ankündigung, die Befragung selbst und die Auswertung. 3.1 Ankündigung Alle 486 an der IPU Studierenden erhielten eine mit einer Einladung zur Online- Befragung vier Wochen vor Ende der Vorlesungszeit. Diese frühe Einladung sowie eine Verkürzung der Evaluationsdauer sollten dazu dienen, den Lehrenden noch während der Veranstaltungsdauer die Ergebnisse rückmelden zu können, die sie daraufhin an einem der letzten Veranstaltungstermine mit den Studierenden besprechen konnten. Zusätzlich erhielten die Studierenden jede Woche Erinnerungsmails. Die Lehrenden erhielten ebenfalls im Juni eine Ankündigung und eine Bitte zur Unterstützung der Evaluation. Darüber hinaus wurde auf Aushängen im Seminargebäude für die Mitwirkung an der Lehrevaluation geworben. 3.2 Befragung Für die Teilzeitstudiengänge wirkte sich diese oben erwähnte Verkürzung des Evaluierungszeitraums aber eher nachteilig aus, da die Blockwoche mit dem größten Anteil der Lehre in diesen Studiengängen erst am Ende des Semesters stattfindet. Die Studiengangskoordinatoren und -koordinatorinnen dieser Studiengänge baten daher während der Befragung darum, bei diesen Studiengängen die Befragungszeit bis zum Ende des Semesters auszuweiten. Die Befragungszeit wurde daraufhin verlängert und an die Teilzeit-Studierenden kommuniziert. Da die Beteiligungsquote zu dem geplanten frühzeitigen Rückmeldetermin (zwei Wochen vor Ende der Vorlesungszeit) recht gering war, wurden die Lehrenden gefragt, ob sie statt der Endauswertung ein Zwischenergebnis erhalten möchten. Vier der Lehrenden machten davon Gebrauch. Die Befragung wurde in Folge für alle Studiengänge bis zum verlängert. Bei der Online-Befragung sehen die Teilnehmenden pro Kategorie bzw. Kompetenzbereich eine Bildschirmseite. Die Einschätzung auf der 5er-Skala erfolgt skalenwertgenau per Klick. Die Studierenden erhalten eine Information zum Umfang der Befragung (Anzahl der Kategorien und Items). Nicht alle Items sind für alle Veranstaltungen relevant. Durch sogenannte Filterfragen können die Studierenden irrelevante Items oder Kompetenzbereiche ggf. abwählen. 3 Durch eine automatisierte so genannte Pseudonymisierung kann die Bewertung trotz Zugangs über CampusNet nicht zu dem/der Bewertenden zurückverfolgt werden. 5 von 17

6 Weiterhin gab es drei Fragen mit einem offenen Antwortformat (Text mit mehreren Zeilen), in denen die Studierenden eine Stellungnahme zu besonders guten bzw. verbesserungswürdigen Aspekten der Veranstaltung sowie Erläuterungen zu ihren vorherigen Item-Einschätzungen abgeben konnten. 3.3 Ergebnisauswertung Mit Abschluss der Evaluation erfolgte eine Auswertung und grafische Darstellung der Ergebnisse mittels der Software Zensus sowie anhand der Rohdaten mit Excel. Prof. Dr. Martin Teising erhielt als Präsident der Hochschule diese Dokumente, eine Gesamtauswertung sowie die Einschätzungen der Studierenden zu den einzelnen Lehrveranstaltungen. Alle Lehrenden erhielten Ende Juli 2014 über die Qualitätsbeauftragte im Auftrag des Präsidenten ein Dokument mit den Ergebnissen zu ihren Lehrveranstaltungen. Der Präsident als Vorgesetzter bzw. Auftraggeber (Lehrbeauftragte) führt auf dieser Basis Beratungsgespräche mit den Lehrenden, um Verbesserungsmöglichkeiten zu entwickeln. Den Bericht Evaluation der Lehre (dieses vorliegende Dokument) erhalten alle Studierenden und Lehrenden (als Download auf der Website). 4 Ergebnisse 4.1 Rücklauf Es beteiligten sich 28,4 % (138 von 486 Studierenden) aller Studierenden an der Befragung. Damit liegt die Beteiligung unter der des vorherigen Semesters (31,7 %). Die für dieses Semester umgesetzten Kürzungen (siehe oben) führten damit nicht zu der gewünschten Erhöhung der Beteiligungsquote. Andererseits war der Bewertungszeitraum sehr viel kürzer als sonst, so dass dies ggf. ebenfalls eine Rolle gespielt haben mag. Abbildung 1: Beteiligungsquote von SoSe 2010 bis SoSe 2014 Die Studierenden evaluierten zwölf der insgesamt 90 Veranstaltungen nicht. Da die obige Beteiligungsquote angibt, wie viele Studierende überhaupt zu mindestens einer Ver- 6 von 17

7 anstaltung Einschätzungen geliefert haben, ist die Beteiligungsquote, die über alle Veranstaltungen hinweg als Mittel der Beteiligungen pro Veranstaltung errechnet wird, sehr viel niedriger (18,0 %). Das liegt insbesondere auch an der sehr geringen Beteiligung bei den Masterstudiengängen Integrierte Versorgung psychotisch erkrankter Menschen sowie Psychoanalytische Kulturwissenschaften (durchschnittlich 7,6 %). Für die Veranstaltungen der einzelnen Studiengänge ist folgende Beteiligungsquote zu verzeichnen: Abbildung 2: Beteiligungsquote im SoSe 2014 nach Studiengängen, n = Einschätzungen zum Kompetenzzuwachs der Studierenden Insgesamt schätzen die Studierenden die Zuwächse bei der fachspezifischen Praxiskompetenz und der Fachkompetenz am besten ein. Der Mittelwert insgesamt liegt bei 3,59. Bei allen anderen Kompetenzen wird die Steigerung geringer als dieser Wert eingeschätzt, am geringsten bei der Kommunikationskompetenz mit 3,22. Abbildung 3: Mittelwerte zum Kompetenzzuwachs über alle Veranstaltungen hinweg, n = von 17

8 Für die einzelnen Veranstaltungstypen ergibt sich folgendes Bild dabei wurden nur die Typen berücksichtigt, bei denen wenigstens zwei Veranstaltungen bewertet wurden: Abbildung 4: Einschätzungen nach Veranstaltungsformen (Mittelwerte, Skala 1 = trifft nicht zu bis 5 = trifft zu ), für die Form Beratung lag keine Bewertung zur Kooperationskompetenz vor, n = 158 Mittelwerte für alle Kompetenzbereiche und die Beteiligungsquote stellen sich so dar: Tabelle 1: Mittelwerte der Einschätzungen bei den verschiedenen Veranstaltungstypen Veranstaltungstyp Mittelwert Beteiligungsquote Seminare 3,80 20% Praxisseminare 3,77 14% Vorlesungen 3,73 16% Übungen 3,72 12% Workshops 3,64 9% Die Seminare schätzen die Studierenden hinsichtlich des Kompetenzzuwachses am besten ein. Workshops erhalten den niedrigsten Wert. 8 von 17

9 Auch im vorletzten und letzten Semester schätzten die Studierenden den Zuwachs bei der Kommunikationskompetenz am niedrigsten ein: Der Mittelwert im SoSe 2013 lag bei 2,95 im WiSe 2013/2014 bei 3,10). Dies bedeutet zwar einen niedrigeren Wert als bei den anderen Kompetenzbereichen, aber auch über die Semester hinweg eine leichte Verbesserung. Schon im letzten Lehrevaluationsbericht wurde darauf hingewiesen, dass die Operationalisierungen und Itemformulierungen sowie der Fokus auf die Output- /Outcome-Qualität (bezogen auf eine spezifische Veranstaltung) ggf. von den Studierenden kritisch gesehen werden. Dies spiegelt sich auch in den Freitextantworten zu der neuen offenen Frage Welche Hinweise möchten Sie zu den von Ihnen gegebenen Antworten geben? mit Beug zur Kommunikationskompetenz bzw. generell den Schlüsselkompetenzen wider. Die Studierenden meinen, dass solche Kompetenzen während des gesamten Studiums, nicht aufgrund nur einer Veranstaltung, entwickelt werden, solche Kompetenzen nur in einem speziellen Rhetorik-/Präsentationsseminar oder Kommunikationstraining vermittelt werden können oder sollten, in den Veranstaltungen die Studierenden keine Möglichkeit erhalten zu moderieren, Kommunikationskompetenzen nicht Zielstellung in einem Seminar sind, die entsprechende Kompetenzen auch vorher schon vorhanden sind, Kommunikationskompetenzen als Zielstellungen überflüssig in Masterstudiengängen sind, die Frage eher lauten sollte, ob der Dozent Raum für Diskussionen, Fragen, Beiträge einräumt, sodass die Studierenden ihre Kompetenzen verbessern können. Bei diesen Antworten fällt auf, dass die Studierenden und das ist nicht wertend gemeint ein eher traditionelles Verständnis von Lehre (oder eben Verhaltenstraining) zu haben scheinen. Etwas überspitzt formuliert könnte ein entsprechendes Verständnis so lauten: Fach- und Schlüsselkompetenzen sollten getrennt voneinander unterrichtet werden. Über Schlüsselkompetenzen sollten die Studierenden schon vor Beginn des Studiums verfügen oder diese in speziellen Verhaltenstrainings einüben. Masterstudiengänge dienen vornehmlich der Vermittlung von Fachwissen. Darüber hinaus wird insbesondere an der letzten Aussage deutlich, dass zumindest eine/r der Studierenden lieber den Prozess direkt bewerten möchte nicht den Output. Schon im Lehrevaluationsbericht für das vorherige Semester wurde ein Item in der Kategorie Kommunikationskompetenz nach Studiengängen aufgegliedert analysiert. Die Ergebnisse für dieses Item ( In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. ) scheinen auch in diesem Semester die Freitextantworten (siehe oben) zu bekräftigen: Die meisten Studierenden (fast die Hälfte) stimmen dieser Aussage nicht oder eher nicht zu oder möchten dazu keine Angabe machen. Bei der folgenden Darstellung sind entsprechend in der linken Säule all diese Ergebnisse summiert, Antworten 9 von 17

10 zum mittleren Skalenwert finden sich unter teils/teils wieder, und die beiden (eher) zustimmenden Werte sind bei trifft (eher) zu addiert. Abbildung 5: Ergebnisse im Sommersemester 2014 zum Item In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. bei verschiedenen Studiengängen (Anzahl Antworten: Bachelor Psychologie: 183, Master Psychologie Vollzeit: 92, Teilstudiengänge: 32) Interessant ist, dass bei den gewählten drei Gruppen (Bachelor Psychologie, Master Psychologie Vollzeit und alle Teilzeitstudiengänge) in diesem Semester das Antwortverhalten fast identisch ist. Im Semester zuvor schätzten die Studierenden beispielsweise im Bachelor Psychologie und in den Teilzeitstudiengängen ihren Kompetenzzuwachs noch geringer ein als die Studierenden im Master Psychologie Vollzeit: Abbildung 6: Ergebnisse im Wintersemester 2013/2014 zum Item In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. bei verschiedenen Studiengängen (Anzahl Antworten: Bachelor Psychologie: 281, Master Psychologie Vollzeit: 85, Teilstudiengänge: 55) 10 von 17

11 Im Vergleich der Studiengänge zeigen sich für die Kompetenzen folgende Ergebnisse: Abbildung 7: Einschätzungen zu den Kompetenzen nach Studiengängen (kumulierte Mittelwerte) Insgesamt schätzen die Studierenden beim Studiengang Master Psychologie Teilzeit den Kompetenzzugewinn am größten ein. Besonders positive Werte weist bei diesem Studiengang z. B. die Fachkompetenz und fachspezifische Praxiskompetenz (Mittelwerte von 4,22 bzw. 4,14) auf. Die beiden Studiengänge Master Integrierte Versorgung psychotisch erkrankter Menschen sowie Master Psychoanalytische Kulturwissenschaften sind nicht mit in diese Auswertung aufgenommen, da nur ein bzw. zwei Studierende Rückmeldungen zu deren Veranstaltungen gaben. 4.3 Einschätzungen zur Lehr-/Lerngestaltung Die Lehrgestaltung durch die Lehrenden schätzen die Antwortenden so ein: Abbildung 8: Einschätzungen zur Lehr-/Lerngestaltung durch die Lehrenden 4 4 Die fünfstufige Skala wurde kategorisiert: Die Werte 1 und 2 finden sich bei der Kategorie trifft nicht zu wieder, der Wert 3 bei unentschlossen sowie die Werte 4 und 5 bei trifft zu. 11 von 17

12 Den Schwierigkeitsgrad der Veranstaltungen bewerten die Studierenden insgesamt so: Abbildung 9: Einschätzungen zum Schwierigkeitsgrad der Veranstaltungen Der Mittelwert aller Items zur Lehr-/Lerngestaltung liegt bei fast allen Studiengängen über einem Wert von 4: Abbildung 10: Mittelwerte zu Lehr-/Lerngestaltung in den verschiedenen Studiengängen 4.4 Vergleich mit dem Wintersemester 2013/2014 Bei den Items zur klaren Gliederung, zur Vorbereitung der Lehrenden und zum Evaluationsinteresse fallen die Einschätzungen zur Lehr-/Lerngestaltung verglichen mit dem Vorsemester geringfügig besser als im Vorsemester aus. Bei den Items zum Überblick und zu den Hilfsmitteln war hingegen das Ergebnis im Vorsemester etwas besser. Die verständliche Erläuterung von schwierigen Sachverhalten wird gleich bewertet. Abbildung 11: Vergleich der Einschätzungen zu der Lehr-/Lerngestaltung WiSe 2013/2014 und SoSe von 17

13 Abbildung 12: Vergleich der Einschätzungen zu den Kompetenzzuwächsen WiSe 2013/2014 und SoSe 2014 Bei dem Vergleich der Veränderungen der Semester seit WiSe 2011/2012 fällt auf, dass die Studierenden die Erweiterung der Kommunikations-, Kooperations- und Präsentationskompetenz geringer einschätzen als die der Fachkompetenz und der fachspezifischen Kompetenz. Bei der Kooperationskompetenz zeigt sich eine steigende Tendenz: Abbildung 13: Vergleich der Kompetenzzuwächse WiSe 2011/2012 bis SoSe 2014 Da die Erweiterung der Kommunikationskompetenz demnach in den vergangenen vier Jahren weniger positiv eingeschätzt wurde, sei hier zur Interpretation der Ergebnisse auf die genauen Itemformulierungen hingewiesen (siehe auch 4.2), da dies möglicherweise 13 von 17

14 mit den bereits in hohem Maße vorhandenen Kompetenzen vor den Veranstaltungen zusammenhängen könnte (wobei dies aufgrund des Vergleichs der Studierendengruppen untereinander eher nicht naheliegt, siehe ebenfalls 4.2). Die Items lauten: Aufgrund dieser Lehrveranstaltung fällt es mir leichter, meine eigenen Eindrücke/Meinungen zu äußern. Aufgrund dieser Lehrveranstaltung formuliere ich meine Wortbeiträge verständlicher. Aufgrund dieser Lehrveranstaltung fällt es mir leichter nachzufragen, wenn ich etwas nicht verstanden habe. Durch den Besuch dieser Lehrveranstaltung gelingt es mir besser, meine Wortbeiträge auf den Punkt zu bringen. In Folge dieser Lehrveranstaltung kann ich Gespräche besser moderieren. 4.5 Vergleich mit den Ergebnissen an der Freien Universität Berlin Angesichts der immer noch geringen Beteiligungsquote ist auch in diesem Semester ein Vergleich mit der Quote der Freien Universität Berlin (FU Berlin) sinnvoll. Die FU Berlin kann bei der Papier-/Stift-Befragung eine Rücklaufquote von 70,3 % aufweisen, bei der Online-Evaluation eine Quote von 18,8 % (Nowakowski & Reichenbach, 2014), an der IPU Berlin betrug die Quote in diesem Semester 28,4 % (siehe 4.1). Die Ankündigung der Evaluation an der FU Berlin wurde zusätzlich durch Poster im Universitätsgebäude und die Nutzung des Netzwerks Facebook unterstützt. Folgender Vergleich ergibt sich mit den Ergebnissen der FU Berlin in ähnlichen Studiengängen (Fachbereich Erziehungswissenschaft und Psychologie): Abbildung 14: Vergleich der Einschätzungen zu den Kompetenzzuwächsen IPU Berlin und FU Berlin (Mittelwerte, n = an der IPU Berlin max. 138, an der FU Berlin max je nach Kompetenzbereich unterschiedlich) 14 von 17

15 Die IPU-Studierenden schätzen bei allen Kompetenzklassen ihren Kompetenzzuwachs höher ein. Die größte positive Abweichung ergibt sich bei der Präsentationskompetenz. Der Fachbereich Erziehungswissenschaft und Psychologie der FU Berlin nutzt schon seit einigen Semestern einen anderen Fragebogen zur Bewertung der Lehr-/Lerngestaltung (siehe Lehrevaluationsbericht der IPU für das WiSe 2012/2013), daher können hier keinen Vergleiche angestellt werden. Allerdings findet sich das Item zum Anforderungsniveau noch im Bericht der FU Berlin wieder: Abbildung 15: Vergleich der Einschätzungen zum Item Die Schwierigkeit der Veranstaltung ist zwischen IPU Berlin und FU Berlin 5 Resümee und Ausblick An den Ergebnissen fällt folgendes positiv auf: Die Erweiterung der fachspezifischen Praxiskompetenz wurde insgesamt am höchsten eingeschätzt. Die Bewertung der Kooperationskompetenz weist weiterhin einen steigenden Trend auf. Ähnliches gilt für die Präsentationskompetenz. Dabei ist bei den Übungen ein hoher Wert (4,3) im Mittel bei der Kooperationskompetenz festzustellen, bei den Praxisseminaren bei der Präsentationskompetenz (4,25). Die fachspezifische Praxiskompetenz erzielt bei den Praxisseminaren ebenfalls knapp ein Ergebnis über 4 im Mittel (4,04). Beim Master Psychologie Teilzeit bewerteten die Studierenden die Lehr-/Lerngestaltung mit am besten (Mittelwert: 4,47), dicht gefolgt von den Bewertungen zum Masterstudiengang Integrierte Versorgung psychotisch erkrankter Menschen (4,36). Der Aussage Dem/Der Lehrenden ist es wichtig, dass ich diese Lehrveranstaltung evaluiere. stimmen die Studierenden wieder häufiger zu als im vorherigen Semester. Die neue Möglichkeit, Hinweise zu den einzelnen Antworten zu geben, nutzen mehre Studierende. Diese Hinweise konnten zur Interpretation der Daten genutzt werden. Verbesserungswürdig erscheinen folgende Ergebnisse: Die Beteiligungsquote hat sich erneut um 3,3 % verringert. 12 der 90 Veranstaltungen wurden gar nicht bewertet. Dies kann ggf. an dem kürzeren Bewertungszeitraum liegen. 15 von 17

16 Bei der Lehr-/Lerngestaltung werden die Items zu den Hilfsmitteln sowie zu der Förderung des fachlichen Interesses mit je 3,84 im Mittel weniger gut eingeschätzt als die anderen Items. Die Studierenden schätzen es erneut so ein, dass die Kommunikationskompetenz weniger erweitert werden konnte als die anderen Kompetenzen, wobei seit 2013 eine leichte Steigerung zu beobachten ist. Dies liegt möglicherweise an den Operationalisierungen durch die Items sowie an der mangelnden Relevanz als Lernziel für die Studierenden. Ähnlich sieht es bei der Präsentationskompetenz aus. Im Zuge der bereits im letzten Bericht erwähnten Meta-Evaluation und unter Mitwirkung der Evaluations-Arbeitsgruppe der Studienkommission wurden bereits folgende Verbesserungen umgesetzt: Bekundung des Eigeninteresses an der Lehrevaluation durch die Lehrenden: Dies fand verstärkt in den Veranstaltungen statt. Einige Lehrende nutzen die Möglichkeit, die frühzeitigen Ergebnisse noch während der Veranstaltung mit den Studierenden zu besprechen. Kürzung des Fragebogens bzw. Verringerung des Umfangs der Befragung: Dies ging allerdings eventuell aufgrund der gleichzeitigen Verkürzung des Evaluationszeitraums noch nicht mit einer erhöhten Beteiligungsquote einher. Konzeption und Umsetzung von Qualitätsgesprächen zu weiteren studienbezogenen Aspekten: Hier liegt eine Konzeption vor, erste Gespräche sind für das kommende Semester geplant. Folgende Verbesserungen stehen noch aus: Ableitung von Verbesserungsmaßnahmen und Pilotprojekten aus der summativen Lehrevaluation sowie deren Wirksamkeitsüberprüfung (siehe Vorschläge unten), und über die Evaluation der Lehre hinausgehend: Qualitätsgespräche zu Prozessen in der Betreuung von Studierenden und Organisation der Studiengänge mit allen beteiligten Gruppen, Planung, Umsetzung und transparente Dokumentation eines jährlichen Treffens Qualitätsrückblick. Bezogen auf den ersten verbesserungswürdigen Aspekt schlägt die Studienkommission folgende Pilotprojekte bzw. Maßnahmen vor, die sich auch aus den Erkenntnissen des letzten Tages des Studiums ableiten lassen: Begleitung und Bewertung von Präsentations- und Moderationsaufgaben integriert in fachlichen Seminaren: Eruierung von Good-Practice-Beispielen am nächsten Tag des Studiums, Bildung von Lehrenden-Tandems, Erarbeitung von Handreichungen, 16 von 17

17 Erprobung in ausgewählten Seminaren, Bewertung der Wirksamkeit durch Studierende und Lehrende, Austausch zu diesem Thema sowie zu den Themen Lehr-/Lernmittel und Förderung des fachlichen Interesses am nächsten Tag des Studiums. 6 Literatur Braun, Edith (2007). Ergebnisorientierte Lehrveranstaltungsevaluation: Das Berliner Evaluationsinstrument für studentische Kompetenzen. In: Kluge, Annette & Schüler, Kerstin (Hrsg.): Qualitätssicherung und Entwicklung in der Hochschule: Methoden und Ergebnisse. Lengerich: Pabst. Nowakowski, A. & Reichenbach, K. (2014). Evaluation der Lehre Sommersemester Befragung der Studierenden und Lehrenden am Fachbereich Erziehungswissenschaft und Psychologie. URL: arbeitsbereiche/ewi-psy/forschung/fb_lehrevaluation2/lehrevaluation/bericht_ewi-psy_ SoSe_14.pdf? , Abruf am von 17