Professionalisierung von Peer Review Evaluationen

Transkript

1 Professionalisierung von Peer Review Evaluationen Hat die Begutachtungserfahrung von Peers einen Effekt auf die Evaluationsergebnisse? Eine Präsentation von Juliane Mosel

2 Agenda 1. Einführung Technische Universität Darmstadt Kurzprofil Integriertes Qualitätsmanagement an der TU Darmstadt 2. Analyse der bis heute durchgeführten Evaluationen Zusammensetzung der Kommissionen Empfehlungen der Kommission und Zielvereinbarungen Merkmale der Verfahren Geschlecht und Nationalität der Evaluationskommissionen 3. Fazit und Ausblick 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 2

3 Herkunft gegründet 1877 verankert In der Metropolregion Rhein-Main-Neckar, einer der dynamischsten und stärksten Regionen Europas gefördert Durch mehr als 240,9 Millionen Euro vom Land Hessen und 160,3 Millionen an Drittmitteln 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 3

4 Menschen Studierende 293 Professorinnen und Professoren wissenschaftliche Mitarbeiterinnen und Mitarbeiter administrativ-technische Mitarbeiterinnen und Mitarbeiter 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 4

5 Richtungen 13 Fachbereiche 5 Studienbereiche 110 Studiengänge 6 Sonderforschungsbereiche 7 Graduiertenkollegs 1 Exzellenz-Forschungs-Cluster 2 Exzellenz Graduate-Cluster 3 LOEWE-Exzellenz-Zentren 8 LOEWE-Exzellenz-Schwerpunkte 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 5

6 Fächerspektrum und Fachbereiche 35 % 15% FBs 50% 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 6

7 Institutionelle Evaluation Unterstützung bei der Strategie- und Profilbildung Unterstützung bei der strategischen Hochschulsteuerung und -entwicklung Institutionelle Evaluation Rechenschaftslegung Austausch über best practices Instrument zur ganzheitlichen Qualitätssicherung Grundlage für Zielvereinbarungen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 7

8 Institutionelle Evaluation Ganzheitlicher Ansatz zu begutachtende Bereiche: Struktur und Organisation Forschung Nachwuchsförderung Studium und Lehre Einbindung der Ergebnisse anderer Qualitätssicherungsinstrumente alle Einheiten der Universität Einbindung aller Statusgruppen der Einheit 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 8

9 Überblick über Verfahrensstand (2009-heute) Anzahl Verfahrensstand 7 (Teil-)Fachbereiche Umsetzung der Zielvereinbarung (Monitoring) 4 Fachbereiche Zielvereinbarungsprozess 2 (Teil-)Fachbereiche Laufende Verfahren, Begehungen im WS 2014/15 1 Fachbereich ausstehend 1 Zentrale Einrichtung Umsetzung der Zielvereinbarung (Monitoring) Zentrale Verwaltung Zielvereinbarungsprozess 2. Zyklus Fachbereiche geplant ab September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 9

10 Verfahrensablauf im Überblick Eröffnung des Verfahrens Begutachtung Zielvereinbarung und Maßnahmenprogramm Umsetzung und Monitoring Selbstevaluation und Selbstbericht Benennung der Evaluationskommission Stellungnahme zum Evaluationsbericht Maßnahmenprogramm Verhandlung und Unterzeichnung Entwurf der Zielvereinbarung Fachbereich Umsetzung und Berichtswesen Präsidium der TU Darmstadt Zentrales Monitoring Referat Qualitätsmanagement Vor-Ort-Begehung Evaluationsbericht Evaluationskommission Schaubild: M. Hagemeister, Stellungnahme zur Zielvereinbarung Hochschulrat Senat 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 10

11 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Zusammensetzung der Kommission Benennung der Evaluationskommission? Vorsitzende/r?? 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 11

12 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Auswahlprozess Benennung der Evaluationskommission Auswahlkriterien Unabhängigkeitskriterien Benennung der Evaluationskommission Ernennung durch den Präsidenten Akzeptanz und Anerkennung beim FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 12

13 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Auswahlprozess Auswahlkriterien Benennung der Evaluationskommission Unabhängigkeitskriterien Ernennung durch den Präsidenten herausragende wissenschaftliche Reputation Erfahrungsschatz in Begutachtungen und Akad. Selbstverwaltung heterogene Zusammensetzung Akzeptanz und Anerkennung beim FB Abdecken der zentralen inhaltlich-fachlichen Schwerpunkte des FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 13

14 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Auswahlprozess Auswahlkriterien Benennung der Evaluationskommission Unabhängigkeits- kriterien kein(e) persönliche/vertragliche Verbindung mit FB Bewerbung/Beteiligung an Berufungsverfahren Lehrer-Schüler -Verhältnis Ernennung durch den Präsidenten wissenschaftlichen Kooperationen wissenschaftliche Konkurrenz wirtschaftliche Konkurrenz Akzeptanz und Anerkennung beim FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 14

15 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Auswahlprozess Auswahlkriterien Benennung der Evaluationskommission Unabhängigkeitskriterien Vorschläge für Kandidat/innen vom Präsidenten, dem Vorsitz der Kommission und dem Fachbereich Ansprache der Kandidat/innen durch den Präsidenten/ Vorsitz der Kommission Ernennung durch den Präsidenten Akzeptanz und Anerkennung beim FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 15

16 Benennung der Evaluationskommission Eröffnung des Verfahrens Selbstevaluation und Selbstbericht Auswahlprozess Möglichkeit für den Fachbereich, potentielle Gutachterinnen und Gutachter vorzuschlagen Auswahlkriterien Benennung inhaltlich-fachlicher Schwerpunkte durch den FB Benennung der Evaluationskommission Unabhängigkeitskriterien Benennung der Gutachterinnen und Gutachter erfolgt im Einvernehmen mit dem FB Ernennung durch den Präsidenten Akzeptanz und Anerkennung Akzeptanz und beim Anerkennung FB beim FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 16

17 Analyse der bis heute durchgeführten Evaluationen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 17

18 Zusammensetzung der Evaluationskommissionen - Auswahlkriterien Herausragende wissenschaftliche Reputation Zentrales Auswahlkriterium durchgehend erfüllt Erfahrungen in akademischer Selbstverwaltung Alle Kommissionsmitglieder haben Erfahrung in akademischer Selbstverwaltung Abdeckung der zentralen inhaltlich-fachlichen Schwerpunkte des Fachbereichs erfolgt in Absprache mit den Fachbereichen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 18

19 Zusammensetzung der Evaluationskommissionen - Auswahlkriterien Erfahrungen mit Evaluationen Ergebnisse aus eigener Recherche Ergebnisse aus Feedbackbefragungen der Kommissionsmitglieder ja unbekannt Weniger als fünf Genau fünf Mehr als fünf 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 19

20 Zusammensetzung der Evaluationskommissionen Unabhängigkeitskriterien Transparenz bei der Auswahl der Kommissionsmitglieder Referat QM prüft objektive Indikatoren Fachbereich informiert über mögliche Befangenheiten der Kommissionsmitglieder Selbstauskunft der Kommissionsmitglieder Aussagen über vollständige Erfüllung der Unabhängigkeitskriterien nur schwer möglich 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 20

21 Evaluationsergebnisse - Präzision Evaluationsberichte weisen unterschiedlich großen Umfang und inhaltliche Präzision auf Faktoren, die die Zielvereinbarungsverhandlungen zwischen Fachbereich und Präsidium beeinflussen Präzision der Empfehlungen (allgemeine Ziele vs. konkrete Maßnahmenvorschläge) Konkretisierung der Empfehlungen ( zwischen den Zeilen vs. Bullet points ) Benennung von Verantwortlichen Je präziser und konkreter die Empfehlungen der Evaluationskommission, desto eher finden sie Eingang in die Zielvereinbarungen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 21

22 Beispiele für konkrete Empfehlungen (Nachwuchsförderung) Evaluationsbericht Bei der Ausarbeitung des Master Programms sollte auch die Schaffung einer Graduate School in Erwägung gezogen werden. Im Rahmen der Graduate School wäre die Schaffung von PhD committees zu prüfen. Diese beratenden Organe sind einerseits für die Doktorierenden äußerst nützlich, fördern aber auch die Interaktionen der Forschungsgruppenleitenden. Nach Ansicht der Kommission sind solche Committees eine äußerst erfolgreiches Mittel, um Interaktionen über die Departementsgrenzen hinaus zu initiieren und zu fördern. 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 22

23 Beispiele für weniger konkrete Empfehlungen (Studium und Lehre) Evaluationsbericht Der Anteil internationaler Studierender am Fachbereich erscheint der Evaluationskommission als recht gering, die Attraktivität könnte durch stärkere Wirkung nach außen gesteigert werden. Zielvereinbarung Der Fachbereich reagiert auf die teilweise geringe Nachfrage nach seinen Masterstudiengängen und nimmt entsprechende Anpassungen vor. Auf Grundlage der universitätsweiten Internationalisierungsstrategie prüft der Fachbereich die Möglichkeiten für eine Internationalisierung insbesondere im Masterbereich und entwickelt hierfür bis Ende 2016 ein Konzept. 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 23

24 Evaluationsergebnisse - Verfahrenslänge B C K Dauer der Evaluationsverfahren ausgewählte Aspekte A F G E D Dauer vom Zeitpunkt der Begehung bis zum Vorliegen des Evaluationsberichtes Dauer vom Zeitpunkt des Vorliegens des Evaluationsberichtes bis zum Zielvereinbarungsgespräch J I September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 24

25 Eindrücke zur Zufriedenheit mit der Evaluation aus den Feedbackbefragungen Die Mitglieder der Evaluationskommissionen zeigten durchschnittlich eine hohe bis sehr hohe Zufriedenheit mit dem Prozess Unter den Fachbereichen variiert die Zufriedenheit mit dem Evaluationsprozess stärker. In den Fachbereichen zeigt das technische und administrative Personal insgesamt eine höhere Zufriedenheit als die ProfessorInnenschaft Studierende zeigen geringste Zufriedenheit mit der Evaluation Für beide Gruppen unterschiedliche Grundlage für die Zufriedenheit 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 25

26 Geschlechter- und Nationalitätsverhältnis in den Evaluationskommissionen Fachberei Geschlechterverhältnis Nationalitätsverhältnis ch A w m i d B C D E F G H I J K 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 26

27 Anteil der Ziele zu Gleichstellung und Internationalisierung an allen Zielen der ZV A B C D E F G H I J K A B C D E F G H I J K Anteile der Ziele zu Gleichstellung 0% 5% 10% 15% Anteil der Ziele zu Internationalisierung 0% 5% 10% 15% 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 27

28 Beispiel für konkrete Empfehlungen (Internationalisierung) Evaluationsbericht Ein wesentliches Ziel sollte sein, dem Fachbereich als Ganzes in kooperativen Forschungsprogrammen (DFG-Forschergruppen, SFB) eine noch größere nationale und damit auch internationale Sichtbarkeit zu geben. [ ] Notwendig ist in Darmstadt [...] eine Verstärkung internationaler Veröffentlichungen in Journalen mit peer-review-verfahren. Zielvereinbarung Ziel des Fachbereichs ist es, die Zahl der Publikationen in hochrangigen internationalen referierten Zeitschriften zu erhöhen. 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 28

29 Beispiel für weniger konkrete Empfehlungen (Gleichstellung) Evaluationsbericht Bei künftigen Ausschreibungen und Berufungen ist auf eine Erhöhung des Frauenanteils zu achten. Zielvereinbarung Die Wiederbesetzung von Professuren wird dafür genutzt, den Frauenanteil unter der Professorenschaft zu erhöhen. Der Fachbereich berücksichtigt hierbei das Initiativprogramm der TU Darmstadt Forschungsorientierte Gleichstellung von Wissenschaftlerinnen und Gewinnung von Professorinnen. 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 29

30 Verhältnis Empfehlungen Gleichstellung und Internationalisierung Konkrete Empfehlungen finden auch hier eher Eingang in die Zielvereinbarungen als weniger konkrete Interessante Beobachtung: auch bei weniger konkret formulierten Empfehlungen treten dennoch konkrete Formulierungen der Ziele in den Zielvereinbarungen auf Die Zielvereinbarungen orientieren sich neben dem Evaluationsbericht auch an den strategischen Zielen der Universität Kein erkennbarer deutlicher Zusammenhang zwischen der Zusammensetzung der Evaluationskommission und der inhaltlichen Ausgestaltung der Empfehlungen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 30

31 Fazit Die Empfehlungen der Evaluationskommission können großen Einfluss auf die Zielvereinbarung haben Konkrete Empfehlungen finden wahrscheinlicher Eingang in die Zielvereinbarung als weniger konkrete Begutachtungserfahrung kann sich begünstigend auf die Präzision der Empfehlungen auswirken Zentral für ein Evaluationsverfahren, welches von allen Beteiligten als konstruktiv empfunden wird, ist die Transparenz bei der Auswahl der Kommissionsmitglieder und deren Akzeptanz von den evaluierten Einheiten 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 31

32 Kontakt Dipl.-Soz. Juliane Mosel Referentin für Qualitätsmanagement Technische Universität Darmstadt Karolinenplatz Darmstadt Tel (0) Fax + 49 (0) mosel.ju@pvw.tu-darmstadt.de September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 32

33 Backup 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 33

34 Das Referat Qualitätsmanagement Dr. Tina Klug (Leiterin des Referats) Nadine Moldaner (Sekretariat) Madeleine Hagemeister, M.A. (Referentin) Carola Dubsky, M.A. (Referentin) Dipl.-Soz. Sascha Strack (Referent,) Dipl.-Soz. Juliane Mosel (Referentin) 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 34

35 Das Referat Qualitätsmanagement 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 35

36 Zielvereinbarungsprozess Zielvereinbarung und Maßnahmenprogramm Maßnahmenprogramm Verhandlung und Unterzeichnung Zielvereinbarungsprozess Entwurf der Zielvereinbarung Entwurf der Zielvereinbarung Zielvereinbarungsgespräch und Paraphierung Stellungnahme durch Hochschulrat und Senat Unterzeichnung der Zielvereinbarung Stellungnahme zur Zielvereinbarung Erstellung des Maßnahmenprogramms durch FB 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 36

37 Umfang und Charakter der Zielvereinbarung Zielvereinbarung und Maßnahmenprogramm Maßnahmenprogramm Verhandlung und Unterzeichnung Entwurf der Zielvereinbarung Stellungnahme zur Zielvereinbarung Umfang und Charakter der Zielvereinbarung ca. 20 Ziele Themenbereiche Struktur und Organisation Besetzung von Professuren Forschung Nachwuchsförderung Studium und Lehre keine Beschreibung/Festlegung von konkreten Maßnahmen 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 37

38 Monitoring von Zielvereinbarungen Umsetzung und Monitoring Umsetzung und Berichtswesen Zentrales Monitoring Grafik: M. Hagemeister, September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 38

39 Monitoring von Zielvereinbarungen Umsetzung und Monitoring Erfolgsfaktoren Umsetzung und Berichtswesen Zentrales Monitoring Monitoring verbindet Qualitätssicherung und Strategie schafft Transparenz erzeugt Verbindlichkeit und Verlässlichkeit befördert Kontinuität eröffnet Raum für Anerkennung und Wertschätzung 11. September Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen Juliane Mosel 39