Wirkungen und Grenzen von Peer Reviews. Heidelberg 2014 Dr. Uwe Schmidt

Transkript

1 Wirkungen und Grenzen von Peer Reviews Heidelberg 2014 Dr. Uwe Schmidt

2 Peer Review in der Forschung

3 Peer Review in der Forschung Bewertung von Forschungsanträgen Bewertung des Umsetzungsstands von Projekten (z.b. Zwischenevaluation von SFBs, Graduiertenkollegs etc.) Bewertung von Publikationen im Vorfeld der Veröffentlichung Bewertung von Forschungsleistungen auf institutioneller Ebene (z.b. Wissenschaftsrating, Exzellenzinitiative)

4 Peer Review in der Forschung Vorteile Objektivierung von Forschungsleistungen Aufrechterhalten eines kontinuierlichen wissenschaftlichen Diskurses Öffentliche Diskussion um fachwissenschaftliche Standards Gewinnung von Steuerungsdaten

5 Peer Review in der Forschung Kritische Aspekte Zum Teil dauern Bewertungsverfahren sehr lange (z.b. Zeitschriften Peer Review, Wissenschaftsrating) Unklare Kosten-Nutzen-Relation (Wissenschaftsrating) Bewertung erfolgt zum Teil entlang von Schulen und entsprechenden Differenzen Hohes Maß an Subjektivität und entsprechende Inkonsistenzen bei der Bewertung von Einreichungen (empirisch sowohl für Publikationseinreichungen als auch Projektanträge belegt) Fehlererkennung in Versuchen nur zwischen 25 und 30%

6 Peer Review in der Forschung Förderung etablierter Forschung Verhinderung von Forschungsinnovation (Publication Bias) Als besonders kritisch wird die Bewertung von Forschung an disziplinären Grenzen eingeschätzt Geschlechtsspezifische Verzerrungen Sichtbare und nicht sichtbare Beziehungen zwischen Peer und Begutachteten Matthäus-Effekt Insgesamt kritischer und fragiler Prozess der Auswahl von Gutachtenden Problem der multiplen Funktionen von Peer Reviews (formative und summative Bewertungselemente)

7 Peer Review in Lehre und Dienstleistungsbereichen

8 Peer Review in der Lehre Verfahren Interne und externe Evaluation von Fächern, Fachbereichen und Dienstleistungs- bzw. Serviceeinrichtungen Programmakkreditierung Systemakkreditierung Audits Förderprogramme

9 Peer Review in Lehre und Dienstleistungsbereichen Hochschule Programmakkreditierung Sytemakkreditierung/Quality Audit Interne/externe Evaluation Externe Evaluation Leistungsbereiche System Fachbereiche, Verwaltung Fächer, Institute, Abteilungen Studiengänge Projekte (z.b. Qualitätspakt Lehre)

10 Peer Review in der Lehre Vorteile Externer Blick Mobilisierung Externe Expertise als Moderator interner latenter oder offener fachlicher Konflikte Sicherung von Standards im Rahmen von Akkreditierungen Gewinn auf Seiten der Gutachtenden durch Perspektivenwechsel

11 Wirkungen von Evaluation Indirekte Effekte (Borrmann et al.) 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Gutachter/innen Fachvertreter/innen

12 Peer Review in der Lehre Kritische Aspekte Unklare Kriterien der Gutachterauswahl Gutachten pro Fach fehlende kritische Distanz und Evaluation als Instrument der Ressourcenpolitik Problem der Gewinnung guter Gutachter/-innen Überforderung des Gutachtersystems Übertragung der Perspektiven der eigenen Hochschule auf zu begutachtende Fächer oder Fachbereiche Fehlende Kenntnisse der Rahmenbedingungen vor Ort (spezifische hochschulpolitische Situation, Steuerungsparameter etc.)

13 Peer Review in der Lehre Kritische Aspekte Befassung mit außerfachlichen Aspekten (Organisationsentwicklung etc.) Unklarheit von Bewertungskriterien induktive Entwicklung während Begutachtungsprozess Überregulierung (Akkreditierung) Ersatzhandlung im Hinblick auf formale Kriterien aufgrund fehlender inhaltlicher Fragestellungen Multifunktionalität (Entwicklungs-, Kontroll-, Legitimationsfunktion)

14 Wirkungen und Modifikationen von Peer Review Verfahren auf institutioneller Ebene

15 Wirkungen von Evaluation Effekte Explizite Effekte auf Struktur- und Prozessebene z.b. Zielvereinbarungen, Auflagen aus Akkreditierungen, strukturelle Veränderungen (Schließung von Fächern, Denomination von Professuren etc.) Indirekte Effekte auf Struktur- und Prozessebene Mobilisierung in den Fächern, Erfahrungszuwachs bei Gutachter/innen Einstellungseffekte veränderte Sichtweisen bei Akteuren, veränderter Blick auf eigene Praxis, höhere Bedeutung des Evaluationsfeldes Handlungseffekte veränderte Forschungs- und Lehrpraxis

16 Steuerungsstruktur Studium und Lehre PLAN: Fehlende Zieldefinition Unklare Kriterien ACT: Fehlende Definition des Steuerungsrahmens für die Umsetzung von Ergebnissen Wirkung von Peers primär auf struktureller Ebene und nicht auf Ebene von Einstellung und Handlung DO: Fächer und Fachbereiche CHECK: Induktive Entwicklung von Zielen und Kriterien im Verfahren durch Peers Ersatzdiskussion um Verfahren

17 Evaluation der Lehre Ergebnisse auf der Prozessebene Zirkel der Demotivation Defektion, Ausbeutung Zynismus Wissensverlust Latente Ziel- und Legitimitätsverschiebungen Verantwortungsdiffusion Nichtbefassung Rückzug Frustration

18 Verfahren der internen und externen Evaluation Quantitative Daten Moderierte Gruppen- und Einzelgespräche Darstellung der Fachstruktur Forschungsprofile Interne Evaluation Interner Evaluationsbericht Vor-Ort-Begehung Schriftliches Gutachten Externe Evaluation Zielvereinbarung Vereinbarung von Zielen zwischen Fach, Fachbereich und Hochschulleitung Begleitung der Umsetzung (Follow up)

19 Verfahren der internen und externen Evaluation Extern durchgeführte Stärken-Schwächen-Analyse Kumulative Gruppen- und Einzelgespräche Studierende in früher Phase des Studiums Studierende in fortgeschrittener Phase Lehrbeauftragte Nicht wissenschaftliche Mitarbeiter/innen Wissenschaftliche Mitarbeiter/innen Professor/innen Filtern der Ergebnisse Verabschiedung der externen Stärken-Schwächen-Analyse durch das Fach/den Fachbereich Herstellung von Akzeptanz für die Umsetzung von Maßnahmen

20 Zusammenfassung

21 Peer Review in der Lehre Modifikationen Eindeutige Definition der Zielsetzungen und Fragestellungen der Verfahren sowie der Funktion der Peers Stärkung der internen Verfahren im Sinne moderierter Stärken- und Schwächenanalysen Berücksichtigung von mehreren Evidenzquellen im Rahmen von Evaluationsverfahren insbesondere Ergänzung durch Erhebungen und statistische Daten (informed peer review) Brechung der Ergebnisse aus Peer Review-Verfahren durch moderierte Zielvereinbarungen Reduktion des Begutachtungsauftrags auf Fachexpertise im engeren Sinne

22 Wirkungen und Grenzen von Peer Reviews Heidelberg 2014 Dr. Uwe Schmidt