Möglichkeiten und Grenzen der Wirkungsmessung und der Wirkung von Qualitätssicherung

Transkript

1 Möglichkeiten und Grenzen der Wirkungsmessung und der Wirkung von Qualitätssicherung

2 Inhalt 1. Herausforderungen an die Qualitätssicherung von Projekten und Programmen 2. Projekte und Programme im Kontext von Veränderungsprozessen 3. Ausblick

3 Einführung Zunehmende Bedeutung projektförmiger und Projekt geförderter Organisation Zunahme der Programmförderung in der Forschung (Exzellenzinitiative des Bundes und der Länder, EU, BMBF) Projektfinanzierung in Studium und Lehre (Hochschulpakt, Qualitätspakt Lehre, Qualitätsoffensive Lehrerbildung, Förderprogramme von Stiftungen, Studiengebühren, hochschulinterne Programme) Erhöhte Anforderungen an Hochschulsteuerung: Wie gelingt es die Einführung und Weiterführung oder Institutionalisierung von Projekten evidenzbasiert zu steuern?

4 Einführung a. Gegenstand b. Qualitätsmaßstab c. Funktion d. Zielsetzung e. Methodische Herausforderungen f. Modell- und Theorienorientierung

5 a. Gegenstand Institutionelle Evaluation (Evaluation von Fächern und Fachbereichen) Evaluation im Rahmen von QM-Systemen (Spezifische Verfahren mit Evaluationsbezug, wie LVB, Absolventenbefragung, Akkreditierung von Studienprogrammen etc.) Programm- und Projektevaluation (Evaluation im Kontext der Rechenschaftslegung und der Implementierung von Programmen)

6 b. Qualitätsmaßstab Die Messung von Wirkungen und damit verbunden von intendierten und nicht intendierten Effekten unter Zugrundelegung von Qualitätsmaßstäben und Wirkannahmen Vergleich zwischen Zielen und Zielerreichung ( klassischer Ansatz der Programmevaluation) Vergleich mit anderen Programmen oder Gruppen (Lehrveranstaltungsbefragung, Rankings) Vorher-Nachher-Vergleich (bspw. im Rahmen von Forschungsevaluationen) Normativer Bezugsrahmen (Akkreditierung, Zertifizierung) Modellgeleiteter Bezugsrahmen (z.b. Theorien gelingender Organisation)

7 c. Funktionen von Projekten und Programmen Ergänzungsfunktion Zusätzliche, neue Aufgaben werden projektiert (z.b. Career Service) Geringere Anbindung an Kernprozesse Kompensationsfunktion Projektgebundene Mittel anstelle von Regelfinanzierung (Hochschulpakt) Politische Funktion Projekte folgen politischer Logik, durch die in kurzer Zeit viele Themen neu generiert werden können und die keine langfristigen Festlegungen erzwingen; Projektsteuerung als Reflex auf wachsende Hochschulautonomie

8 c. Funktionen von Projekten und Programmen Veränderungs-/Anpassungsfunktion: Vorstufe organisationalen Wandels mit starkem Interventionscharakter Häufig im Sinne von Programmen auf Nachhaltigkeit ausgerichtet Innovationsfunktion Projekte als Experimentierräume Reputationsfunktion Zukunftskonzepte im Rahmen der Exzellenzinitiative

9 d. Zielsetzungen Unklare oder unrealistische Zielsetzung Unspezifische Ziele häufig bei breit konzipierten Programmen Utopische Zielsetzungen, die zum Teil der Antragsprosa geschuldet sind Akkreditierungskriterien, wie Employability oder Persönlichkeitsentwicklung Konkurrierende und z.t. politisch überformte Zielsetzungen und Kriterien

10 e. Methodische Herausforderungen Konzentration auf die Messung von Akzeptanz und Zufriedenheit im Anschluss an Interventionen und kaum Wirkungsforschung Fehlende Voraussetzungen für experimentelle Designs zur Erfassung von Wirkungen: Problem fehlender Vergleichsgruppen Fehlende Voraussetzungen für Längsschnittdesigns: Problem fehlender t0-messung Vielzahl intervenierender Variablen Selbstselektion bei freiwilligen Angeboten, wie bspw. bei Mentoringund Tutorenprogrammen (Bsp. Programm semesterfit)

11 f. Modell- und Theorieorientierung Rekonstruktion von Wirkungsannahmen Systematisierung der Ziele und intendierten Effekte der Maßnahmen Entwicklung eines Wirkungsmodells Theorie- oder modellgeleitetes vs. induktives Vorgehen Empirische Analyse Differenzierung nach zu messenden und durch Forschungsstand zu schließenden Analysen

12 Wirkungsmodell Mentoring (Struktur- und Prozessmerkmale) Erhöhung des Studienerfolgs Lernprozesse, Studierverhalten, Studienmotivation, Eingangsvoraussetzungen Individuelle Lebens und Kontextbedingungen (Erwerbstätigkeit, gesundheitliche Belastungen, familiale Aufgaben etc.) Bessere Betreuung Höheres Committment an Studienziele Enkulturation Ergänzendes, kompensatorisches Angebot Mehrdimensionales Konstrukt, das sich durch unterschiedliche abhängige Variablen beschreiben lässt Studienerfolg umfasst dabei subjektive Bewertungen (z.b. Studienzufriedenheit, Belastungserleben) sowie objektive Kriterien (z.b. Noten und Anzahl Strukturmerkmale (Betreuungsrelation, Curriculare Bedingungen, Räumliche Bedingungen, Kongruenz mit anderen Maßnahmen etc.) erworbener Leistungspunkte)

13 Wirkungsmodell Mentoring (Struktur- und Prozessmerkmale) Empirische Analyse Lernprozesse, Studierverhalten, Studienmotivation, Eingangsvoraussetzungen Bessere Betreuung Höheres Committment an Studienziele Enkulturation Ergänzendes, kompensatorisches Angebot Schließung von Wirkungsannahmen durch Forschungsstand Erhöhung des Studienerfolgs Individuelle Lebens und Kontextbedingungen (Erwerbstätigkeit, gesundheitliche Belastungen, familiale Aufgaben etc.) Strukturmerkmale (Betreuungsrelation, Curriculare Bedingungen, Räumliche Bedingungen, Kongruenz mit anderen Maßnahmen etc.)

14 Inhalt 1. Herausforderungen an die Qualitätssicherung von Projekten und Programmen 2. Projekte und Programme im Kontext von Veränderungsprozessen 3. Ausblick

15 Projekte im Kontext von Veränderungsprozessen Intendierte Effekte auf Struktur- und Prozessebene Anpassung von Curricula Verbesserung der Studienorganisation Indirekte und nicht intendierte Effekte auf Struktur- und Prozessebene Mobilisierung und Kommunikationsimpulse Erkenntnis- und Erfahrungszuwachs bei Gutachter/innen

16 Projekte im Kontext von Veränderungsprozessen Intendierte Einstellungs- und Handlungseffekte veränderter Blick auf eigene Praxis Veränderte Forschungs- und Lehrpraxis Indirekte und nicht intendierte Einstellungs- und Handlungseffekte Gewöhnungseffekte Professionellerer Umgang mit Bewertungen und Interventionen Manipulation (PISA, Exzellenzinitiative) Handlungslogiken, die an der Rationalität von Kriterien und politischen Projektzielen ausgerichtet sind Konkurrenz zwischen Projekten und Projektmitarbeiter/innen

17 Projekte im Kontext von Veränderungsprozessen Evidenzquellen Kenntnis von Evidenzen Rezeption von Evidenzen Evidenzbasiertes Handeln Grundsätzliche Akzeptanz von und Vertrauen in Evidenzenzquellen Feldspezifische Kenntnisse Kenntnis alternativer Konzepte und Handlungsoptionen Organisationsklima

18 Projekte im Kontext von Veränderungsprozessen 18 Rezeption: Wie intensiv haben Sie sich mit Informationen aus folgenden Quellen beschäftigt/ auseinandergesetzt?

19 Inhalt 1. Herausforderungen an die Qualitätssicherung von Projekten und Programmen 2. Projekte und Programme im Kontext von Veränderungsprozessen 3. Ausblick

20 Ausblick Wirkungsmessung setzt Wirkungsannahmen voraus Problem der Operationalisierung vergleichsweise unkonkreter Zielsetzungen und Wirkungsannahmen Häufig fehlende Koppelung an Forschungsstand und fehlende theoretische Fundierung Generierung von Modellen, die der Komplexität sozialer Systeme gerecht werden Reduktion der Komplexität durch Argumentationsbrücken, die aus dem Forschungsstand erschlossen und ggf. nicht empirisch überprüft werden müssen Wirkungen von Qualitätssicherung insbesondere auf der Handlungsund Einstellungsebene voraussetzungsvoll

21 Vielen Dank für Ihre Aufmerksamkeit