INSTITUTIONELLE VERANKERUNG UND VERWENDUNG VON EVALUATIONEN

Transkript

1 i mini in i n in um IHM um im v A/ Andreas Balthasar INSTITUTIONELLE VERANKERUNG UND VERWENDUNG VON EVALUATIONEN PRAXIS UND VERWENDUNG VON EVALUATIONEN IN DER SCHWEIZERISCHEN BUNDESVERWALTUNG Rüegger Verlag

2 VORWORT I EINLEITUNG l_3_ 1.1 Gegenstand und Relevanz der Untersuchung 1.2 Zielsetzung und Fragestellung 1.3 Stand der Forschung Die klassische Verwendungsforschung Interaktionistische Verwendungsforschung Neuere Entwicklungen in der Verwendungsforschung 1.4 Theoretischer Ansatz und Hypothesen Theoretischer Ansatz Haupteinflussvariable: institutionelles Arrangement einer Evaluation Weitere Einflussvariablen Hypothesen 1.5 Eingrenzung des Forschungsgegenstandes Eingrenzung des Evaluationsbegriffs Zeitliche Eingrenzung Räumliche Eingrenzung Quellenbezogene Eingrenzungen Konsequenzen der Eingrenzungen Generelle Probleme der Verwendungsforschung 1.6 Methodisches Vorgehen, Datengrundlagen und Gliederung der Studie Ermittlung der Grundgesamtheit Qualitative Fallstudien Breitenbefragung Synthese

3 QUALITATIVE ANALYSEN 2.1 Auswahl und Analyse von Fällen Auswahl der Fälle Datenerhebung und -auswertung Beschreibung der Fälle Das Kartellrecht: Standortbestimmung - Evaluation der PVK für die GPK Subvention an Invalidenwerkstätten - Evaluation der EFK Die Zusammenarbeit mit der Partnerorganisation Z - eine Evaluation der DEZA Grippepräventionskampagne Evaluation des BAG Rückkehrberatung im Asylbereich - Evaluation des BFF Revisionsprojekt X - Evaluation des Inspektorats des VBS Chancengleichheit beim Bund 1996 bis Evaluation des EPA Ökomassnahmen und Tierhaltungsprogramme. Bereich Artgerechte Tierhaltung. Schlussbericht Kategorie Milchkühe - Evaluation des BVET Verlagerungsbericht Evaluation des BAV Ressort Gewerbe von Energie Evaluation des BFE Auswertung der Fallstudien Klassischer Fallvergleich Qualitative Comparative Analysis (QCA) Fazit der qualitativen Analyse und Hypothesen für den quantitativen Teil Zusammenfassende Erkenntnisse aus dem Fallstudienvergleich Weiterentwicklung der Hypothesen Methodenkritik 287

4 3 QUANTITATIVER TEIL 29 I 3.1 Ziele und Methodik der Breitenbefragung Ziele der Befragung Grundgesamtheit und Methodik Beschreibung der Evaluationspraxis Verbreitung von Evaluationen in der Bundesverwaltung Institutionelles Arrangement Merkmale des Umfelds Merkmale des Prozesses Art und Intensität der Verwendung Faktoren mit Einfluss auf die Verwendung Instrumentelle Verwendung Konzeptionelle Verwendung Prozessbezogene Verwendung Symbolische Verwendung Generelle Verwendung Zusammenhänge zwischen den Zielvariablen Fazit Multivariate Analysen Vorgehen und Schätzgrössen Schätzmodell für die instrumentelle Verwendung Schätzmodell für die konzeptionelle Verwendung Schätzmodell für die prozessbezogene Verwendung Schätzmodell für die symbolische Verwendung Schätzmodell für die generelle Verwendung Fazit der Modellanalysen 380

5 10 INHALTSVERZEICHNIS 4 SYNTHESE UND S C H L U S S FO LG E RU N G E N Der Stand der Evaluation in der Bundesverwaltung Umfang und Kosten der Evaluationstätigkeit Institutionelles Arrangement der Evaluationen Merkmale des Umfelds Prozessmerkmale der Evaluationen Art und Intensität der Verwendung Faktoren mit Einfluss auf die Verwendung Die Faktoren mit Einfluss auf die Verwendung von Evaluationen Die Bedeutung institutioneller Faktoren für die Verwendung Beitrag zur theoretischen Weiterentwicklung der internationalen Forschung Zentrale Erkenntnisse Theorieentwicklung Fazit Die wichtigsten Erkenntnisse für die schweizerische Evaluationspraxis Idee 1: Kultur der Wirkungsorientierung etablieren Idee 2: Verstärkung der Transparenz Idee 3: Förderung der Qualität Idee 4: Stärkere Gewichtung von Wirtschaftlichkeitsfragen Fünf Handlungsfelder Methodendiskussion und Ausblick Methodendiskussion Ausblick 443

6 A ANHÄNGE 447 AI Literaturverzeichnis 447 A2 Abkürzungsverzeichnis 472 A3 Leitfaden für Fallstudien 474 A4 Begleitbrief der Interdepartementalen Arbeitsgruppe Wirksamkeitsprüfungen (IDEKOWI) 480 A5 Begleitbrief zum Fragebogen Evaluationsverantwortliche 482 A6 Fragebogen Evaluationsverantwortliche 483 A7 Fragebogen an weitere Nutzende 487 A8 Operationalisierung der Variablen 488