Evaluationsansätze PD Dr. Rainer Strobl Universität Hildesheim Institut für Sozialwissenschaften & proval Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation www.proval-services.net Hannover 2013 1
Theoriegeleitete Evaluationen orientieren sich an... den zentralen Schritte eines wirkungszentrierten Vorgehens. Dabei folgt die theoriegeleitete Evaluation dem Grundsatz, dass das Design und die Durchführung einer Evaluation von einer Programmtheorie angeleitet werden müssen. So eine Programmtheorie besteht aus expliziten und impliziten Annahmen der Stakeholder darüber, mit welchen Maßnahmen und unter welchen organisatorischen und sonstigen Voraussetzungen und Rahmenbedingungen wichtige Ziele erreicht und die problematische Ausgangssituation verbessert werden können. Im Unterschied zu einer so genannten Black-Box-Evaluation geht es also nicht nur darum, ob eine Intervention funktioniert, sondern auch darum, wie und unter welchen Rahmenbedingungen sie funktioniert. Hauptvertreter: Chen (1990; 2005) 2
Zielorientierte Evaluation beantwortet... die Frage nach der Zielerreichung von Programmen, Projekten und Maßnahmen. Die Ergebnisse können dazu genutzt werden, die Programmabläufe zu optimieren um die Zielerreichung zu verbessern oder um die Ziele zu modifizieren (vgl. Stockmann 2007, S. 48). Bei der zielorientierten Evaluation werden eher quantitative Methoden eingesetzt, obwohl das nicht zwingend ist. Eine sinnvolle Ergänzung ist der Einsatz von qualitativen Methoden zur Erfassung von unerwarteten positiven oder negativen Nebenwirkungen. Hauptvertreter: Tyler (1949), aber auch Rossi/ Lipsey/ Freeman (2004) 3
Bei der zielfreien Evaluation geht es vor allem darum... Feldforschung zu betreiben und Daten zu einem umfassenden Bereich tatsächlicher Wirkungen zu sammeln. Der Evaluator vermeidet nach diesem Konzept die Beschäftigung mit den Zielen und sonstigen Unterlagen des Projekts oder Programms. Auch der Kontakt mit den Projektmitarbeiter/innen wird auf ein Minimum beschränkt. Die Unterscheidung zwischen beabsichtigten Haupt- und unbeabsichtigten Nebenwirkungen wird abgelehnt. Dieser Evaluationsansatz konzentriert sich stark auf den Verbraucher oder Nutzer. Bei der zielfreien Evaluation werden eher qualitative Methoden eingesetzt, obwohl das nicht zwingend ist. Vertreter: Michael Scriven (1991) Bezeichnung durch Stockmann (2007): Verbraucherorientierte Evaluation 4
Bei der nutzungsorientierten Evaluation... geht es vor allem darum, dass die Evaluationsergebnisse später auch genutzt werden. Daher ist es zunächst wichtig, konkrete Entscheidungsträger zu identifizieren und ihre Informationsbedürfnisse zu eruieren. Die Datensammlung orientiert sich dann an diesen Informationsbedürfnissen. Bei der nutzungsorientierten Evaluation werden eher qualitative Methoden eingesetzt, obwohl das nicht zwingend ist. Vertreter: Michael Quinn Patton (1997) Bezeichnung durch Stockmann (2007): Managementorientierte Evaluation 5
Eine (nicht vollständige) Liste der Evaluationsansätze Theoriegeleitete Evaluation (Chen) Zielorientierte Evaluation (Tyler) Zielfreie Evaluation (Scriven) Nutzungsorientierte Evaluation (Patton) Außerdem Effizienzkriterienorientiert Evaluation (Rossi, Freeman, Lipsey) Partizipative Evaluation (Stake, Guba, Lincoln, Patton, Fetterman, Mertens) Expertenorientierte Evaluation (Eisner) Entscheidungsgesteuerte Evaluation (Stufflebeam) CIPP-Modell (Stufflebeam) Global Evaluation (Scriven) Versuchsplanorientierte Evaluation (Hager, Patry, Brezing) Analytic / analytical Evaluation (Scriven) Programmziel- / lernzielgesteuerte Evaluation (objective-based study) Gegnerschaftsgesteuerte Evaluation (adversary Evaluation) Beteiligteninteressengesteuerte Evaluation Qualitätsentwickelnde Evaluation Cluster-Evaluation (Haubrich) Deskriptive Evaluation Explorative Evaluation Hypothesenprüfende Evaluation Askriptive Evaluation Black-box Evaluation 6
Literatur Chen, Huey-T (1990): Theory-Driven Evaluations. Newbury Park u.a.: Sage. Chen, Huey-T (2005): Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness. Thousand Oaks Calif.: Sage. Patton, Michael Quinn (1997): Utilization-Focused Evaluation. Thousand Oaks [u.a.] : Sage. Rossi, P. H.; Lipsey, M. W.; Freeman, H. E. (2004): Evaluation. A Systematic Approach. Seventh Edition. Thousand Oaks; London; New Delhi: Sage. Scriven, Michael (1991): Prose and Cons about Goal-Free Evaluation. In: American Journal of Evaluation 12, S. 55-76. Stockmann, Reinhard (Hg.) (2007): Handbuch zur Evaluation. Münster: Waxmann. Tyler, R.W. (1949): Basic Principles of Curriculum and Instruction. Chicago: University of Chicago 7