Einführung in die sozialwissenschaftliche Evaluation PD Dr. Rainer Strobl Universität Hildesheim Institut für Sozialwissenschaften & proval Gesellschaft für sozialwissenschaftliche Analyse, Beratung und Evaluation www.proval-services.net Hannover 2013 1
Einführung in die sozialwissenschaftliche Evaluation Am Anfang schuf Gott Himmel und Erde. Und am Ende des sechsten Tages sah er, was er geschaffen hatte, und sagte: In der Tat, es ist sehr gut. Am siebten Tage ruhte er. Da erschien sein Erzengel und fragte: Gott, woher weißt du, dass das, was du geschaffen hast, sehr gut ist? Was sind deine Kriterien? Auf welche Daten stützt du dein Urteil? Stehst du den Dingen nicht etwas zu nah, um eine objektive Beurteilung vorzunehmen? Diese Fragen beschäftigten Gott den ganzen Tag und um seine Ruhe war es geschehen. Und am achten Tag sprach Gott: Luzifer, fahr zur Hölle. Und so geschah es, das die Evaluation im flammenden Licht dieses Ereignisses die Welt erblickte (Halcolm, Die wahre Geschichte des verlorenen Paradieses, ins Deutsche übersetzt, zit. nach Patton, 1997, S. 1). 2
Was heißt eigentlich Evaluation? Der Begriff Evaluation stammt von dem lateinischen Wort valor (= Wert) und der Vorsilbe e / ex (= aus) ab. Daraus ergibt sich die Bedeutung 'einen Wert aus etwas ziehen', eine Bewertung vornehmen (vgl. Stockmann 2002, S. 2). Kurz: Evaluieren bedeutet bewerten! Aber: Soll ein Wissenschaftler überhaupt bewerten? Max Weber argumentiert dass einerseits die Geltung eines praktischen Imperativs als Norm und andererseits die Wahrheitsgeltung einer empirischen Tatsachenfeststellung in absolut heterogenen Ebenen des Problematik liegen (Weber 1985, S. 501). Die beiden Ebenen dürfe man nicht zusammenzwingen. Die empirische Wissenschaft kann aufzeigen, welche Mittel zur Erreichung eines Ziels erforderlich sind, welche unvermeidlichen Nebenwirkungen mit dem Erreichen eines bestimmten Ziels verbunden sind und ob das Ziel erreicht wurde (vgl. auch Weber 1985, S. 508). In diesem Zusammenhang ist eine Bewertung auf der Grundlage von empirischen Daten möglich und sinnvoll. Frage: Ist das Problem der Werturteile in der empirischen Forschung und in der Evaluation damit gelöst? 3
Evaluation: Annäherung an eine Definition (Kromrey 2001, S. 108) Alltägliche Bewertung Evaluation Irgendetwas wird - von irgend jemand nach Programme, Projekte, Maßnahmen, Organisationen etc. werden durch Personen, die zur Bewertung besonders befähigt sind (z.b. Wissenschaftler, Berater, Betroffene) - in irgendeiner Weise in einem objektivierten Verfahren (z.b. qualitative / quantitative Forschungslogik) - nach irgendwelchen Kriterien bewertet. nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet 4
Vier Definitionen Program evaluation is the use of social research methods to systematically investigate the effectiveness of social intervention programs in ways that are adapted to their political and organizational environments and are designed to inform social action to improve social conditions (Rossi, Lipsey, Freeman 2004, S. 16). Evaluation ist die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsgegenstände können z. B. Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen, Politik, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen (DeGEval 2008, S. 15). Evaluation is the process of determining the merit, worth, or significance of things (Scriven, 2003, S. 15). Evaluation ist eine möglichst systematische und objektive Bewertung eines laufenden oder abgeschlossenen Programms oder Projekts, einschließlich dessen Konzept, Umsetzung und Ergebnissen (proval). 5
Geschichte der Evaluation USA (vgl. Stockmann 2010, S. 24 ff.) Bereits im 19. Jh.: Externe Inspektoren wurden beauftragt, öffentlich finanzierte Programme im Bildungs- und Gesundheitswesen und in der Strafjustiz zu evaluieren. Zentrales Thema: die Effektivität der Programme. Evaluation von Reformprogramme zur Verminderung der Arbeitslosigkeit und zur Verbesserung der sozialen Sicherheit im Rahmen des New Deal (30er und 40er Jahre des 20. Jh.). Eigentlicher Startpunkt moderner Evaluationen. Boom der Evaluationsforschung in den 60er Jahren des 20. Jh. Aufgabe: Wirkungen von Sozial-, Bildungs-, Gesundheits-, Ernährungs- und Infrastrukturprogrammen überprüfen. 70er bis Mitte der 80er Jahre des 20. Jh.: Professionalisierung 1986 entstand die American Evaluation Association (AEA) aus einem Zusammenschluss der Evaluation Research Society und des Evaluation Network. 6
Geschichte der Evaluation Deutschland (vgl. Stockmann 2010, S. 30 ff.) Ende der 60er/Anfang der 70er Jahre des 20. Jh.: Evaluationsboom durch Reformeifer sowie Planungs- und Steuerungsoptimismus. Die Bundeshaushaltsordung von 1970 schreibt bereits Erfolgskontrollen vor. Ölkrise 1973 Auslaufen der Modernisierungswelle Bedeutung der Evaluation geht zurück. Weiterer Grund: Ernüchterung aufgrund bescheidener Reformerfolge. Auch die Evaluation konnte die ins sie gesetzten Erwartungen oft nicht erfüllen. Neuer Evaluationsboom etwa seit Mitte der 90er Jahre. 1997: Gründung der (Deutschen) Gesellschaft für Evaluation (DeGEval) 2004: Standards für Evaluation werden von der DeGEval offiziell verabschiedet. 7
Jüngere Entwicklungen der Evaluationsforschung Nützlichkeit/Nutzung als wichtiges Thema Evaluation als eine Dienstleistung für Stakeholder (z.b. Fördermittelgeber, Projektleiter und Projektmitarbeiter, Teilnehmerinnen und Teilnehmer) Sollen sich Evaluationen allein an den expliziten Bedürfnissen der Beteiligten und Betroffenen orientieren? Oder sollen sie auch darüber hinausgehende Aspekte einbeziehen? Die Nutzung von Evaluationsergebnissen ist recht unterschiedlich. Evaluationen wirken zum Teil indirekt und über längere Zeiträume (Einsickern von neuen Einsichten, Theorien, Erkenntnisse und Sichtweisen). Notwendige Bedingungen für die Nutzung von Evaluationsergebnissen: Orientierung an den Bedürfnissen der Stakeholder hinsichtlich der bearbeiteten Fragestellungen, der eingesetzten Methoden, der Zeitplanung und der sprachlichen Darstellung der Ergebnisse (vgl. Balthasar 2009). 8
Jüngere Entwicklungen der Evaluationsforschung Differenzierte Betrachtung der Wirksamkeit bottom-up approach for integrative validity (Chen 2010) Durchführbarkeit eines Programms (Kann das Programm von Praktikern umgesetzt werden? Ist es aus der Sicht der Entscheidungsträger bezahlbar? Erreicht es seine Zielgruppen? Wird es von den Teilnehmern als hilfreich angesehen? Gibt es einen nachvollziehbaren Zusammenhang zwischen den Maßnahmen und den erwarteten Wirkungen?) Stellen sich die erwarteten Wirkungen unter realen Bedingungen tatsächlich ein? Welche Kausalbeziehungen bestehen zwischen den einzelnen Maßnahmen und den Wirkungen? 9
Die gesellschaftliche Bedeutung von Evaluation Lektüre: Stockmann, Reinhard (2012): Evaluation und Gesellschaft. In: Strobl, Rainer; Lobermeier, Olaf; Heitmeyer, Wilhelm (Hg.): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VS, S. 195-220. Heitmeyer, Wilhelm (2012): Evaluationsforschung. Parameter und Auswirkungen für die Gesellschaft. In: Strobl, Rainer; Lobermeier, Olaf; Heitmeyer, Wilhelm (Hg.): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VS, S. 221-231. 10
Evaluation: Annäherung an das Thema 1. Was wird evaluiert? 2. Wann wird evaluiert? 3. Wozu wird evaluiert? 4. Nach welchen Kriterien wird evaluiert? 5. Wer evaluiert? 6. Wie wird evaluiert? 11
1. Was wird evaluiert? Gesetze Produkte Dienstleistungen Organisationen Personen Prozesse Soziale Tatbestände Evaluationen usw. Besondere Bedeutung haben Reformmaßnahmen Projekte (Bündel von Einzelmaßnahmen) Programme (Anzahl aufeinander bezogener Projekte) Policies (Bestimmte Handlungsstrategien in Bezug auf ein Themen- oder Problemfeld) (vgl. Stockmann 2010, S. 67 f.) 12
1.1 Was wird evaluiert? Aspekte der Evaluation eines Programms oder Projekts Konzept Resultate Evaluationsaspekte Kontext Prozesse Inputs 13
1.1.1 Resultate eines Projekts (vgl. Beywl/Speer/Kehr 2004) Impacts: Einwirkungen auf Kommune, Gesellschaft (z.b. Verringerung der Kriminalitätsbelastung in Stadtteil X) Outcomes 3: Lebenslage und Status (z.b. geregelte Berufsausbildung, Chancen auf einen Arbeitsplatz) Outcomes 2: Handeln und Verhalten Neue Handlungs- und Verhaltensweisen bei der Zielgruppe Outcomes 1: Wissen, Einstellungen, Werte, Fertigkeiten (z.b. Wissen über mögliche Berufe, veränderte Einstellungen) Outputs 3: Akzeptanz Einschätzung der Maßnahme durch die Zielgruppen Outputs 2: Teilnahme (z.b. Anzahl, Intensität, Art der Teilnahme, Merkmale der Zielgruppe) Outputs 1: Projektaktivitäten (z.b. vierwöchige Freizeit von mit delinquenten Jugendlichen) (Inputs: Geld, Personal, Zeit) 14
2. Wann wird evaluiert? Lebensverlaufsmodell eines Programms/Projekts nach Stockmann (2006, S. 111) t6 tf tnf Vor der Programmdurchführung - Evaluation der Programmkonzeption = formative Evaluation Während der Programm-/Projektdurchführung - Evaluation der Programmdurchführung (Prozessevaluation/Monitoring) = formativ oder summativ Nach der Programm-/Projektdurchführung - Evaluation der Programmwirksamkeit = Wirkungsevaluation (aber: 1. Erhebung oft vor der Programm-/Projektdurchführung notwendig) 15
3. Wozu wird evaluiert? Ziele und Aufgaben der Evaluation Erkenntnis Kontrolle Funktioniert der Projektablauf? Welche Bedarfe hat die Zielgruppe? Erreichen die Maßnahme die Zielgruppe? Wird das Projekt effizient und effektiv umgesetzt? Evaluation Wurden die festgelegten Ziele erreicht? Genügt das Projekt den Kriterien Effektivität, Effizienz, Akzeptanz und Nachhaltigkeit? Entwicklung Legitimation Wie erfolgreich verläuft die Zusammenarbeit zwischen den Beteiligten und Betroffenen? Was muss verändert und verbessert werden? Quelle: Stockmann 2007, S. 37 f. Mittelgeber und Durchführungsorganisationen können nachweisen, wie effizient sie mit Finanzmitteln umgegangen sind und welchen Wirkungsgrad ihre Projekte und Programme erreicht haben. 16
4. Nach welchen Kriterien wird evaluiert (vgl. Stockmann 2010, S. 78-79) Häufiger Orientierungspunkt bei der Entwicklung von Bewertungskriterien: Nutzen für bestimmte Personen oder Gruppen Bezugspunkte für Bewertungen in Evaluationen: Historischer Vergleich Intranationaler Vergleich Internationaler Vergleich Benchmarking (Vergleich zur besten Praxis) Zielerreichung Zielgruppenerwartung (nur Adressaten) Interessentenerwartung (auch andere Stakeholder) Besondere Bedeutung haben folgende Evaluationskriterien Relevanz (Entsprechen die Maßnahmen die Bedürfnissen/Erfordernissen?) Effektivität (Werden die richtigen Dinge getan?) Effizienz (Werden die Dinge richtig getan?) Impacts (Wirkungen, die über die direkten Nutznießer hinausgehen) Nachhaltigkeit (Was bleibt?) 17
5) Wer evaluiert? Evaluationsformen A. Selbstevaluation Wird von den Projektmitarbeitern durchgeführt und hat folgende Zwecke: Steuerung des laufenden Projekts Rechenschaft ablegen über den Projekterfolg Rechenschaft ablegen über die Verwendung der eingesetzten Mittel Verbesserung künftiger Projekte B. Fremdevaluation Wird von externen Fachkräften durchgeführt und hat folgende Zwecke: Neutraler Nachweis der Wirksamkeit Entscheidungsgrundlage für die Weiterführung eines Projekts Entscheidungsgrundlage für die Verallgemeinerbarkeit der Ergebnisse Rechenschaft ablegen über die Verwendung der eingesetzten Mittel C. Mischformen Unterstützte Selbstevaluation Unterstützte Fremdevaluation 18
Evaluationstypen Formative Evaluation Eine formative Evaluation ist eine Bewertung von Ergebnissen während der Laufzeit eines Programms oder Projekts. Ziel ist die Formung und Weiterentwicklung eines Projektes Ansätze im Rahmen der formativen Evaluation Konzeptevaluation (einschließlich Zielexplikation, Maßnahmenklärung und Bestimmung von Erfolgsindikatoren) Kontextevaluation Inputevaluation Prozessevaluation/Monitoring 19
Evaluationstypen Summative Evaluation Wird in der Regel nach Beendigung der eines Programms oder Projekts durchgeführt Großer Nutzen für die Entscheidungsgremien Die Wirkungsevaluation ist der wichtigste Ansatz im Rahmen der summativen Evaluation. Wirkungsevaluation Bewertung von Wirkungen (Outcomes) Sind Wissen, Fertigkeiten, Einstellungen und Werte der Teilnehmer durch das Projekt verändert worden? Hat sich das Verhalten der Teilnehmer verändert? Haben sich die Lebenslagen der Teilnehmer verbessert? Gibt es darüber hinausreichende Gesamtwirkungen? Gibt es erwünschte oder unerwünschte Nebenwirkungen? 20
Formative Evaluation vs. summative Evaluation FORMATIV SUMMATIV Fortlaufende Verbesserung Ziel Abschließende Bewertung Programm-/ Zielgruppe Auftraggeber Projektdurchführende Während der Programm-/ Projektlaufzeit Erhebungen Vor und nach der Programm-/ Projektlaufzeit Qualitativ (und quantitativ) Methode Quantitativ (und qualitativ) Unterstützend, interaktiv Verhalten der Unabhängig Evaluatoren Schnell, häufig, eher informell Rückmeldungen Formaler Bericht Hoch durch Interaktionen und Praxisrelevanz Akzeptanz bei den Durchführenden Niedriger, weil weniger eingebunden Niedriger, weil weniger entscheidungsrelevant Akzeptanz bei den Auftraggebern Hoch, weil entscheidungsrelevant 21
Evaluationstypen Prozessevaluation/Monitoring A. Arbeitet das Projekt so, wie es ursprünglich geplant war? Was wurde implementiert und was nicht? Welche Merkmale der Projektdurchführung haben das Erreichen der Projektziele erleichtert / verhindert? Erreicht das Projekt die beabsichtigte Zielgruppe? B. Beitrag einzelner Elemente zum Projekterfolg Welche Projektangebote funktionieren und welche nicht? Passen verschiedene Komponenten eines Projekts zusammen, um ein übergeordnetes Ziel zu erreichen? Ist die Organisationsstruktur angemessen, um die Projektziele zu erreichen? C. Umsetzung der einzelnen Maßnahmen Wurde Maßnahme X zur geplanten Zeit am geplanten Ort implementiert? Wurde Maßnahme X vollständig implementiert? Wurde Maßnahme X lange und intensiv genug durchgeführt? D. Leistungen (Outputs) der einzelnen Maßnahmen Wer hat wie häufig und wie intensiv an Maßnahme X teilgenommen? Erreicht Maßnahme X die beabsichtigte Zielgruppe? Wie schätzen die Teilnehmer Maßnahme X ein? 22
Literatur Balthasar, A. (2009): Institutional design and utilization of evaluation: a contribution to a theory of evaluation influence based on Swiss experience. Evaluation Review 33, Heft 3, S. 226-256. Beywl, Wolfgang; Speer, Sandra; Kehr, Jochen (2004): Wirkungsorientierte Evaluation im Rahmen der Armuts- und Reichtumsberichterstattung. Köln: Univation. Chen, Huey T. (2010): The bottom-up approach to integrative validity: A new perspective for program evaluation. In: Evaluation and Pro-gram Planning 33, S. 205-214. DeGEval Gesellschaft für Evaluation e.v. (2008): Standards für Evaluation. 4. unveränderte Auflage. Mainz. Heitmeyer, Wilhelm (2012): Evaluationsforschung. Parameter und Auswirkungen für die Gesellschaft. In: Strobl, Rainer; Lobermeier, Olaf; Heitmeyer, Wilhelm (Hg.): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VS, S. 221-231. Kromrey, Helmut (2001): Evaluation - ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis. 24 (2): S. 105-131. Patton, Michael Quinn (1997). Utilization Focused Evaluation. The New Century Text. Thousand Oaks: Sage. 23
Literatur Rossi, P. H.; Lipsey, M. W.; Freeman, H. E. (2004): Evaluation. A Systematic Approach. Seventh Edition. Thousand Oaks; London; New Delhi: Sage. Scriven, Michael (2003): Evaluation Theory and Metatheory. In: Kellaghan, Thomas; Stufflebeam, Daniel L.: International Handbook of Educational Evaluation. Dordrecht; Boston: Kluwer, S. 15-30. Stockmann, Reinhard (2002): Was ist eine gute Evaluation. Saarbrücken: Centrum für Evaluation (CEval-Arbeitspapiere 9). Stockmann, Reinhard (Hg.) (2007): Handbuch zur Evaluation. Münster: Waxmann. Stockmann, Reinhard (2010): Evaluation. Eine Einführung. Opladen: Budrich. Stockmann, Reinhard (2012): Evaluation und Gesellschaft. In: Strobl, Rainer; Lobermeier, Olaf; Heitmeyer, Wilhelm (Hg.): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VS, S. 195-220. Strobl, Rainer; Lobermeier, Olaf; Heitmeyer, Wilhelm (Hg.) (2012): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VS. Strobl, Rainer; Lobermeier, Olaf (2007): Evaluation und Qualitätsentwicklung. Ein Handbuch für die praktische Projektarbeit. Hannover: proval. Online im Internet unter http://www.proval-services.net/download/proval-handbuch.pdf Weber, Max (1985): Gesammelte Aufsätze zur Wissenschaftslehre. 6., erneut durchgesehene Auflage. Herausgegeben von Johannes Winkelmann. Tübingen: Mohr, S. 489-540. 24