Wirkungsevaluation mit Augenmaß Analyseansätze und gelungener erstattung Präsentation im Rahmen des DZI Spenden-SiegelFORUM 2015 in Berlin Dr. Stefan Silvestrini Geschäftsführer der CEval GmbH DZI, Berlin, 18. Mai 2015
Gliederung Wirkungsevaluation eine kurze Evaluation von Evaluationen Wirkungsorientierung und zur Wirkungsevaluation für eine valide und reliable Wirkungsmessung Partizipative von Wirkungsevaluationen und guter erstattung 2
Wirkungsevaluation eine kurze 3
Evaluation An (sozial-)wissenschaftlichen Standards ausgerichtete systematische Untersuchung und Bewertung von Organisationen und Projekten/Programmen Anwendung empirischer Methoden zur Informationsgewinnung Bewertung anhand offengelegter, intersubjektiv nachprüfbarer Kriterien Allgemein: Bewertung des Nutzens eines Objekts Organisationen Strukturen & Prozesse Maßnahmen, Projekte, Programme Politiken/Strategien, Sektoren, Länder Generierung steuerungsrelevanter Informationen 4
Ziele von Evaluation Erkenntnis Evaluation Kontrolle Lernen Legitimation Grundfragen Primäre Zielsetzung Festlegung der Bewertungskriterien Leistungen der Evaluation Verantwortlichkeiten Methodische Herangehensweise 5
Ablauf von Evaluationen Klärung der Ziele, Adressaten und weiteren Stakeholder der Evaluation Entwicklung eines Datenerhebungsplans: Formulierung der Evaluationsfragen und zu überprüfenden Hypothesen Indikatorenentwicklung Identifikation der Datenquellen Daten verfügbar? Ja Nein Entwicklung eines Untersuchungsdesigns und der Erhebungsinstrumente Datenerhebung und Überprüfung der Datenqualität Ja Daten ausreichend? Nein Datenaggregation und -analyse Reporting: Interpretation der Untersuchungsergebnisse Ableitung von Schlussfolgerungen und Empfehlungen 6
Wirkungsorientierung Nicht Planung und Umsetzung (Prozesse) stehen im Vordergrund sondern erzielte Ergebnisse und direkte Wirkungen Fokus liegt auf Identifikation erzielter Ergebnisse und darauf wie (durch was) diese Ergebnisse zustande kamen Wichtig: Erfassung der Nettowirkungen! Beobachtbare intendierte Veränderungen + Beobachtbare nicht-intendierte Veränderungen = Bruttowirkungen intervenierende Faktoren Design-Effekte = Nettowirkungen 7
Berechnung der Nettowirkungen Indikator I Differenz von I zwischen Ziel- und Vergleichsgruppe nach Interventionsteilnahme (t2) Differenz von I zwischen Zielund Vergleichsgruppe vor Interventionsteilnahme (t0) Intervention Nettowirkung Erhebungszeitpunkt t0 t1 t2 Mittelwert von I für die Zielgruppe Geschätzter kontrafaktischer Mittelwert von I für die Zielgruppe Mittelwert von I für die Vergleichsgruppe 8
Wirkungsevaluationsansätze Wissenschaftlich orientierte (Auswahl) Experimentelle Designs (Randomized Control Trial) Quasi-experimentelle Untersuchungsdesigns Regression Discontinuity Design Strukturgleichungsmodellbasierte Designs Zeitreihendesigns Pipeline-Designs Problem: Hohe Anforderungen an Methodenkompetenz, Ressourcenintensiv, setzen z.t. bestimmte Programmkonzeptionen voraus Praxisorientierte (Auswahl) Participatory Impact Monitoring Method for Impact Assessment of Programs and Projects Most Significant Change Problem: Mangelnde Validität der Ergebnisse, erlauben i.d.r. keine eindeutige Wirkungsattribution, Gefahr subjektiver Bewertungsergebnisse 9
Regression Discontinuity Design I 1 Notenverteilung der 1- zweiten Klassenarbeit 2+ 2 2-3+ 3 3- K K 4+ K K 4 4- K 5+ L 5 5- L 6+ 6 L 6 6+ 5-5 5+ 4-4 4+ Schwellwert J K L L L L K K K K K J J J J 3-3 3+ 2-2 2+ 1-1 J K K K K K J J J J J Differenz an der Schnittstelle der Regressionsgeraden Notenverteilung der ersten Klassenarbeit 10
Regression Discontinuity Design II Möglich bei Programmen bei denen die Teilnahme von einem bestimmten Schwellwert abhängt (z.b. aktuelles Einkommen bei Förderprogram zur Einkommenssteigerung) Vergleich der Wirkungsindikatoren von ZG- und VG- Mitgliedern, deren Werte sehr nah an dem Schwellwert liegen Verfahren erlaubt nur Identifikation von lokalen Effekten des Programms in der Nähe des Schwellwerts Bei nicht linearen Regressionsfunktionen Gefahr der Fehlinterpretation von Kurvensteigerungen als Wirkung 11
für eine valide und reliable Wirkungsmessung 12
Analyse der dem Programmkonzept zugrundeliegenden Wirkungsannahmen Rekonstruktion des Wirkungsmodells unter Berücksichtigung externer Einflussfaktoren Überprüfung der Plausibilität der Ursache- Wirkungsbeziehungen Messung der in den Wirkungsfeldern beobachtbaren Veränderungen Zuordnung der Veränderungen zu den Programmmaßnahmen oder alternativen Erklärungsansätzen 13
Datentriangulation Gewinnung von Informationen zu gleichen Fragestellungen aus unterschiedlichen Datenquellen Ziel: Verminderung von quelleninduzierten Verzerrungseffekten Wichtig: Daten müssen unterschiedlichen Ursprungs sein Methodentriangulation Gewinnung von Informationen zu gleichen Fragestellungen mit unterschiedlichen Methoden Ziel: Verminderung von methodenspezifischen Verzerrungseffekten Wichtig: Kombination qualitativer und quantitativer Methoden Forschertriangulation Gewinnung, Analyse und Interpretation von Daten durch mehrere Forscher Ziel: Verminderung von forscherinduzierten Verzerrungseffekten, Erhöhung der Objektivität Wichtig: Kombination möglichst unterschiedlicher Expertisen 14
Partizipative Zielsetzung Verbesserung der Transparenz und Nachvollziehbarkeit der Evaluationsergebnisse Gewährleistung der Akzeptanz der Ergebnisse Evaluierende Informieren im Vorfeld über Ziele und Evaluierte Tragen zur Operationalisierung des Untersuchungsgegenstands bei Geben kontinuierlich Rückmeldung zur Umsetzung Informieren über die Ergebnisse der Evaluation Geben Zugang zu Informationsquellen bzw. stellen Infos zur Verfügung Liefern Hinweise zur Interpretation und Bewertung der Ergebnisse 15
von Wirkungsevaluationen und guter erstattung 16
I Fairtrade Wirkungsstudie Ziel der Evaluation Vollständige Wirkungserfassung Ermöglichung einer kausalen Ursachenzuschreibung Zu überprüfende Wirkungshypothese: Fairtrade hat positive Auswirkungen auf die ländliche Entwicklungen und trägt damit zur Armutsbekämpfung bei. Herausforderungen Identifikation von Wirkungen auf drei Ebenen: Individuum, Organisation, Gemeinde... und in fünf lebensweltlichen Bereichen: Soziale Strukturen, sozio-ökonomische Situation der Arbeiter und Kleinbauern, Organisation ländlicher Regionen, lokale und nationale Entwicklung, Umgang mit natürlichen Ressourcen Verschiedene Produktgruppen, Länder, soziokulturelle Rahmenbedingungen, Produzentenorganisationen 17
II Fairtrade Wirkungsstudie Quasi-experimentelles Design VORHER ZIELGRUPPE Fairtrade-zertifizierte Produzentenorganisation Systematischer Vergleich Systematischer Vergleich NACHHER VERGLEICHSGRUPPE nicht-fairtrade zertifizierte Produzentenorganisation + Dörfer + Dörfer 18
III Fairtrade Wirkungsstudie r Multi-Methoden-Ansatz Anwendung des Lebensverlaufs-, Innovations-, Organisationsmodell Daten-, Methoden- und Forschertriangulation Qualitative Daten 128 Leitfadengestützte Interviews auf allen Ebenen 32 Gruppendiskussionen 11 teilnehmende Beobachtungen Quantitative Methoden 6 standardisierte Erhebungen mit Farmern und Arbeitern 3750 beantwortete und auswertbare Fragebögen Blumen-, Tee-, Kaffee-, Bananen-, Kakao- und Baumwollsektor 19
IV Fairtrade Wirkungsstudie Forschungsfeld Soziale Strukturen Unterthemen Bildung Messbare Indikatoren Anzahl der Ärzte Malariaverbreitung Anzahl der Kinder, die auf eine weiterführende Schule gehen Fehltage der Schüler Gender Anzahl der Frauen in Führungspositionen Aktive von Frauen in lokalen Institutionen 20
V Fairtrade Wirkungsstudie Anzahl der Ärzte Anwesenheit der Schüler Erhoben durch: Daten-, Methoden- und Forschertriangulation Literatur- und Dokumentenanalyse Experteninterviews Leitfadengestützte Interviews Standardisierte Befragungen Gruppendiskussionen Teilnehmende Beobachtungen Aktive von Frauen in öffentlichen Institutionen 21
I Zielsetzung Darstellung der Beiträge der von geförderten Projekten an möglichen positiven wie negativen Veränderungen in den Projektregionen Generierung von Wissen über die Funktionsweise und Wirksamkeit der Vorhaben Förderung von Lernprozessen bei Zielgruppen, Partnern und World Vision Rechenschaftslegung Stärkung der Handlungsfähigkeit der Partner und Zielgruppen 22
II LEAP Zyklus 2014 23
III Ermittlung der Gesamtwirkungsbilanz Entwicklung plausibler Wirkungszusammenhänge 2014 24
Meta-Evaluation Aufgabe Analyse und Bewertung von 34 Evaluationsberichten hinsichtlich ihrer Qualität und Aussagekraft zu den Untersuchungsfragestellungen Ableitung von Empfehlungen zu Design und Umsetzung zukünftiger Evaluationen 2014 25
Vielen Dank für Ihre Aufmerksamkeit!