Transkript

1 Strategische Ansätze und Wirkungen der entwicklungspolitischen Inlandsarbeit 8. November 2011, Berlin Rigorous Impact Evaluation Möglichkeiten zur Wirkungsmessung Prof. Dr. Alexandra Caspari

2 Hintergrund MDGs (2000), Paris Declaration on Aid Effectiveness (2005) sowie Agenda for Action (Accra, 2008): zunehmende Bedeutung von Wirkungsevaluationen aber: allg. fehlendes Wissen über Wirksamkeit von Maßnahmen Bericht 2006: When Will We Ever Learn der CGD Evaluation Gap Working Group : quantitative und qualitative Lücke von Wirkungsevaluationen - Evaluation fokussieren meist auf Output/Outcome Ebene, zu wenige Evaluationen mit Fokus auf Impacts/Wirkungen - Evaluationen auf Impact Ebene meist methodisch nicht ausreichend, d.h. können Wirkungen nicht eindeutig der Maßnahme zuschreiben Internationale Initiativen zu Impact Evaluations (IE): Alexandra Caspari, Folie 1

3 Was ist Impact? OECD/DAC (2002) Definition: positive and negative, primary and secondary long-term effects produced by a development intervention, directly or indirectly, intended or unintended aber mit Betonung auf : 1. Impact in Abgrenzung zu Outputs und Outcome: Input Output Outcome Impact Evaluation Impact short-term medium-term final long-term effects effects effects 2. effects produced by : - eindeutige Ursachenzuschreibung (causal attribution), - Berücksichtigen des Kontrafaktischen/ counterfactual : What would have happened without the intervention? Rigorous Impact Evaluation (RIE) Quality Impact Evaluation Alexandra Caspari, Folie 2

4 Brutto- & Nettowirkungen Bruttowirkungen: nach Beendigung einer Maßnahme beobachtbare Veränderungen (die sowohl auf Maßnahme als auch eine beliebige Anzahl anderer Einflüsse zurückzuführen sind) Nettowirkungen: nur isolierter Anteil an insgesamt auftretenden Veränderungen, der allein auf die durchgeführte Maßnahme zurückzuführen ist (d.h. der nicht beobachtbar gewesen wäre, wenn die Maßnahme nicht durchgeführt worden wäre) Zielerreichung Nettowirkung Wirkungsindikator Veränderung mit Maßnahme b a c Veränderung ohne Maßnahme Netto- Wirkungen Bruttowirkungen vorher Zeit nachher Alexandra Caspari, Folie 3

5 Das Kontrafaktische Nettowirkungen/kausaler Effekt: ein vom Auftreten eines kausal wirksamen Faktors T abhängiger kausaler Effekt δ i ist die Differenz zw. dem Ereignis Y i1, das bei Auftreten von T (T=1, z.b. Maßnahme) realisiert wird, und dem alternativen Ereignis Y i0, das ohne T (T=0) eintreten würde: δ i = Y i1 (X i, T=1) Y 0 i (X i, T=0) = Y i1 Y 0 i Wirkungen nicht direkt beobachtbar: - Wirkungen Y i1 nur für TN (X i, T=1) oder Nicht-TN (X i, T=0) beobachtbar - für TN einer Maßnahme (X i, T=1), ist Ergebnis Y 0 i (X i, T=0) nicht beobachtbar (= counterfactual) Wirkungen werden anhand durchschnittlicher Effekte empirisch erschlossen: 1 0 δˆ = Yi Yi Vergleich Veränderungen bei ZG und hypothetischen Veränderungen, die ohne Maßnahme eingetreten wären Frage des Untersuchungsdesigns/Evaluationsdesigns Alexandra Caspari, Folie 4

6 vorexperimentelle Untersuchungsdesigns häufig genutztes Design zur (angeblichen) Wirkungsmessung : Wirkungsindikator one-group pre-test post-test design (a) t 1 ZG Zeit t 2 Wirkung gemessene Wirkung = Y ZG, t 2 Y ZG, t1 Counterfactual wird nicht berücksichtigt mit vorexperimentellen Designs kann Wirkung einer Maßnahme nicht nachgewiesen werden/keine kausale Attribution möglich experimentelle bzw. quasi-experimentelle Designs notwendig : Datenerhebung, ZG: Zielgruppe, t: Zeit (erste, zweite Datenerhebung), X: Projekt/Maßnahme Alexandra Caspari, Folie 5

7 Berücksichtigung des Kontrafaktischen Wirkungsindikator one-group pre-test post-test design ZG Wirkung Wirkungsindikator static group comparison ZG VG pre-test post-test non-equivalent control group design 8 7 ZG Wirkung Wirkung 6 D = D = D t2 t2 - D t1 t2 5 Wirkungsindikator D t1 VG Wirkung überschätzt t 1 Zeit t 2 t 1 Zeit (single difference) Y ZG, t 2 Y VG, t 2 t 2 t 1 Zeit (double difference) ( Y ZG t 2 Y VG, t 2) ( Y ZG, t1 Y, t 2, VG t1 ) = ATE : Datenerhebung, ZG: Zielgruppe, KG: Kontrollgruppe, VG: Vergleichsgruppe, D: Differenz, t: Zeit (erste, zweite Datenerhebung), X: Projekt/Maßnahme Alexandra Caspari, Folie 6

8 Umsetzungsmöglichkeiten Erfahrungen aus der EZ-Praxis: angemessene Designs werden oft als unnötig anspruchsvoll oder aufgrund ethischer Vorbehalte abgelehnt realistische Wege, wie experimentelle oder quasi-experimentelle Designs in der Praxis angewandt werden können: - Matching on Observables - Regression Discontinuity - Propensity Score Matching (PSM) - Pipeline Approach - Multiple Comparison Group Design Alexandra Caspari, Folie 7

9 Matching on Observables quasi-experimentelles Design: - bewusste Auswahl anhand gleicher charakteristischer Merkmale (relevanter Drittvariablen) der ZG z.b. Zugang zu Service, Typ & Qualität Haus, ökonomische Situation, zentral/abseits gelegen, etc. - VG wird aus Personen, Dörfern, Regionen gebildet, die höchste Übereinstimmung in Eigenschaften mit ZG aufweisen - nicht beobachtbare Merkmale ( unobservables ), z.b. Motivation, schwer zu berücksichtigen Konstruktion einer VG für Nachher-Messung im Rahmen einer Evaluation möglich (t 2 ) nur Single-Difference (SD) möglich oder bereits bei Planung auch Vorher-Messung (t 1 ) Double-Difference (DD) möglich Alexandra Caspari, Folie 8

10 Regression Discontinuity quasi-experimentelles Design: - Konstruktion VG für Vorher- & Nachher-Messung - wenn Teilnahme an einer Maßnahme an bestimmte Voraussetzung mit gesetztem Schwellenwert gebunden, z.b. Pro-Kopf-Einkommen weniger als 1US$/Tag, Größe Landbesitz, Alter, etc. - wenn Erfüllung der Voraussetzung vorab überprüft wird VG = Personen, die Schwellenwert nur knapp nicht erreicht haben, aber sehr ähnliche Charakteristika wie ZG aufweisen Double-Difference (DD) möglich Indikator zur Förderungswürdigkeit Schwellenwert BewerberInnen nicht förderungswürdig Vergleichsgruppe TeilnehmerInnen Alexandra Caspari, Folie 9

11 Propensity Score Matching (PSM) quasi-experimentelles Design: - Konstruktion VG für Vorher- & Nachher-Messung - wenn Daten aus allgemeinen Surveys mit interessierenden Fragen zu Zeitpunkt t 1 und t 2 existieren - anhand charakteristischer Merkmale werden Ähnlichkeitsindices geschätzt (berechnet) - für jede Einheit der ZG wird auf Basis dieser Ähnlichkeitsindices eine (oder mehrere) passende Einheiten aus dem Survey für die VG ausgewählt, die sich bzgl. der Merkmale nicht von der ZG-Einheit unterscheidet ( statistischer Zwilling ) Qualität der VG ~ KG Double-Difference (DD) möglich Alexandra Caspari, Folie 10

12 Pipeline Verfahren experimentelles Design: - KG für Vorher- & Nachher-Messung - wenn größeres Programm mit langer Laufzeit in mehreren Phasen zeitversetzt implementiert wird - wenn keine bewusste Entscheidung darüber, warum Regionen, Städte, Dörfer etc. an der ersten Phase, andere erst später teilnehmen sollen (randomized phasing in) Einheiten, die erst an der 2. & 3. Phase teilnehmen Gruppe 3 = KG für Personen der 1. Phase Gruppe 2 Double-Difference (DD) möglich Maßnahme Gruppe 1 Phase 1 Phase 2 Phase 3 t 1 t 2 t 3 t 4 Zeit Alexandra Caspari, Folie 11

13 Anmerkung Internationale Diskussion um RIE bezieht sich lediglich auf kleinen Ausschnitt im Kontext einer Evaluation Frage, wie eine eindeutige Wirkungszuschreibung (causal attribution) methodisch realisiert werden kann Wirkungen werden dabei auf ZG-Ebene gemessen da ZG meist umfangreich, sind quantitative Methoden notwendig Kausale Attribution ist notwendig, jedoch nicht hinreichend! Black Box bleibt bestehen: Frage nach Warum unbeantwortet aussagekräftige RIE benötigen ebenso: Ursache-Wirkungs-Hypothesen (LogFrames incl. TOCs) qualitative Methoden: Methodenmix & Triangulation Nur dann zeigen IE evidenzbasierte Handlungsoptionen für die Implementation zukünftiger Politikmaßnahmen auf Alexandra Caspari, Folie 12

14 Zur Vertiefung Caspari, Alexandra & Barbu, Ragnhild (2008): Wirkungsevaluierungen Zum Stand der internationalen Diskussion und dessen Relevanz für die Evaluierung der deutschen Entwicklungszusammenarbeit Caspari, Alexandra (2009): Rigorose Wirkungsevaluation Methodische und konzeptionelle Ansätze der Wirkungsmessung in der Entwicklungszusammenarbeit Alexandra Caspari, Folie 13