Matching-Verfahren - Einige praktische Beispiele

Transkript

1 Matching-Verfahren - Einige praktische Beispiele Marco Caliendo IAB-Workshop 10. Dezember 2002, Nürnberg

2 1. Einleitung - Matching (1) Evaluation von AAMP gewinnt zunehmend an Bedeutung Matching ist das momentan am meisten verwendete Verfahren im Evaluationskontext Das fundamentale Evaluationsproblem wird durch Kontrollgruppenbildung gelöst Selection on observables kann vollständig berücksichtigt werden Konzept des statistical twin ist auch Praktikern gut zu vermitteln 2

3 1. Einleitung - Matching (2) Folgende Voraussetzungen müssen erfüllt sein: Teilnehmer- und Kontrollgruppendatensatz Genügend erklärende Variablen, die die CIA rechtfertigen Labour Market History / Ergebnisvariable muss ausreichend lang beobachtet werden Selection on unobervables sollte keine Rolle spielen Sind diese Punkte erfüllt, ist der Einsatz von Matching erfolgsversprechend 3

4 1. Einleitung - Matching (3) Einige Punkte, die ein ideales Software-Programm können sollte: Datenmanagement und aufbereitung Handeln von großen Datensätzen Verschiedene Matching-Verfahren implementiert Flexibel genug sein, um eigene Verfeinerungen zuzulassen (z.b. Common Support Condition) No Black Box Gibt es ein Programm, das alle Voraussetzungen erfüllt? 4

5 Überlick 1. Einleitung 2. Datenmanagement und aufbereitung (SAS) 3. Datenanalyse - Matching (STATA / Gauss) 4. Diskussion zu speziellen Projekten/Fragen 5

6 Datenmanagement in SAS (1) Zuweisung einer Library: libname iab "c:\iab\test"; Einlesen und Formatieren von Daten: data iab.age; infile "c:\iab\test\age.txt input id age; label id = 'Identifikationsnummer' age = 'Alter der Individuen'; run; 6

7 Datenmanagement in SAS (2) Bearbeiten von Daten data iab.income2; set iab.income; where income gt 3000; run; data iab.income2; set iab.income; if income gt 3000 then do; Eink_3000 = 1; end; else do; Eink_3000 = 0; end; run; 7

8 Datenmanagement in SAS (3) Zusammenspielen verschiedener Dateien mit SQL: INNER JOIN (nur Individuen die in beiden Datensätzen vorhanden sind) proc sql; create table iab.both_i as select a.*, b.income from iab.age a INNER JOIN iab.income b on a.id = b.id; run; LEFT JOIN proc sql; create table iab.both_o as select a.*, b.income from iab.age a LEFT JOIN iab.income b on a.id = b.id; run; 8

9 Datenmanagement in SAS (4) Makroisierung von Arbeitsabläufen: %macro data_id(infile, id); data backup.&infile; set backup.&infile; data_id = &id; run; %mend data_id; %data_id(nsw_c, 1) %data_id(nsw_t, 2) 9

10 Der NSW-Datensatz (1) Die National Supported Work (NSW) Demonstration war ein 6-18 monatiges Trainingsprogramm für Individuen mit economic and social problems Ziel: Steigerung des Einkommens Experimenteller Design Zufällige Auswahl von Teilnehmer- und Kontrollgruppe Basis für die meisten US-Matching-Papiere (LaLonde, 1986 / Dehejia,Wahba, 1999 / Smith, Todd, 2000) 10

11 Der NSW-Datensatz (2) Teilnehmer: 185, Experimentelle Kontrollgruppe: 260 Kontrollgruppe aus PSID: 2490 Erklärende Variablen: Age, Education, Black, Hispanic, Married, Nodegree, Real Income 1974, Real Income 1975 Ergebnisvariable: Real Income

12 Der NSW-Datensatz (3) Variables Treaties Controls PSID AGE 25,82 25,05 34,85 EDU 10,35 10,09 12,12 BLACK 0,84 0,83 0,25 HISPANIC 0,06 0,11 0,03 MARRIED 0,19 0,15 0,87 NODEGREE 0,71 0,83 0,31 RE , , ,75 RE , , ,34 RE , , ,92 U74BL 0,60 0,63 0,01 Observations

13 Propensity Score Logit Probit Estimates Std. Error Estimates Std. Error Intercept -7,4747 2,4435-4,4210 1,2902 AGE 0,3317 0,1203 0,1938 0,0637 AGE2-0,0064 0,0019-0,0036 0,0010 EDU 0,8493 0,3477 0,4390 0,1816 EDU2-0,0506 0,0172-0,0259 0,0090 MARRIED -1,8855 0,2993-0,9617 0,1512 BLACK 1,1360 0,3518 0,6637 0,1829 HISPANIC 1,9690 0,5669 1,0905 0,2955 RE74-0,0001 0,0000-0,0001 0,0000 RE75-0,0002 0,0000-0,0001 0,0000 RE74_2 0,0000 0,0000 0,0000 0,0000 RE75_2 0,0000 0,0000 0,0000 0,0000 U74BL 2,1441 0,4268 1,2314 0,

14 Matching mit psmatch (Sianesi) psmatch treatment, estimate(variablen-liste) outcome(name) [logit nocommon] psmatch treatment, estimate(variablen-liste) kernel(name) [logit bwidth nocommon epan] 14

15 Matching mit att* (Becker/Ichino) pscore treatment Variablen-Liste, pscore(name) [logit] attnd outcome treatment, pscore(name) attnw outcome treatment, pscore(name) attk outcome treatment, pscore(name) bwidth(0.06) [epan] 15

16 Erste Ergebnisse: True Treatment Effect: 1794 $ Effekt mit naiver Kontrollgruppe: $ Sianesi Becker / Ichino Caliendo / Zeiss Nearest Neighbourhood - Probit 1817 $ 1817 $ / 1989 $* 1817 $ Nearest Neighbourhood - Logit 1690 $ 1668 $ / 1848 $* 1690 $ Kernel - Logit 870 $ 870 $ 870 $ Kernel - Probit 928 $ 928 $ 928 $ *Attnd vs. attnw 16

17 Weitere Optionen in Stata: Becker/Ichino: Radius Matching (attr): { } Ci = p p p < r () j i j Stratification Method: blockwise comparison Sianesi: Quality berechnet den standardized bias (Rosenbaum/Rubin, 1985): SB = 100 X X 1 0M ( V X + V X ) ( ) ( ) /2 1 0M regressor mean1 mean1m mean0 mean0m biasbef biasaft abiasbef abiasaft absreduc black 0, , ,2506 0, ,98-5, ,98 5, ,3517 re , , ,8 1794,28-171,78 2, ,783 2, ,2617 age 25, , , , ,94-6, ,943 6, ,

18 Fazit Stata (Psmatch / att*) ist ein durchaus hilfreiches Tools zur Matching-Analyse Problem: Black Box in einigen Bereichen, deshalb voreingestellte Parameter überprüfen! Datenmanagement problemtisch! Leider gibt es z.zt. noch kein Programm, dass alle Features vereint!!! 18