Skript: Methoden der Evaluationsforschung I SS 2003, Von Sabine Grasteit und Katja vom Schemm. 1 Einleitung

Transkript

1 Skript: Methoden der Evaluationsforschung I SS 2003, Von Sabine Grasteit und Katja vom Schemm 1 Einleitung - die Evaluation von full-coverage Programmen gestaltet sich als schwierig, da viele der z.b. staatlich geförderten sozialen Programme alle Zielpersonen der Population erreichen sollen (und alle das Recht auf Teilnahme und gleiche Intensität sowie Dosis haben), so dass üblicherweise geeignete Kontrollgruppen fehlen - daher: konfundierende Effekte können nicht betrachtet werden und die Zuverlässigkeit der Schätzung des Effektes ist im Vergleich zu randomisierten bzw. quasi-experimentellen Designs eher gering - im Folgenden werden zwei Typen von Designs behandelt, die bei der Bewertung des Effekts von full-coverage Programmen helfen können: reflexive control und shadow control - eine andere Alternative wäre auch, zu überprüfen, ob das zu evaluierende Programm gar nicht einheitlich ( uniform ) implementiert ist, sondern vielleicht von unterschiedlichen Institutionen mit unterschiedlicher Intensität und Dosis durchgeführt wird - Evaluatoren könnten also auch versuchen, eine Studie so umzuwandeln, dass die relativen Effekte der Variationen eines Programms selbst betrachtet werden (nonuniform full-coverage programs) 2 Nonuniform full-coverage programs - Ausgangspunkt ist auch hier, dass es beispielsweise aus ethischen Gründen nicht möglich ist, eine geeignete Kontrollgruppe zu konstruieren und somit die Aussagekraft der Ergebnisse stark eingeschränkt ist - Idee: Nutze die natürlich gegebenen Variationen des Programms bzw. deren Durchführung als Kontrolle - Mögliche Unterschiede der Effektivität können so in Relation zu den unterschiedlichen Implementierungen des Programms betrachtet werden - Beispiele: a) Fuller et al. (1993): Child Care Fragestellung: Einfluss von staatlichen Förderungen auf die Qualität von Child Care Centern Stichprobe: 2089 Child Care Centers in 36 Bundesstaaten der USA Staatenabhängige Umsetzung, daher Variation des Programms b) Coleman Report (1966) Fragestellung: Einfluss von schulischen Bedingungen (z.b. Finanzen, Größe, Ausstattung, etc.) auf die Schülerleistung Querschnittuntersuchung 1

2 c) Shlay & Rossi (1981): zoning regulations Fragestellung: Einfluss von Bebauungsvorschriften auf das Bevölkerungs- und Wohnungswachstum unterschiedliche Grade an Bebauungsregulation im Jahre 1960 für Gebiete rund um Chicago als Variationen, um deren Effekte auf die Bevölkerungsentwicklung von 1970 zu schätzen Daten aus Volkszählungen und städtischen Registern Einfaches Prä-Post-Design mit reflexiver Kontrolle - für viele Programme gibt es diese bedeutsamen Variationen jedoch nicht oder die Auftraggeber sind nicht an den Effekten von Programmvariationen interessiert, sondern an der Nettowirksamkeit eines Programms (uniform) - in diesen Fällen sind notwendigerweise andere methodische Herangehensweisen angezeigt wie beispielsweise reflexiv oder shadow controls 3 Reflexive controls - Grundannahme: es haben keine Veränderungen in den TeilnehmerInnen bzgl. der outcome-variablen zwischen den Beobachtungen (vorher, nachher) stattgefunden, außer denen, die auf die Interventionen zurückzuführen sind jeder Unterschied zwischen Prä- und Postmessung wird als Nettointerventionseffekt betrachtet - Im Allgemeinen ist der Gebrauch von reflexiven Kontrollen nicht empfehlenswert, wenn Vergleiche (z.b. nonuniform full-coverage programs) oder Kontrollgruppendesigns möglich sind - Eventuell sinnvoll bei partial-coverage programs, als ersten ökonomischen Schritt, besonders dann, wenn man davon ausgehen kann, dass sich die outcome-variablen ohne Intervention nicht verändern würden. Außerdem sind sie in Situationen bei formativer Evaluation geeignet, wenn für die Implementierung eines Programms große Differenzen (prä, post) nachgewiesen werden müssen - Grundformel für reflexive Designs: Netto-Effekt = [ outcome für Teilnehmer nach Intervention ] [ outcome für Teilnehmer vor Intervention ] +/- [ Effekte von zeitgleich verlaufenden Prozessen, die unabhängig von der Intervention sind ] + [ Design-Effekte und stochastische Fehler ] - Beachte: der kritische Term in dieser Formel ist derjenige, der sich auf die Effekte von zeitgleich verlaufenden, unabhängigen Prozessen bezieht. Weil gerade diese Prozesse durch das Fehlen der Kontrollgruppen in reflexiven Designs nicht kontrolliert werden können (d.h. Aussagekraft der Ergebnisse ist limitiert). 2

3 3.1 Simple pre-post-studies - Definition: zwei Messungen der outcome-variablen bei den gleichen Teilnehmern eines Programms, wobei der erste Messzeitpunkt vor der Programmteilnahme und der zweite Messzeitpunkt nach ausreichend langer Teilnahme liegen - Der Effekt wird durch den Unterschied zwischen den Messungen geschätzt - Beispiel: Duckart (1998): Reduktion von Bleibelastung in Wohnungen geringer Einkommensempfänger (Messung des Bleistaubs vor dem Einsatz der CLEARCorps und direkt nachher) - Größter Nachteil des Designs die Unterschiede zwischen den Vorher- und Nachhermessungen können nicht sicher als reine Programmeffekte betrachtet werden a) Reifungsprozesse b) Säkulare Trends c) Interferierende Ereignisse, d.h. ungewöhnliche, einmalige Vorfälle (Naturkatastrophen, politische Ereignisse, Ausbrechen sozialer Probleme) - Allgemein: Einfache Prä-Post-Desings bieten hinsichtlich der Ergebnisse immer einen geringen Grad an Sicherheit, besonders wenn zwischen den Messzeitpunkten eine große Zeitspanne liegt und damit Konfundierungsprozesse wahrscheinlicher werden wenn überhaupt nur passend für Kurzzeitprogramme, bei denen es unwahrscheinlich ist, dass es in den outcome-variablen ohne Intervention zu Veränderungen käme 3.2 Complex repeated measures reflexive designs - Definition: Paneluntersuchung, bei der Messwiederholungen an der gleichen Gruppe über eine zeitliche Periode durchgeführt werden - Schätzungen des Nettoeffektes haben reellen Grad an Sicherheit, weil die Messungen der outcome-variablen auch innerhalb eines Individuums während der Teilnahme variieren und sich Extrema somit ausgleichen können - Beispiel: Milavsky et al. (1982): TV Violence Einfluss von TV-Gewalt-Konsum auf das spätere aggressive Verhalten von Kindern (NBC panel study) Sechs Messzeitpunkte (waves) von bei Schulkindern Pro Messung: 1. Angabe der gesehenen Sendungen und 2. Einschätzung des aggressiven Verhaltens der Klassenkameraden Ergebnis: Konsum von TV-Gewalt zu einem Messzeitpunkt steht im Zusammenhang mit aggressiven Verhalten zum folgenden Messzeitpunkt - Vorteil: die Messung der Intervention und des outcomes stehen in zeitlicher Beziehung zueinander und werden nicht nur als Querschnitt-Korrelationen erhoben (so z.b.: Aggressivität zum Messzeitpunkt 2 wird untersucht als eine Funktion der gesehenen TV-Gewalt zu Messzeitpunkt 1) 3

4 - Paneluntersuchungen: besonders geeignet für die Bewertung von full-coverage programs, deren Dosierung über Individuen und die Zeit hinweg variieren (z.b. variiert der Fernsehkonsum der Schulkinder) 3.3 Time-Series Evaluations - Definition: Die Repeated Measures time-series designs umfassen viele Messungen, sowohl vor der Intervention als auch nachher, und können müssen aber nicht die gleichen Teilnehmer untersuchen - Beispiel: Figlio (1995): Einfluss des Anhebung des Mindestalters für Alkoholkonsum auf alkoholbezogene Autounfälle Zeitreihe: monatlich alkoholbezogene Unfälle nach Fahreralter - Zeitreihen-Daten sind in kontinuierlichen zentralen Datenbasen vorhanden, häufig in aggregierter Form wie beispielsweise prozentuale Anteile oder Mittelwerte. - Von Interesse sind vor allem Trends (säkulare) und Regelmäßigkeiten in den Verläufen, um diese Fragestellungen auszuwerten gibt es unterschiedliche Möglichkeiten. Eine davon ist ARIMA 1 ( auto regressive integrated moving average ) - Die ARIMA hat zum Ziel, ein Regressionsmodell aufzustellen, welches mit der Hilfe der vorherigen Messungen versucht, eine Vorhersage zu treffen (mind. 50 Messzeitpunkte). Bei kurzen Zeitreihen sind auch einfache Testungen wie z.b. der Vorzeichentest möglich. - Statistische Modelle, die zu aggregierten Daten den besten fit aufweisen, sind vor allem für specification error verletzlich. - Graphische Methoden zur Untersuchung von Zeitreihen vor und nach der Intervention können grobe, aber nützliche Hinweise bzgl. der Wirkung liefern. Zur Absicherung sollten statistische Methoden verwandt werden. - Time-series Analysen sind auch möglich, wenn Zeitreihen von Interesse sind, die sich auf unterschiedliche Zeiten und auf unterschiedliche Orte beziehen. Beispiel: Parker & Rebhun (1995): Beziehung der Veränderung des staatlichen Minimumalters für den Kauf von Alkohol und Tötungsdelikten Zeitreihen: für jeden der 50 Bundesstaaten von USA und den District of Columbia Pooled-cross-section-time-series analysis - die allgemeine Logik der Zeitreihenanalyse kann auch für disaggregierte Daten gelten (z.b. Zeitreihenanalyse bei individuellen Klienten, um Wirkung der Therapie festzustellen) wenn geeignete Daten verfügbar sind, sind Zeitreihenanalysen relativ starke Designs, um die Effekte von uniform full coverage programs oder andere Effekte der Veränderung in Programmen zu schätzen 1 Auch Box-Jenkins-Ansatz genannt (1976), beruht auf einer Anwendung des Zerlegungssatzes von Wold (1939). [Erdfelder, E. et al. (Hrsg.) (1996). Handbuch Quantitativer Methoden. Weinheim: Beltz.] 4

5 4 Shadow Controls - Definition: Personen mit dem erforderlichen Wissen sollen ein Programm hinsichtlich der Effektivität bewerten in Relation zu dem, was bei den Teilnehmern geschehen wäre, wenn es kein Programm gegeben hätte. - Solche Personengruppen können sein: a) Kenner, Experten mit Fachwissen b) Programmadministratoren c) Teilnehmer - Der Vorteil dieser Kontrolle liegt darin, dass sie als eine weniger anspruchsvolle, kostengünstigere Alternative zu reflexiven Kontrolldesigns angesehen werden kann - Der Nachteil der shadow control liegt darin, dass im Allgemeinen keine vertrauenswürdigen Schätzungen der Wirksamkeit abgegeben werden, selbst wenn es sich dabei um hochtrainierte Experten handelt. Im schlimmsten Fall sind die Einschätzung hoch unreliabel. 4.1 Kenner, Experten mit Fachwissen - übliche Form der shadow controls - Ein Expertenurteil sollte stets auf mehreren Quellen basieren und sollte transparent dargestellt werden. Minimale Anforderungen: a) Administrative Quellen Umfang des Programms, Stichprobe, drop-out, Erfahrungen der Teilnehmer nach dem Programm, Kosten pro Teilnehmer, Effekt durch Vorher-Nachher-Messungen b) Beobachtungen der Programmdurchführung c) Interviews mit den Teilnehmern Rekrutierung, Motivation, Zufriedenheit, subjektive Fortschritte d) Interviews mit lokalen Offiziellen, Programmkonkurrenz, mächtige Institutionen Wert des Programms, Programm: Hilfe oder Gefahr für Region, Interesse an Weiterführung - Die Urteile hängen sehr stark vom jeweiligen Kenntnisstand der relevanten Bereiche und von der Vertrautheit mit ähnlichen Programmen und zugehörigen Studien ab. Der Experte sollte sich verdeutlichen, dass Administratoren des Programms darauf bedacht sind, sich und ihr Programm möglichst positiv darzustellen ( guided visits ). - Trotz der Weichheit von Expertenbewertungen, gibt es Bedingungen, die diese Vorgehensweise rechtfertigen, z.b. bei constant level Interventionen von langer Dauer oder wenn die Intervention selbst nicht im Verhältnis zu sonst entstehenden finanziellen Kosten steht (aufwendigeres Design, Kontrollgruppe, etc.). 5

6 4.2 Programmadministratoren - werden üblicherweise gefragt, um die Fortschritte hinsichtlich der Programmziele zu bewerten, jedoch ist dieses große Vertrauen zweifelhaft. Da diese Personen selbst involviert sind und bestrebt sind, sich und das Programm positiv darzustellen, sind objektive und harte Urteile nicht gegeben. - Allerhöchstens kann von Administratoren das Zusammenstellen von folgenden deskriptiven Daten erwartet werden: 4.3 Teilnehmer a) Informationen über Teilnehmer Sozioökonomische Daten wie Alter, Geschlecht, Haushalt, Einkommen, Beruf Kritische Daten:. Datum des Ein- und Austritts, Anwesenheit Dienstleistung: in Anspruch genommene Dienste, Follow-up Daten: Adressen von Teilnehmern, einschließlich zukünftiger Adressen und Kontakte als Hilfe für darüber hinausgehende Teilnahme Kritische Ereignisse: Treffen mit Teilnehmern, wichtige Lebensereignisse (Geburten, Tode, Wohnveränderungen, Job, etc.) b) Informationen über das Programm Kritische Ereignisse in der Geschichte des Programms: Daten des start-ups für wichtige Komponenten des Programms, Begegnungen mit unterstützenden und sabotierenden Offiziellen, Perioden, wo das Programm nicht gelaufen ist Personal: biographische Daten, Wechsel des Personals, Aufzeichnungen über Training des Personals Veränderungen der Programmimplementierung: Probleme, auf die man gestoßen ist, vollzogene Veränderungen im Programm c) Informationen über Finanzen Notwendig ist der Einbezug von finanziellen Sponsoren Hauptgrund betonen: Vereinfachung der Kosten-Effektivitätsoder Kosten-Nutzen-Analysen - Obwohl Teilnehmer viele nützliche Informationen berichten können, ist es viel zu optimistisch, dass eine direkte Bewertung des Effektes von ihnen zu erwarten sei. - Es ist für jedes Individuum schwierig realistisch einzuschätzen, was mit ihm oder ihr passiert wäre, wenn das Programm nicht stattgefunden hätte. - Wichtig ist allerdings die Erfassung der subjektiven Zufriedenheit der Teilnehmer als Index für das Funktionieren des Programms. 6