Metaanalyse I. (3) Herkömmliche Verfahren zur Bestimmung des Forschungsstands sind narrative Reviews (z.b. Sammelreferate oder Übersichtsartikel ).

Transkript

1 Metaanalyse I (1) Zu vielen inhaltlichen Fragestellungen liegt eine unübersehbare Fülle von Untersuchungsergebnissen vor. Dies gilt für die Naturwissenschaften und die Medizin, zunehmend aber auch für die Sozialwissenschaften. (2) Es wird immer schwieriger, aber auch bedeutsamer, den Forschungsstand zu einer Thematik zu bestimmen, statt eine neue Primäruntersuchung durchzuführen. Beispielsweise sollte der Stand der Forschung ermittelt werden, bevor eine neue Primäruntersuchung durchgeführt oder finanziert werden soll. (3) Herkömmliche Verfahren zur Bestimmung des Forschungsstands sind narrative Reviews (z.b. Sammelreferate oder Übersichtsartikel ). (4) Narrative Reviews weisen eine Reihe von Schwächen auf: - selektive Verwendung von Literatur (zum Beispiel Bevorzugung eigener Publikationen oder von Publikationen befreundete Kollegen) - s ubjektive Bewertung und Gewichtung von Untersuchungsergebnissen - s ubjektiv gefärbte Interpretation von Untersuchungsergebnissen - uneinheitliche Berücksichtigung von Einzelvariablen und der Vielzahl von Untersuchungsmerkmalen, da Kapazitäten zur Informationsverarbeitung begrenzt sind - Gültigkeit narrativer Reviews kann selbst nicht überprüft werden (5) Aus der Kritik an den narrativen Reviews ist die Metaanalyse entstanden. Der Begriff der Metaanalyse wurde erstmals von G l a ss (1976) verwendet. Neben Primär- und Sekundäranalysen tritt nunmehr ein drittes Verfahren.

2 Metaanalyse II (6) Metaanalyse = df. (A) (B) Eine Gruppe von Verfahren, mit denen die Ergebnisse verschiedener Untersuchungen mit gemeinsamer Thematik zusammengefaßt werden, um so einen Überblick über den aktuellen Stand der Forschung zu gewinnen (Bortz 1995: 589). Meta-analysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis of a large collection of analysis results from individual studies for the purpose of integrating the findings (Glass 1976: 3) (7) Es gibt in der Statistik Vorläufer der MA, zum Beispiel Pearson (1904), dessen Arbeit über die Kombination von Korrelationskoeffizienten aus fünf Studien als erste Metaanalyse angesehen wird. (8) MA gehören mittlerweile in einigen Disziplinen zu den Standardverfahren. Es gibt entsprechende Lehrbücher und Monographien in der Medizin, der Psychologie, der Erziehunswissenschaft. In der deutschsprachigen Soziologie sind kommt die MA praktisch noch nicht zur Anwendung. Die Gründe hierfür sind unklar. In den USA wurden hingegen von Soziologen Metaanalysen durchgeführt, im Rahmen der Familiensoziologie etwa von Paul Amato. (9) M A leistet eine quantitative Synthese von Forschungsbefunden, Untersuchungseinheiten, also der zu analysierende Datensatz, besteht aus den publizierten Einzelbefunden.

3 Metaanalyse III (10) E r hebungseinheit von MA sind Publikationen, Untersuchungseinheiten sind Effektstärken. Ziel der MA in statistischer Hinsicht sind - die Bestimmung von Mittelwerten (aus den Einzelbefunden), aber auch die Aufklärung der Heterogenität oder Varianz der Einzelbefunde, - deskriptive Methoden (Bestimmung von mittleren Korrelationskoeffizienten, des mittleren Effektes etc.) und i n f e r enzstatistische Methoden ( klassische Hypothesentests, d.h. die Berechnung der Wahrscheinlichkeit für das Zustandekommen der zu integrierenden Ergebnisse unter Annahme der Gültigkeit der Null- oder einer anderen Hypothese). (11) MA beinhaltet ein Vielzahl statistischer Verfahren, deren Anwendung nicht immer zu identischen Resultaten führt. Dies liegt u.a. daran, dass es nur wenige verbindliche Normen für die Präsentation empirischer Ergebnisse gibt. (12) Jede statistische Analyse, also auch die MA, hat qualitative bzw. theoretische Anteile (zum Beispiel: Problemformulierung, Interpretation der Befunde). Im einzelnen umfassen MA die folgenden Schritte: - Problemformulierung - Literaturrecherche - Datenvercodung - Datenanalyse und -interpretation - Ergebnispräsentation

4 (13) Fünf Schritte einer MA: Metaanalyse IV (a) Problemformulierung - Ziel ist ein Kriterienkatalog zur Organisation der Datenerhebung (Literaturrecherche) - Präzise Abgrenzung des Objektbereichs, Festlegung der Grundgesamtheit (b) Literaturrecherche - Ziel ist eine Vollerhebung der relevanten Literatur - Literaturrecherchen müssen systematisch und transparent durchgeführt werden - Methodische Probleme (publication bias): - die Wahrscheinlichkeit einer Publikation hängt davon ab, ob signifikante Ergebnisse berichtet werden - nicht alle Befunde werden publiziert - Literaturrecherchen sind komplex (EDV, Datenbanksysteme etc.) (c) Datenvercodung - Frage- bzw. Codierbogen - Vercodung von publizierten Befunde und der Merkmale der Publikation (d) Datenanalyse - Prüfung der Vergleichbarkeit der Daten - Befundintegration durch: - Vote-counting (Auszählung signifikanter Ergebnisse) - Aggretation von Teststatistiken (p-, t- oder z-werte) - Schätzung der mittleren gewichteten Effektstärken - Heterogenitätsanalysen (e) Ergebnispräsentation - Alle Informationen, die für eine Replizierbarkeit der MA notwendig sind, müssen angegeben werden

5 Metaanalyse V (14) Kritik der MA - Publication Bias - Äpfel und Birnen - Müll rein - Müll raus (15) Vorzüge der MA - bestimmte Verzerrungen bei Publikationen lassen sich empirisch ermitteln - Nutzen der MA liegt gerade darin, dass unterschiedliche Studien verglichen werden können (es geht um Früchte, nicht um Äpfel oder Birnen ) - Qualität der Studien muss evaluiert werden, dann sind Gewichtungen möglich - was aus Sicht der narrativen Reviews problematisch ist, nämlich eine große Anzahl von Studien zu einem Thema, ist aus Sicht der MA hilfreich - heterogene Befunde können bearbeitet oder integriert werden - MA sind transparent und intersubjektiv überprüfbar - fundierte Kritik an vorhandenen Studien ist möglich, dadurch positiver Einfluss auf zukünftige Forschung

6 Metaanalyse VI Die Studie von Amato/Gilbreth (1999): Nonresident Fathers and Children's Well-Being: A Meta-Analysis Problem - Tragen Väter, die mit ihren Kindern nicht zusammenleben, etwas zum Wohlbefinden ihrer Kinder bei, wenn man von den Auswirkungen von Unterhaltszahlungen absieht? - Die Forschungslage ist sehr uneinheitlich Theorie - Dimensionen der Vater-Kind-Beziehung - Moderatorvariablen: Qualität der Beziehung zwischen Vater und Mutter; Geschlecht der Kinder; Zwang zur Zahlung von Unterhaltszahlungen etc. Hypothesen (1) Das Wohlbefinden der Kinder wird erhöht, - wenn Väter Unterhalt für ihre Kinder leisten, - wenn eine emotional enge Beziehung zwischen Vater und Kind besteht - wenn Väter ihre Kinder in der Erziehung beeinflussen ( authoritative parenting ), z.b. väterliche Unterstützung, aber auch Kontrolle (2) Die Häufigkeit des Kontakts zwischen Vater und Kind ist mit dem Wohlbefinden der Kinder nicht assoziiert

7 Metaanalyse VII Die Studie von Amato/Gilbreth (1999): Nonresident Fathers and Children's Well-Being: A Meta-Analysis Methoden (1) Studienrecherchen - Literaturdatenbanken Sociofile, Psychlit, Family Studies Database - zitierte Literatur bei vorhandenen Studien - keine unpublizierte Studien und Dissertationen Auswahlkriterien der Studien: - Stichprobe von Kindern aus Haushalten, in denen kein Vater lebt - Daten über elterliches Verhalten und über das Wohlbefinden der Kinder - genug Information vorhanden, um die Effektgrößen zwischen beiden Variablen z bestimmen - ausgewählt wurden 63 Studien (zwischen 1970 und 1998), die 306 Effektstärken enthalten (2) Variablen Unabhängige Variablen: abhängige Variablen: Unterhaltszahlung, Kontakthäufigkeit, Emotionale Enge, Autoritative Elternschaft Bildungsniveau und -leistungen (academic achievement), Externalisierung von Problemen (schulisches Fehlverhalten, abweichendes Verhalten), Internalisierung von Problemen (z.b. Depression,

8 Angst, geringes Selbstwertgefühl) Metaanalyse VIII Die Studie von Amato/Gilbreth (1999): Nonresident Fathers and Children's Well-Being: A Meta-Analysis Studienqualität - Stichprobengröße - Zufallsauswahl - Kontrollvariablen vorhanden - Reliabilitätsmessungen der abhängigen Variable - unterschiedliche Informationsquellen für abhängige und unabhängige Variablen Merkmale der Stichprobe - Geschlecht der Kinder (Anteil Jungen) - mittleres Alter der Kinder - ethnische Zugehörigkeit - Gründe für die Vaterabwesenheit (Anteil geschiedener Eltern) - Jahr der Datenerhebung Alle Codierungen wurden unabhängig von den beiden Autoren vorgenommen. (3) Berechnung der Effektstärken - Umrechnung von unstandardisierten und standardisierten R Koeffizienten, t- Werten, Prozentsatzdifferenzen, Logits etc. in Produkt-Moment-Korrelation (Effektstärke), wenn keine Kontrollvariablen vorhanden waren, sonst Partialkorrelation - Aggregation von Effektstärken, wenn mehr als ein Effekt berichtet wurde - Gewichtung einzelner Effektstärken mit der Stichprobengröße

9 Metaanalyse IX Die Studie von Amato/Gilbreth (1999): Nonresident Fathers and Children's Well-Being: A Meta-Analysis Ergebnisse allgemeine Effektstärken: größere Studien berichten schwächere Effekte als kleinere Studien Verzerrungen der Befunde durch Studien, die keine Effekte zeigen und (deshalb) nicht publiziert wurden: - Wie viele Studien, die keine signifikanten Effekte zeigen, sind nötig, um aus den berichteten signifikanten Effektstärken nicht signifikante Effekte werden zu lassen (fail-safe N values)? Qualität der Studie - Da Studien mit nicht signifikanten Ergebnisse überproportional häufig nicht zur Publikation eingereicht werden und Effekte aus kleineren Stichproben häufiger nicht signifikant sind, überschätzen Studien auf der Basis kleiner Stichproben die Effektstärken - Effektstärken variieren mit Anzahl der Informationsquellen, hängen nicht vom Stichprobenverfahren ab, Gewichtung nach der Studienqualität führen nicht zu anderen Ergebnissen, die Herausnahme schlechter Studien führt dazu, dass einige Effektstärken nicht mehr signifikant sind. Homogenität der Befunde - kaum Signifikanzen zwischen Stichprobenmerkmalen und den Effektstärken - Jahr der Stichprobenziehung ist wichtig: Je jünger die Studie, desto eher wird berichtet, dass der Kontakt zu den Vätern für das Wohlbefinden der Kinder wichtig ist.