Zur Konzeption von Meta-Analysen. Bernd Weiß 24. April 2003

Transkript

1 Zur Konzeption von Meta-Analysen Bernd Weiß 24. April 2003

2 Gliederung I. Meta-Analyse im Kontext empirischer Sozialforschung II. Begriffsbestimmung III. Aufbau einer Meta-Analyse IV. Ausgestaltung der Übung SS 2003 Übung Meta-Analyse p. 1/ 18

3 Zentrale Forschungsstrategien Wahl der Untersuchungseinheiten (bspw. Individuen vs. Kollektive) Untersuchungsarten Primäranalyse Sekundäranalyse Meta-Analyse Zeitdimension (Querschnitt vs. Längsschnitt) SS 2003 Übung Meta-Analyse p. 2/ 18

4 Untersuchungsarten Primäranalyse: Erstmalige Nutzung und Auswertung eines Datensatzes Sekundäranalyse: Erneute Nutzung eines Datensatzes unter geänderten Bedingungen der Forschungsmethodik und / oder des theoretischen Bezugssystems Meta-Analyse: Nutzung und Auswertung mehrerer Datensätze / Studien mit gemeinsamer Thematik SS 2003 Übung Meta-Analyse p. 3/ 18

5 Kontroversen über den Status von Meta-Analyse In der Literatur herrscht Uneinigkeit, ob Meta-Analyse eine eigene Untersuchungsart oder eine Form der Sekundäranalyse ist. An dieser Stelle wird angenommen, dass die Meta-Analyse eine eigene Untersuchungsart darstellt, da die Datenbasis einer Meta- Analyse auch Informationen über Datensätze / Studien enthält. Einen weiteren Grund führt Hakim (1987: 17) an: [... ] metaanalysis seek to consolidate knowledge on particular issues, while secondary analysis may break new ground [... ]. Unklar ist auch, ob Meta-Analyse alle Phasen des Forschungsprozesses umfasst oder lediglich ein Teil des Forschungsprozesses ist. An dieser Stelle wird angenommen, dass sie alle Phasen einschließt. SS 2003 Übung Meta-Analyse p. 4/ 18

6 Bemerkungen zur Definition Definition von Meta-Analyse: Meta-Analyse ist eine an den Kriterien empirischer Forschung orientierte Methode zur quantitativen Integration der Ergebnisse empirischer Untersuchungen sowie zur Analyse der Variabilität dieser Ergebnisse (vgl. Drinkmann 1990: 11). Ergebnisse empirischer Untersuchungen können in Form der Originaldaten (originaldatenbasierte Meta-Analyse) oder in Form von Publikationen (publikationsbasierte Meta-Analyse) vorliegen. SS 2003 Übung Meta-Analyse p. 5/ 18

7 Ablauf einer empirischen Untersuchung (Diekmann 1997) Formulierung und Präzisierung des Forschungsproblems Planung und Vorbereitung der Erhebung Datenerhebung Datenauswertung Berichterstattung SS 2003 Übung Meta-Analyse p. 6/ 18

8 Ablauf einer Forschungssynthese (Cooper 1982) Problem Formulation Data Collection Data Evaluation Analysis and Interpretation Public Presentation SS 2003 Übung Meta-Analyse p. 7/ 18

9 Ablauf einer Meta-Analyse (Wagner / Weiß 2003) Problem/Forschungsfrage Literaturrecherche Datenerhebung und -vercodung Datenanalyse Ergebnispräsentation SS 2003 Übung Meta-Analyse p. 8/ 18

10 Problem / Forschungsfrage Forschungsfrage: Welche Befunde sollen im Review berücksichtigt werden? Bedeutung für das Review: Aufstellen von Regeln (Definition der Grundgesamtheit), um relevante von irrelevanten Studien unterscheiden zu können. Unsicherheitsquellen: (1) Zu enge Regeln können die Schlussfolgerungen unsicher und wenig robust werden lassen; (2) zu oberflächliche Definitionen können Beziehungen zwischen Variablen verdecken. SS 2003 Übung Meta-Analyse p. 9/ 18

11 Literaturrecherche Forschungsfrage: Wie finde ich relevante Studien? Bedeutung für das Review: Darstellung relevanter Quellen der Literaturrecherche. Unsicherheitsquellen: (1) File-Drawer-Problem; (2) Mangel an Aktualität SS 2003 Übung Meta-Analyse p. 10/ 18

12 Datenerhebung und -vercodung Forschungsfrage: Welche Informationen aus den Studien besitzen Relevanz (Synthese / Heterogenität)? Bedeutung für das Review: Konstruktion eines Fragebogens (Codierbogen). Unsicherheitsquellen: Auswahl überflüssiger oder Auslassen bedeutsamer Variablen. SS 2003 Übung Meta-Analyse p. 11/ 18

13 Elemente einer Meta-Analyse Aussageeinheit Studie Erhebungseinheit Publikation A Publikation B Publikation C Analyseeinheit Subgruppe A Subgruppe B Modell A Modell B Scheidungsdeterminante A Scheidungsdeterminante B Effektstärke A Effektstärke B Effektstärke A Effektstärke B Scheidungsdeterminante C Effektstärke C Scheidungsdeterminante D Effektstärke D Effektstärke D SS 2003 Übung Meta-Analyse p. 12/ 18

14 Datenanalyse Forschungsfrage: Welche Techniken können eingesetzt werden, um Erkenntnisse über den gesamten Datenbestand zu erlangen. Bedeutung für das Review: Zusammenfassung von Forschungsbefunden und Heterogenitätsanalysen Unsicherheitsquellen: (1) Unzureichende Auswahl und Anwendung statistischer Techniken sowohl bei der Synthese als auch der Heterogenitätsanalyse; (2) Unangemessene Ableitung von Ursache- Wirkungszusammenhängen. SS 2003 Übung Meta-Analyse p. 13/ 18

15 Ergebnispräsentation Forschungsfrage: Welche Ergebnisse sollen berichtet werden? Bedeutung für das Review: Auswahl von Kriterien, um wichtige von unwichtigen Ergebnissen zu unterscheiden. Unsicherheitsquellen: (1) Die unzureichende Darstellung der Vorgehensweise verhindert die Replizierbarkeit der Untersuchung; (2) fehlende Ergebnisse können zu verzerrten Schlussfolgerungen führen. SS 2003 Übung Meta-Analyse p. 14/ 18

16 Ausgestaltung des Seminars Orientierung an konzeptionellen Fragen Orientierung an statistischen Fragen Eigene Meta-Analyse durchführen Sitzungen blocken, um umfangreichere Hausaufgaben bearbeiten zu können Bereitschaft zur Mitarbeit durch Seminarteilnehmer SS 2003 Übung Meta-Analyse p. 15/ 18

17 Seminarplan Einführung Beispiele für Meta-Analysen Beispiele (Fortsetzung) und Institutionalisierung der Meta-Analyse Grundlagen der Meta-Analyse I: Begriffe, Konzepte und Probleme Grundlagen der Meta-Analyse II: Literaturrecherche und Datenerfassung noch frei Statistik I: Vote Couting und Zusammenfassen von p-werte Statistik II: Effektstärkentransformation und -zusammenfassung Statistik III: Verteilungsmodelle Statistik IV: Heterogenitätsanalyse noch frei Eigenes Beispiel I SS 2003 Übung Meta-Analyse p. 16/ 18

18 Eigenes Beispiel II Wissenschaftstheoretische Überlegungen Abschlusssitzung SS 2003 Übung Meta-Analyse p. 17/ 18