Replikation in den Sozialwissenschaften Josef Brüderl September 2008 Replikation: Definition Replikation ist die Wiederholung einer wissenschaftlichen Studie mit dem Ziel der Kontrolle der Studie Erfolgreiche Replikation: Ergebnisse können reproduziert werden Reproduktion ist die Erweiterung einer Studie Selben Daten, neue Methoden (wiss. Fortschritt) Neue Daten (Generalisierbarkeit) Reproduktion setzt eigentlich eine erfolgreiche Replikation voraus Replizierbarkeit (intersubjektive Nachprüfbarkeit) ist Grundvoraussetzung für Wissenschaft Research that cannot be replicated is not science, and cannot be trusted either as part of the profession s accumulated body of knowledge or as a basis for policy. (McCullough/Vinod 2003) Grundsätzlich nicht replizierbare Arbeiten (z.b. weil der Autor seine Daten unter Verschluss hält) sollte man deshalb ignorieren! 17. September 2008 Josef Brüderl Folie 1
Fehler in den Sozialwissenschaften Stichprobenfehler Fehler der Forscher Fehlerhafte Datenerhebung Aber auch: Interviewerfälschung Fehlerhafte Datenauswertung Fälschung Manipulation der Ergebnisse Weglassen abweichender Messwerte ( robuste Schätzung) Veränderung abweichender Messwerte (Datenmanipulation) Erfindung von Daten Reproduktion Replikation Reproduktion 17. September 2008 Josef Brüderl Folie 2 Replikation in den Naturwissenschaften Beispiel: Kalte Fusion Milliarden werden für heiße Fusionsreaktoren aufgewendet 1989 verkündeten die Chemiker Martin Fleischmann und Stanley Pons von der Universität Utah die kalte Fusion In einer mit einer Palladium-Kathode ausgestatteten Reaktionszelle habe die Verschmelzung von Wasserstoffatomen stattgefunden Theorie: Nernst sche Gleichung sagt hohen Druck voraus Messung: Energieüberschuss und Neutronen Viele Forschungslabore versuchten das Experiment zu replizieren Auch einige positive Ergebnisse (u.a. aus DDR!) Bereits Ende 1989 kam eine Untersuchungskommission zu dem Ergebnis Theorie: Rechenfehler Messungen falsch 17. September 2008 Josef Brüderl Folie 3
Ökonomie des Irrtums Martin Feldstein (1974) JPE Der Sozialstaat reduziert das Sparen (und damit die Kapitalbildung) um die Hälfte Leimer/Lesnoy (1982): Ergebnis beruht auf einem Programmierfehler und ist falsch Feldstein: Ich schäme mich dafür Steven Levitt (2001) QJE (Starökonom: Freakonomics) Legalisierung der Abtreibung 1973 hat den Rückgang der Kriminalität in den 1990ern verursacht Foote/Goetz (2005): Ergebnis beruht auf falscher statistischer Methode und ist so nicht haltbar Levitt hat den Fehler eingestanden Oberholzer-Gee/Strumpf (2007) JPE Tauschbörsen nicht Schuld am Umsatzrückgang der Musikindustrie Aber: Daten stammen von Tauschbörsen und werden von den Autoren geheim gehalten! Kritik von Stan Liebowitz im JPE nicht erwünscht (Herausgeber: S. Levitt) (s. Handelsblatt vom 23.6.2008) 17. September 2008 Josef Brüderl Folie 4 Ursachen von Fehlern und Betrug Fehler insbesondere durch schlampiges Arbeiten Publish or perish In den Sozialwissenschaften gibt es kaum Replikationen Kosten schlampigen Arbeitens sind gering Betrug: RC-Modell abweichenden Verhaltens Nutzen: Ruhm, Ehre und lukrativer Job Kosten: Entdeckungswahrscheinlichkeit * Karriereende In Sowi Entdeckungswhs. gering, also lohnt Betrug Entdeckungswahrscheinlichkeit bei eher unspektakulären Studien noch geringer (Trade-off von Nutzen und Kosten) The Market for (Ir)reproducible Econometrics (Feigenbaum/Levy, 1993, Social Epistemology 7: 215-232) Handlungsoption 1: sauber arbeiten (aufwändig) Handlungsoption 2: schlampig arbeiten und Replikationen behindern (einfach) 17. September 2008 Josef Brüderl Folie 5
Manipulation von z-werten? Die Häufung der Werte gerade über 1,96 legt den Verdacht der Manipulation nahe. Aus: Gerber/Malhotra (2008) Publication Bias in Empirical Sociological Research. SMR 37: 3-30. 17. September 2008 Josef Brüderl Folie 6 Warum Replikation? Bestätigung von Ergebnissen Nur replizierte Ergebnisse sollten in den Wissensbestand Kumulative Sozialforschung Zugang zu den Daten und Auswertungsroutinen früherer Forscher Darauf aufbauende Reproduktion Abschreckung Authors need to fear that their errors will be exposed. (McCullough/Vinod 2003) 17. September 2008 Josef Brüderl Folie 7
Warum so wenig Replikation in Sowi? Reproduktion wird akzeptiert, aber Replikation nicht Deshalb oft: Reproduktion ohne Replikation! Replikationen nicht als originelle Leistung anerkannt Kein Markt für Replikationen Nur in der Zeitschrift des Originalartikels und das nicht sicher Kollegen meist not amused Oft wird Replikation gar als persönlicher Angriff gesehen Keine zeitinvarianten Gesetze Reproduktion liefert ziemlich sicher anderes Ergebnis Ermessensentscheidungen bei Datenanalyse Klare Fehler kaum nachweisbar (Replik auf die Replik kann gefährlich für eigene Reputation sein) 17. September 2008 Josef Brüderl Folie 8 Ausgewählte Studien Meinefeld 1985 27 Artikel in ZfS, KZfSS und SW 1976/1982 9 (33%) gaben Einverständnis zu Replikation Dewald et al. 1986 62 empirische Artikel im Journal of Money, Credit and Banking (JMCB) 1980-1982 22 (34%) schickten Daten/Programme Davon war allerdings ein Gutteil unbrauchbar McCullough/Vinod 2003 8 Artikel in AER (June 1999) Autoren mit Replikationsverpflichtung 4 (50%) replizierbar Wicherts et al. 2006 249 Studien aus vier APA-Journals (2004) Auch hier unterzeichnen die Autoren eine Replikationsverpflichtung 64 (27%) Datensätze erhalten 17. September 2008 Josef Brüderl Folie 9
Ausgewählte Studien mit Archiven McCullough et al. 2006 62 empirische Artikel im JMCB Archiv 1996-2002 Nur 14 (22%) replizierbar Rest: keine Antwort, keine Zeit, Dateien verloren, Auswertungen mit Mausklicks, unbrauchbare Dateien, Hunderte Files, unkommentiert, Unmengen Output, Fazit: Sozialwissenschaften nicht wissenschaftlich, da Arbeiten nicht replizierbar sind 17. September 2008 Josef Brüderl Folie 10 Maßnahmen DFG: Vorschläge zur Sicherung guter wissenschaftlicher Praxis (seit 1998), Ombudsman Ist aber rein passiv: wartet auf Eingaben Prinzip: Anreize für Replikationen setzen Zeitschriften (s.u.) Peer-Reviewer bezahlen und Replikation im Review-Prozess DFG: Replikationsprojekte fördern Institut für Replikation Replikation als Pflichtbestandteil der Ausbildung 17. September 2008 Josef Brüderl Folie 11
Maßnahmen bei den Zeitschriften Verpflichtungserklärung Wird nur teilweise eingehalten: Dewald et al. 1986; McCullough/Vinod 2003 Herausgeber könnten allerdings Autoren, die die Verpflichtungserklärung nicht einhalten, listen!!! Data/Code Archiv JMCB, AER (2004, durch Editor B. Bernake) Hilft auch nur teilweise: McCullough et al. 2006 Replikationssektion (s. nächste Folie) Platz für Replikationen nicht nur von Artikeln des eigenen Journals! Politikwissenschaftliche und ökonomische Zeitschriften haben oft ein Archiv bzw. eine Replikationssektion Soziologische aber nicht. In der Soziologie gibt es hartnäckigen Widerstand, meist mit dem Freerider-Argument (s. Freese 2007)! 17. September 2008 Josef Brüderl Folie 12 Replikationssektion The JAE Replication Section, introduced in January 2003 under the editorship of Badi H. Baltagi, was initially devoted exclusively to the issue of replication of empirical results published in papers of the Journal of Applied Econometrics. Given the encouraging response that the JAE has received, we have now decided to extend the coverage of the section. We are now inviting submissions of replication of empirical results that have been published in the following additional journals: Econometrica American Economic Review Journal of Political Economy Quarterly Journal of Economics Review of Economics and Statistics Review of Economic Studies Journal of Econometrics Journal of Business and Economic Statistics Economic Journal Replicability is an important part of every science, although what is meant by replication varies quite widely across different disciplines. At JAE we already require authors to provide their data sets and any specialized computer programs as a precondition for publication, with the aim of facilitating the replication of results that we publish. We are now proposing to take the next natural step of providing an outlet and opportunity for researchers to report on successful as well as unsuccessful replications. We also hope that this will encourage students and teachers of applied econometrics to replicate the published work in the classroom. 17. September 2008 Josef Brüderl Folie 13
Voraussetzung: Saubere Dokumentation Vollständige Beschreibung im Artikel Datenerhebung, Datenaufbereitung, Datenanalyse Evtl. in Anhang, Internet-Dokument Bei vielen Publikationen mangelhaft (s. Meinefeld 1985)! Dokumentation der Datenerhebung Methodenbericht incl. Erhebungsunterlagen Dokumentation der Datenauswertung Archiv der Datenauswertungsdateien Mustergültige Anleitung: Kohler/Kreuter (2008) Datenanalyse mit STATA (Kap. 2) Noch weitergehend: replication data set Das alles plus Software, Betriebssystem, (King 1995) 17. September 2008 Josef Brüderl Folie 14 Literatur Dewald, W., Thursby J. und R. Anderson (1986) Replication in Empirical Economics: The JMCB Project. AER 76: 587-603. Freese, J. (2007) Replication Standards for Quantitative Social Science. Sociological Methods & Research 36: 153-172. King, G. (1995) Replication, Replication. PS: Political Science & Politics September 1995: 444-452. King, G. (2006) Publication, Publication. PSOnline January 2006: 119-125. McCullough, B.D., K. McGeary und T. Harrison (2006) Lessons from the JMCB Archive. JMCB 38: 1093-1107. McCullough, B.D. und H. Vinod (2003) Verifying the Solution from a Nonlinear Solver. AER 93: 873-892. Meinefeld, W. (1985) Die Rezeption empirischer Forschungsergebnisse eine Frage von Treu und Glaube? ZfS 14: 297-314. Wicherts, J. et al. (2006) The Poor Availability of Psychological Research Data for Reanalysis. American Psychologist: 726-728. Zankl, H. (2003) Fälscher, Schwindler, Scharlatane. Wiley-VCH. 17. September 2008 Josef Brüderl Folie 15