Selbstkritik und neue Horizonte: Transparenz in der Psychologie

Forum klinische Forschung / Recherche Clinique 30.1.2013, Schweizer Nationalfonds / Fonds National Suisse Selbstkritik und neue Horizonte: Transparenz in der Psychologie Mirjam A. Jenny Max Planck Institut für Bildungsforschung, Universität Basel

Quelle: http://3.bp.blogspot.com/_nis0gyp5rea/tazdoracy0i/aaaaaaaabfi/3fnfxqgtpvq/s1600/supermarket.jpg

Quelle: http://positivepsychologynews.com/ppnd_wp/wp-content/uploads/2007/03/jams.jpg

Quelle: http://sivers.org/images/jam.jpg

Zu viel Auswahl - Probierstand (Iyengar & Lepper, 2000, JPSP) - 1$ Gutscheine - Bei 6 Gläsern 30% Käufe - Bei 24 Gläsern nur 3% Käufe Quelle: http://positivepsychologynews.com/ppnd_wp/wp-content/uploads/2007/03/jams.jpg

Zu viel Auswahl Quellen: TheArtOfChoosing.jpg; http://www.brainpickings.org/wp-content/uploads/2010/11/artofchoosing.jpg

Zufallseffekte - kleine Stichproben & bestimmte Analysen - Interessante (Zufalls)-Effekte leichter publizierbar als Nulleffekte - Vorsicht bei einzelnen Studien: besser -> Metaanalysen Quelle: http://www.lumixlifestyle.co.uk/wp-content/uploads/gallery/g10col/falling-dice-a4lr.jpg

Zu viel Auswahl - Metaanalyse (Scheibehenne, Greifeneder, & Todd, 2010, Journal of Consumer Research): kein Effekt. - Publication bias: Die Wahrscheinlichkeit, dass ein Artikel publiziert wird ist abhängig vom berichteten Resultat. - Nicht publizierte und sehr neue Studien zeigten mit grösserer Wahrscheinlichkeit keinen Effekt.

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Replizierbarkeit Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis Intuitive und empirische Schätzung

Neue Horizonte - Never waste the opportunity offered by a good crisis. (Niccolo Machiavelli) - Psychologie: ausgeprägt methodische und selbstkritische Tradition - Experimentatoreffekt 60er/70er - Heute neue Diskussionen im Aufschwung (technische Möglichkeiten) Quelle: http://3.bp.blogspot.com/-phpass6gcmg/topd2-qmhki/aaaaaaaaaf4/30ji4484gda/s1600/horizon-2005.09.04-19.28.28.jpg

Special Issues - Replicability in Psychological Science: A Crisis of Confidence? - Research Practices - Sizes of our Science - Methodology in judgment and decision making research Quellen: www.sjdm.com; http://www.psychologicalscience.org/index.php/publications/journals/perspectives

- Symposien: - Good Data Practices - Issues of Replicability - Replication and Reliability in Research: Views from Editors, Programm Officers, and Publishers Quelle: http://www.psychologicalscience.org/index.php/convention#.uqedwaxbpw8

Bottom-up

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lösungsansatz Detektionsmethoden, Bayesianische Statistik

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lösungsansatz Detektionsmethoden, Bayesianische Statistik

Quelle: http://rlv.zcache.com/data_torture_mug-p168212054424550721enwnp_400.jpg

- Zufallseffekte Suboptimale Datenanalyse - Daten so lange foltern bis ein signifikantes Ergebnis raus kommt. - Detektionsmethoden: - Techniken mit denen man aus einer Reihe signifikanter Ergebnisse Zufallseffekte Ergebnisse identifizieren kann. p-curve (Simonsohn, 2013) Replizierbarkeitsindex (Schimmack, 2013, Psych. Methods)

Methodische Fortschritte - Herkömmliche Statistik vs. Bayesianische Statistik - herkömmliche Statistik: Simpler zu berechnen beinhaltet Probleme (z.b. Zufallseffekte) - Bayesianische Statistik: Aufwändiger zu berechnen (Rechenpower) konservativer -> führt zu weniger Zufallseffekten Quelle: http://motls.blogspot.com/2012/05/thomas-bayes-and-supersymmetry.html

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements

- Regeln für Autoren: Publikationsrichtlinien 1. Autoren müssen bevor sie mit der Datenerhebung beginnen festlegen aufgrund welcher Regel sie die Erhebung abschliessen werden und diese Regel im Artikel berichten. 2. Autoren müssen mind. 20 Beobachtungen pro Zelle erheben und ansonsten eine überzeugende Legitimation liefern (Kostenanalyse). Simmons et al. (2011). Psych. Science.

- Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. Simmons et al. (2011). Psych. Science.

Stossen die Publikationsrichtlinien auf Anklang?

Stimmungsbild - Online-Befragung von 1 292 Psychologen aus 42 Ländern - Befragt zu: - den Autorenregeln (als Regeln und Richtlinien) - den Gutachterrichtlinien - Publikation von Replikationen - Replizierbarkeit in der Psychologie Fuchs et al. (2012). Perspectives on Psych. Science.

Richtlinien finden Zustimmung Mind. 1 Gutachterrichtlinie Mind. 1 Autorenregel als fixe Regel Mind. 1 Autorenregel als Richtlinie 0.0 0.2 0.4 0.6 0.8 1.0 Anteil der befragten Psychologen Fuchs et al. (2012). Perspectives on Psych. Science.

Implementierung der Richtlinien - Social Psychological and Personality Science hat eine Richtlinie übernommen - Social Cognition überlegt sich aufgrund unserer Studie neue Richtlinien - Psychological Science diskutiert research process statements wie z.b.: - Beschreiben Sie alle experimentellen Bedingungen und abhängigen Variablen aller Experimente, welche sie im Haupttext nicht diskutiert haben.

Disclosure statements We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study.

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Randomized clinical control studies bei Patientenstudien.

Quelle: http://openscienceframework.org

Quelle: http://facebook.com

Quelle: http://www.coll.mpg.de/team/page/susann_fiedler

Quelle: http://www.bmj.com/tamiflu/roche#alternate

Quelle: http://www.coll.mpg.de/team/page/susann_fiedler

Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis

- Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängig sind. Simmons et al. (2011). Psych. Science.

- Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängen. Simmons et al. (2011). Psych. Science.

- Druck: 20% Replikationen Replikation - Online: 27% Replikationen - Geschätzte Replikationsrate Psychologie: 53% - Geschätzte Replikationsrate eigenes Feld: 56% Fuchs et al. (2012). Persp. on Psych. Science; Begley & Ellis (2012). Nature.

- Druck: 20% Replikationen Replikation - Online: 27% Replikationen - Geschätzte Replikationsrate Psychologie: 53% - Geschätzte Replikationsrate eigenes Feld: 56% - Biotechnologiefirma Amgen versuchten 53 präklinische Landmark Krebstudien zu bestätigen: 6 (11%) bestätigt. Publikation von Zufallseffekten! Fuchs et al. (2012). Persp. on Psych. Science; Begley & Ellis (2012). Nature.

- Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus 2008: - Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replikation zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädikatoren für Replikationserfolg

- Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus 2008 - Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replikation zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädiktoren für Replikationserfolg

- Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus 2008 - Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replizierbarkeitsrate zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädiktoren für Replikationserfolg

- Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängen. 4. Bei nicht überzeugenden Begründungen für die Datenerhebung oder Analysen sollten die Gutachter von den Autoren eine exakte Replikation verlangen. Simmons et al. (2011). Psych. Science.

Quelle: Sterne (2011). BMJ.

Today s Reliable Scientific News Quelle: Sterne (2011). BMJ.

- Entdeckung: - p-curve - Replizierbarkeitsindex - Tranzparenz: Bottom-up - Autoren verwenden disclosure statements - Daten und Analysen öffentlich zugänglich machen - Benutzung von besseren Analyseverfahren - freiwillige Registrierung von Studien - Kollaboration - openscienceframework.org - reproducibility project - psychdisclosure.org