Selbstkritik und neue Horizonte: Transparenz in der Psychologie

Transkript

1 Forum klinische Forschung / Recherche Clinique , Schweizer Nationalfonds / Fonds National Suisse Selbstkritik und neue Horizonte: Transparenz in der Psychologie Mirjam A. Jenny Max Planck Institut für Bildungsforschung, Universität Basel

2 Quelle:

3 Quelle:

4 Quelle:

5 Zu viel Auswahl - Probierstand (Iyengar & Lepper, 2000, JPSP) - 1$ Gutscheine - Bei 6 Gläsern 30% Käufe - Bei 24 Gläsern nur 3% Käufe Quelle:

6 Zu viel Auswahl Quellen: TheArtOfChoosing.jpg;

7 Zufallseffekte - kleine Stichproben & bestimmte Analysen - Interessante (Zufalls)-Effekte leichter publizierbar als Nulleffekte - Vorsicht bei einzelnen Studien: besser -> Metaanalysen Quelle:

8 Zu viel Auswahl - Metaanalyse (Scheibehenne, Greifeneder, & Todd, 2010, Journal of Consumer Research): kein Effekt. - Publication bias: Die Wahrscheinlichkeit, dass ein Artikel publiziert wird ist abhängig vom berichteten Resultat. - Nicht publizierte und sehr neue Studien zeigten mit grösserer Wahrscheinlichkeit keinen Effekt.

9 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Replizierbarkeit Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis Intuitive und empirische Schätzung

10 Neue Horizonte - Never waste the opportunity offered by a good crisis. (Niccolo Machiavelli) - Psychologie: ausgeprägt methodische und selbstkritische Tradition - Experimentatoreffekt 60er/70er - Heute neue Diskussionen im Aufschwung (technische Möglichkeiten) Quelle:

11 Special Issues - Replicability in Psychological Science: A Crisis of Confidence? - Research Practices - Sizes of our Science - Methodology in judgment and decision making research Quellen:

12 - Symposien: - Good Data Practices - Issues of Replicability - Replication and Reliability in Research: Views from Editors, Programm Officers, and Publishers Quelle:

13 Bottom-up

14 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lösungsansatz Detektionsmethoden, Bayesianische Statistik

15 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements

16 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien

17 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis

19 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lösungsansatz Detektionsmethoden, Bayesianische Statistik

20 Quelle:

21 - Zufallseffekte Suboptimale Datenanalyse - Daten so lange foltern bis ein signifikantes Ergebnis raus kommt. - Detektionsmethoden: - Techniken mit denen man aus einer Reihe signifikanter Ergebnisse Zufallseffekte Ergebnisse identifizieren kann. p-curve (Simonsohn, 2013) Replizierbarkeitsindex (Schimmack, 2013, Psych. Methods)

22 Methodische Fortschritte - Herkömmliche Statistik vs. Bayesianische Statistik - herkömmliche Statistik: Simpler zu berechnen beinhaltet Probleme (z.b. Zufallseffekte) - Bayesianische Statistik: Aufwändiger zu berechnen (Rechenpower) konservativer -> führt zu weniger Zufallseffekten Quelle:

23 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements

24 - Regeln für Autoren: Publikationsrichtlinien 1. Autoren müssen bevor sie mit der Datenerhebung beginnen festlegen aufgrund welcher Regel sie die Erhebung abschliessen werden und diese Regel im Artikel berichten. 2. Autoren müssen mind. 20 Beobachtungen pro Zelle erheben und ansonsten eine überzeugende Legitimation liefern (Kostenanalyse). Simmons et al. (2011). Psych. Science.

25 - Regeln für Autoren: Publikationsrichtlinien 1. Autoren müssen bevor sie mit der Datenerhebung beginnen festlegen aufgrund welcher Regel sie die Erhebung abschliessen werden und diese Regel im Artikel berichten. 2. Autoren müssen mind. 20 Beobachtungen pro Zelle erheben und ansonsten eine überzeugende Legitimation liefern (Kostenanalyse). Simmons et al. (2011). Psych. Science.

26 - Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. Simmons et al. (2011). Psych. Science.

27 - Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. Simmons et al. (2011). Psych. Science.

28 Stossen die Publikationsrichtlinien auf Anklang?

29 Stimmungsbild - Online-Befragung von Psychologen aus 42 Ländern - Befragt zu: - den Autorenregeln (als Regeln und Richtlinien) - den Gutachterrichtlinien - Publikation von Replikationen - Replizierbarkeit in der Psychologie Fuchs et al. (2012). Perspectives on Psych. Science.

30 Richtlinien finden Zustimmung Mind. 1 Gutachterrichtlinie Mind. 1 Autorenregel als fixe Regel Mind. 1 Autorenregel als Richtlinie Anteil der befragten Psychologen Fuchs et al. (2012). Perspectives on Psych. Science.

31 Implementierung der Richtlinien - Social Psychological and Personality Science hat eine Richtlinie übernommen - Social Cognition überlegt sich aufgrund unserer Studie neue Richtlinien - Psychological Science diskutiert research process statements wie z.b.: - Beschreiben Sie alle experimentellen Bedingungen und abhängigen Variablen aller Experimente, welche sie im Haupttext nicht diskutiert haben.

32 Disclosure statements We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study.

33

34 Tex t

35 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien

36 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Randomized clinical control studies bei Patientenstudien.

37 Quelle:

38 Quelle:

39 Quelle:

40 Quelle:

41 Quelle:

42 Lösungen für 5 wissenschaftliche Probleme in der Psychologie Problemfeld suboptimale Datenanalyse Lückenhafte Berichterstattung Fehlender Zugang zu Daten, Versuchsplänen und Analysen Publikationsbias Lösungsansatz Detektionsmethoden, Bayesianische Statistik Publikationsrichtlinien, disclosure statements Data sharing, Registrierung von Studien Guideline, Journal of Articles in Support of the Null Hypothesis

43 - Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängig sind. Simmons et al. (2011). Psych. Science.

44 - Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängen. Simmons et al. (2011). Psych. Science.

45

47 - Druck: 20% Replikationen Replikation - Online: 27% Replikationen - Geschätzte Replikationsrate Psychologie: 53% - Geschätzte Replikationsrate eigenes Feld: 56% Fuchs et al. (2012). Persp. on Psych. Science; Begley & Ellis (2012). Nature.

50 - Druck: 20% Replikationen Replikation - Online: 27% Replikationen - Geschätzte Replikationsrate Psychologie: 53% - Geschätzte Replikationsrate eigenes Feld: 56% - Biotechnologiefirma Amgen versuchten 53 präklinische Landmark Krebstudien zu bestätigen: 6 (11%) bestätigt. Publikation von Zufallseffekten! Fuchs et al. (2012). Persp. on Psych. Science; Begley & Ellis (2012). Nature.

51 - Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus 2008: - Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replikation zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädikatoren für Replikationserfolg

52 - Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus 2008: - Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replikation zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädikatoren für Replikationserfolg

53 - Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replikation zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädiktoren für Replikationserfolg

54 - Erster empirischer Versuch die Replizierbarkeit eines Gebiets zu testen. - Artikel aus 3 führenden Zeitschriften aus Strukturiertes Protokoll für die Replikationen mit dem Ziel: - Replizierbarkeitsrate zu schätzen - Identifikation von Schwierigkeiten bei Replikationen - Identifikation von Prädiktoren für Replikationserfolg

55 - Richtlinien für Gutachter: Publikationsrichtlinien 1. Gutachter sollten sicherstellen, dass die Regeln für Autoren eingehalten werden. 2. Gutachter sollten gegenüber nicht perfekten Resultaten toleranter sein. 3. Gutachter sollten Autoren dazu verpflichten zu demonstrieren, dass ihre Resultate nicht von arbiträren analytischen Entscheidungen abhängen. 4. Bei nicht überzeugenden Begründungen für die Datenerhebung oder Analysen sollten die Gutachter von den Autoren eine exakte Replikation verlangen. Simmons et al. (2011). Psych. Science.

56 Quelle: Sterne (2011). BMJ.

57 Today s Reliable Scientific News Quelle: Sterne (2011). BMJ.

58 - Entdeckung: - p-curve - Replizierbarkeitsindex - Tranzparenz: Bottom-up - Autoren verwenden disclosure statements - Daten und Analysen öffentlich zugänglich machen - Benutzung von besseren Analyseverfahren - freiwillige Registrierung von Studien - Kollaboration - openscienceframework.org - reproducibility project - psychdisclosure.org