«NZZ am Sonntag» vom 25.11.2012, Seite 65: Psychologie in der Krise Fälschungen, geschönte Daten und Studien, die sich nicht replizieren lassen: Die Glaubwürdigkeit der psychologischen Forschung ist angeschlagen. Jetzt fordern Kritiker radikale Reformen. Von Patrick Imhasly Das vergangene Jahr war ein Schreckensjahr für die Psychologie. Und wer gehofft hatte, 2012 würde alles besser, geriet vom Regen in die Traufe. Krasse Fälschungen in Einzelfällen, aber auch generelle Zweifel an der wissenschaftlichen Redlichkeit des Fachs haben die Psychologie weltweit erschüttert. «Ich vermute, dass sich in den Lehrbüchern der Psychologie die Irrtümer türmen», sagt der Soziologe und Wissenschaftsforscher Andreas Diekmann von der ETH Zürich. Und der mathematische Psychologe Eric-Jan Wagenmakers von der Universität Amsterdam ist überzeugt, dass sich «die Psychologie ändern muss, wenn sie als angesehene akademische Disziplin überleben will». So richtig ins Rollen kam die Sinnkrise der Psychologie im Herbst vor einem Jahr. Damals flog Diederik Stapel von der Universität Tilburg als übler Betrüger auf. Zuerst hatte der niederländische Sozialpsychologe weltweit Aufsehen erregt - etwa mit Studien, die «nachwiesen», dass eine unordentliche Umgebung diskriminierendes Verhalten fördert oder dass der Gedanke an den
Verzehr eines schönen Stücks Fleisch Menschen weniger sozial macht. Nach Hinweisen von Nachwuchsleuten aus Stapels Abteilung wurde er der Fälschung von Daten in Dutzenden von Fällen überführt und suspendiert. Laut dem Blog Retraction Watch wurden bis heute 28 seiner Studien von den entsprechenden Fachjournalen offiziell widerrufen. Diesen Sommer traf es erneut einen Professor an einer niederländischen Hochschule. Der Marketingpsychologe Dirk Smeesters von der Erasmus-Universität Rotterdam nahm seinen Hut, nachdem ein amerikanischer Fachkollege mit Hilfe eines ausgeklügelten statistischen Verfahrens herausgefunden hatte, dass Smeesters' Daten schlicht zu perfekt waren, um wahr zu sein. Auch der gebürtige Belgier zog mit knackigen Studien viel Aufmerksamkeit auf sich. So ging er zum Beispiel der Frage nach, ob sich mit dem Mädchen von nebenan in der Kosmetikwerbung mehr Wirkung erzielen lässt als mit einem Supermodel wie Kate Moss. In einem Untersuchungsbericht seiner Universität räumte Smeesters ein, er habe Daten «massiert» - also Daten weggelassen, die zweifelhaft waren und nicht seinen Erwartungen entsprachen. Gleichzeitig legte er Wert auf die Feststellung, dass diese Praxis in seinem Fachgebiet durchaus üblich und «Teil einer Kultur» sei. Wenn auch viel weniger spektakulär: Der Fall Smeesters war für die Psychologie der grössere Schock als jener von Stapel. «Betrügerisches Verhalten ist in der Psychologie vermutlich selten, fragwürdige Forschungspraktiken sind hingegen viel häufiger», sagt der Sozialpsychologe Brian Nosek von der Universität Virginia. «Auch Forscher sind Menschen, und die Menschen sind nicht objektiv - besonders, wenn es ihre eigene Arbeit betrifft», stellt Eric-Jan Wagenmakers nüchtern fest. Bizarre Ergebnisse Was das in der psychologischen Forschung bedeutet, haben methodische Studien ebenfalls in den vergangenen zwei Jahren ans Licht gebracht. Erst stellte der Psychologe Joseph Simmons von der Universität Pennsylvania in einer inzwischen berühmtberüchtigten experimentellen Untersuchung fest, dass sich in der Psychologie so ziemlich jede Hypothese bestätigen lässt - sei sie noch so abwegig. Es kommt einfach drauf an, wie man ein
Experiment durchführt und welche Schlüsse man aus den Daten zieht: Simmons' Team «bewies», dass sich das Alter von Probanden in einem Test um 1,5 Jahre verringerte, wenn sie zuvor den Beatles-Song «When I'm Sixty-Four» zu hören bekamen («Psychological Science», Bd. 22, S. 1359). Dieses bizarre Resultat kam zustande, indem die Forscher bestimmte Probanden nicht berücksichtigten, passende Resultate herauspickten oder das Design und die Auswertung der Studie laufend dem gewünschten Resultat anpassten. Solche Praktiken sind nicht nur in der Psychologie üblich, dort aber besonders häufig. So stellte der Sozialwissenschafter Daniele Fanelli von der Universität Edinburg fest, dass in verschiedenen Wissenschaftsdisziplinen der Anteil von «positiven» Studien - solchen, die die aufgestellte Hypothese bestätigen - von 1990 bis 2007 um volle 22 Prozent zugenommen hat («Scientometrics, Bd. 90, S. 891). Laut Fanelli ist es aber in der Psychologie und Psychiatrie fünfmal wahrscheinlicher als in der Weltraumforschung, ein positives Resultat zu erzielen («Plos One», Bd. 5, e10068, siehe Grafik). «Psychologen legen sich fast nie auf eine Analyse-Methode fest, bevor sie ihre Daten vor Augen haben», erklärt Wagenmakers. «Dadurch nimmt die Versuchung zu, die Analyse den Daten anzupassen, um ein erhofftes Resultat zu erhalten.» Eine Befragung von mehr als 2000 Psychologen durch die Konsumexpertin Leslie John von der Harvard Business School in Boston bestätigt diesen Befund. 50 Prozent der Befragten gaben an, sie würden vorhandene Daten zuerst auf ein bestimmtes Resultat testen und erst dann mit der Datenerhebung weiterfahren («Psychological Science» Bd. 23, S. 524). Mit einer solchen Strategie ist so gut wie garantiert, dass am Ende ein zählbares Resultat vorliegt. Falsche Anreize im System «Das Vertrauen der Psychologen in ihr eigenes Fachgebiet hat gelitten - und zwar über alle Subdisziplinen hinweg, sei es beispielsweise in der Sozialpsychologie, der Entwicklungspsychologie oder der klinischen Psychologie», sagt Mirjam Jenny, Kognitionspsychologin an der Universität Basel. Zusammen mit zwei Kolleginnen hat sie in einer internationalen
Befragung von rund 1300 in der Forschung tätigen Psychologen untersucht, wie gross die Bereitschaft ist, die herrschende Forschungs- und Publikationspraxis zu hinterfragen («Perspectives on Psychological Science», Bd. 7, S. 639). «In der Szene wird viel diskutiert: Man ist durchaus bereit, am Status quo etwas zu ändern», erklärt Jenny. Die Frage ist bloss: wie? «Das grösste Problem ist auch am schwierigsten zu lösen: die falschen Anreize, um in der Wissenschaft erfolgreich zu sein», erklärt Brian Nosek. Renommierte wissenschaftliche Journale akzeptieren in der Regel nur Forschungsarbeiten, bei denen etwas Neues entdeckt worden ist. Die Wiederholung einer Studie oder negative Resultate kriegt ein Forscher hingegen kaum irgendwo unter. Das hat zum Beispiel auch Stéphane Doyen von der Freien Universität Brüssel erfahren, der versuchte, eine klassische Studie von John Bargh von der Yale University aus dem Jahr 1996 zu wiederholen. Bargh fand heraus, dass Menschen sich langsamer bewegen, wenn sie unbewusst Begriffen ausgesetzt werden, die etwas mit dem Alter zu tun haben. Doyen vermochte den Befund in eigenen Experimenten nicht zu replizieren, schaffte es aber erst nach mehreren Versuchen, diese wichtige Erkenntnis in einem Online-Fachblatt zu veröffentlichen («Plos One», Bd. 7, e29081), «Was publiziert ist, ist nicht zwingend wahr», sagt Nosek. Die Fixierung auf Neuheiten führe dazu, dass nicht nur in der Psychologie, sondern in der Forschung generell negative Resultate ignoriert würden. Stattdessen verfolge man Untersuchungs-Designs und Analyse-Strategien, die eher zu einem positiven Resultat führten. «Wenn aber Forscher für Praktiken belohnt werden, welche die Qualität der Wissenschaft untergraben, dann gerät der Wissenschafter in ein schreckliches Dilemma: Mach es richtig oder mach es so, dass du Erfolg hast.» «Es ist höchste Zeit, dass diese Diskussion in der Psychologie in Gang kommt», sagt Andreas Diekmann. «In der biomedizinischen Forschung liegen die Dinge auch im Argen, aber dort hat man früher reagiert.» Der ETH-Soziologe schlägt vor, dass man jetzt in der Psychologie eine «Replikationskultur» aufbaut, wo Wissenschafter mit Forschungsgeldern und akademischem Ruhm belohnt werden, wenn sie Zeit und Energie darauf verwenden, massgebende Arbeiten zu überprüfen.
Brian Nosek hat das Heft schon längst in die Hand genommen. Seit rund einem Jahr koordiniert er die Aktivitäten der Open Science Collaboration. Das ist ein Verbund von heute etwa 100 Psychologen, die sich vorgenommen haben, 50 wichtige Studien aus den drei renommiertesten Fachjournalen der Psychologie zu wiederholen. Nosek geht es nicht darum, einzelne Forscher mit ihren Arbeiten an den Pranger zu stellen. Vielmehr will er Grundlagen dafür schaffen, damit man weiss, worauf es bei der Replikation einer Studie überhaupt ankommt. Schon bald sollen die ersten Resultate vorliegen - und publiziert werden. Projekte wie die Website PsychFileDrawer.org des kalifornischen Psychologen Hal Pashler gehen in einen ähnliche Richtung. Der niederländische Kritiker Eric-Jan Wagenmakers unterstützt solche Initiativen. Zumal sie den Psychologen auch die Möglichkeit bieten, ihre Studien - ähnlich wie bei klinischen Versuchen in der Medizin - vor Beginn mitsamt den geplanten Experimenten und Analysen zu registrieren. Damit würde es unmöglich, Daten verschwinden zu lassen oder Hypothesen im Nachhinein anzupassen. «Die Präregistrierung von Studien an gesunden Probanden existiert heute schlicht und einfach nicht», sagt Wagenmakers. Die Basler Psychologin Mirjam Jenny jedenfalls ist zuversichtlich, dass sich die Zustände in absehbarer Zeit verbessern: «Junge Forscher gewöhnen sich bereits daran, ihre Daten offenzulegen.» Und Brian Nosek sagt, die Psychologie sei im Prinzip in einer guten Situation für Veränderungen, «gerade wegen ihres Wissens um das Verhalten des Menschen».