1. Diagnose: Ein 'Qualitätsproblem'? 2. Pathophysiologie: Die Ursachen. 3. Therapievorschläge: Die Maßnahmen

Qualitätssicherung in der biomedizinischen Forschung - Ulrich Dirnagl MFT Kiel, 5.6.2014 1. Diagnose: Ein 'Qualitätsproblem'? 2. Pathophysiologie: Die Ursachen 3. Therapievorschläge: Die Maßnahmen 4. Kritische Diskussion: Die Gegenargumente 5. Therapieplan: Die nächsten Schritte

1. Ein Qualitätsproblem? 'Lost in translation'

1. Ein Qualitätsproblem? Evidenz aus Meta-research

1. Ein Qualitätsproblem? 'Replikationskrise' Perrin S (2014) Nature 407:423-425

1. Ein Qualitätsproblem? [Wissenschaftsbetrug]

2. Die Ursachen? Fehlende Methodenkompetenz Biostatistik Klinische Epidemiologie Evidenzbasierte Medizin Experimentelles Design... Student... Postdoc... Gruppenleiter... Abteilungsdirektor

2. Die Ursachen? Fehlende Methodenkompetenz Prüfen Sie sich selbst: "The results were significant at p < 0.05" Die Wahrscheinlichkeit, dass meine Hypothese falsch war, liegt unter 5 % Nein! Verwechslung des p-wertes mit der 'error rate'! Bei 80% Power und einer a-priori Wahrscheinlichkeit der Hypothese von 10 % sind 37 % der 'signifikanten' Ergebnisse falsch positiv! Im übrigen kann der Test sich nur auf die Daten, nicht die Hypothese beziehen.

2. Die Ursachen? Die Währung für akademisches Fortkommen High Impact Publikationen und Drittmittel sind das Surrogat für Qualität und Werthaltigkeit von Forschung The vicious cycle of biomedical research Scientists need to publish new, positive and spectacular results for professional advancement Non-reproducible research findings Failure to translate bench findings into effective therapies Institutions and funders support researchers who publish new, positive and spectacular results in high IF journals Journals need to publish new, positive and spectacular results to promote their IF

2. Die Ursachen? Die Währung für akademisches Fortkommen pipredictor.com

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Impact Open access Publikation Ausbildung / Training (vom Studenten über PI zum Abteilungsleiter) Good Scientific Practice Office Compliance mit exist. Guidelines Elektronisches Laborbuch Open data / 'Neg. results' Critical incidence Reporting (Lab CIRS / 'Morbidity & Mortality conferences') Strukturiertes Qualitätsmanagement (Peer-) Auditing Neue Indikatoren und Incentivierung (bzw. Disincentivierung)

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Open access Publikation Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Good Scientific Practice Office Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Ausbildung in Methodenkompetenz (vom Studenten über PI zum Abteilungsleiter) Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Compliance mit exist. Guidelines Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Elektronisches Laborbuch Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Open data / 'Negative' Studien Impact

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Impact Strukturiertes Qualitätsmanagement Critical incidence reporting (Lab CIRS / 'Morbidity & Mortality conferences') (Peer-) Auditing

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Umsetzbarkeit Ioannidis, Khoudri Impact Entwicklung und Implementierung neuer Indikatoren, Incentivierung (bzw. Disincentivierung) - Pilotprojekte

3. Die Maßnahmen: GISP - Good Institutional Scientific Practice ('Quality Mainstreaming') Good Institutional Scientific Practice (zertifiziert durch Fördergeber?) Institutional Policies QM Open source/data GSP office... Staff Policies Training Novel indicators...

4. Die Gegenargumente Kann Wissenschaftsbetrug nicht verhindern

4. Die Gegenargumente Kann Wissenschaftsbetrug nicht verhindern Fraudulent Science 'Bad' science 'Good' science 'Excellent' science 'Quality of Science' Verhindern nicht, aber vermindern

4. Die Gegenargumente Zuviel Bürokratie Zusätzlicher Aufwand, der kompensiert werden muß. Letztlich aber Kostenersparung durch Vermeidung von fragwürdiger Forschung.

4. Die Gegenargumente Zu teuer Zusätzlicher Aufwand, der kompensiert werden muß. Letztlich aber Kostenersparung durch Vermeidung von fragwürdiger Forschung.

4. Die Gegenargumente Braucht es nicht - 80% Waste bedeutet 20% Qualität (und die fördert die DFG...) no comment...

5. Die nächsten Schritte? Aussitzen durch kosmetische Maßnahmen (weitere Workshops, Guidelines,...) oder Problem an der Wurzel angehen (Curricula; Institutionelle Modelprojekte (kompetitiv); Koppelung an LOM; Entwicklung und Erprobung von Indikatoren, etc.)

Weiterführendes und Material http://dirnagl.com http://bit.ly/mftdirnagl

'Questionable' science 'Good' science 'Fraudulent' Science 'Bad' science 'Excellent' science 'Science'

4. Die Gegenargumente Kann Wissenschaftsbetrug nicht verhindern Zuviel Bürokratie Zu teuer Braucht es nicht - Wissenschaft korrigiert sich selbst

2. Die Ursachen - Conflicts of interest - Falsche Anreize Bias I: Die Währung für akademischen Erfolg 'High Impact Publikation' <=> Drittmittel (Surrogat für Qualität und Werthaltigkeit von Forschung) Bias II: Motivated reasoning ('How am I right') Austin Kleon

Qualitätssicherung in der biomedizinischen Forschung - Ulrich Dirnagl MFT Kiel, 5.6.2014 Qualitätssicherung in der biomedizinischen Forschung Ulrich Dirnagl Die wachsende Diskrepanz zwischen den spektakulären therapeutischen Möglichkeiten der experimentellen Medizin und der Vielzahl der Studien, die bei der Übertragung der Befunde in die klinische Medizin scheitern, hat zu einer auch in der Laienpresse geführte Diskussion um die Ursachen geführt. Ein vorläufiger Höhepunkt wurde in einer Sonderausgabe des Lancet erreicht, welche nun unter dem Stichwort Waste-Debatte mittlerweile auch die Universitäten sowie die Wissenschaftsorganisationen und Forschungsförderer, wie den Wissenschaftsrat, die DFG, und das BMBF erreicht hat. Die ebenfalls im öffentlichen Rampenlicht stehenden spektakulären Fälle von wissenschaftlichem Fehlverhalten (Plagiarismus, Datenmanipulation oder fabrikation) bilden dabei nur die Spitze eines Eisberges, die nicht von der viel wichtigeren Basis, also den Grauzonen der biomedizinischen Forschungs- und Publikationstätigkeit, ablenken dürfen. Akzeptiert man die Existenz eines Qualitätsproblemes in der auch und besonders an Universitäten durchgeführten Forschung, stellt sich die Frage nach den Ursachen, und noch wichtiger, nach den Gegenmaßnahmen. Liegt es nur in der Verantwortung der Wissenschaftler, robustere Evidenz produzieren? Sind es die Universitäten, die bei der Vergabe von Professuren weniger auf Impactfaktoren der Kandidaten, als auf die Qualität der Arbeiten achten sollten? Wenn ja, welche Indikatoren könnten dies ermöglichen? Wie kann man Qualität und Robustheit von Forschung vergleichen, vielleicht sogar messen? Müssen wir bei der Ausbildung des medizinischen und naturwissenschaftlichen Nachwuchses mehr auf Methodenkompetenz achten, und die Supervision verbessern? Brauchen wir neue Standards in der Dokumentation (z.b. elektronisches Laborbuch). Sind es die Förderinstitutionen, welche bereits in ihren Ausschreibungen fundamentale Qualitätsstandards einfordern sollten (apriori Power Analyse, Maßnahmen zur Reduktion von Bias, wie Randomisierung und Verblindung, usw.)? Müssen die Universitäten und Fördergeber stärker darauf drängen (und dann auch Ressourcen dafür bereitstellen), daß Originaldaten zugänglich gemacht werden (open data) und die Veröffentlichungen auch sofort für jedermann zugänglich sind (open access)? Sollten Mittel für die sich dadurch erhöhenden Projektkosten sowie für Replikationen bereitgestellt werden? Wo bleiben all die negativen Datensätze und Studien (präklinisch und klinisch)? Brauchen wir mehr Kontrolle (z.b. peer auditing) oder strukturiertes Qualitätsmanagement auch in der präklinischen Forschung, wie dies in der klinischen Forschung bereits Standard ist? Sind es die Journale bzw. deren Editoren und Reviewer, die die Einhaltung von solchen Qualitätsstandards bei der Entscheidung zur Publikation stärker berücksichtigen sollten, und dagegen weniger das Spektakuläre einer Arbeit in den Vordergrund stellen? Wo sind die Fachgesellschaften? Für einige dieser Fragen gibt es einfache Antworten mit vermutlich breitem Konsens, andere dagegen sind sehr umstritten und bedürfen intensiver Diskussion. Persönlich glaube ich, daß es primär die Wissenschaftler sind, welche die Maßnahmen entwickeln und umsetzen müssen, welche zu einer Erhöhung der Robustheit, Prädiktivität, und klinischen Relevanz ihrer Forschung notwendig sind. Eine Implementation wird aber nur möglich sein durch Koppelung von akademischem Fortkommen, Publikationen, Förderung etc. an die Einhaltung von Qualitätskriterien, sowie eine Modifikation der derzeitigen Leistungsindikatoren. Hierfür, sowie in der Bereitstellung der Rahmenbedingungen (Strukturen und Ressourcen), liegt die Verantwortung bei den medizinischen Fakultäten. Für weiterführendes Material zum Thema, siehe http://dirnagl.wordpress.com