Numbers in the Newsroom: Zahlen, bitte! Und die Rechnung prüfen.

Transkript

1 Institut für Allgemeinmedizin Numbers in the Newsroom: Zahlen, bitte! Und die Rechnung prüfen. Hans Hermann Dubben Universität Hamburg Institut für Allgemeinmedizin Wissenswerte Bremer Forum für Wissenschaftsjournalismus

2 1. Wie groß ist der Effekt? Wie groß sind die Vorluste? 2. Eine kurze Geschichte der statistischen Signifikanz (p-wert, Mehrfachtesten, publication bias) 3. Fehl-Interpretation von Signifikanztests ( Irrtumswahrscheinlichkeit / Bayes sches Theorem) 4. Voreiliges Schließen auf Ursache-Wirkung-Beziehung 5. Mehrfachtesten die zweite

3 ERSPC-Studie / Prostatakarzinom-Screening Teilnehmer, PCa-Mortalität um 21% reduziert, p < 0,001 Erwartet Screening = 0,0052 x = 377 PCa-Tote Beobachtet Screening = 299 PCa-Tote Differenz = 78 PCa-Todesfälle Schröder NEJM 2009, 2012 (ERSPC-Studie); Dubben Lancet Onc 2009, BGB 2014

4 Nachträglicher Ausschluss in *ERSPC-Studie Subjects yr old underwent randomization (Differenz im Ergebnis: 78 Männer) Ca Portugiesen wurden ausgeschlossen ( were unable to provide the necessary data ) Ca weitere Teilnehmer nicht ausgewertet (Einschränkung der Altersgruppe auf Jahre) *ERSPC: European Randomized Study of Screening for Prostate Cancer (De Koning 2002; Schröder et al. 2009)

5 Kontroll gruppe Screeninggruppe Screeningstudien und deren Verluste an Teilnehmern Relative Risikoreduktion p Wert Differenz (Personen) Prostata Schröder 2009, % 0, Aus.: Andriole % 0,35 10 k.a. Sandblom % n.s. 4 0 Hugosson % 0, Aus.: 96 Labrie Mamma Götzsche & Nielsen % # 8% ## % n.s 1 k.a. Nachträglich ausgeschlossene Teilnehmer bzw. Inkonsistenz Aus.: Ink.: Canada 1980a % n.s. 3 Aus.: 59 Canada 1980b % n.s. 2 Aus.: 54 Malmö % n.s. 21 Aus.: UK age trial % n.s. 32 Aus.: Göteborg (13y) % 0,03 34 Aus.: Kopparberg (13y) % 0, Ink.: New York trial % 0, Aus.: Östergötland % 0, Ink.: Stockholm % 0, Ink.: unklar Colon Atkin % 0, Aus.: Ink.: Hoff % 0,16 14 TAMIFLU; Kaiser % 0, Aus.: Aus.: 1400 (Publication bias)

6 Umgang mit verloren gegangenen Studienteilnehmern Sehr wenige Patienten können auch in großen Studien entscheidend für die Ergebnisinterpretation sein (Beispiele: KFE-Studien; Tamiflu) Lösungsansatz (Vorbild Finanzamt): Großes Mißtrauen (es geht z.t. um viel Geld) Beweislast beim Steuerzahler Möglichkeit akribischer Datenkontrolle nach Zufallsauswahl (Steueraussenprüfung)

7 1. Wie groß ist der Effekt? Wie groß sind die Vorluste? 2. Eine kurze Geschichte der statistischen Signifikanz (p-wert, Mehrfachtesten, publication bias) 3. Fehl-Interpretation von Signifikanztests ( Irrtumswahrscheinlichkeit / Bayes sches Theorem) 4. Voreiliges Schließen auf Ursache-Wirkung-Beziehung 5. Mehrfachtesten die zweite

8 Statistische Signifikanz Erst geschossen, dann die Zielscheibe gezeichnet. Erst die Zielscheibe gemalt, dann geschossen... und nicht alles publiziert. p Zielfläche Gesamtfläche 2 1cm 10000cm 2 0,0001 Von vielen Tests nur einen berichten. Messwerte zurückhalten. Ganze Studien zurückhalten (publication bias).

9 1. Wie groß ist der Effekt? Wie groß sind die Vorluste? 2. Eine kurze Geschichte der statistischen Signifikanz (p-wert, Mehrfachtesten, publication bias) 3. Fehl-Interpretation von Signifikanztests ( Irrtumswahrscheinlichkeit / Bayes sches Theorem) 4. Voreiliges Schließen auf Ursache-Wirkung-Beziehung 5. Mehrfachtesten die zweite

10 Fehl-Interpretation von Signifikanztests: Irrtumswahrscheinlichkeit Wenn Therapie A = Therapie B dann P(Unterschied im Ergebnis) 5% Wenn Unterschied im Ergebnis dann P(Therapie A =Therapie B ) 5% P(Therapie A Therapie B) 95% Überschätzung der Reproduzierbarkeit Wenn Mensch dann P(Mann) = 50% Wenn Mann dann P(Mensch) = 50% Lösungansatz: Bayes sches Theorem Bayes 1764, Beck-Bornholdt & Dubben Nature 1996, Smith & Sterne BMJ 2001, Rowohlt 2003; Wacholder JNCI 2004; Ioannidis PLoS Med 2005;

11 1. Wie groß ist der Effekt? Wie groß sind die Vorluste? 2. Eine kurze Geschichte der statistischen Signifikanz (p-wert, Mehrfachtesten, publication bias) 3. Fehl-Interpretation von Signifikanztests ( Irrtumswahrscheinlichkeit / Bayes sches Theorem) 4. Voreiliges Schließen auf Ursache-Wirkung-Beziehung 5. Mehrfachtesten die zweite

12 Voreiliges Schließen auf Ursache-Wirkung-Beziehung Kleiner p-wert heißt: Es fällt schwer, das Ergebnis mit Zufall zu erklären Therapie A ist besser als B oder: 235 systematische Fehler in der quantitativen medizinischen Forschung (Chavalarias & Ioannidis 2010) Bradford-Hill-Kriterien (Bradford-Hill 1965)

13 Bradford-Hill-Kriterien Strength (Effect size) Mortality from scrotal cancer in chimney sweeps, RR 200 Mortality from lung cancer in smokers, RR Consistency Replicated by different persons, in different places, circumstances and times. And various methods. Specificity Association is limited to specific workers, particular sites, types of disease, Temporality First cause then effect First CO 2, then warming? Biological Gradient Dose-Effect-Relation (Smoking) Plausibility Hilfreich, wenn eine Ursache-Wirkungsbeziehung biologisch plausibel ist Aber: Plausibilität hängt vom Wissensstand ab. Neues nicht zu unrecht ablehnen, weil Plausibilität fehlt Coherence Histopathologie des Bronchialepithels von Rauchern, Karzinogene im Rauch, Experiment Entfernen der mutmaßlichen Ursache. Ändert es die Wirkung? (Rauchen, s.a. Marshall & Warren) Analogy Kann das sein? Bei Kenntnis der Wirkung von Thalidomid oder Rubella, fällt es leichter, ähnliches für andere Medikamente oder Viren zu akzeptieren (Bradford-Hill 1965)

14 1. Wie groß ist der Effekt? Wie groß sind die Vorluste? 2. Eine kurze Geschichte der statistischen Signifikanz (p-wert, Mehrfachtesten, publication bias) 3. Fehl-Interpretation von Signifikanztests ( Irrtumswahrscheinlichkeit / Bayes sches Theorem) 4. Voreiliges Schließen auf Ursache-Wirkung-Beziehung 5. Mehrfachtesten die zweite

15 Die Wahrscheinlichkeit eine 20 zu werfen, beträgt 1/20 = 0,05 = 5 Prozent.

16 Fehl-Interpretation von Signifikanztests: Multiples Testen Endpunkte variieren Subgruppen-Analysen Selective reporting Isolierte Forschung Lösungsansatz : - Lückenlose Registrierung von Studien - Publikationspflicht - Erst Systematischer Review, dann Experiment

17 Isolierte Forschung 20 Wissenschaftler haben auf einem Kongress diesselbe Idee, die jeder zuhause in einem Experiment weiterverfolgt. Einer (5%) hat ein statistisch signifikantes Ergebnis und publiziert es Wissenschaftler vergeben je eine 1-Experiment-Doktorarbeit 50 Arbeiten mit p< Arbeiten mit p<0.01 und eine Arbeit mit p< begeisterte Betreuer Studienregister Systematische Reviews das Gesamtbild 30 lassen sofort publizieren 20 bestehen auf Wiederholung des Experimentes 1 Experiment wird erfolgreich wiederholt 32 mal Evidenz für einen nicht-existierenden Effekt Nach Amos, Nature 1996

18 Institut für Allgemeinmedizin Numbers in the Newsroom: Zahlen, bitte! Und die Rechnung prüfen. Hans Hermann Dubben Universität Hamburg Institut für Allgemeinmedizin Wissenswerte Bremer Forum für Wissenschaftsjournalismus