Notwendigkeit wissenschaftlicher Belege

Transkript

1 Notwendigkeit wissenschaftlicher Belege Prof. Dr. med. Jürgen Windeler Medizinischer Dienst des Spitzenverbandes Bund der Krankenkassen (MDS) Köln,

2 kurze Antwort Ja! 2

3 kurze Antwort Ja! Ja? 3

4 zur Einordnung Notwendigkeit ergibt sich aus der Zielsetzung / Aussicht, Unsicherheit zu vermindern, um Entscheidungen zu verbessern 4

5 zur Einordnung Notwendigkeit ergibt sich aus der Zielsetzung / Aussicht, Unsicherheit zu vermindern, um Entscheidungen zu verbessern ausgehend vom derzeitigen Kenntnisstand 5

6 zur Einordnung Notwendigkeit ergibt sich aus der Zielsetzung / Aussicht, Unsicherheit zu vermindern, um Entscheidungen zu verbessern ausgehend vom derzeitigen Kenntnisstand im Sinne eines Zusatznutzens 6

7 Aufschlag PLoS Medicine 2 (2007) e124 7

8 Aufschlag PLoS Medicine 2 (2007) e124 8

9 Aufschlag Wir wenden jetzt das über Signifikanz und Prävalenz Gelernte auf Forschungsergebnisse an... Wenn wir wissen wollen, mit welcher Wahrscheinlichkeit ein Studienergebnis wahr ist, dann benötigen wir Angaben zur Zuverlässigkeit der Studie und die Prävalenz (S. 208) 9

10 Diagnostischer Test Test ist positiv (pathologisch) Test ist negativ Patient ist krank Richtig-positiv Falsch-negativ Patient ist nicht krank Falsch-positiv Richtig-negativ 10

11 Statistischer Test Test ist positiv (signifikant) Test ist negativ (Alternativ)Hypothese ist wahr Richtig-positiv Falsch-negativ (Alternativ)Hypothese ist nicht wahr Falsch-positiv Richtig-negativ 11

12 Rev. Thomas Bayes 12

13 Die Weltformel des Reverend Bayes NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW )(1 Spez) 13

14 Die Weltformel des Reverend Bayes NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW )(1 Spez) WStEiw= WAHiw WAHiw (1 β ) (1 β ) + (1 WAHiw) α 14

15 Die Weltformel des Reverend Bayes NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW )(1 Spez) WStEiw= WAHiw WAHiw (1 β ) (1 β ) + (1 WAHiw) α 15

16 Die Weltformel? NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW ) x (1 Spez) WAHiw x (1 β ) WStEiw= WAHiw x (1 β ) + (1 WAHiw) α 16

17 Die Weltformel? NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW ) x (1 Spez) WAHiw x (1 β ) WStEiw= WAHiw x (1 β ) + (1 WAHiw) α 17

18 Die Weltformel? NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW ) x (1 Spez) WAHiw x (1 β ) WStEiw= WAHiw x (1 β ) + (1 WAHiw) α 18

19 Die Weltformel? NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW ) x (1 Spez) WAHiw x (1 β ) WStEiw= WAHiw x (1 β ) + (1 WAHiw) α 19

20 Die Weltformel? NachTestW VorTestW x Sens = VorTestW x Sens + ( 1 VorTestW ) x (1 Spez) WAHiw x (1 β ) WStEiw= WAHiw x (1 β ) + (1 WAHiw) α Windeler et al. Dtsch. Ärztebl. 101, 2004, A

21 No(n)sense Ein Titel: oder eine Aussage wie: Wenn wir wissen wollen, mit welcher Wahrscheinlichkeit ein Studienergebnis wahr ist, dann benötigen wir Angaben zur Zuverlässigkeit der Studie und die Prävalenz sind methodisch sinnfrei (frequentistisch gesehen), da die erstgenannte W keit nicht existiert unterschiedliche, inkompatible W keitsbegriffe verwendet werden diese nicht formal kombinierbar sind Die Idee ist aber trotzdem sehr attraktiv, weil sie unserem Denken entspricht. 21

22 Paul Knipschild BMJ 297, 1988, 1578 These results were close to chance validity 22

23 Paul Knipschild BMJ 299, 1989, 491 Bitte an Autoren, den Grad ihrer Überzeugung ( belief ) zu der Aussage for certain diseases iridology is a useful diagnostic aid auf einer VAS (0-100%) anzugeben Nach Antwort Zusendung der Studie und erneute Frage 23

24 Paul Knipschild 24

25 Paul Knipschild 25

26 Paul Knipschild 26

27 Paul Knipschild 27

28 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 28

29 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 29

30 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 30

31 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 31

32 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 32

33 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 33

34 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung dagegen unentschieden dafür Grad der Überzeugung 34

35 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung sehr klein mittel sehr groß Größe des Effekts (auch Varianz / Vorhersagbarkeit) 35

36 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung sehr klein mittel sehr groß Größe des Effekts (auch Varianz / Vorhersagbarkeit) 36

37 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung However, proof requires several.. megatrials with millions of participants... A benefit of screening cannot be shown in a realistic experiment. sehr klein mittel sehr groß The question of whether early detection of prostate cancer by screening is beneficial cannot be answered Größe by means des Effekts of a trial. (auch Varianz / Vorhersagbarkeit) Dubben, Lancet Oncology

38 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung sehr klein mittel sehr groß Erklärbarkeit / Theoriestützung 38

39 Notwendigkeit Zusatznutzen Einfluss auf Überzeugung, Einstellung, Entscheidung Homoeopathy trials: going nowhere.. when there is no convincing theory underlying a trial, sehr theklein results will remain mittel sehr groß uninterpretable Vandenbroucke, Lancet 1997 Erklärbarkeit / Theoriestützung 39

40 ... Murus Berlinensis 40

41 41

42 Wissenschaftliche Belege sind notwendig, wenn ihre Ergebnisse Unsicherheit vermindern und eine bessere Entscheidungsgrundlage liefern können Es gibt Situationen, in denen diese Unsicherheit nicht besteht oder von Studienergebnissen keine relevante Änderung der Sachlage zu erwarten ist. In solchen Situationen sind weitere empirische Belege nicht notwendig und Ressourcen zugunsten anderer Fragen zu verteilen. Was wir gar nicht brauchen, sind viele schlechte Studien. 42

43 Literatur JPA Ioannidis, PLoS Medicine 22 (2007) e124 T Bayes Proc Trans Roy Soc 53 (1763) S Wacholder et al., JNCI 96 (2004) JL Pater & AR Willan, Stat. Med. 5 (1984) P Knipschild, Brit Med J 299 (1989) HH Dubben, Lancet Oncol. 10 (2009) JP Vandenbroucke, Lancet 350 (1997)