Studiendesign und Statistik: Interpretation publizierter klinischer Daten

Transkript

1 Studiendesign und Statistik: Interpretation publizierter klinischer Daten Dr. Antje Jahn Institut für Medizinische Biometrie, Epidemiologie und Informatik Universitätsmedizin Mainz Hämatologie im Wandel, 28/02/2015 Dr. Antje Jahn, Studiendesign und Statistik 1

2 Topics Statistische Signifikanz Multiples Testen und Zwischenauswertungen (Cox-)Regressionen und Hazard Ratio Konfidenzintervalle Auswertungspopulationen Dr. Antje Jahn, Studiendesign und Statistik 2

3 Beispiel Dr. Antje Jahn, Studiendesign und Statistik 3

4 Beispiel % survival therapy A therapy B years Dr. Antje Jahn, Studiendesign und Statistik 4

5 Beispiel % survival logrank p = therapy A therapy B years Dr. Antje Jahn, Studiendesign und Statistik 5

6 Statistische Signifikanz Deskriptive Statistik (Beschreibung der Stichprobe) Zielpopulation - z.b. Patienten mit einer bestimmten Erkrankung Stichprobe - Studienpatienten Konfirmatorische Statistik (Risiko für fehlerhafte Rückschlüsse) Dr. Antje Jahn, Studiendesign und Statistik 6

7 Statistische Signifikanz p-wert: Die Wahrscheinlichkeit, dass ein Gruppenunterschied von mind. der Größe wie in der Studie beobachtet rein aus Zufall, d.h. ohne Therapieeffekt, auftritt Kleine p-werte sprechen eher für einen Therapieeffekt Dr. Antje Jahn, Studiendesign und Statistik 7

8 Statistische Signifikanz Gesamtpopulation - kein Therapieeffekt (H 0 ) z.b. gleiche Überlebensraten unter Therapie A und B Stichprobe (Studienpat.) - 5% Risiko dass p 5% Dr. Antje Jahn, Studiendesign und Statistik 8

9 Statistische Signifikanz Gesamtpopulation - kein Therapieeffekt (H 0 ) z.b. gleiche Überlebensraten unter Therapie A und B Stichprobe (Studienpat.) - 5% Risiko dass p 5% 5% Risiko für falschen Schluss (type I error) Dr. Antje Jahn, Studiendesign und Statistik 9

10 Statistische Signifikanz Das Signifikanzniveau α ist das maximal tolerable Risiko für einen Fehler 1. Art und wird zu Studienbeginn festgelegt. Ein statistischer Test liefert ein Entscheidungskriterium, welches dies sicherstellt. ICH-E9: Conventionally the probability of type I error is set at 5% or less... Dr. Antje Jahn, Studiendesign und Statistik 10

11 Statistische Signifikanz Nicht-Signifikanz (p>a) Äquivalenznachweis CAVE Signifikanz (p α) klinische Relevanz Dr. Antje Jahn, Studiendesign und Statistik 11

12 Signifikanz Klinische Relevanz Je größer die Fallzahl, desto kleiner der p-wert Variable Therapie A Therapie B p-wert Patienten mit Progression (Studie 1) 20/50 (40% ) 30/50 (60% ) Patienten mit Progression (Studie 2) 10/25 (40% ) 15/25 (60% ) Ein p-wert liefert nur eine Aussage über die statistische Signifikanz eines Ergebnisses und keine Aussage über die klinische Relevanz Dr. Antje Jahn, Studiendesign und Statistik 12

13 Statistische Tests Statistische Tests berechnen ein Entscheidungskriterium (p-wert), ob ein Therapieeffekt als nachgewiesen betrachtet werden kann - so dass der Fehler 1. Art kontrolliert wird Es gibt verschiedene statistische Tests, d.h. Methoden einen p-wert zu berechnen Welcher Test geeignet ist, hängt vom Studiendesign, der Fragestellung, der Datenstruktur und der Null- und Alternativhypothese ab. Dr. Antje Jahn, Studiendesign und Statistik 13

14 Multiples Testen Dr. Antje Jahn, Studiendesign und Statistik 14

15 Multiples Testen Müsli macht Männer (Süddeutsche, 2008) Mehr Söhne durch Müsli? (Stern, 2008) Schlemmen steigert Chance auf Jungen (Spiegel, 2008) Dr. Antje Jahn, Studiendesign und Statistik 15

16 Multiples Testen Problem of multiple Testing Many analyses Many results Presentation of results: Overinterpretation Dr. Antje Jahn, Studiendesign und Statistik 16

17 Multiples Testen In jeder Studie sind viele Endpunkte von Interesse. Wie kann das Risiko eines Fehlers 1.Art dennoch kontrolliert werden? Auswahl eines Primärziels, z.b. Überlebensraten α-adjustierung: Anpassung des Signifikanzniveaus für jeden einzelnen Test, so dass insgesamt das Fehlerrisiko 5% Dr. Antje Jahn, Studiendesign und Statistik 17

18 Multiples Testen 5-Jahres-Studie zum Vergleich der Überlebensraten zweier Therapien A und B mit Zwischenauswertung nach 2.5 Jahren Interim Final α-adjustierung erforderlich! Studienprotokoll:... the significance level for the final analysis was set at 4.8% after adjustment by the O Brien and Fleming method. Dr. Antje Jahn, Studiendesign und Statistik 18

19 Multiples Testen ICH-E9: Conventionally the probability of type I error is set at 5% or less as dictated by any adjustments made necessary for multiplicity considerations Dr. Antje Jahn, Studiendesign und Statistik 19

20 Regressionsanalysen Dr. Antje Jahn, Studiendesign und Statistik 20

21 Hazard Ratio Regressionsanalyse bei Ereigniszeitdaten: Cox-Regression Berücksichtigung von Zensierungen Schätzer für den Therapieeffekt: Hazard Ratio relative Veränderung im hazard ( unmittelbares Ereignisrisiko eines bisher ereignisfreien Patienten) unter Therapie A im Vergleich zu Therapie B > 1, erhöhtes Risiko unter Therapie A Hazard Ratio = 1, gleiches Risiko < 1, reduziertes Risiko unter Therapie A Dr. Antje Jahn, Studiendesign und Statistik 21

22 Schätzer und Konfidenzintervalle Der HR wird aus einer Stichprobe der Gesamtpopulation geschätzt und kann daher vom wahren HR abweichen Dr. Antje Jahn, Studiendesign und Statistik 22

23 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive years Studie HR Dr. Antje Jahn, Studiendesign und Statistik 23

24 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive Studie years HR Dr. Antje Jahn, Studiendesign und Statistik 24

25 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive Studie years HR Dr. Antje Jahn, Studiendesign und Statistik 25

26 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive Studie years HR Dr. Antje Jahn, Studiendesign und Statistik 26

27 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive Studie years HR Dr. Antje Jahn, Studiendesign und Statistik 27

28 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive years Studie HR Dr. Antje Jahn, Studiendesign und Statistik 28

29 Schätzer und Konfidenzintervalle Kaplan Meier plot % alive Studie years HR Dr. Antje Jahn, Studiendesign und Statistik 29

30 Schätzer und Konfidenzintervalle Konfidenzintervall (CI) Man legt das Konfidenzniveau 1 α fest, i.d.r. 1 α = 95% Das 95%-CI für einen Parameter ist ein Interval um den Schätzer aus der Stichprobe, der in 95% der Fälle den wahren Parameter enthält. Man nimmt an, dass der wahre Parameter im CI liegt, da man damit in 95% aller Fälle richtig liegt. Dr. Antje Jahn, Studiendesign und Statistik 30

31 Meta-Analysen - Forest Plot Study Hazard Ratio HR 95% CI Bauss et al_2008 Sgan Cohen et al_2008 Brin et al_2000 Kania et al_1996 Burden_1995 Forsberg &Tedestam_1993 Järvinen_1978 Sgan Cohen_2005 Borzabadi Farahani et al_2010 Hunter et al_1990 Stokes et al_1995 Petti and Tarsitani_1996 Lewis_1959 Otuyemi_1994 Holland et al_1988 Garcia Godoy et al_1982 >6 Jahre Garcia Godoy et al_1982 < 6 Jahre Roder und Arend 2.22 [1.36; 3.64] 2.57 [1.78; 3.72] 1.64 [1.24; 2.17] 2.39 [1.75; 3.27] 1.98 [1.39; 2.82] 2.73 [1.37; 5.43] 1.42 [0.95; 2.14] 0.80 [0.32; 2.02] 2.57 [1.82; 3.64] 2.53 [1.44; 4.44] 4.48 [2.96; 6.77] 1.55 [1.27; 1.88] 2.91 [1.85; 4.59] 1.41 [0.59; 3.39] 1.62 [1.24; 2.11] Dr. Antje Jahn, Studiendesign und Statistik 31

32 Auswertungspopulationen Dr. Antje Jahn, Studiendesign und Statistik 32

33 Auswertungspopulationen In einer randomisierten Studie bei Männern nach Herzinfarkt zum Vergleich eines Beta-Blockers mit Placebo waren in beiden Gruppen ca. 32% der Patienten non-compliant. Sollte man diese Patienten von der Auswertung ausschließen? Dr. Antje Jahn, Studiendesign und Statistik 33

34 Auswertungspopulationen Intention to Treat (ITT) Population: Alle randomisierten/eingeschlossenen Patienten Primärpopulation in Überlegenheitsstudien Per-Protocol Population: Alle Patienten ohne schwerwiegende Protokollverstö se Primärpopulation in Äquivalenzstudien Safety-Evaluable Population: Alle Patienten, die mindestens einmal Therapie erhielten Primärpopulation für Sicherheitsparameter Dr. Antje Jahn, Studiendesign und Statistik 34

35 Take Home Message No clever analysis can rescue a poorly conducted trial The greatest challenge is in the interpretation of results DeMets D.L.: Statistical issues in interpreting clinical trials. Journal of Internal Medicine, 2004; 255: Dr. Antje Jahn, Studiendesign und Statistik 35