Die minimal klinisch relevante Differenz aus biometrischer Sicht

Transkript

1 Die minimal klinisch relevante Differenz aus biometrischer Sicht Joachim Röhmel (Bremen) Vortrag bei der GMDS 2010 am 6. September in Mannheim Vortrag basiert auf gemeinsamen Überlegungen mit Hermann Kulmann (Bayer Schering Pharma, Berlin) und Friedhelm Leverkus (Pfizer, Berlin) Einige Ursachen der momentan aktuellen Diskussion zur klinischen Relevanz von Ergebnissen klinischer Studien Hochzeit für Meta-Analysen grosse Stichproben schmale Konfidenzintervalle statistische Signifikanz bereits bei kleinen Effekten Cochrane Handbook NICE 6 stufige Evidenzskala Nutzen und Zusatznutzen Bewertungen des IQWiG Cohen s d small effect, medium effect, large effect 1

2 Statistische Signifikanz bei kleinen Effekten Prof. J. Windeler: Relevanz von Effektstärken; GFR Workshop Arzneiverordnung in der Praxis Januar 2010 Prof. em. Dr. med. Frank P. Meyer: Nachfolgend soll diese Meta- Analyse aus industrieunabhängiger Sicht analysiert werden. Bewertet wurden fünf Studien: UKPDS (3), PROactive (4), ADVANCE (5), ACCORD (6) und VADT (7)

3 Kausik K Ray et al Lancet 2009, All cause mortality: wie passt 9.1%(I) vs 8.4%(S) zusammen mit RR(I/S)=1.02 In der Meta-Analyse von Ray et al. wird das random effects model zur Kombination von Ergebnissen aus mehreren Studien verwendet. Die dabei eingehenden Zahlenangaben der Einzelstudien werden dabei mit Gewichten versehen, die sich umgekehrt proportional zu den beobachteten Varianzen verhalten. Das ist eine Standardvorgehensweise bei Meta-Analysen. Nun sind Gewichte nicht ohne weiteres übertragbar, wenn zu einem Modell der Absoluten Risiko Reduktion (ARR) übergegangen wird (FP Meyer). Zudem sind die Gewichte auch nicht aus den Zahlen der Teilnehmer und Ereignisse pro Studie nachträglich ermittelbar, weil die Schätzer und die Varianzen der Studien selbst durch Kovariable und andere Stratifikationsfaktoren beeinflusst sind. 3

4 Cave bei selbstgestrickten MAs Eine MA, bei der studienspezifischen Charakteristika unbeachtet bleiben, allen Studien das gleiche Gewicht (20% bei 5 Studien) gegeben wird die Zahlen der Studienteilnehmer und Events über alle Studien hinweg einfach aufsummiert werden bei der daraus durch Subtraktion ein ARR berechnet wird, kann schwerlich als gutes Beispiel für statistisch signifikante Effekte herhalten, die aber klinisch irrelevant sind, selbst wenn sie aus industrieunabhängiger Sicht stammen. Über die Anfänge der Diskussion zur klinischen Relevanz in D Victor 1987 Heidrich/Trampisch/Röhmel (~ ) Diehm/Trampisch/Lange/Schmidt 1996 Windeler/Conradt 1999 IQWiG (S. Lange, G. Skipka, T. Kaiser) aktuell 4

5 Revised NfG treatment of PAOD, deadline for comments May 2001 Quotations from 8.3 Main therapeutic studies As walking distance is a weak symptomatic endpoint it should be emphasised that it is the lower boundary of the confidence interval for the treatment effect between the verum and the placebo that must be considered for a judgement of clinical relevance. The definition of a clinically unimportant margin, which should not be included in the 95% confidence interval for the difference of group means, may be potentially useful

6 These 1 Es gibt keine universelle Konstante für klinische Relevanz weder bei Erfolgsraten noch bei effect size noch bei klinische Relevanz ist in Abhängigkeit der klinischen Relevanz des Endpunkts zu sehen. Hierarchie von Endpunkten weak symptomatic endpoints (schmerzfreie Gehstrecke) psychometrische Skalen Mortalität 6

7 These 2 Wenn ein MCID* δ in einem klinischen Endpunkt als klinisch relevant angesehen wird, muss es möglich sein, klinische Zulassungs-Studien durchzuführen, bei denen erwartet werden kann, dass der wahre (aber unbekannte) Unterschied zwischen den untersuchten Therapien (z.b. Test versus Plazebo) gerade δ beträgt. * Minimal Clinically Important Difference (on group level) Dies wird ermöglicht durch die Einführung eines Grau Bereichs GrauBereich 7

8 These 3 Anhaltspunkte für die Abschätzung von MCIDs erhält man, wenn man dafür die (geplanten) Effektgrössen klinischer Studien mit konventioneller Fallzahlschätzung zugrunde legt. Andernfalls müsste man der Mehrzahl der in der Vergangenheit geplanten und durchgeführten Zulassungs- Studien nachsagen, dass sie für nicht relevante Effekte geplant waren. Hier kann zwar nicht von einer Validierung, wohl aber von einer impliziten Konsensbildung der klinischen Fachöffentlichkeit ausgegangen werden. These 4 Statistisches Testen gegen Irrelevanzgrenzen beim Nachweis des Zusatznutzens ist nicht für Umsonst zu haben. Statistisches Testen gegen Irrelevanzgrenzen (ins Positive verschobene Hypothesen) muss bereits bei der Planung klinischer Studien berücksichtigt werden. Will man Sponsoren bei der Planung klinischer Studien nicht verleiten, zu optimistische Effektgrößen anzunehmen, so müssen Irrelevanzgrenzen sich auch an der Machbarkeit (Fallzahl) orientieren. 8

9 Zur Wahl von δ i 17 Das vorgeschlagene Verfahren Einzel-Schritte: hypothetische Fallzahlschätzung für zwei Behandlungen: Test und Referenz Zielgröße (prae-post-differenz): X i ~N(µ i,σ 2 ) mit i {T,R}, σ 2 und δ r bekannt, 90% power Stichprobenumfänge: n T = n R = n Setze δ i gleich der Untergrenze des (hypothetischen) zweiseitigen 95%-Konfidenzintervalls für µ T µ R. Ersetze dabei die Mittelwertsdifferenz XT X R durch δ r 18 δ i = δ r u σ 2 n 2 9

10 Berücksichtigt man noch, dass die Fallzahl aus Formeln ermittelt wird, dann ergibt sich δ i = u 1 α u 2 1 β + u 1 β δ r α = 5%, β = 10% δ δ i 0. 4 r 19 Unpraktikable Fallzahlen Zweiseitiger Test mit α = 0.05 und 1 β = 0.9 an der Stelle δ r n "vorgeschlagen" n gegenwärtig = δ r δr δ i 2 =

11 gemeinsame Verteilung der unteren 95% CI Grenze (eines zweiseitigen CI) und des Mittelwert Unterschiedes bei nr =nt=86, einem wahren Unterschied delta=0.5 und Streuung s=1 beobachtete untere 95% CI Grenze Beobachteter Mittelwertsunterschied Konsequenzen des vorgeschlagenen Verfahrens auf die Power Angenommen der wahre Effekt ist δ r = 0.5 und δ i =0.2 Wenn beta (konventionell) = 0.10, 0.05, und Dann beträgt die power 50%, 60%, und 90% 11

12 percentile cumulative distribution functions of the lower bound of the 95% CI when the true effect size = 0.5 and the power (in the classical sense) equals 1-beta beta=0.20, n=64 beta=0.10, n=86 beta=0.05, n=106 beta=0.01, n=149 beta=0.0003, n= observed value of the lower bound of the 95% CI These 5 Der Punktschätzer und das Konfidenzintervall für die Differenz der Mittelwerte bilden die Basis für die Beurteilung der klinischen Relevanz M Kieser, D Hauschke. Assessment of clinical relevance by considering point estimates and associated confidence intervals. Pharmaceutical Statistics 4, 2005,

13 13

14 Eine Eigenschaft der vorgeschlagenen Irrelevanzgrenzen Tatsächlich sind die im vorgeschlagenen Verfahren aus δ r errechenbaren Grenzen δ i geeignet, mit angemessener Power abzusichern, dass die beobachtete Mittelwertsdifferenz sicher über der Irrelevanzgrenze liegt, wenn der wahre Effekt gleich der Relevanzgrenze angenommen wird, und eine traditionelle Fallzahlschätzung vorgenommen wird. These 6 Wenn das Konfidenzintervall für die Differenz der Mittelwerte vollständig unterhalb des im Studienprotokoll geplanten Effekts liegt, so muss der Effekt als klinisch nicht relevant bezeichnet werden, auch wenn er statistisch signifikant sein sollte. Die Planung bekommt eine bedeutendere Rolle, so dass keine zu optimistischen Schätzungen gemacht werden, bei denen hinterher eine Menge Verrenkungen gemacht werden, um einen Misserfolg noch in einen Erfolg umzumünzen. 14

15 These 7 Zur Beurteilung klinischer Relevanz aus Meta-Analysen* sind wichtige weitere Gegebenheiten zu berücksichtigen, z.b. Heterogenität der Populationen, der verwendeten Zielvariablen Ähnlichkeit und Unähnlichkeit von Skalen effect size, Responder Definitionen der Schätzer aus Zielvariablen Qualität der Studien Vermischung teriärer, sekundärer und primärer Zielvariablen group level data, patient level data * Workshop der AG Pharmazeutische Forschung in der Biometrischen Gesellschaft, Frankfurt, 12. November 2010 Zusammenfassung Verschiedene Thesen sind vorgeschlagen, um Wege zur Einführung von ins Positive verschobene Hypothesen zu ermöglichen. klinische Relevanz ist in Abhängigkeit der klinischen Relevanz des Endpunkts zu sehen. klinische Studien zu erwarteten klinisch relevanten Effekten müssen weiterhin möglich sein. Für viele Endpunkte gibt es einen impliziten Konsens über klinisch relevante Effekte. eine Balance zwischen Irrelevanzgrenzen und Machbarkeit ist anzustreben. Konfidenzintervall und Punktschätzer ergeben erst das vollständige Bild. Signifikante Abweichungen zwischen Planung und Ergebnis sind immer ein Anlass zur Sorge. 15