Adaptive Studiendesigns in Aktion. Möglichkeiten und Limitationen

Transkript

1 Adaptive Studiendesigns in Aktion Möglichkeiten und Limitationen Meinhard Kieser Institut für Medizinische Biometrie und Informatik Universität Heidelberg 1

2 Inhalt Einleitung Fallzahlplanung bei Unsicherheit bzgl. der Streuung: Design mit interner Pilotstudie Noch mehr Unsicherheit: adaptiv-gruppensequentielle Designs Zusammenfassung

3 Einleitung Aus dem richtigen Leben: Man plant eine Reise 3

4 Einleitung () steuert das Ziel an 4

5 Einleitung (3) und ist froh, wenn man auf Unvorhergesehenes reagieren kann: 5

6 Einleitung (4) Aus dem Studienleben : Man plant die Studie nach bestem Wissen bringt sie auf den Weg und ist froh, wenn man auf Unvorhergesehenes reagieren kann adaptive Studiendesigns 6

7 Beispiel Klinische Studie zum Nachweis der Wirksamkeit eines Antidepressivums leichte bis mittelschwere Depression Placebo-Kontrolle ethisch vertretbar Behandlungsdauer: 6 Wochen Zielgröße: Abnahme des Gesamtscores der Hamilton Depression Rating Scale (HAM-D) unter Therapie 7

8 Hamilton Depression Rating Scale (HAM-D) Gesamtscore: Summe aus 17 Einzelitems (Bewertung jeweils 0 bis 4) 8

9 Bestimmung der notwendigen Fallzahl Fallzahl zu groß ethisch nicht vertretbar Verschwendung von Ressourcen (Zeit und Geld) Fallzahl zu klein Fragestellung kann nicht mit hinreichender Chance beantwortet werden ethisch nicht vertretbar Verschwendung von Ressourcen (Zeit und Geld) 9

10 Bestimmung der notwendigen Fallzahl () Ingredienzen der Fallzahlplanung - Signifikanzniveau: α =.5% (einseitig) oder 5% (zweiseitig) - Power: 1 β = 80% oder 90% - erwarteter (klin. relevanter) Unterschied: Δ - Streuung der Zielgröße: σ? 10

11 Beispiel: Indikation Depression Zielgröße: HAM-D Abnahme unter Therapie Montgomery (1994): a difference of 4 points represents an effect that can be accepted as unequivocally clinically relevant. Fallzahlberechnung α =.5% (einseitig), 1 β = 80%, Δ = 4 N = σ Streuung: - Cochrane-Review von Depressions-Studien (Linde et al., 005) - beobachtete Varianz σ für HAM-D Abnahme: 0 bis 196 N = 40 bis 39! 11

12 Design mit interner Pilotstudie (IPS) (Wittes & Brittain, 1990) vorläufige Fallzahlberechnung n 0 = σˆ 0 optionale Fallzahlanpassung - nach Rekrutierung von n = 0.5 Patienten 1 n 0 - erneute Schätzung von σ ˆσ 1 - finale Fallzahlberechnung Nˆ = ˆ 1 σ - Rekrutierung der zusätzlichen n = Nˆ Patienten n 1 Auswertung mit allen n 1 + n Patienten 1

13 Design mit interner Pilotstudie ein Beispiel vorläufige Fallzahlberechnung optionale Fallzahlanpassung 0 = σˆ 0 - nach Rekrutierung von n = 0.5 Patienten n 1 n 0 σˆ 0 = 36 n 0 = 36 = n 1 = erneute Schätzung von σ ˆσ 1 σˆ 1 = 64 - finale Fallzahlberechnung Nˆ = ˆ 1 σ Nˆ = 18 - Rekrutierung der zusätzlichen n = Nˆ Patienten n 1 n = 9 Auswertung mit allen n 1 + n Patienten Nˆ = n1 + n = 18 Power für 18 Patienten: 80% Power für 7 Patienten: 56%! 13

14 IPS-Design und Guidelines ICH-Guideline E9 (1999), ch. 4.4 Sample Size Adjustment : The steps taken to preserve blindness and the consequences, if any, for the type I error [...] should be explained. Anforderungen - Beibehaltung der Verblindung für Studienbeteiligte sonst Gefahr von Verzerrung ( Bias ) - Angabe des tatsächlichen Fehlers 1. Art der Prozedur Kontrolle von α nur bei festem n garantiert 14

15 Verblindete Varianzschätzung P A gepoolt (P+A) 15

16 IPS mit verblindeter Varianzschätzung Varianzschätzung bei Ignorierung der Gruppenzugehörigkeit σˆ 1 n 1 1 = (x1i x1) n1 1 i= 1 Verblindung bleibt erhalten extrem leichte Durchführbarkeit (insbes. kein IDMC notwendig) tatsächlicher Fehler 1. Art (Kieser & Friede, 003): - exakte Berechnung: α act ( α,n 1,N) = {t t } φ(z 1 ) χ n crit 1 (v 1 ) φ(z ) χ n (v )dz 1 dv 1 dz dv 16

17 IPS mit verblindeter Varianzschätzung () tatsächlicher Fehler 1. Art für α =.5% keine Überschreitung des Signifikanziveaus α! 17

18 IPS mit verblindeter Varianzschätzung (3) Power im Design mit interner Pilotstudie α =.5%,1 β = 80%, Δ = 4; keine Annahme über σ σ (tatsächl.) N n 1 Power E(Nˆ ) % 8.6% 79.8% 80.9% 79.% 79.7% 80.%

19 Andere Studiendesigns - gleiches Problem mehr als Gruppen: Kieser & Friede (000) Äquivalenz-Studien: Friede & Kieser (001) Nicht-Unterlegenheits-Studien: Friede & Kieser (003) binärer Endpunkt: Friede & Kieser (004) Studien mit langem Follow-up: Wüst & Kieser (005) multizentrische Studien: Kieser & Jensen (007) 19

20 Design mit interner Pilotstudie - Fazit extrem leichte Durchführbarkeit - kein unabhängiges Daten-Monitoring-Kommittee - keine Unterbrechung der Rekrutierung - kein zusätzliches Datencleaning Studien-Integrität bleibt vollständig erhalten - kein Bias - keine Überschreitung des Signifikanzniveaus (Gratis-!) Schutz vor erheblichen Risiken Limitation: gewünschte Power wird erzielt für Δ act =Δ Was passiert, wenn tatsächl. Unterschied Δ act > Δ oder Δ act < Δ? 0

21 Adaptiv-gruppensequentielle Designs Ermöglichen vorzeitigen Studien-Stop (evtl. erwünscht wenn Δ act < Δ oder Δ act > Δ) Daten-abhängige Design-Modifikationen - Fallzahladjustierung - Selektion von Dosis-Gruppen - Hinzunahme (bzw. Weglassen) von Zwischenauswertungen - Wahl der Teststatistik - Modifikation/Selektion der Zielgröße(n) - unter Einhaltung des Signifikanzniveaus α! 1

22 Adaptiv-gruppensequentielle Designs () Prinzip (für -Stufen-Design nach Bauer & Köhne, 1994): n 1 Patienten n Patienten (disjunkt zu 1. Studienteil!) 1. Studienteil p-wert p 1. Studienteil p-wert p Zwischenauswertung: Endauswertung: STOP, wenn p 1 < α 1 oder p 1 > α 0 WEITER (mit evtl. Design-Modifikation), wenn α1 p1 α0 Lehne H 0 ab, wenn p1 p Behalte H 0 bei, wenn p1 p c α > c α

23 Beispiel Klinische Studie zum Nachweis der Nicht-Unterlegenheit von Hypericum-Extrakt WS 5570 zu Paroxetin (Szegedi et al., 005) schwere Depression Placebo-Kontrolle ethisch nicht vertretbar Behandlungsdauer: 6 Wochen Zielgröße: Abnahme des HAM-D Gesamtscores unter Therapie Besonderheit: erste Studie mit Hypericum-Extrakt WS 5570 bei Patienten mit diesem Schweregrad: Δ act? 3

24 Beispiel () Adaptives -Stufen-Design mit den Optionen - STOP wegen Erreichen (oder Unerreichbarkeit ) des Studienziels - WEITER mit re-kalkulierter Fallzahl Design-Charakteristika - Nicht-Unterlegenheits-Schranke: δ =. 5 - =.05 (c = ); α = 0.010; α α 0 α 1 0 = - n 1 = x50 = = - Überlegung: 1 β = 0.80 für p 0.0 bei Δ = 0, σ 36 4

25 Beispiel (3) Zwischenauswertung: p 1 =0.084 Ablehnung von H 0 für p c α / p1 = = α 1 = Fallzahl-Rekalkulation zu α, σ = σˆ = 36, Δ = 0,1 β n =x75=150 Ergebnis Endauswertung: Untere Schranke 97.5% RCI: 1.5 konfirmatorischer Nachweis der Überlegenheit (prä-spezifizierte multiple Testprozedur: zunächst Test auf Nicht-Unterlegenheit; falls Ablehnung von H 0 : Test auf Überlegenheit) 5

26 Methodenspektrum für adaptiv-gruppensequentielle Designs Einhaltung des vorgegebenen Signifikanzniveaus α für verschiedene Design-Varianten (Bauer & Köhne, 1994; Lehmacher & Wassmer, 1999; Müller & Schäfer, 001) Studien-p-Wert ( Ergebnis signifikant, wenn p α ) (Brannath et al., 00) Schätzer (Brannath et al., 005) Konfidenzintervalle (Brannath et al., 00) 6

27 Adaptiv-gruppensequentielle Designs und Guidelines CHMP Reflection Paper on Methodological Issues in Confirmatory Clinical Trials Planned with an Adaptive Design (007) Einige wichtige Punkte (subjektive Auswahl): Begründung der Wahl eines adaptiven Designs as a tool for planning clinical trials in areas where it is necessary to cope with difficult experimental situations. including situations where (i) placebo response is difficult to predict (ii) small populations or orphan diseases with constraints to the maximum amount of evidence that can be provided (iii) ethical constraints to experimentation. 7

28 Adaptiv-gruppensequentielle Designs und Guidelines () Vertraulichkeit der Zwischenergebnisse Substantial discrepancies with respect to the types of patients recruited and/or results obtained [before and after the interim analysis] will raise concern. Interim analyses, therefore, always introduce the possibility of damaging the integrity of a trial. Involvierung des Sponsors With sponsor involvement [in interim decision making] it would be more difficult to argue that importantly different results from different stages are only due to chance. 8

29 Adaptiv-gruppensequentielle Designs und Guidelines (3) Begründung für geplante Design-Modifikation(en) Adaptations to confirmatory trials introduced without proper planning will render the trial to be considered exploratory. Whenever possible, methods for blinded sample size reassessment that properly control the type I error should be used. In cases where sample size needs to be reassessed based on unblinded data, sufficient justification should be made. 9

30 Eine attraktive Option für Design-Modifikationen Dosis-Findungs-Studien und Integration der klinischen Entwicklungsphasen II und III in einer Studie (z. Bsp. Bauer & Kieser, 1999) Klassische Arzneimittelentwicklung: D 3 D D 1 P Phase II white space Phase III 30

31 Eine attraktive Option für Design-Modifikationen () Integration von Phase II und III in einer Studie: D 3 D D 1 P 1. Studienteil. Studienteil Interimanalyse 31

32 Eine attraktive Option für Design-Modifikationen (3) Möglichkeiten, die die Interimanalyse bietet: - STOP mit Wirksamkeitsnachweis oder bei Aussichtslosigkeit - WEITER mit ausgewählter Dosis D i : Schätzung der Dosis-Wirkungs-Abhängigkeit + Nutzen/Risiko-Abwägung rekalkulierter Fallzahl: zum Wirksamkeitsnachweis für D i vs. P 3

33 33

34 Eine unattraktive Option für Design-Modifikationen Adaptiver Wechsel der Hierarchie von Zielgrößen Beispiel: Z 1 Z Z 1. Studienteil Z 1. Studienteil Interimanalyse: Ergebnisse für Z besser! ineffiziente Strategie (Kieser, 005; Hung et al., 006) keine Ordnung festlegen, wenn diese nicht durch klin. Relevanz der Zielgrößen induziert ist! 34

35 Chancen, Risiken und Limitationen Chancen: Design-Optimierung bei unsicherer Planung Möglichkeit des Reagierens auf Unvorhergesehenes/-sehbares Risiken: Irreführung durch Daten Falsche Erwartungen: ersetzt keine solide Planung! Limitationen: Erhöhter Aufwand (IDMC, Zwischenauswertung(en) [zusätzl. Datencleaning, Maßnahmen zur Beibehaltung der Verblindung, ], Abstimmung mit Behörden, ) There is no free lunch 35

36 Literaturreferenzen Brannath W. et al.: Recursive Combination Tests. JASA 97, 36-44, 00. Bauer P., Kieser M.: Combining different phases in the development of medical treatments within a single trial. Stat. Med. 18, , Bauer P., Köhne K.: Evaluation of experiments with adaptive interim analyses. Biometrics 50, , EMEA: ICH Topic E9 Statistical Principles for Clinical Trials, CPMP/ICH/363/ 96,

37 Literaturreferenzen () EMEA: Reflection Paper on Methodological Issues in Confirmatory Clinical Trials Planned with an Adaptive Design, CHMP/EWP/459/0, 007. Friede T., Kieser M.: A comparison of methods for adaptive sample size adjustment. Stat. Med. 0, , 001. Friede T., Kieser M.: Blinded sample size reassessment in non-inferiority and equivalence trials. Stat. Med., , 003. Friede T., Kieser M.: Sample size recalculation for binary data in internal pilot study designs. Pharmaceut. Statist. 3, 69-79, 004. Hung, H.M.J., Wang, S.J., O Neill, R.: Methodological issues with adaptation of clinical trial design. Pharmaceut. Statist. 5, , 006. Kieser M., Friede T.: Blinded sample size reestimation in multiarmed clinical trials. Drug Inf J 34, ,

38 Literaturreferenzen (3) Kieser M., Friede T.: Simple procedures for blinded sample size adjustment that do not affect the type I error rate. Stat. Med., , 003. Kieser M., Jensen K.: Adjusting the sample size during ongoing multicenter trials. Eingereicht 007. Linde K. et al.: St. John s Wort for depression (Review). The Cochrane Collaboration, published by Wiley & Sons, Ltd., 005. Lehmacher W., Wassmer G.: Adaptive Sample size Calculations in Group Sequential Trials. Biometrics 55, , Montgomery S.A.: Clinically relevant effect sizes in depression. Eur Neuropsychopharmacol 4, 83-84,

39 Literaturreferenzen (4) Müller H.-H., Schäfer H.: Adaptive group sequential designs for clinical trials: combining the advantages of adaptive and of classical group sequential approaches. Biometrics 57, , 001. Wittes J., Brittain E.: The role of internal pilot studies in increasing the efficiency of clinical trials. Stat. Med. 9, 65-7, Wüst K., Kieser M.: Including long- and short-term data in blinded sample size recalculation for binary endpoints. Computational Statistics & Data Analysis 48, , 005. Wüst K., Kieser M.; Blinded sample size recalculation for normally distributed outcomes using long- and short-term data. Biom J 45, , 003. Schäfer H. et al.: An overview of statistical approaches for adaptive designs and design modifications. Biom J 48, ,

40 Literaturreferenzen (5) Szegedi A. et al.: Acute treatment of moderate to severe depression extract WS 5570 (St John s wort): randomised blind non-inferiority trial versus paroxetine. BMJ 330, ,