Bayes-Verfahren in klinischen Studien

Transkript

1 Seminar über Neuere Methoden in medizinischer Informatik und Biometrie Thomas Bayes ( ) Bayes-Verfahren in klinischen Studien Joachim Gerß

2 Effizienzsteigerung der medizinischen Forschung 2

3 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 3

4 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 4

5 Interpretation eines unbekannten Parameters Frequentistischer Absatz Parameter sind feste Größen Bayes-Absatz Parameter sind zufällige Größen und haben eine Wahrscheinlichkeitsverteilung 1. Frequentistische Statistik und Bayes-Statistik 5

6 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz mögliches Stichprobenergebnis x µ 1. Frequentistische Statistik und Bayes-Statistik 6

7 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x µ x 1. Frequentistische Statistik und Bayes-Statistik 7

8 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x µ x x 1. Frequentistische Statistik und Bayes-Statistik 8

9 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 9

10 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz Gesucht: Ausssage zur Güte der Schätzung (Konfidenzintervall) bestimmtes Stichprobenergebnis x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 10

11 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz Konfidenzintervall x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 11

12 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 12

13 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 13

14 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 14

15 Interpretation eines unbekannten Parameters Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Frequentistischer Absatz Das Konfidenzintervall wird so gewählt, dass es in 95% der möglichen Stichprobenergebnisse den wahren Parameter überdeckt. x x x x x x x x x µ 1. Frequentistische Statistik und Bayes-Statistik 15

16 Interpretation eines unbekannten Parameters Frequentistischer Absatz Parameter sind feste Größen Bayes-Absatz Parameter sind zufällige Größen und haben eine Wahrscheinlichkeitsverteilung Beispiel: Schätzung der Lebenserwartung µ eines Patienten nach der Diagnose einer bestimmten Krankheit Verteilung von x Verteilung von µ µ E(µ) 1. Frequentistische Statistik und Bayes-Statistik 16

17 Signifikanztests Testproblem: H 0 : µ 1 =µ 2 gegen H 1 : µ 1 µ 2 Frequentistischer Absatz Die Gültigkeit einer der beiden Hypothesen ist fest vorherbestimmt (allerdings unbekannt) p-wert = P(beobachtete Daten H 0 ) Bayes-Absatz Die Gültigkeit einer der beiden Hypothesen ist zufällig: A-priori-Verteilung: p 0 =P(H 0 ) p 1 =P(H 1 ) A-posteriori-Verteilung: P(H 0 Daten) P(H 1 Daten) 1. Frequentistische Statistik und Bayes-Statistik 17

18 Einsatzmöglichkeiten von Bayes-Verfahren Fallzahlschätzung / Poweranalyse für eine spätere frequentistische Auswertung ( Mixed Bayesian/Likelihood Criteria ) ODER für eine spätere Bayesianische Auswertung ( Fully Bayesian ) Adaptive Randomisierung möglich: spätere frequentistische Auswertung Bayesian Data Monitoring in Zwischenauswertungen möglich: spätere frequentistische Auswertung Finale Auswertung A-priori-Verteilung -> A-posteriori-Verteilung Bayes-Faktoren 1. Frequentistische Statistik und Bayes-Statistik 18

19 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 19

20 Analyse von Überlebenszeiten 1,0 0,8 Survival rate 0,6 0,4 Gruppe 1 Gruppe 2 0,2 0,0 Log-rank test p= Cox-Modell: HR=2.227 (Gruppe 2 vs. 1, p=0.0990) years 2. Nutzung von Vorwissen in der Datenauswertung 20

21 Analyse von Überlebenszeiten % Konfidenzintervall: (0.947,5.238) hazard ratio 2. Nutzung von Vorwissen in der Datenauswertung 21

22 Analyse von Überlebenszeiten 1.0 prior posterior % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (1.074,4.285) 2. Nutzung von Vorwissen in der Datenauswertung 22

23 Analyse von Überlebenszeiten prior posterior % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (0.886,4.128) 2. Nutzung von Vorwissen in der Datenauswertung 23

24 Analyse von Überlebenszeiten prior posterior % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (1.506,5.465) 2. Nutzung von Vorwissen in der Datenauswertung 24

25 Analyse von Überlebenszeiten 0.8 prior posterior % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (0.947,5.238) 2. Nutzung von Vorwissen in der Datenauswertung 25

26 Analyse von Überlebenszeiten P(HR in KI)=98.4% prior posterior % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (1.074,4.285) 2. Nutzung von Vorwissen in der Datenauswertung 26

27 Analyse von Überlebenszeiten 1.5 prior posterior 1.0 P(HR in KI)=89.6% % Konfidenzintervall: (0.947,5.238) hazard ratio 95% Credible Interval: (0.796,2.099) 2. Nutzung von Vorwissen in der Datenauswertung 27

28 Analyse von Überlebenszeiten 1.0 prior posterior 0.8 P(HR>2)= hazard ratio 2. Nutzung von Vorwissen in der Datenauswertung 28

29 Herkunft der A-priori-Information Scoring system ( Strategy for randomized clinical trials in rare cancers ) Umfrage unter mehreren Experten Beispiel Antibiotika Bekannte Wirksamkeit eines Medikaments bei Erwachsenen als prior information für pädiatrische Studie (noch?) keine Guidelines! 2. Nutzung von Vorwissen in der Datenauswertung 29

30 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 30

31 Bayesianische Fallzahlschätzung / Poweranalyse a) für eine spätere frequentistische Auswertung ( Mixed Bayesian/Likelihood Criteria, Hybrid methods ): Prior information is used in sample-size assessment, but the final analysis is carried out in a classical framework. b) für eine spätere Bayesianische Auswertung: Fully Bayesian analysis in which the prior will be incorporated 3. Fallzahlschätzung und Poweranalyse 31

32 Bayesianische Fallzahlschätzung / Poweranalyse Beispiel: Zwei Therapiegruppen: A) Standardtherapie mit S stand (2)=0.7 B) Experimentelle Therapie Vermutung: S exp (2)=0.8, Fragen: d.h. HR=1.60 zugunsten der exp. Therapie Welche Power erreiche ich mit einer vorgegebenen Anzahl Patienten? Wie viele Patienten müssen rekrutiert werden, um die Überlegenheit der experimentellen Therapie mit 80%iger Power nachzuweisen? 3. Fallzahlschätzung und Poweranalyse 32

33 a) für eine frequentistische Auswertung Klassische Analyse: Welche Power erreiche ich mit einer vorgegebenen Anzahl Patienten? ln(hr) n 2 Power events u HR 1.60, n 100 events Wie viele Patienten müssen rekrutiert werden, um die Überlegenheit der exp. Therapie mit 80%iger Power nachzuweisen? 4(u 2 n 0.8 u 0.05 ) events 113 ln(hr) 2 HR Fallzahlschätzung und Poweranalyse 33

34 a) für eine frequentistische Auswertung Klassische Analyse: Welche Power erreiche ich mit einer vorgegebenen Anzahl Patienten? ln(hr) n events ? HR 1.60,n events 100 Power u 0.76 Wie viele Patienten müssen rekrutiert werden, um die Überlegenheit der exp. Therapie mit 80%iger Power nachzuweisen? 4(u u ) 2 n events 113 ln(hr) 2 HR 1.60? 3. Fallzahlschätzung und Poweranalyse 34

35 a) für eine frequentistische Auswertung Welche Power erreiche ich mit einer vorgeg. Anzahl Patienten? 1.0 n=100 events hazard ratio >> favours experimental therapy favours standard << 3. Fallzahlschätzung und Poweranalyse 35

36 a) für eine frequentistische Auswertung Welche Power erreiche ich mit einer vorgeg. Anzahl Patienten? 1.0 n=100 events hazard ratio >> favours experimental therapy favours standard << 3. Fallzahlschätzung und Poweranalyse 36

37 a) für eine frequentistische Auswertung Welche Power erreiche ich mit einer vorgeg. Anzahl Patienten? 1.0 n=100 events Expected power = prior hazard ratio >> favours experimental therapy favours standard << 3. Fallzahlschätzung und Poweranalyse 37

38 b) für eine Bayesianische Auswertung Welche Power erreiche ich mit einer vorgeg. Anzahl Patienten? 1.0 n=100 events Bayesian power Classical power prior Expected power = 0.65 (classical) 0.78 (Bayesian) hazard ratio >> favours experimental therapy favours standard << 3. Fallzahlschätzung und Poweranalyse 38

39 b) für eine Bayesianische Auswertung 1.0 n=100 events Bayesian power Classical power prior hazard ratio >> favours experimental therapy favours standard << 3. Fallzahlschätzung und Poweranalyse 39

40 Fallzahlschätzung Notwendige Anzahl Patienten, um 80% Power zu gewährleisten Required sample size (Classical analysis) (Bayesian analysis) prior >> favours experimental therapy hazard ratio 3. Fallzahlschätzung und Poweranalyse 40

41 Fallzahlschätzung Notwendige Anzahl Patienten, um 80% Power zu gewährleisten Classical analysis Bayesian analysis Required sample size 3. Fallzahlschätzung und Poweranalyse 41

42 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 42

43 MRC Oesophageal trial (OE02, 1992) patients with resectable cancer of the oesophagus randomized to either pre-operative chemotherapy (cisplatin and fluorouracil) followed by surgery or surgery alone assumed baseline proportion of 2-year survival = 20 % (patients receiving surgery alone) Hypothesis: pre-operative chemotherapy improves survival planned sample size = 800 patients 4. Bayesian Data Monitoring in Zwischenauswertungen 43

44 Prior distributions HR=1.34 entspricht einer Steigerung der 2-Jahresrate von 20% auf 30% 2.0 Sceptical prior Enthusiastic prior Uninformative prior hazard ratio favours surgery alone << >> favours combination therapy 4. Bayesian Data Monitoring in Zwischenauswertungen 44

45 Bayesian Data Monitoring Early results of the trial: The Data Monitoring Committee assesses the currently available information => termination of patient recruitment? Fictitious data (!) 3 scenarios 4. Bayesian Data Monitoring in Zwischenauswertungen 45

46 Bayesian Data Monitoring (1) surgery alone: 60 events combination therapy: 40 events Interpretation: Starting from a sceptical position => reasonable evidence of some improvement (94.6%) only slim evidence of an improvement as big as 10%points 4. Bayesian Data Monitoring in Zwischenauswertungen 46

47 Bayesian Data Monitoring (2) surgery alone: 60 events + 60 events combination therapy: 40 events + 40 events Interpretation: Unabhängig von der prior position: P(improvement of 5%points) > 90% => Recommendation: The trial should cease recruitment of pts. 4. Bayesian Data Monitoring in Zwischenauswertungen 47

48 Bayesian Data Monitoring (3) surgery alone: 153 events combination therapy: 147 events Interpretation: sogar bei enthusiastischer prior position: only a small chance of an improvement of 5%points (36.2%) => Recommendation: The trial should be discontinued. 4. Bayesian Data Monitoring in Zwischenauswertungen 48

49 Bayesian Data Monitoring Vorteil: Vorwissen als a-priori-verteilung, unterschiedliche Szenarien Interpretierbarkeit Nachteil: Vorwisssen ist subjektiv keine formalen Abbruchkriterien Empfehlung: nicht als primary basis for stopping a trial Aber: unterstützend als zusätzlichen Anhaltspunkt für DMC 4. Bayesian Data Monitoring in Zwischenauswertungen 49

50 Inhalt 1. Frequentistische Statistik und Bayes-Statistik 2. Nutzung von Vorwissen in der Datenauswertung 3. Fallzahlschätzung und Poweranalyse 4. Bayesian Data Monitoring in Zwischenauswertungen 5. Bewertung und Kritik 50

51 Es kommt auf den Blickwinkel an Frequentistische Gütekriterien: Bayes-Verfahren schneiden schlecht ab Bayesianische Gütekriterien: Frequentistische Verfahren schneiden schlecht ab 5. Bewertung und Kritik 51

52 Vor- und Nachteile von Bayes-Verfahren + Ergebnisse sind besser interpretierbar ( answer real-world questions ) und deswegen überzeugender. + Einbringung von Vorwissen (external evidence) + Beschleunigung der Forschung + Ehrlicher Umgang mit Unsicherheit + kein multiples Testproblem Probleme bei der Einigung auf eine A-Priori-Verteilung (Subjektivität) keine Standardverfahren keine formalen Optimalitätskriterien, z.b. Verletzung des frequentistischen (!) Signifikanzniveaus ( wishy-washy Bayesians ) Bayesian-based clinical trials require substantial planning, are often more work, and don t always mean you can use fewer subjects. 5. Bewertung und Kritik 52

53 FDA FDA is developing guidelines on Bayesian methods in trials for medical devices. No immediate plans to develop relevant guidelines for cancer studies Workshop (2004): Can Bayesian Approaches to Studying New Treatments Improve Regulatory Decision-Making? ( Bayesian methods are great and already in use for exploratory studies. But there are problems with using the methods in large confirmatory studies such as phase III trials and basing regulatory decisions on them: predicting false positives deciding what data to use as prior information => In fact, how to handle prior information is just the sort of guideline researchers need from the FDA. 5. Bewertung und Kritik 53

54 Fazit Large-scale phase III confirmatory trials ( yes or no? ): Power / Fallzahlschätzung (B) Randomisierung B Monitoring (Zwischenauswertungen) Finale Auswertung der Hauptfragestellung: Early phases / exploratory trials / rare diseases / Safety- Analysen / sekundäre Zielgrößen ( how well? ): Power / Fallzahlschätzung B Randomisierung B Monitoring (Zwischenauswertungen) B Finale Auswertung der Hauptfragestellung: B 5. Bewertung und Kritik 54