Diagnostische Studien: Warum scheitern so viele Biomarker?

Transkript

1 Diagnostische Studien: Warum scheitern so viele Biomarker? Dr. Thomas Keller, ACOMED statistik, Leipzig 7. Symposium Urologische Forschung Dresden

2 Warum scheitern so viele Biomarker? SZ McLeod et al. (2014). Biomedical research: increasing value, reducing waste. Lancet 383, Kyzas PA et al. (2007. Almost all articles on cancer prognostic markers report statistically significant results. Eur J Cancer 43, Anderson NL (2010). The clinical plasma proteome: a survey of clinical assays for proteins in plasma and serum. Clin Chem, 56:

3 Vorgehen Das Problem Phasen diagnostischer Studien (nach GMDS) - Phase 1 (Analytik) - Phase 2 (Einschluss bei bekanntem Status) - Phase 3 (Einschluss bei unbekanntem Status) Weitere Elemente der Studienplanung 2

4 Beispiel-Studie paired, screen-positive design vgl. Pepe: VOPT-design 3

5 Beispiel-Studie Editorial 4

6 Vorgehen Das Problem Phasen diagnostischer Studien (nach GMDS) - Phase 1 (Analytik) - Phase 2 (Einschluss bei bekanntem Status) - Phase 3 (Einschluss bei unbekanntem Status) Weitere Elemente der Studienplanung 5

7 Phasen diagnostischer Studien Definition GMDS PHASE I PHASE 2 PHASE 3 PHASE 4 Technische Voruntersuchungen Diagnostische Güte bei bekanntem Krankheitsstatus Diagnostische Güte bei nicht bekanntem Krankheitsstatus Wirksamkeit Memorandum for the evaluation of diagnostic measures. J. Clin. Chem. Clin. Biochem. 1990;28: Memorandum GMDS 6

8 Phase 4 - Wirksamkeitsstudien (RCT) Ergebnis des diagnostischen Tests Konsequenz Intervention j/n Outcome 7

9 Phase 1: Technische Voruntersuchungen Quelle: Memorandum for the evaluation of diagnostic measures. J. Clin. Chem. Clin. Biochem. 1990;28: Ziele: - Methode muss technisch validiert sein (gültige Messungen) 8

10 Messung Impräzision Bsp.: Methode hat hohe Impräzision (intraserielle Varianz), erfassbar z.b. durch Doppelmessungen 9

11 Messung Reliabilität - Befunde werden von mehreren Beobachtern gelesen (Reliabilität) Beispiel: Vergleich zweier histologischer Methoden zur Diagnostik Cervix-CA 12 Pathologen, 500 Fälle, Goldstandard: Expertenpanel Bergeron C, Ordi J, Schmidt D, Trunk MJ, Keller T, Ridder R (2010): Conjunctive p16ink4a Testing Significantly Increases Accuracy in Diagnosing High-Grade Cervical Intraepithelial Neoplasia. Am J Clin Pathol 133:

12 Warum scheitern so viele Biomarker? Antwort 1: a) Weil die Validität der Methode nicht gegeben ist. z. B. Labor: Präzision, Reproduzierbarkeit, Richtigkeit, Linearität, Robustheit bzgl. von Matrixeffekten und Interferenzen b) Weil die (ggf. eingeschränkte) Reliabilität nicht im Studiendesign nicht abgebildet ist. c) Weil die Methode nur in 1 Labor (ggf. nur von 1 Mitarbeiter) beherrscht wird upscaling scheitert. 11

13 Phasen diagnostischer Studien Definition GMDS PHASE I PHASE 2 PHASE 3 PHASE 4 Technische Voruntersuchungen Diagnostische Güte bei bekanntem Krankheitsstatus Diagnostische Güte bei nicht bekanntem Krankheitsstatus Wirksamkeit 12

14 Kennzahlen der diagnostischen Güte Testresultat Referenz D+ D- T+ TP FP T- FN TN Summarische Maße (1 Kennzahl wie z. B. Effizienz, Youden-Index, Odds ratio, AUC unter ROC-Kurve, misclassification rate, hazard ratio bei Vorhersage) Diagnostische Güte: 2 Kennzahlen! {Sens/Spez}, {PPV,NPV}, {DLR +, DLR - } sind ungeeignet, um die diagnostische Güte zu beschreiben da die Abhängigkeit von Prävalenz und vom Cut-Off nicht eingeht. 13

15 Bsp.: Tumormarker Bronchialkarzinom AUC: Vergleich der Sens bei gleicher Spez: klinisch relevanter Bereich: hohe Spezifität Keller T et al. (1998): Tumour markers in the diagnosis of bronchial carcinoma: new options using fuzzy logic based tumour marker profiles. J Cancer Res Clin Oncol 124:

16 Maßzahlen Weitere Hinweise: 15

17 Warum scheitern so viele Biomarker? Antwort 2: a) Weil ungeeignete Maße (allein) zur Charakterisierung der diagnostischen Güte verwendet werden. b) Weil es schwierig sein kann, einen geeigneten, gültigen Referenzstandard zu finden (Bsp. Outcome watchful waiting ) c) Fehlende Verblindung von Test und Referenzstandard 16

18 Phasen diagnostischer Studien Phase 2: Diagnostische Güte bei bekanntem Krankheitsstatus Schätzung der Parameter der diagnostischen Güte an ausgewählten Patienten Einschlusskriterium bekannte Krankheit (Fall-Kontroll-Studie) RS D+ D- T T T+ T- T+ T- Outcome TP Outcome FN Outcome FP Outcome TN D+/D- RS T T+/T- TP/FP TN/FN disease / no disease reference standard test positive/negative test true/false positive true/false negative Ergebnis: Sens, Spec, ROC (prävalenzunabhängig), Cut-Off Nachteil: Überschätzung der diagnostischen Güte, da nur klare Fälle einbezogen Ursache: Selektions-Bias, Spektrums-Bias 17

19 Diagnostische Studien: Validität der Ergebnisse Selektions- und Spektrumbias ( Case-Control ) Lijmer, J. G., B. W. Mol, et al. (1999). "Empirical evidence of design-related bias in studies of diagnostic tests." JAMA 282(11):

20 Warum scheitern so viele Biomarker? (Haupt)-Antwort 3: Weil die häufig eingesetzten Phase 2 Studie-Designs prinzipiell die diagnostische Güte überschätzen. 19

21 Phasen diagnostischer Studien Definition GMDS PHASE I PHASE 2 PHASE 3 PHASE 4 Technische Voruntersuchungen Diagnostische Güte bei bekanntem Krankheitsstatus Diagnostische Güte bei nicht bekanntem Krankheitsstatus Wirksamkeit 20

22 Phasen diagnostischer Studien Phase 3: Diagnostische Genauigkeit bei unbekanntem Krankheitsstatus Phase 3: Unterscheidet der Test (ggf. zu einem vorgegebenen Grad) Patienten mit und ohne die Zielerkrankung, wenn Erkrankungs- verdacht gegeben ist? Einschlusskriterium benötigte Diagnose (Kohortenstudie) D? T T+ T- RS RS Outcome FN Outcome TN Ergebnis: Unverzerrte Schätzer für {Sens,Spez}, {PPV,NPV} D+ D- D+ D- Outcome TP Outcome FP konsekutiver Einschluss! D+/D- disease / no disease D? Suspecious for disease RS reference standard T test T+/T- positive/negative test TP/FP true/false positive TN/FN true/false negative 21

23 Vorgehen Das Problem Phasen diagnostischer Studien (nach GMDS) - Phase 1 (Analytik) - Phase 2 (Einschluss bei bekanntem Status) - Phase 3 (Einschluss bei unbekanntem Status) Weitere Elemente der Studienplanung 22

24 Weitere Elemente der Studienplanung Fallzahl Kleine Fallzahl Große Unsicherheit der diagnostischen Güte Angabe des 95%-Konfidenzintervalles essentiell! 23

25 Weitere Elemente der Studienplanung Aufhebung der Verblindung durch Diskussion von Einzelfällen 1. Nochmaliges Messen (nur) von diskrepanten Fällen. CAVE: Die Verblindung ist faktisch aufgehoben! Schon aufgrund der Impräzision werden einige Fälle zu TP, TN wechseln. NICHT zulässig. 2. Klinische Diskussion von Einzelfällen mit folgendem Ausschluss CAVE: Die Verblindung ist faktisch aufgehoben! 3. Nochmalige Untersuchung des Goldstandards für diskrepante Fälle Adjudication meeting Durchführung für alle Patienten/Proben, bzw. Teilmengen aller Populationen (Patienten mit diskrepanten und übereinstimmenden Ergebnissen) 24

26 Weitere Elemente der Studienplanung multiples Testen Untersuchungen vieler Biomarker in einer Studie multiples Testen Korrektur bzgl. multiplen Testens (Bonferroni u.a.) (konventionelle) Faustregel für multivariable Modelle: Fälle je Marker Harrell FE (2001). Regression Modeling Strategies with Applications to Linear Models, Logistic Regression, and Survival Analysis, Springer-Verlag New York. Steyerberg EW (2009). Clinical prediction models: a practical approach to development, validation, and updating, Springer, New York, London Algorithmus verblindet an Original- sowie mit zufälligen oder permutierten Daten testen. 25

27 Warum scheitern so viele Biomarker? Antwort 4: a) Unzureichende Adressierung statistischer Sachverhalte (Unterschätzung der Komplexität der einfachen 2x2 Tafel) b) Insbesondere Unterschätzung der multiplen Testsituation c) Aufhebung der Verblindung d) Fehlende Daten werden nicht geeignet adressiert. 26

28 Statt Zusammenfassung QUADAS-2 (2011): A quality assessment tool for diagnostic accuracy studies STARD-Empfehlung (2003) Standards of Reporting of Diagnostic Accuracy Bossuyt et al.: The STARD Statement, Clin Chem (2003) 49; Items - Auch als Planungstool geeignet! Verzerrungen, insbesondere der Spektrumsbias, werden adressiert. 27

29 Ich danke für Ihre Aufmerksamkeit! Download: 28