Diagnostische Studien Methodische Herausforderungen und Begriffsdefinitionen

Transkript

1 Diagnostische Studien Methodische Herausforderungen und Begriffsdefinitionen Priv. Doz. Dr. med. Dirk Stengel, MSc(Epi) Ärztlicher Leiter, Zentrum für Klinische Forschung, Unfallkrankenhaus Berlin Leiter, Methodisches Beratungszentrum der DGU e.v. N Engl J Med2006;354:397

2 Clinicians will need to understand the specificity and sensitivity of new diagnostics The agency s goal is an efficient review process that produces diagnostic therapeutic approaches that clinicians can rely on and allows companies that invest in establishing the validity and usefulness of tests to make specific, FDA backed claims about benefits. Patients should be confident that diagnostic tests reliably give correct results especially when test results are used in making major medical decisions. Hamburg MA, Collins FS. N Engl J Med 2010;363:301 4.

3 Um was es heute gehen soll Die Dimensionen medizinischen Nutzens und ihre hierarchische Bewertung Was einen guten Test ausmacht und wie dies vermittelt werden kann Welche Konsequenzen aus einer Missachtung der Bewertungshierarchie entstehen

4 Medizinischer Nutzen ist der medizinische, positive und kausale Effekt einer Maßnahme im Sinne einer Verbesserung des Krankheitsverlaufs, der Symptomatik oder Lebensqualität in mehr als geringfügigem Ausmaß. (brutto: vor Schadensbilanz, netto: nach Schadensbilanz) Jürgen Windeler, 2007

5 Bewertungshierarchie Theorie Anatomie und Physiologie In silico In vitro In vivo Wirksamkeit (efficacy) Wirkung (effectiveness) Effizienz (efficiency) Klinisches Experiment Real World Bevölkerung Plausibilität T D A besser als Placebo? A besser als B? Gewinn durch A statt B? Genauigkeit (SN/SP) Entscheidungsänderung? Konsequenz für Patienten? s.a. Fryback DG, Thornbury JR. Med Decis Making 1991;11:88 94.

6 Diagnose und / oder Prognose? Prognostischer Faktor deutet auf ein biologisches Profil bzw. eine Erkrankungs oder Verletzungsschwere hin, die durch eine Intervention nicht zu verbessern ist da kann man nix dran dreh n Odds Ratio (OR), Risk Ratio (RR), AUC/ROC Diagnostischer Test weist auf ein (patho ) physiologisches Bild hin, dass durch eine Intervention verändert (im Idealfall verbessert) werden kann dreh n wa mal, dann seh n wa schon Sensitivität, Spezifität, DOR, LR, AUC/ROC

7 Wichtigstes Prinzip eines diagnostischen Tests Erhöhung oder Erniedrigung der Vortest Wahrscheinlichkeit (Pre Test Probability) für das Vorliegen einer Erkrankung oder Verletzung

8 Schwierigkeiten mit diagnostischen Kenngrößen 1 Innumeracy Disorder Steurer J 2002 Swiss GPs (n=263) were surveyed on definition of terms SN, PPV determined and also calculated PPV Young JM 2002 Australian GPs (n=50) were surveyed to describe the terms PPV, SN, and SP Hoffrage U 1998 German physicians (n=48) were asked to calculate the PPV of four diagnostic tests. Data were presented as probabilities or as natural frequencies. Lyman GH 1994 Physicians (n=31) and health care workers (n=19) were presented with cases where the SN, SP and pre test probability were varied, and asked to calculate PPV Lyman GH 1993 Physicians (n=31) and health care workers (n=19) received two hypothetical cases of a 30 year old and a 70 year old woman with a breast lump. Estimate pretest, post test, SN, SP Noguchi Y 2002 Japanese medical students (n=234). Three case scenarios with low, intermediate, high probability for CAD. Estimates of pre, post test characteristics of stress tests Correct definition of SN 76%, PPV 61%. PPV was calculated accurately only by 22% of GPs. 13 / 50 said they knew about PPV but only one met the criteria for identifying it correctly Overall correct answers: Bayesian format 10%; Natural frequency format 46% Overestimating PPV in scenarios presented with lower pre test probability. Physicians and non physicians both overestimate the PPV Medical students could not rule out disease in low and intermediate probability situations, because of error in estimating the pre test. May result in ordering unnecessary testing Ghosh AK. Q J Med 2004;97:53 5.

9 Schwierigkeiten mit diagnostischen Kenngrößen 2 Innumeracy Disorder Referenz + Referenz Index Test PPV = 7 / Index Test NPV = 922 / Präv = 8 / SN = 7 / SP = 922 / Gigerenzer G. Das Einmaleins der Skepsis. Berlin: Berlin Verlag, 2002

10 Schwierigkeiten mit diagnostischen Kenngrößen 3 Innumeracy Disorder Schwartz LM et al. BMJ 2000;320:

11 Diagnostik: einfach & hübsch 1 Sensitivität Ein hoch sensitiver Test schließt im negativen Fall eine Diagnose aus SNNOUT Sensitivity is so high that a Negative test rules the diagnosis OUT D+ D T+ RP FP T FN RN Spezifität Ein hoch spezifischer Test beweist im positiven Fall die Diagnose SPPIN Specificity is so high that a Positive test rules the diagnosis IN D+ D T+ RP FP T FN RN

12 Diagnostik: einfach & hübsch 2

13 Diagnostische Genauigkeit und Stärke von Assoziationen Nicht differentielle Missklassifikation der Exposition Kohorten Studie Fall Kontroll Studie Test Sensitivität 2.6 Test Sensitivität % % Scheinbares RR % 50% Scheinbares OR % 50% Spezifität Spezifität Copeland KT et al. Am J Epidemiol 1977;105:

14 Nicht auszudenken wenn man alle therapeutischen Cochrane Reviews neu interpretieren müsste, weil diagnostische Cochrane Reviews mehr als geringfügige Schwächen in der Testgenauigkeit aufdecken

15 Wichtigstes Validitätskriterium in Genauigkeitsstudien Einschluss von konsekutiven Patienten, die unabhängig vom Ergebnis des zu prüfenden (Index )Tests immer auch mit dem Goldstandard untersucht werden.

16 Methodische Qualität

17 Plausibel ist nicht gleich effektiv1

18 Plausibel ist nicht gleich effektiv 2 (hoher) Flankenschnitt rechts (hoher) Flankenschnitt links Unterbauch Querschnitt Leber Milz rechte Niere linke Niere Harnblase Blut rechte Niere Leber Morison Pouch Morison Pouch

19 Diagnostische Meta Analysen / SROC 1 Beispiel: Focused Abdominal Sonography for Trauma (FAST) Multiple Referenztests SN =84%, AUC = 97% Einzelner Referenztest SN =66%, AUC = 91% Stengel D, Bauwens K, Rademacher G, Mutze S, Ekkernkamp A. Association between compliance with methodological standards of diagnostic research and reported test accuracy. Radiology 2005;236:

20 Diagnostische Meta Analysen / SROC 2 Beispiel: Focused Abdominal Sonography for Trauma (FAST) Item Sensitivität (95% KI) ohne erfüllten Standard mit erfülltem Standard Details Referenzstandard 83.3% ( %) 66.9% ( %) Ein Referenzstandard 82.8% ( %) 65.9% ( %) Konfidenzintervalle angegeben 81.1% ( %) 61.3% ( %) Verblindung gegenüber Sonogramm 80.6% ( %) 63.9% ( %) Ausscheider/ Abbrecher 84.5% ( %) 74.2% ( %) Unabhängige Verifikation 85.4% ( %) 75.2% ( %) Verblindung 81.4% ( %) 71.1% ( %) Eindeutige Hypothese 86.6% ( %) 75.9% ( %) Behandelte Patienten genannt 81.2% ( %) 71.6% ( %) Geeigneter Referenzstandard 95.6% ( %) 76.2% ( %) Details Ultraschall 88.9% ( %) 77.5% ( %) Verblindung gegenüber Referenz 79.0% ( %) 71.7% ( %) Rekrutierungsperiode genannt 69.3% ( %) 79.5% ( %) Konsekutive Kohorte 80.9% ( %) 75.4% ( %) Stengel D, Bauwens K, Rademacher G, Mutze S, Ekkernkamp A. Association between compliance with methodological standards of diagnostic research and reported test accuracy. Radiology 2005;236:

21 Effectiveness Gap Letalität 2 Studien, n=1037 Untersuchungshäufigkeit: CT 4 Studien, n=1348 Untersuchungshäufigkeit: DPL 3 Studien, n=1140 Laparotomie Rate 2 Studien, n=914 Risiko für negative Laparotomie 1 Studie, n=706 Risiko für verzögerte Diagnose 1 Studie, n= Gemeinsames RR (95% Konfidenzintervall) favorisiert Ultraschall Algorithmus favorisiert Kontrolle Stengel D, Bauwens K, Sehouli J, Rademacher G, Mutze S, Ekkernkamp A. Emergency ultrasound based algorithms for diagnosing blunt abdominal trauma. Cochrane Database Syst Rev 2005;(2):CD

22 Hürden und Herausforderungen 1 Wening JV et al. Unfallchirurg 2008;111:

23 Hürden und Herausforderungen 2 Citation Bias + fehlende Akzeptanz negativer diagnostischer Meta Analysen 1 Definition des diagnostischen Goldstandards bei modernen bildgebenden Verfahren wie CT und MRT ( Platinstandard )? Wie viel diagnostische Information kann noch verarbeitet werden? 1 Eurotrauma, Lubljana 2006: +66 Publikationen, selektive Zitierung

24 Hürden und Herausforderungen 3 Imputationsmethoden Sensitivitätsanalysen Konstruktion eines Referenzstandards (Composite, Latent class model, Konsensus) Validierung des Indextests

25 Was geschieht wenn die streng hierarchische Bewertungskaskade missachtet wird?

26 Nutzen der primären Ganzkörper CT (pan scan) Schwerverletztenversorgung Stichprobe aus dem Traumaregister (n=4126) Indikator der Verletzungsschwere: ISS (Injury Severity Score (ISS, 0 75), abgeleitet aus dem organspezifischen AIS (Abbreviated Injury Scale) ISS = AIS 12 + AIS 22 + AIS 3 2 Prognosemodelle: RISC (Revised Injury Severity Classification) + TRISS (Trauma Injury Severity Score) Standardized Mortality Ratio (SMR) Huber Wagner S et al. Lancet 2009;373:

27 Kernaussagen Patienten, die einer pan CT zugeführt wurden, hatten eine im Vergleich zur TRISS Vorhersage signifikant geringere Sterblichkeit (SMR 0,75, 95% KI 0,63 0,86) Im Vergleich zur RISC Vorhersage wurde die Sterblichkeit relativ um 13% reduziert (SMR 0,87, 95% KI 0,77 0,96) 25% 25% 20% 20% Letalität, TRISS 15% 10% 5% Letalität, RISC 15% 10% 5% 0% Pan CT Nicht Pan CT 0% Pan CT Nicht Pan CT Vorhergesagt Beobachtet Interpretation Integration of whole body CT into early trauma care significantly increased the probability of survival in patients with polytrauma. Whole body CT is recommended as a standard diagnostic method during the early resuscitation phase. Huber Wagner S et al. Lancet 2009;373:

28 Eingeladener Kommentar Unzulässige Handhabung eines diagnostischen Tests als therapeutische Intervention! Unvollständige Beobachtungsdaten (RISC: 4113 / 4621, TRISS: 2259 / 4621) MNAR ( missing not at random oder non ignorable missing values ) Keine Informationen über Gerätetechnologie oder Untersuchungsprotokolle Klare Hinweise auf Stadienverschiebung migration, Will Rogers Phänomen) (stage Stengel D, Frank M, Matthes G et al. Injury 2009;40 Suppl 4:36 46.

29 Will Rogers Phänomen US amerikanischer Komiker, When the Okies left Oklahoma and moved to California, they raised the average intelligence level in both states. weil die Einwohner von Oklahoma zwar nicht unbedingt intelligent, aber immer noch intelligenter als die Kalifornier waren

30 Hinweis Variable Pan CT Nicht Pan CT Differenz p (95% KI) n=1494 n=3127 Mittlerer ISS (SD) 32,4 (13,6) 28,4 (12,4) 4,0 (3,2 4,8) <0,001 AIS 3 Kopf 884 (59%) 1882 (60%) 1% ( 4 2%) 0,517 AIS 3 Thorax 1035 (69%) 1589 (51%) 18% (15 21%) <0,001 AIS 3 Abdomen 390 (26%) 660 (21%) 5% (2 8%) 0,001 Letalität 306 (21%) 691 (22%) 1% ( 4 1%) 0,212 Schluter PJ et al. J Trauma 2010;68:

31 Konsequenz okkulter Lungenkontusionen Vergleichbares Outcome zur Kontrollgruppe ohne Kontusionen Deunk J et al. J Trauma 2010;68:

32 Konsequenz: PATRES Projekt (ISRCTN ) Pan Scan for Trauma Resuscitation Study PATRES 1: Diagnostische Genauigkeit Vergleich des ersten Befundes mit einem second reading und dem diagnostischen Goldstandard klinische Synopse (klinischer Verlauf + alle bildgebenden Methoden) PATRES 2: Einfluss auf die klinische Vortest Wahrscheinlichkeit Prospektiver Vergleich der Einschätzung des Verletzungsmusters vor und nach Kenntnis des CT Befundes PATRES 3: Einfluss auf Letalität und Komplikationsraten Kohortenstudie: Vergleich der Ereignisraten nach Einführung eines Ganzkörper CT Algorithmus mit einer historischen Kontrolle (Propensity Score Matching)

33 Zusammenfassung Konsequente Einhaltung der Nutzenhierarchie Efficiency (Benefit für den Patienten und die Population) Effectiveness (Änderung des Managements) Efficacy (Genauigkeit) Nützliche diagnostische Tests müssen Vortest Wahrscheinlichkeit + medizinische Konsequenzen merklich beeinflussen Perfekte Schalt und Schnittstelle Lehre Forschung Entwicklung Anwendung Individuum Population Labor Bildgebung