Studiendaten (Diagnose Studien)

Transkript

1 Fallstricke im Umgang mit Studiendaten (Diagnose Studien) Dt Datenbasierte t Qualitätszirkel i l für Hausärzte Q4/2017 Hausarztzentrierte Versorgung in Baden Württemberg aqua Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH

2 Inhalt 2 EINSTIEG FOLIE 3 4 DIAGNOSTISCHER PROZESS FOLIE 5 6 PHASEN DER EVALUIERUNG FOLIE 7 FF. PHASE 2: DISKRIMINATIONSFÄHIGKEIT (RICHTIGKEIT) FOLIE 8 11 VORHERSAGEGENAUIGKEIT FOLIE PHASE 3: ANWENDUNGSSITUATION FOLIE ROC KURVEN FOLIE BEURTEILUNG BEISPIEL STUDIE STUDIE, NUTZEN UND SCHADEN FOLIE24 31 SCREENING FOLIE 32 35

3 3 Diagnostische Studien

4 Wie ist diese Grafik zu interpretieren? 4 Bedeutung der Herzinsuffizienz Marker BNP und NT probnp für die Klinik ik Folgende Begriffe sind relevant Sensitivität, Spezifität Prädiktive Werte ROC Kurve, K cut off Prävalenz (A priori Wahrscheinlichkeit) Deutsches Ärzteblatt Jg. 100, Heft Dezember 2003

5 Test, Diagnose und diagnostischer Prozess 5 Diagnostischer Test: Jedes Einzelelement aus Anamnese, klinischer Untersuchung (Symptome und Zeichen) und technischer Untersuchungen (Labor, Röntgen, etc.). Diagnose (als temporäre Handlungsanweisung): g) Beschreibung des Krankheitszustandes, als bestmögliche Annäherung an eine Krankheit (Blick, Verdachts, Differential Diagnose).

6 Test, Diagnose und diagnostischer Prozess 6 Diagnostischer Prozess: Verknüpfung von Einzelelementen (Tests) zu einem neuen diagnostischen Element (meist) höherer Wahrscheinlichkeit. Eine Prätest oder a priori Wahrscheinlichkeit plus diagnostischer Test ergibt die Posttest oder a posteriori Wahrscheinlichkeit als iterativer Prozess Handlungsanweisung

7 Phasen der Evaluierung diagnostischer Tests 7 Phase 1: Technische und methodische Voruntersuchungen als Basis für die weitere klinische Evaluierung: analytische Genauigkeit (Präzision, Richtigkeit), Akzeptanz, unmittelbare Risiken. Phase 2: Verteilung der Testergebnisse bei Gesunden/Kranken. Schätzung der Diskriminationsfähigkeit bei bekanntem Krankheitsstatus. Diagnostische Fall Kontroll Studie. Richtigkeit modifiziert nach: Köbberling J, Trampisch HJ, Windeler J: Memorandum for the Evaluation of Diagnostic Measures. J ClinChemClinBiochem 1990; 20: 873 9

8 Phase 2: Diskriminationsfähigkeit (Richtigkeit) 8 Krankheit + Diagnostischer Test + richtig positiv (rp) falsch negativ (fn) falsch positiv (fp) richtig negativ (rn) rp+ fp fn +rn rp + fn fp + rn Sensitivität: Anteil der richtig Positiven an allen Kranken Spezifität: Anteil der richtig Negativen anallen allen Gesunden

9 Phase 2: Diskriminationsfähigkeit (Richtigkeit) 9 Patienten mit linksventrikulärer Dysfunktion gesunde Kontrollen B-Typ des natriuretischen Hormons erhöht nicht erhöht modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

10 Phase 2: Diskriminationsfähigkeit (Richtigkeit) 10 Patienten mit linksventrikulärer Dysfunktion gesunde Kontrollen B-Typ des natriuretischen ti Hormons erhöht nicht erhöht Sensitivität: 39/40 98% modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

11 Phase 2: Diskriminationsfähigkeit (Richtigkeit) 11 Patienten mit linksventrikulärer Dysfunktion gesunde Kontrollen B-Typ des natriuretischen Hormons erhöht nicht erhöht Sensitivität: 39/40 98% Spezifität: 25/27 92% Interessiert das? modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

12 Evaluierung diagnostischer Tests 12 Phase 1:Technische und methodische Voruntersuchungen als Basis für die weitere klinische Evaluierung. Phase2:Verteilung der Testergebnisse bei Gesunden/Kranken. Schätzung der Diskriminationsfähigkeit bei bekanntem Krankheitsstatus. Diagnostische Fall Kontroll Studie. Übertragbarkeit? Phase 3:Durchführung in der konkreten Anwendungssituation. Unverzerrte Schätzung der Diskriminationsfähigkeit. Vorhersagegenauigkeit. Diagnostische Follow up Studie. modifiziert nach: Köbberling J, Trampisch HJ, Windeler J: Memorandum for the Evaluation of Diagnostic Measures. J ClinChemClinBiochem 1990; 20: 873 9

13 Vorhersagegenauigkeit 13 Krankheit + - Diagnostischer + rp fp rp + fp Test - fn rn fn +rn rp/(rp+fp)= PW pos rn/(rn+fn)= PW neg rp + fn fp + rn rp+fn/n=prävalenz Positiver prädiktiver Wert (positiver Vorhersagewert, PWpos): Anteil der richtig Positiven an allen Testpositiven Negativer prädiktiver Wert (negativer Vorhersagewert, PWneg): Anteil ilder richtig ihi Negativen an allen Testnegativen

14 Vorhersagegenauigkeit 14 Patienten mit gesunde linksventrikulärer Kontrollen Dysfunktion B-Typ des natriuretischen Hormons erhöht nicht erhöht positiver prädiktiver Wert: 39/41 95% negativer prädiktiver Wert: 25/26 96% Prävalenz: 40/67 60% unrealistisch modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

15 15 Vorhersagegenauigkeit? (Bayes sches Theorem) Gegeben: A priori Wahrscheinlichkeit: P(K + ) Sensitivität: P(T + K + ) und Spezifität: P(T K ) dann gilt PW pos : P(K + T + )= P(K + ) P(T + K + )/ P(T + ) PW neg : P(K T ) = P(K ) * P(T K ) / P(T ) Bzw. für den positiven prädiktiven Wert: Prävalenz * Sensitivität Prävalenz * Sensitivität + (1 Prävalenz) * (1 Spezifität) und den negativen prädiktiven Wert: (1 Prävalenz) * Spezifität (1 Prävalenz) * Spezifitität + Prävalenz * (1 Spezifität) Quelle: z.b.:

16 Vorhersagegenauigkeit bei geringerer Prävalenz? Patienten mit gesunde linksventrikulärer Kontrollen Dysfunktion 16 B-Typ des natriuretischen Hormons erhöht nicht erhöht Se 98% Sp 92% Wie sehen die prädiktiven Werte bei geringerer Prävalenz aus? Prävalenz: 50/1000 =5% modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

17 Vorhersagegenauigkeit bei geringerer Prävalenz? Patienten mit gesunde linksventrikulärer Kontrollen Dysfunktion 17 B-Typ des natriuretischen Hormons erhöht nicht erhöht Se 98% positiver prädiktiver Wert: 49/125 39% Sp 92% negativer e päd prädiktiver Wert: et 874/ % Prävalenz: 50/1000 =5% modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

18 Vergleiche S.31, Tab. 21 Einfluss der Prävalenz auf die prädiktiven Werte (Beispiel: HLA B27 bei M. Bechterew: Sensitivität und Spezifität jeweils 95%) 18 Prävalenz (%) Positiver prädiktiver Wert (%) Negativer prädiktiver Wert (%) Screening nach M. Bechterew in der Allgemeinbevölkerung Gelegentliche unerklärliche Rückenschmerzen bei einem jungen Mann Zufällig beobachtete Sklerosierung der Ileosakralgelenke im Rö Becken, bisher kaum Beschwerden Wechselnde arthritische Beschwerden, Sakroileitis im Röntgenbild Quelle: (Köbberling et al. 1991)

19 Phase 3: Anwendungssituation Patienten mit vermuteter Herzinsuffizienz 19 Patienten mit echokardiographisch gap LVD Patienten ohne LVD B-Typ des natriuretischen Hormons erhöht nicht erhöht PW pos : 35/92 38% Sensitivität: 35/40 88% (vs. 98%) PW neg : 29/34 85% Spezifität: 29/86 34% (vs. 92%) Prävalenz: 40/126 32% modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

20 Phase 3: Anwendungssituation Patienten mit vermuteter Herzinsuffizienz 20 Patienten mit echokardiographisch LVD Patienten ohne LVD B-Typ des natriuretischen Hormons erhöht nicht erhöht positiver prädiktiver Wert: 44/671 7% (Sp = 34%) negativer prädiktiver Wert: 323/329 98% (Se = 88%) Prävalenz: 50/1000 = 5% modifiziert nach: Sackett DL, Haynes RB: The architecture of diagnostic research. BMJ 2002; 324:

21 Merkhilfe zu Sensitivität und Spezifität 21 Snout High Sensitivity rules out Ausschluss einer Erkrankung Diagnostischer Test Krankheit rp fp X - fn rn Spin High Specificity rules in Krankheit + - X Diagnostischer + rp fpx Test - fn rn Nachweis einer Erkrankung Ek k In welchen Fällen würden Sie eine hohe Sensitivität, wann eine hohe Spezifität fordern?

22 Quantitative Merkmale ROC Kurve ROC Kurve zur Darstellung der Trennschärfe 22 ROC Kurve kum ulative Häufigk keit (%) kumu ulative Häufigke eit (%)

23 Jetztkönnen Sie diese Grafik interpretieren! 23 Denn Sie kennen folgende Begriffe Sensitivität, Spezifität Prädiktive Werte ROC Kurve, K cut off Prävalenz (A priori Wahrscheinlichkeit) Deutsches Ärzteblatt Jg. 100, Heft Dezember 2003

24 24 Beurteilung von Diagnose Studien (Phase 3) Genaue Definition der Zielpopulation und klinischen Situation (spectrum bias) Exakte Beschreibung des zu prüfenden diagnostischen Tests (ggfs. mit Trenngröße) und des "Goldstandard (verification bias Diagnosesicherung) Diagnosesicherung auch bei negativem Test (work up bias); ggfs. Randomisierung Verblindung (review bias) Fallzahl (gewünschte Präzision Konfidenzintervall) Modifiziert nach Köbberling J, Trampisch HJ, Windeler J: Memorandum for the Evaluation of Diagnostic Measures. J Clin Chem Clin Biochem 1990; 20: EN 177 und Bossuyt 2003 EN 43

25 25 Übungsbeispiel: Diagnosestudie Near patient testing for influenza in children in primary care: comparision with laboratory test Anthony Harnden, Angela Brueggemann, Sasha Shepperd, Judy White, Andrew C Hayward, Maria Zambon, Derrick Crook, David Mant; BMJ 2003;326: Können Sie dem Artikel ausreichende Angaben zu den wichtigsten Evaluationskriterien einer diagnostischen Studie entnehmen? Zielpopulation und klinische Situation? Beschreibung des zu prüfenden diagnostischen Tests Goldstandard Diagnosesicherung Verblindung 2. Berechnen Sie die Prävalenz und die prädiktiven Werte aus den angegebenen Daten 3. Welche Phase einer klinischen Diagnosestudie wird Ihrer Meinung nach hier beschrieben? 4. Würden Sie auf Basis dieser Ergebnisse den Test in Ihrer Praxis anwenden?

26 Anhang, Tab Beispiel Diagnosestudie Near patient testing for influenza in children in primary care: comparision with laboratory test Anthony Harnden, Angela Brueggemann, Sasha Shepperd, Judy White, Andrew C Hayward, Maria Zambon, Derrick Crook, David Mant; BMJ 2003;326:480 Zielpopulation und klinische Situation From January to March 2001 and October to March 2002 we asked general practitioners in Oxfordshire to identify children with cough and fever who they thought had more than a simple cold. A nasal swab and a nasopharyngeal aspirate were taken from 157 children. Beschreibung des zu prüfenden diagnostischen Tests Goldstandard Diagnosesicherung Verblindung Using a nasal swab we performed a near patient test for influenza (QuickVue; Quidel, San Diego, CA). A research nurse did the test, t which took 12 minutes We collected a nasopharyngeal aspirate from the other nostril and transported the sample to the laboratory within four hours. After adding phosphate buffered saline to the aspirate we added the emulsified sample to viral lysis buffer before freezing it at 80 C. We used RT PCR to convert the extracted nucleic acids from RNA to complementary DNA. W eperformed a multiplex, nested PCR assay, using primer sets specific to influenza A and B, on all the samples. To validate our results we... The laboratory lb staff were blind to the result of the near patient test.

27 27 Beispiel Diagnosestudie: die Zahlen We detected influenza by RT PCR in 61 children (39%). The near patient test was positive in 27 of these 61 children, giving ii a sensitivity of 44% (95% confidence interval 32% to 58%) and a specificity of 97% (91% to 99%) (table). Was sagt uns das? 1. Prävalenz: 61/157 = 0.39 (39%); 95% Konfidenzintervall = n.a. 2. Sensitivität: 27/61 = 0.44 (44%); 95% Konfidenzintervall = [0.32;0.58] 3. Spezifität: 93/96 = 0.97 (97%); 95% Konfidenzintervall = [0.91;0.99] 4. PW pos : 27/ 30 = 0.90 (90%); 95% Konfidenzintervall = n.a [0.72; 0.97]* 5. PW neg : 93/127 = 0.73 (73%); 95% Konfidenzintervall = n.a [0.65; 0.81]* * berechnet mit:

28 Phasen der Evaluierung diagnostischer Tests 28 Phase 1:Technische und methodische Voruntersuchungen als Basis für die weitere klinische i Evaluierung. Phase 2:Verteilung der Testergebnisse bei Gesunden/Kranken. Schätzung der Diskriminationsfähigkeit bei bekanntem Krankheitsstatus. Diagnostische Fall Kontroll Studie. Phase 3:Durchführung in der konkreten Anwendungssituation. Unverzerrte Schätzung der Diskriminationsfähigkeit. Vorhersagegenauigkeit. Diagnostische Follow up Studie. Phase4:"Wirksamkeitsuntersuchung" (Nutzen) der Testanwendung. modifiziert nach: Köbberling J, Trampisch HJ, Windeler J: Memorandum for the Evaluation of Diagnostic Measures. J ClinChemClinBiochem 1990; 20: 873 9

29 Möglicher Nutzen diagnostischer Tests 29 "Richtige" Diagnose stellen: richtig tgpositiv (z.b. rechtzeitige Therapieeinleitung) richtig negativ (z.b. Sicherheit, Beruhigung, Vermeidung überflüssiger weiterer Diagnostik oder Therapie) Nur wenn Therapie als Konsequenz der Diagnostik Nutzenbewertung der Therapie erforderlich!

30 Möglicher Schaden diagnostischer Tests 30 Unmittelbare Schäden (z.b. Strahlenbelastung, Infektionen, Perforationen, Blutungen, etc.) Kosten (monetär) "Falsche" Diagnose falsch negativ Krankheit wird übersehen falsch positiv überflüssige nachfolgende Diagnostik mit ihren Risiken falsche, unnötige Therapie mitihren ihren Risiken Angst Lbli Labeling

31 Label Das Vermitteln einer Information ist eine Intervention, die im Gegensatz zu vielen Arzneimittelnebenwirkungen häufig irreversibel ist! 31 Ergebnis der kardiolog. Nachuntersuchung bei 93 Was fühlt der Patient bei Kindern mit Erstdiagnose "organ. Herzerkrankung Vermittlung der Info? Herzkrank n=18 (19%) Nicht herzkrank n=75 (81%) Mit Einschränkung, davon 8 (44 %) 30 (40 %) behindert 2 (11 %) 6 (8 %) teilweise 3 (17 %) 9 (12 %) psychisch 3 (17 %) 15 (20 %) Quelle: Bergman AB, Stamm SJ: The morbidity of cardiac nondisease in school children. N Engl J Med 1967; 276:

32 Screening 32 Wann ist ein Screening sinnvoll? krebsgesellschaft wtrl/deutsche krebsgesellschaft/praevention/dfb kampagne 2011.html

33 Screening "I had prostate cancer, 5, 6 years ago. My chance of surviving prostate cancer and thank God, I was cured of it in the United States? Eighty two percent. My chance of surviving prostate cancer in England? Only 44 percent under socialized medicine." Rudolph Giuliani 33 "The dt data is quite breath taking. tki An American has twice as many chances of surviving prostate cancer than a European does, right? Clearly, Giuliani is not a good epidemiology aficionado. The former NYC mayor used data from the year 2000 that compared the survival rates at 5 years between English and American patients. What he did not know, was the fact that this survival rate is quite useless when you compare two countries where prostate cancer is very differently diagnosed. In the US, PSA screening is common practice, while as in European health services it is not so common " cancer in ny is no better than.html

34 Screening 34 Lead Time Bias cancer in ny is no better than.html

35 Screening und seine Limitationen Nicht die Patientin / der Patient wendet sich an das Gesundheitssystem (wiebeim "normalen" diagnostischen Prozess), sondern das Gesundheitssystem wendet sich an den (subjektiv sich wohl fühlenden) Menschen Primum non nocere InScreening Screening Situationen Situationen imgegensatz zum "normalen" diagnostischen Prozess fällt der größte Anteil an "Nebenwirkungen" auf gesunde Personen Besondere Information für potenzielle Screening Teilnehmer sind vorzuhalten (Aufklärungsmaterial) Die Prävalenzen sind in der Regel sehr niedrig. Die Eid Evidenz muss besonders gut sein. 35

36 36 Vielen Dank für Ihre Aufmerksamkeit aqua Institut für angewandte Qualitätsförderung und Forschung i Gesundheitswesen im G dh it G bh GmbH Maschmühlenweg Göttingen Telefon (+49) Telefax (+49) office@aqua institut.de institut.de institut.de Zertifiziert nach DIN EN ISO 9001:2015