Prinzipien der klinischen Epidemiologie

Transkript

1 Prinzipien der klinischen Epidemiologie Der diagnostische Test Prof. Dr. Ulrich Mansmann Institut für Medizinische Informationsverarbeitung, Biometrie und Epidemiologie IBE, Med. Biom. (L5) 1

2 Lernziele Wo liegt das Problem? Güte diagnostischer Tests: Sensitivität, Spezifität, positiver (negativer) prädiktiver Wert Satz von Bayes Diagnsotische Tests als Elemente komplexer klinischer Prozesse ROC Analyse, AUC (Area under the curve) 10 neue Biomarker (NEJM [2006] 355: ) zur Erkennung von kardivaskulären Risiken Medical Decision Making Relevanz von Gen-Signaturen bei der Behandlung des kolorektalen Karzinoms Hinweis: Das Wort Wahrscheinlichkeit wird im folgenden Text durch W keit abgekürzt. IBE, Med. Biom. (L5) 2

3 Wo liegt das Problem? Wie kann man ein Testergebnis rational interpretieren Wann ist mit einem positiven Testergebnis auch die Krankheit gesichert? -> positiver (negativer) prädiktiver Wert Wie quantifiziert man die Güte eines diagnostischen Tests? ->Sensitivität, Spezifität Wie können Güteaussagen (die stehen in der Literatur) mit Kenntnis des Patientenspektrums (Prävalenz die kennt der Arzt) zur Interpretation eines Testergebnisses kombiniert werden? -> Satz von Bayes IBE, Med. Biom. (L5) 3

4 Eine Frau mit positivem Mammographie-Befund Nach positivem Mammographie-Befund beschafft sich die betroffene Frau folgende Ergebnisse aus den Berichten zum Mammographie-Screening in Bayern: Brustkrebsprävalenz in Bayern: Bei 1% der Frauen ihrer Altersklasse wurde Brustkrebs diagnostiziert. Qualität der Mammographie-Untersuchung: Bei 90 von 100 Frauen mit Brustkrebs wurde dieser durch die Mammographie erkannt. Bei 5 von 100 Frauen ohne Brustkrebs hat die Mammographie die Diagnose Brustkrebs gestellt. Die Frau überlegt sich folgendes: Von den bayerischen Frauen ihrer Alterklasse sind 2000 an Brustkrebs erkrankt. Von diesen wurden 1800 (= 2000 x 0.9) durch die Mammographie entdeckt. Von den gesunden Frauen wurden aber ebenfalls x 0.05 = 9900 fälschlicher Weise mit Brustkrebs befundet. Für mich stehen die Chancen also 2000 zu 9900 bei positivem Mammographie-Befund wirklich Brustkrebs zu haben. In W keit ausgedrückt: Die W keit bei positivem Mammographiebefund auch ein Mammakarzinom zu finden ist 2000/11900 = (16.81%) IBE, Med. Biom. (L5) 4

5 Beispiel 1 (I) 356 Homosexuelle wurden mit einem ELISA-Test auf HIV-Positivität getestet. Von den 356 Probanden der Studie sind 93 tatsächlich HIV-positiv (was mit einem aufwendigeren Verfahren fehlerfrei festgestellt wurde). Der Test liefert 86 positive Testergebnisse. 76 Personen wurden als richtig positiv erkannt. Stellen Sie die Ergebnisse der Studie dar und berechnen Sie wesentliche Maßzahlen zur Testqualität. IBE, Med. Biom. (L5) 5

6 Zwei Sichtweisen Perspektive dessen, der den Test anbietet (Darstellung in der med. Fachliteratur) Bei wie vielen der Patienten mit der interessierenden entdeckt der Test diese? Bei wie vielen der Patienten ohne die interessierenden sagt der Test, dass diese nicht vorliegt? Patientenperspektive: Mit welcher W keit liegt die interessierende vor, wenn der Test positiv ausfällt? Mit welcher W keit liegt die interessierende nicht vor, wenn der Test negativ ausfällt? IBE, Med. Biom. (L5) 6

7 Grundsituation bei diagnostischen Tests Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden Richtig Positive Falsch Negative P(D+) Erkrankte D- nicht vorhanden Falsch Positive Richtig Negative P(D-) Nicht Erkrankte Testpositive P(T+) Testnegative P(T-) IBE, Med. Biom. (L5) 7

8 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden 356 IBE, Med. Biom. (L5) 8

9 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden 93 D- nicht vorhanden 356 IBE, Med. Biom. (L5) 9

10 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 10

11 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 11

12 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 12

13 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden 76 D- nicht vorhanden IBE, Med. Biom. (L5) 13

14 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 14

15 Definitionen (I) Qualitätsmaße, die bezüglich der Spalten abgeleitet werden (Testanbieter): Sensitivität (SE) eines diagnostischen Testes: Anteil der Testpositiven (T+) unter den Patienten mit der interessierenden (D+) P(T+ D+) Spezifität (SP) eines diagnostischen Testes: Anteil der Testnegativen (T-) unter den Patienten ohne die interessierende (D-). P(T- D-) IBE, Med. Biom. (L5) 15

16 Definitionen (II) Qualitätsmaße, die bezüglich der Zeilen abgeleitet werden (Patient): Positiv prädiktiver Wert (PPW) eines diagnostischen Testes: Anteil der Patienten mit der interessierenden (D+) unter den Testpositiven (T+). P(D+ T+) Negativ prädiktiver Wert (NPW) eines diagnostischen Testes: Anteil der Patienten ohne die interessierende (D-) unter den Testpositiven (T-). P(D- T-) Homogenität der betrachteten Gruppe: Prävalenz: Anteil der Patienten mit der interessierenden (D+) in der Studiengruppe. P(D+) IBE, Med. Biom. (L5) 16

17 Grundsituation bei diagnostischen Test Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden Richtig Positive P(D+ T+) P(T+ D+) Falsch Negative P(D+ T-) P(T- D+) P(D+) Erkrankte D- nicht vorhanden Falsch Positive P(D- T+) P(T+ D-) Richtig Negative P(D- T-) P(T- D-) P(D-) Nicht Erkrankte Testpositive P(T+) Testnegative P(T-) IBE, Med. Biom. (L5) 17

18 Beispiel 1 (III) Sensitivität, SE, P(T+ D+) = 76/93 = % Spezifität, SP, P(T- D-) = 253/263 = % Positiv prädiktiver Wert, PPW, P(D+ T+) = 76/86 = % Negativ prädiktiver Wert, NPW, P(D- T-) = 253/270 = % Prävalenz, PR, P(D+) = 93/356 = % IBE, Med. Biom. (L5) 18

19 Parameter und Schätzung Parameter sind die Kenngrößen des wirklichen Prozesses, der hinter den erhobenen Daten wirkt und die Daten erzeugt hat. Der wahre Wert eines Parameters ist nicht bekannt. Schätzer sind aus den Daten berechnete Statistiken, die eine Nährung an den unbekannten aber interessierenden Parameter darstellen. Wie gut ist ein Schätzer für den unbekannten Parameter? Wie nahe liegt der Schätzer am unbekannten Parameter? Die Antwort hierzu gibt das 95% Konfidenzintervall: Der Bereich um den Schätzer von dem behauptet wird, dass er den wahren unbekannten Parameterwert enthält. Parameter Schätzer 95% Konfidenzintervall Sensitivität (SE) 76/93 = [0.739, 0.896] Spezifität (SP) 253/263 = [0.939, 0.985] Positiver prädiktiver Wert (PPW) 76/86 = [0.816, 0.951] Negativer Prädiktiver Wert (NPW) 253/270 = [0.908, 0.966] Prävalenz (PR) 93/263 = IBE, Med. Biom. (L5) 19

20 Formale Zusammenhänge (I) Satz von Bayes drückt prädiktive Werte [P(D T)] mit Hilfe der Gütemaße Sensitivität und Spezifität [P(T D)] sowie der Prävalenz [P(D)] aus. PPW = P(D+ T+) = SE PR / [SE PR + (1-SP) (1-PR)] NPW = P(D- T-) = SP (1-PR) / [SP (1-PR) + (1-SE) PR] PPW: Prävalenz in der Gruppe der Testpositiven. PPW / (1-PPW) = [ PR / (1-PR) ] [ SE / (1-SP) ] NPW / (1-NPW) = [ (1-PR) / PR ] [ SP / (1-SE) ] Wie ändert sich die Prävalenz durch den Hinzugewinn von diagnostischer Information? Posterior odds ~ prior odds Likelihood Quotient IBE, Med. Biom. (L5) 20

21 Formale Zusammenhänge (II) Zur Wahrscheinlichkeit p gehört die Odds o = p/(1-p) Zur Odds o gehört die W keit o / (1+o) Beispiel: Mit o = 4 ergibt sich p = 4/5 = 0.8 Mit o = 0.2 ergibt sich p = 0.2 / 1.2 = 1/6 = Mit p = 0.5 ergibt sich o = 0.5/0.5 = 1 IBE, Med. Biom. (L5) 21

22 Beispiel 2 (I) Mit einem automatischen Blutdruckmeßgerät werden 84% der Hypertoniker und 23% der Normotoniker als hyperton eingestuft. Wie groß sind positiver und negativer prädiktiver Wert des Gerätes bei einer Hypertonie-Prävalenz von 20% bei erwachsenen Patienten in der Praxis? SE = 0.84; (1-SP) = 0.23; SP = 0.77 SE/(1-SP) = 0.84/0.23 = 3.65 SP/(1-SE) = 0.77/0.16 = 4.81 Pr = 0.2 Odds (Hyperthonie) = 0.2/0.8 = 0.25 Odds (Normothonie) = 0.8/=.2 = 4 Odds(PPW) = Odds (Hyperthonie) x SE/(1-SP) = 0.25 x 3.65 = PPW = Odds(NPW) = Odds (Normothonie) x SP/(1-SE) = 4 x 4.81 = NPW = IBE, Med. Biom. (L5) 22

23 Beispiel 2 (II) Praediktiver Wert PPW: SE=0.9,SP=0.8 PPW: SE=0.9,SP=0.85 PPW: SE=0.95,SP=0.8 NPW: SE=0.9,SP=0.8 NPW: SE=0.9,SP=0.85 PPW: SE=0.95,SP= Praevalenz IBE, Med. Biom. (L5) 23

24 Beispiel 2 (III) Konsequenzen Bei geringer Prävalenz benötigt man Tests mit hoher Spezifität, um einen ausreichend hohen positiven prädiktiven Wert zu erzielen. Anforderungen an Sensitivität und Spezifität: hängen von den Konsequenzen der Fehldiagnosen (ethische und finanzielle Kosten) ab. FP schwerwiegend, dann hohe Spezifität gefordert (Bestätigungstest). FN schwerwiegend, dann hohe Sensitivität gefordert (Entdeckungstest, Screeningtest) -> FPs spielen keine gravierende Rolle, da sie in einer weiteren Diagnostik entdeckt werden Ausschluss einer Krankheit, dann hohe Sensitivität und hohe Spezifität (Ausschlusstest) IBE, Med. Biom. (L5) 24

25 Beispiel 3 (I) Die richtige Klassifikationsrate eines Lügendetektors wurde als 0.76 für Lügner (SE) und 0.63 für kooperierende Personen (SP) bestimmt. Der Lügendetektor soll eingesetzt werden, wenn Blutspender über ihren Drogenkonsum befragt werden. Falls Blutspender sagen, sie seien Drogenkonsumenten, werden Sie von der Spende ausgeschlossen. Falls der Detektor anschlägt, wird die betreffende Person ebenfalls von der Spende ausgeschlossen. Nehmen Sie an, dass alle die Wahrheit sagen, die keine Drogen konsumieren. 1. Falls 5% der potentiellen Blutspender Drogen nehmen und ein Drittel von Ihnen lügt, wie groß ist der Anteil von Blutspenden, die von Drogenkonsumenten kommen? 2. Wie groß ist der Anteil von Drogenkonsumenten, bei denen der Lügendetektortest fehlschlägt? IBE, Med. Biom. (L5) 25

26 Beispiel 3 (II) potentielle Blutspender Drogenkonsument 1/3 2/3 Kein Drogenkonsument Gibt Drogenkonsum zu Ausschluß 0.05/3 = Entdeckt durch Lügendetektor Verschweigt Drogenkonsum Ausschluß aufgrund Detektorurteil Nicht entdeckt durch Lügendetektor Einschluß aufgrund Detektorurteil = Ausschluß /3 = Einschluß /3 = IBE, Med. Biom. (L5) 26

27 Beispiel 3 (III) Wie groß ist der Anteil von Blutspenden, die von Drogenkonsumenten kommen? / ( ) = (1.32%) Wie groß ist der Anteil von Drogenkonsumenten, bei denen der Lügendetektortest fehlschlägt? / ( ) = / 0.05 = 0.16 IBE, Med. Biom. (L5) 27

28 Test aus der klinischen Chemie - Wo liegt das Problem? Diagnostische liefern ein dichotomes Ergebnis (positiv / negativ) Wie kann dies geschehen, wenn der Test einen Laborwert für die Entscheidung benutzt? Hierzu muss ein Schwellenwert eingeführt werden. Wie findet man einen idealen Schwellenwert? IBE, Med. Biom. (L5) 28

29 ROC receiver operator characteristic Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) Wert Werteverteilung in der Gruppe gesunder Probanden (rot) IBE, Med. Biom. (L5) 29

30 ROC receiver operator characteristic Diagnostischer Schwellenwert Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) Dichte Falsch positiv Anteil (1-SP) Richtig positiv Anteil (SE) Wert Werteverteilung in der Gruppe gesunder Probanden (rot) IBE, Med. Biom. (L5) 30 Wert

31 ROC receiver operator characteristic Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) richtig positiv: SE Wert Werteverteilung in der Gruppe gesunder Probanden (rot) falsch positiv: 1-SP IBE, Med. Biom. (L5) 31

32 ROC receiver operator characteristic Was ist ein guter Schwellenwert? Kosten einer Diagnose für gegebenen Schwellenwert (sw) [Utilities Nutzwerte] : Anteil der falsch positiven Diagnosen (1-SP) und deren implizierte Kosten (K FP ) plus Anteil der falsch negativen Diagnosen (1-SE) und deren implizierte Kosten (K FN ): K(x sw ) = K 0 + (1-SP(x sw )) K FP + (1-SE(x sw )) K FN Wähle den Schwellenwert x sw so, daß die Kosten minimal sind! Suche den Schwellenwert x* sw, für den die Steigung der ROC-Kurve gleich dem Verhältnis der Kosten K FP /K FN ist. IBE, Med. Biom. (L5) 32

33 ROC receiver operator characteristic K FN >> K FP K FP >> K FN SE* richtig positiv: SE K FP = K FN wo berührt die Tangente mit der Steigung 1 die ROC Kurve. Suche den Schwellenwert, der zum (1-SP*,SE*) Paar gehört. 1-SP* falsch positiv: 1-SP IBE, Med. Biom. (L5) 33

34 AUC Area under the curve AUC: Fläche unter der ROC-Kurve. richtig positiv: SE falsch positiv: 1-SP Falls hohe Meßwerte auf die Erkrankung deuten, so ist die AUC die Wahrscheinlichkeit bei einem Patienten einen höheren Messwert zu finden als bei einem Gesunden. Werden beide Gruppen durch den betrachteten Parameter perfekt separiert, so ist AUC=1 und die ROC-Kurve schmiegt sich in die linke obere Ecke. Können beide Gruppen durch den Messwert nicht differenziert werden, so ist die Wahrscheinlichkeit gleich 0.5 und die ROC- Kurve liegt auf der Diagonalen. IBE, Med. Biom. (L5) 34

35 IBE, Med. Biom. (L5) 35

36 IBE, Med. Biom. (L5) 36

37 Etabliertes Risikomodell für kardiovaskuläre Ereignisse Ergänzung des Risikomodells für kardiovaskuläre Ereignisse Ist die Ergänzung sinnvoll? IBE, Med. Biom. (L5) 37

38 IBE, Med. Biom. (L5) 38

39 IBE, Med. Biom. (L5) 39

40 AUC nicht immer von Interesse Szenario Scenario I I Szenario Scenario II II Szenario III Scenario II IBE, Med. Biom. (L5) 40

41 AUC nicht immer von Interesse Sensitivity Scenario 1 Scenario 2 Scenario 3 Obwohl Szenario II den kleinsten AUC Wert hat ist es für diagnostische Zwecke sehr interessant: Personen mit sehr hohen werten sind mit hoher Sicherheit krank, denn Gesunde entwickeln nie Werte in diesem Bereich Specificity IBE, Med. Biom. (L5) 41

42 Medical Decision Making B Behandeln b Nicht behandeln T Testen und abhängig davon behandeln oder nicht. Wie hängt von der Prävalenz der Erkrankung und den entsprechenden Kosten- / Nutzenwerten bzw. Gütewerten des Testes die Entscheidung ab? IBE, Med. Biom. (L5) 42

43 Erwartete Kosten / Nutzen Behandlung aller: E B [U] Keiner wird behandelt: E b [U] = PR N KB + (1-PR) N kb = PR (N KB -N kb ) + N kb = PR N Kb + (1-PR) N kb = PR (N Kb -N kb ) + N kb Testen und nach Testergebnis behandeln: E T [U] = PR [SE N KB + (1-SE) N Kb ] + (1-PR) [SP N kb + (1-SP) N kb ] = PR [N Kb +SE (N KB N Kb ) - SP (N kb N kb ) - N kb ] +SP (N kb N kb ) + N kb N KB : Nutzenwert für Kranke, die behandelt werden. N Kb : Nutzenwert für Kranke, die nicht behandelt werden. N kb : Nutzenwert für Gesunde, die behandelt werden. N kb : Nutzenwert für Gesunde, die nicht behandelt werden. PR: Prävalenz SE: Test-Sensitivität SP: Test-Spezifität Der erwartete Nutzen hängt linear von der Prävalenz der Erkrankung ab. IBE, Med. Biom. (L5) 43

44 Erwartete Kosten / Nutzen Behandlung aller: E B [U] = PR (N KB -N kb ) + N kb Nutzwert für einen Kranken, der behandelt wird, ist größer als der für einen behandelten Gesunden. Somit hat E B [U] eine positive Steigung. Keiner wird behandelt: E b [U] = PR (N Kb -N kb ) + N kb Nutzwert für einen Kranken, der nicht behandelt wird, ist kleiner als der für einen nicht behandelten Gesunden. Somit hat E b [U] eine negative Steigung. Testen und nach Testergebnis behandeln: E T [U] = PR [N Kb +SE (N KB N Kb ) - SP (N kb N kb ) - N kb ] +SP (N kb N kb ) + N kb Einfache Betrachtung nicht möglich. Hängt von zu vielen Einflüssen ab. IBE, Med. Biom. (L5) 44

45 Erwartete Kosten / Nutzen Erwarteter Nutzen E[U] N kb 0 N kb N KB N Kb Prävalenz der Erkrankung (PR) 0 1 Behandle die Krankheit nicht Teste und behandle Behandle jeden gemäß Ergebnis IBE, Med. Biom. (L5) 45

46 Erwartete Kosten / Nutzen P b 0 1 P B Behandle die Krankheit nicht Teste und behandle gemäß Ergebnis Behandle jeden P b =A / (A + LR + ) P B =A / (A + LR - ) LR + = SE / (1-SP) A = [N kb N kb ] / [N KB -N Kb ] LR - = (1-SE) / SP IBE, Med. Biom. (L5) 46

47 Komplexe Strategien Benutze Gensignaturen um Therapieentscheidungen bei Patienten mit prognostisch günstigen kolorektalen Karzinomen durchzuführen (UICC I/II) Vorliegenden Optionen: XT - Chemotherapie Signatur für Tumorprogression Geringes Risiko: Beobachten Hochrisiko: Behandel mit XT Signatur auf XT-Reaktion Engmaschige Überwachung Keine Behandlung mit XT XT-Behandlung IBE, Med. Biom. (L5) 47

48 Behandlungsentscheidung Nutzenbewertung Hochrisiko Niedrigrisiko XT-Behandlung U TR U Tr Keine XT- Behandlung U tr U tr XT - Chemotherapie IBE, Med. Biom. (L5) 48

49 Behandlungsentscheidung U TR Erwarteter Nutzen E[U] U tr 0 U Tr U tr Prävalenz des Risikos (PR) 0 1 IBE, Med. Biom. (L5) 49

50 Behandlungsentscheidung Erwarteter Nutzen E[U] U tr 0 U Tr U TR U tr Prävalenz des Risikos (PR) 0 1 IBE, Med. Biom. (L5) 50

51 Behandlungsentscheidung Erwarteter Nutzen E[U] U tr 0 U Tr U TR U tr Prävalenz des Risikos (PR) 0 1 IBE, Med. Biom. (L5) 51

52 Behandlungsentscheidung U TR Erwarteter Nutzen E[U] U tr 0 U Tr P t P T U tr Prävalenz des Risikos (PR) 0 1 Treat nobody Targeted treatment Treat everybody IBE, Med. Biom. (L5) 52

53 Behandlungsentscheidung P t = A / (A + LR + ) A = [U tr U Tr ] / [U TR -U tr ] Nutzenverhältnis P T = A / (A + LR - ) LR + = SE / (1-SP) Likelihood Ratio LR - = (1-SE) / SP Was ist die Prävalenz von Hochrisikopatienten bei der man die Strategie keine Behandlung gegen die Option Test+Behandlung auswechselt? Beispiel: SE = 0.85 / 0.8 SP = 0.85 / 0.8 Farbe: rot/schwarz kritische Praevalenz Prävalenz von Hochrisikopatienten im UICC I Stadium Nutzenverhaeltnis IBE, Med. Biom. (L5) 53

54 Zusammenfassung Die Qualität eines diagnostischen Testes wird durch Sensitivität, Spezifität und prädiktive Werte quantifiziert. Sensitivität und Spezifität werden als unabhängig von der Prävalenz angenommen, während die prädiktiven Werte sich mit der Prävalenz der Erkrankung verändern. Medizinische Entscheidungen basieren auf Werten. Kliniker müssen dabei folgende Aspekte gleichzeitig beachten: - die Testgenauigkeit - die Vorteile und Risiken einer Behandlung - den klinischen Verlauf der Erkrankung Die AUC wird in der Regel als globales Maß für die Güte eines Testes benutzt. Manchmal werden hoch spezifische Tests benötigt um eine Krankheit zu bestätigen. Manchmal werden hoch sensitive Tests benötigt um eine Krankheit auszuschließen. Nicht immer werden Tests mit einer möglichst hohen AUC benötigt. IBE, Med. Biom. (L5) 54