Medizinische Biometrie (L5)

Transkript

1 Medizinische Biometrie (L5) Vorlesung V Der diagnostische Test Prof. Dr. Ulrich Mansmann Institut für Medizinische Informationsverarbeitung, Biometrie und Epidemiologie mansmann@ibe.med.uni-muenchen.de IBE, Med. Biom. (L5) 1

2 Lernziele Güte diagnostischer Tests: Sensitivität, Spezifität, positiver (negativer) prädiktiver Wert Satz von Bayes ROC Analyse, AUC (Area under the curve) Medical Decision Making IBE, Med. Biom. (L5) 2

3 Beispiel 1 (I) 356 Homosexuelle wurden mit einem ELISA-Test auf HIV-Positivität getestet. Von den 356 Probanden der Studie sind 93 tatsächlich HIV-positiv (was mit einem aufwendigeren Verfahren fehlerfrei festgestellt wurde). Der Test liefert 86 positive Testergebnisse. 76 Personen wurden als richtig positiv erkannt. Berechnen Sie Sensitivität, Spezifität, positiv prädiktiven Wert, negativ prädiktiven Wert und HIV Prävalenz. IBE, Med. Biom. (L5) 3

4 Zwei Sichtweisen Perspektive dessen, der den Test anbietet: Bei wie vielen der Patienten mit der interessierenden entdeckt der Test diese? Bei wie vielen der Patienten ohne die interessierenden sagt der Test, dass diese nicht vorliegt? Patientenperspektive: Mit welcher W keit liegt die interessierende vor, wenn der Test positiv ausfällt? Mit welcher W keit liegt die interessierende nicht vor, wenn der Test negativ ausfällt? IBE, Med. Biom. (L5) 4

5 Grundsituation bei diagnostischen Tests Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden Richtig Positive Falsch Negative P(D+) Erkrankte D- nicht vorhanden Falsch Positive Richtig Negative P(D-) Nicht Erkrankte Testpositive P(T+) Testnegative P(T-) IBE, Med. Biom. (L5) 5

6 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden 356 IBE, Med. Biom. (L5) 6

7 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden 93 D- nicht vorhanden 356 IBE, Med. Biom. (L5) 7

8 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 8

9 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 9

10 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 10

11 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden 76 D- nicht vorhanden IBE, Med. Biom. (L5) 11

12 Beispiel 1 (II) Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden D- nicht vorhanden IBE, Med. Biom. (L5) 12

13 Definitionen (I) Qualitätsmaße, die bezüglich der Spalten abgeleitet werden (Testanbieter): Sensitivität (SE) eines diagnostischen Testes: Anteil der Testpositiven (T+) unter den Patienten mit der interessierenden (D+) P(T+ D+) Spezifität (SP) eines diagnostischen Testes: Anteil der Testnegativen (T-) unter den Patienten ohne die interessierende (D-). P(T- D-) IBE, Med. Biom. (L5) 13

14 Definitionen (II) Qualitätsmaße, die bezüglich der Zeilen abgeleitet werden (Patient): Positiv prädiktiver Wert (PPW) eines diagnostischen Testes: Anteil der Patienten mit der interessierenden (D+) unter den Testpositiven (T+). P(D+ T+) Negativ prädiktiver Wert (NPW) eines diagnostischen Testes: Anteil der Patienten ohne die interessierende (D-) unter den Testpositiven (T-). P(D- T-) Homogenität der betrachteten Gruppe: Prävalenz: Anteil der Patienten mit der interessierenden (D+) in der Studiengruppe. P(D+) IBE, Med. Biom. (L5) 14

15 Grundsituation bei diagnostischen Test Testergebnis mit Unsicherheit versehen T+ entdeckt T- nicht entdeckt Goldstandard wahrer Sachverhalt D+ vorhanden Richtig Positive P(D+ T+) P(T+ D+) Falsch Negative P(D+ T-) P(T- D+) P(D+) Erkrankte D- nicht vorhanden Falsch Positive P(D- T+) P(T+ D-) Richtig Negative P(D- T-) P(T- D-) P(D-) Nicht Erkrankte Testpositive P(T+) Testnegative P(T-) IBE, Med. Biom. (L5) 15

16 Beispiel 1 (III) Sensitivität, SE, P(T+ D+) = 76/93 = % Spezifität, SP, P(T- D-) = 253/263 = % Positiv prädiktiver Wert, PPW, P(D+ T+) = 76/86 = % Negativ prädiktiver Wert, NPW, P(D- T-) = 253/270 = % Prävalenz, PR, P(D+) = 93/263 = % IBE, Med. Biom. (L5) 16

17 Formale Zusammenhänge Satz von Bayes: Drücke P(D T) mit Hilfe der P(T D) und P(D) aus! PPW = P(D+ T+) = SE PR / [SE PR + (1-SP) (1-PR)] NPW = P(D- T-) = SP (1-PR) / [SP (1-PR) + (1-SE) PR] PPW: Prävalenz in der Gruppe der Testpositiven. Wie ändert sich die Prävalenz durch den Hinzugewinn von diagnostischer Information? PPW / (1-PPW) = [ PR / (1-PR) ] [ SE / (1-SP) ] Posterior odds ~ prior odds Likelihood Quotient Analog: NPW / (1-NPW) = [ (1-PR) / PR ] [ SP / (1-SE) ] IBE, Med. Biom. (L5) 17

18 Beispiel 2 (I) Mit einem automatischen Blutdruckmeßgerät werden 84% der Hypertoniker und 23% der Normotoniker als hyperton eingestuft. Wie groß sind positiver und negativer prädiktiver Wert des Gerätes bei einer Hypertonie-Prävalenz von 20% bei erwachsenen Patienten in der Praxis? SE = 0.84 (1-SP) = 0.23 SP = 0.77 PR = 0.2 richtig positive Diagnosen falsch positive Diagnosen Anteil der Erkrankten IBE, Med. Biom. (L5) 18

19 Beispiel 2 (II) Praediktiver Wert PPW: SE=0.9,SP=0.8 PPW: SE=0.9,SP=0.85 PPW: SE=0.95,SP=0.8 NPW: SE=0.9,SP=0.8 NPW: SE=0.9,SP=0.85 PPW: SE=0.95,SP= Praevalenz IBE, Med. Biom. (L5) 19

20 Beispiel 2 (III) Konsequenzen Bei geringer Prävalenz benötigt man Tests mit hoher Spezifität, um einen ausreichend hohen positiven prädiktiven Wert zu erzielen. Anforderungen an Sensitivität und Spezifität: hängen von den Konsequenzen der Fehldiagnosen (ethische und finanzielle Kosten) ab. FP schwerwiegend, dann hohe Spezifität gefordert (Bestätigungstest). FN schwerwiegend, dann hohe Sensitivität gefordert (Entdeckungstest, Screeningtest) Ausschluss einer Krankheit, dann hohe Sensitivität (Ausschlusstest) IBE, Med. Biom. (L5) 20

21 Beispiel 3 (I) Die richtige Klassifikationsrate eines Lügendetektors wurde als 0.76 für Lügner (SE) und 0.63 für kooperierende Personen (SP) bestimmt. Der Lügendetektor soll eingesetzt werden, wenn Blutspender über ihren Drogenkonsum befragt werden. Falls Blutspender sagen, sie seien Drogenkonsumenten, werden Sie von der Spende ausgeschlossen. Nehmen Sie an, dass alle die Wahrheit sagen, die keine Drogen konsumieren. 1. Falls 5% der potentiellen Blutspender Drogen nehmen und ein Drittel von Ihnen lügt, wie groß ist der Anteil von Blutspenden, die von Drogenkonsumenten kommen? 2. Wie groß ist der Anteil von Drogenkonsumenten, bei denen der Lügendetektortest fehlschlägt? IBE, Med. Biom. (L5) 21

22 Beispiel 3 (II) potentielle Blutspender Drogenkonsument 1/3 2/3 Kein Drogenkonsument Gibt Drogenkonsum zu Ausschluß 0.05/3 = Entdeckt durch Lügendetektor Verschweigt Drogenkonsum Ausschluß aufgrund Detektorurteil Nicht entdeckt durch Lügendetektor Einschluß aufgrund Detektorurteil = Ausschluß /3 = Einschluß = IBE, Med. Biom. (L5) 22

23 ROC receiver operator characteristic Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) Wert Werteverteilung in der Gruppe gesunder Probanden (rot) IBE, Med. Biom. (L5) 23

24 ROC receiver operator characteristic Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) Dichte Falsch positiv Anteil (1-SP) Richtig positiv Anteil (SE) Wert Werteverteilung in der Gruppe gesunder Probanden (rot) IBE, Med. Biom. (L5) 24 Wert

25 ROC receiver operator characteristic Diagnostischer Schwellenwert Dichte Werteverteilung bei Patienten (blau) richtig positiv: SE Wert Werteverteilung in der Gruppe gesunder Probanden (rot) falsch positiv: 1-SP IBE, Med. Biom. (L5) 25

26 ROC receiver operator characteristic Was ist ein guter Schwellenwert? Kosten einer Diagnose für gegebenen Schwellenwert (sw) [Utilities Nutzwerte] : Anteil der falsch positiven Diagnosen (1-SP) und deren implizierte Kosten (K FP ) plus Anteil der falsch negativen Diagnosen (1-SE) und deren implizierte Kosten (K FN ): K(sw) = (1-SP(sw)) K FP + (1-SE(sw)) K FN Wähle den Wert sw so, daß die Kosten minimal sind! Suche den Schwellenwert sw*, für den die Steigung der ROC-Kurve gleich dem Verhältnis der Kosten K FP /K FN ist. IBE, Med. Biom. (L5) 26

27 ROC receiver operator characteristic K FN >> K FP K FP >> K FN SE* richtig positiv: SE K FP = K FN wo berührt die Tangente mit der Steigung 1 die ROC Kurve. Suche den Schwellenwert, der zum (1-SP*,SE*) Paar gehört. 1-SP* falsch positiv: 1-SP IBE, Med. Biom. (L5) 27

28 AUC Area under the curve AUC: Fläche unter der ROC-Kurve. richtig positiv: SE falsch positiv: 1-SP Falls hohe Meßwerte auf die Erkrankung deuten, so ist die AUC die Wahrscheinlichkeit bei einem Patienten einen höheren Messwert zu finden als bei einem Gesunden. Werden beide Gruppen durch den betrachteten Parameter perfekt separiert, so ist AUC=1 und die ROC-Kurve schmiegt sich in die linke obere Ecke. Können beide Gruppen durch den Messwert nicht differenziert werden, so ist die Wahrscheinlichkeit gleich 0.5 und die ROC- Kurve liegt auf der Diagonalen. IBE, Med. Biom. (L5) 28

29 Medical Decision Making B Behandeln b Nicht behandeln T Testen und abhängig davon behandeln oder nicht. Wie hängt von der Prävalenz der Erkrankung und den entsprechenden Kosten- / Nutzenwerten bzw. Gütewerten des Testes die Entscheidung ab? IBE, Med. Biom. (L5) 29

30 Erwartete Kosten / Nutzen Behandlung aller: E B [U] Keiner wird behandelt: E b [U] = PR N KB + (1-PR) N kb = PR (N KB -N kb ) + N kb = PR N Kb + (1-PR) N kb = PR (N Kb -N kb ) + N kb Testen und nach Testergebnis behandeln: E T [U] = PR [SE N KB + (1-SE) N Kb ] + (1-PR) [SP N kb + (1-SP) N kb ] = PR [N Kb +SE (N KB N Kb ) - SP (N kb N kb ) - N kb ] +SP (N kb N kb ) + N kb N KB : Nutzwert für Kranke, die behandelt werden. N Kb : Nutzwert für Kranke, die nicht behandelt werden. N kb : Nutzwert für Gesunde, die behandelt werden. N kb : Nutzwert für Gesunde, die nicht behandelt werden. PR: Prävalenz SE: Test-Sensitivität SP: Test-Spezifität Der erwartete Nutzen hängt linear von der Prävalenz der Erkrankung ab. IBE, Med. Biom. (L5) 30

31 Erwartete Kosten / Nutzen Behandlung aller: E B [U] = PR N KB + (1-PR) N kb = PR (N KB -N kb ) + N kb Nutzwert für einen Kranken, der behandelt wird, ist größer als der für einen behandelten Gesunden. Somit hat E B [U] eine positive Steigung. Keiner wird behandelt: E b [U] = PR N Kb + (1-PR) N kb = PR (N Kb -N kb ) + N kb Nutzwert für einen Kranken, der nicht behandelt wird, ist kleiner als der für einen nicht behandelten Gesunden. Somit hat E b [U] eine negative Steigung. Testen und nach Testergebnis behandeln: E T [U] = PR [SE N KB + (1-SE) N Kb ] + (1-PR) [SP N kb + (1-SP) N kb ] Einfache Betrachtung nicht möglich. Hängt von zu vielen Einflüssen ab. = PR [N Kb +SE (N KB N Kb ) - SP (N kb N kb ) - N kb ] +SP (N kb N kb ) + N kb IBE, Med. Biom. (L5) 31

32 Erwartete Kosten / Nutzen Erwarteter Nutzen E[U] N kb 0 N kb N KB N Kb Prävalenz der Erkrankung (PR) 0 1 Behandle die Krankheit nicht Teste und behandle Behandle jeden gemäß Ergebnis IBE, Med. Biom. (L5) 32

33 Erwartete Kosten / Nutzen P b 0 1 P B Behandle die Krankheit nicht Teste und behandle gemäß Ergebnis Behandle jeden P b =A / (A + LR + ) P B =A / (A + LR - ) LR + = SE / (1-SP) A = [N kb N kb ] / [N KB -N Kb ] LR - = (1-SE) / SP IBE, Med. Biom. (L5) 33

34 Zusammenfassung Die Qualität eines diagnostischen Testes wird durch Sensitivität, Spezifität und prädiktive Werte quantifiziert. Sensitivität und Spezifität werden als unabhängig von der Prävalenz angenommen, während die prädiktiven Werte sich mit der Prävalenz der Erkrankung verändern. Medizinische Entscheidungen basieren auf Werten. Kliniker müssen dabei folgende Aspekte gleichzeitig beachten: - die Testgenauigkeit - die Vorteile und Risiken einer Behandlung - den klinischen Verlauf der Erkrankung Die AUC wird in der Regel als globales Maß für die Güte eines Testes benutzt. Dies ist in der Regel irreführend. Manchmal werden hoch spezifische Tests benötigt um eine Krankheit zu bestätigen. Manchmal werden hoch sensitive Tests benötigt um eine Krankheit auszuschließen. Nicht immer werden Tests mit einer möglistch hohen AUC benötigt. IBE, Med. Biom. (L5) 34