Vergleich von ROC-Kurven für verschiedene bildgebende Verfahren und mehrere Gutachter

Transkript

1 Herbstworkshop, November 2003 in Freiburg Vergleich von ROC-Kurven für verschiedene bildgebende Verfahren und mehrere Gutachter Siegfried Kropf, Friedrich-Wilhelm Röhl Institut für Biometrie und edizinische Informatik Otto-von-Guericke-Universität agdeburg

2 Inhalt Ausgangssituation / Problemstellung Verfahren - Grundidee programmtechnische Realisierung Ergebnisse im Beispiel Freiburg, 20./ S. Kropf und F.-W. Röhl 2

3 Ausgangssituation / Problemstellung Vergleich von mehreren bildgebenden Verfahren zur Erkennung von Veränderungen in der unge: Standardverfahren und neues Verfahren in drei verschiedenen Geschwindigkeiten/Dosierungen (Rapp-Bernhardt et al., 2003) Untersuchungen an künstlichen Objekten, wo spezielle uster auf einem künstlichen Phantom positioniert wurden. Für jede Probe wurde mit allen vier bildgebenden Verfahren eine Aufnahme erzeugt und diese jeweils unabhängig von 8 Radiologen begutachtet. Einschätzung auf 5-Stufen-Skala: 1: sicher vorhanden,..., 5: sicher nichts vorhanden Freiburg, 20./ S. Kropf und F.-W. Röhl 3

4 Es wurden sowohl positive als auch negative Proben erzeugt. Gesucht: primär: Unterschiede zwischen bildgeb. Verfahren sekundär: Abhängigkeit von Gutachtern In ähnlicher früherer Arbeit (Bernhardt et al., Radiology, 1999) wurden positive und negative Felder getrennt analysiert Standard-ANOVA-Techniken Stufencharakter vernachlässigt; Proben als cases, Verfahren und Gutachter als within-subject-faktoren in einer Repeated easurement Analyse für Analysen mit negativen Feldern sind hohe Skalenwerte gut, für positive Felder sind niedrige Skalenwerte gut. Problem: zwei getrennte Analysen, keine Korrekturen für Verfahren, die insgesamt höheres Niveau erzeugen Freiburg, 20./ S. Kropf und F.-W. Röhl 4

5 Alternative Betrachtung Für einen einzelnen Gutachter und ein einzelnes zu beurteilendes Verfahren würde man eine ROC-Analyse durchführen: Sensitivität und Spezifität für variierende Cutpoints 1, 2, 3, 4, 5 berechnen, gegeneinander darstellen und AUC berechnen. Sensitivität AUC 1 Spezifität Vorteil: an betrachtet positive und negative Proben gemeinsam, aufeinander abgeglichen; die Trennfähigkeit wird beurteilt. Freiburg, 20./ S. Kropf und F.-W. Röhl 5

6 Das könnte man für jedes bildgebende Verfahren und für jeden Gutachter durchführen, hat dann aber jeweils nur noch einen Wert, da die wiederholten positiven bzw. negativen Proben ja schon zu einem AUC-Wert verdichtet wurden. Damit keine Basis mehr für statistischen Test, es sei denn, man betrachtet die verschiedenen (aber nur wenigen) Gutachter als unabhängige Wiederholungen(??). Dann aber auch keine Wechselwirkungen zwischen Gutachtern und ethoden prüfbar. andere Idee gesucht Jackknife-Ansatz von Dorfman, Berbaum und etz (Statistics in Radiology, 1992) Freiburg, 20./ S. Kropf und F.-W. Röhl 6

7 Verfahren - Grundidee Konzept der Pseudowerte zur Schätzung eines Parameters einfaches Beispiel: normalverteilte Stichprobe 1,..., n Ziel: Schätzung des Erwartungswertes -Schätzer: µˆ = n betrachten jetzt zu jedem Stichprobenelement i den Schätzwert µ ˆ n von µ unter Ausschluss dieses Elements ( i) (ittelwert der restlichen Stichprobenelemente) daraus wird jeweils ein Pseudowert hergeleitet: Jackknife-Schätzer: µ ˆ i = µ ˆ * n ( n 1) µ ˆ n( i) n = n J ( µ ) = µ ˆ * i n i= 1 Freiburg, 20./ S. Kropf und F.-W. Röhl 7 1 i

8 Anwendung der Idee auf die AUC-Problematik im Beispiel Ausgangsdaten: cases = Proben 1 2 c readers = Gutachter 1 2 i11 i21 i12 i22 O i1c i2c Verfahren i = 1,..., t r ir1 ir 2 irc positive Proben negative Proben Freiburg, 20./ S. Kropf und F.-W. Röhl 8

9 wird jetzt ersetzt durch atri der Pseudowerte: cases = Proben readers = Gutachter 1 2 r 1 i1*1 i2*1 ir*1 2 i1*2 i2*2 ir*2 O c i1* c i2* c ir* c Verfahren i = 1,..., t ij* k = c ij ( c 1) ij( k ) Freiburg, 20./ S. Kropf und F.-W. Röhl 9

10 Pseudowerte gehen jetzt in ANOVA-odell ein: fester Faktor - bildgebende Verfahren in t Stufen zufällige Faktoren Proben (c Stufen) und Gutachter (r Stufen) Proben und Gutachter repräsentativ für jeweiligen Populationen ˆ ij * k A = Yijk = µ + α i + B j + C k + ( αb) ij + ( αc) ik + ( BC) jk + ( αbc) ijk + ε ijk alles eakt testbar, falls Wechselwirkungen (αb) ij zwischen Verfahren und Gutachter und (αc) ik zwischen Verfahren und Proben vernachlässigbar (dazu eistiert ebenfalls Test), sonst Satterthwaite-Approimation Formeln für Konfidenzintervalle für Verfahren und deren Differenzen angegeben. Freiburg, 20./ S. Kropf und F.-W. Röhl 10

11 Programmtechnische Realisierung Verfahren umgesetzt im Programm ABRC (Version 3, 1997) von Charles E. etz, Department of Radiology, The University of Chicago Eingabe: Rating-Werte (1,..., 5) für alle bildgebenden Verfahren, Gutachter und Proben Programm realisiert: parametrische (binormales odell, modifiziertes ) und nichtparametrische (Wilcoon-Statistik) Schätzung der AUC mit entsprechenden Jackknife-Varianten Test aller Effekte und Konfidenzintervalle für Effekte der bildgebenden Verfahren und deren Differenzen Freiburg, 20./ S. Kropf und F.-W. Röhl 11

12 Programm ist FORTRAN-Programm, so dass prinzipiell modifizierbar auf Anforderung frei erhältlich von Autor Einschränkungen: ma. 5 Verfahren zu vergleichen ma. 10 Gutachter (Release-abhängig bzw. modifizierbar) Programm unterstützt keine multiplen Vergleiche der Verfahren primitiver Ausweg: zusätzliche paarweise Analysen mit Bonferroni Freiburg, 20./ S. Kropf und F.-W. Röhl 12

13 Ergebnisse im Beispiel Versuche wurden für verschiedene Zielobjekte durchgeführt, z.b. Knoten (unter bzw. ab 10 mm) oder Katheter im globalen Vergleich aller vier bildgebenden Varianten stets Unterschiede, die aber im Wesentlichen darauf beruhten, dass die dritte Variante des neuen Verfahrens mit stark reduzierter Dosis deutlich schlechter als anderen Varianten war, Rest weitgehend gleich Bei einigen Zielobjekten deutliche Gutachter-Effekte (als Haupeffekte) fast überall Wechselwirkungen zwischen Verfahren und Gutachtern, die aber hauptsächlich auf die Verfahrensvariante mit schlechter eistung zurückgingen Freiburg, 20./ S. Kropf und F.-W. Röhl 13

14 iteratur Bernhard, T.., Otto, D., Reichel, G., udwig, K., Seifert, S., Kropf, S., Rapp-Bernhard, U. (1999). Detection of Simulated Interstitial ung Disease and Catheters with Selenium, Storage Phosphor and Film Radiography. Radiology 213, Dorfman, D.D., Berbaum, K.S., and etz, C.E. (1992). Receiver Operating Characteristic Rating Analysis. Generalization to the Populatioin of Readers and Patients with the Jackknife ethod. Investigative Radiology 27, etz, C.E. (1997). ABRC 1.0B, Beta Version 3, Generic ABRC User s Guide. Department of Radiology, The University of Chicago. Rapp-Bernhardt, U., Roehl, F.W., Gibbs, R.C., Schmidl, H., Krause, U.W., Bernhardt, T.. (2003). Flat-panel -ray detector based on amorphous silicon versus asymmetric screen-film system: phantom study of dose reduction and depiction of simulated findings. Radiology 227(2), Freiburg, 20./ S. Kropf und F.-W. Röhl 14