Medizinisches Beispiel

Transkript

1 Problemstellung Stimmen zwei oder mehrere Beobachter in ihrer Einschätzung überein? (im engl.: rater agreement oder interrater agreement) Beispiel: Zwei Professoren beurteilen die Referate oder Seminararbeiten von Studenten. Stimmen Sie in ihrer Bewertung (durch Noten) überein? Beispiel: Stimmen zwei oder mehrere Ärzte in ihrer Diagnose überein?

2 Medizinisches Beispiel Eine Klinik macht computertomografische Aufnahmen (CT Bilder) oder Röntgenaufnahmen von sogenannten Kalkschultern, also Schultern, die Kalkablagerungen aufweisen. Mehrere Ärzte sollen anhand von 56 Patienten beurteilen, um welchen Typ es sich bei diesen Ablagerungen handelt (sog. Gärtner Skala, ordinal): Typ 1: Aufbauphase (kann Monate oder Jahre dauern). Der Patient hat chronische Beschwerden, Schmerztherapie und Krankengymnastik bringen keine Linderung, eine Operation muss erwogen werden. Typ 2: Beginnende Auflösungsphase. Typ 3: Auflösung des Kalkdepots (kann Wochen oder Monate dauern). Behandlung meist konservativ durch Krankengymnastik und Schmerztherapie.

3 Medizinisches Beispiel (Fortsetzung) Die Beobachtungen lassen sich für zwei Ärzte in einer quadratischen Kontingenztafel veranschaulichen Die folgenden Kontingenztafeln geben die Ergebnisse für jeweils zwei verschiedene Ärzte bei den gleichen 56 Patienten wieder

4 Medizinisches Beispiel (Fortsetzung) Tabelle: 3 3 Tafel für die Einschätzung von Arzt A und Arzt B Arzt A Arzt B

5 Medizinisches Beispiel (Fortsetzung) Tabelle: 3 3 Tafel für die Einschätzung von Arzt C und Arzt D Arzt C Arzt D

6 Medizinisches Beispiel (Fortsetzung) Vollständige Übereinstimmung in der Einschätzung des Patienten durch die jeweils zwei Ärzte liegt vor, wenn beide den gleichen Typ (1,2 oder 3) zuordnen Bemerkung: Gleiche Einstufung bedeutet nicht unbedingt, dass diese auch richtig im Sinne einer validen Einstufung ist. Beide können sich irren!

7 Warum verwendet man nicht die üblichen Maßzahlen? Üblich bei Kontingenztafeln: χ 2, Kontingenzkoeffizient, etc. Man geht von vornherein davon aus, dass ein Zusammenhang bezüglich der Bewertung der Beobachter besteht Beobachter führen Bewertung unabhängig voneinander durch, d.h. kein Beobachter kennt die Bewertung des oder der anderen Beobachter, die Beurteilungen hängen aber zusammen, da sie jeweils am gleichen Subjekt (hier: Patient) durchgeführt werden

8 Medizinisches Beispiel (Fortsetzung) Für die Tabelle der Ärzte A und B erhält man ( ) = 25 vollständige Übereinstimmungen Für die Tabelle der Ärzte C und D erhält man ( ) = 38 vollständige Übereinstimmungen Kann man daraus sofort schließen, dass Übereinstimmung von C und D größer ist als von A und B? Im Prinzip ja, allerdings müssen wir beachten, dass ein gewisser Teil der Übereinstimmung zufällig sein kann

9 Maßzahl: Kappa Koeffizient Kappa Koeffizient nach Cohen (1960) dient zur Messung der Übereinstimmung in quadratischen I I Kontingenztafeln Verwendet lediglich die Beobachtungen, bei denen eine vollständige Übereinstimmung vorliegt, also die Hauptdiagonale der Kontingenztafel

10 Allgemeine Darstellung Tabelle: Schema einer I I -Kontingenztafel. Die fettgedruckten Häufigkeiten liegen auf der Diagonalen und werden zur Berechnung von Kappa verwendet. Beobachter 1 1 i I 1 n 11 n 1i n 1I n Beobachter 2 i n i1 n ii n ii n i I n I 1 n Ii n II n I + n+1 n +i n +I n

11 Allgemeine Darstellung Kappa Koeffizient berücksichtigt darüber hinaus die zufällige Übereinstimmung die man auch bekommen würde, wenn die Einschätzungen der Beobachter keinen Zusammenhang aufweisen würden Wir berechnen daher zwei Größen

12 Berechnung von Kappa Relativer Anteil der Übereinstimmung beider Beobachter: f o = I f ii = i=1 I i=1 n I ii n = i=1 n ii n (1) Zufällige Übereinstimmung, wenn kein Zusammenhang besteht: dies ist äquivalent zur Bestimmung der sogenannten erwarteten relativen Häufigkeiten unter Unabhängigkeit (wie bei χ 2 ): f e = I f i+ f +i = i=1 I i=1 n i+ n n +i n = I i=1 n i+ n +i n 2 = I i=1 n i+n +i n 2 (2)

13 Berechnung von Kappa (Fortsetzung) Der Kappa Koeffizient ist definiert durch κ = f o f e 1 f e, (3)

14 Interpretation von Kappa Der Zähler ist die Differenz aus der beobachteten Übereinstimmung und der unter Zufälligkeit zu erwartenden Übereinstimmung. Dies ist damit ein Maß für die über die Zufälligkeit hinausgehende Übereinstimmung der Beobachter (engl.: chance corrected agreement) Die Eins im Nenner stellt die maximal mögliche relative Häufigkeit für Übereinstimmung dar, nämlich wenn alle Beobachtungen auf der Diagonalen der Kontingenztafel liegen und sämtliche Nebendiagonalen nur Nullen enthalten

15 Interpretation von Kappa (Fortsetzung) Der Kappa Koeffizient ist damit ebenfalls Eins, wenn alle Beobachtungen auf der Diagonalen der Kontingenztafel liegen und sämtliche Nebendiagonalen nur Nullen enthalten. Er kann auch negativ werden, wenn zum Beispiel keine Übereinstimmung da ist (im Extremfall: Nullen auf der Diagonalen) Der Kappa Koeffizient ist Null, wenn für alle i = 1,..., I gilt: f ii = f i+ f +i, das heißt, wenn exakte Unabhängigkeit in der beobachteten Tafel vorliegt

16 Medizinisches Beispiel (Fortsetzung), Arzt A und B f o = = und f 11 = f 22 = f 33 = f e = = Damit erhalten wir κ = =

17 Medizinisches Beispiel (Fortsetzung), Arzt C und D f o = = und f 11 = f 22 = f 33 = f e = = Damit erhalten wir κ = =

18 Medizinisches Beispiel (Ergebnis) Beobachtete Übereinstimmung f o als auch zufällige Übereinstimmung f e sind größer in der Tabelle von C und D Die Einschätzung von A und B ist schwach übereinstimmend Die Einschätzung von C und D ist mäßig übereinstimmend

19 Kritik an Kappa Zwei Aspekte werden vermischt: Die Beobachter können einen Bias aufweisen, das heisst, die Nicht Übereinstimmung beruht darauf, dass zum Beispiel Lehrer 1 generell bessere Noten vergibt als Lehrer 2. Man sagt dann auch, dass die Beobachter nicht kalibriert sind Die Beobachter schätzen die Subjekte verschieden ein. Die Nicht Übereinstimmung beruht darauf, dass Beobachter 1 zum Beispiel Subjekt 1 höher einstuft als Subjekt 2, Beobachter 2 dagegen Subjekt 2 höher als Subjekt 1. Beispiel: Lehrer 1 gibt Schüler 1 eine bessere Note als Schüler 2, Lehrer 2 dagegen gibt Schüler 2 eine bessere Note als Schüler 1. Aspekt 2 ist der eigentlich uns interessierende Aspekt, während Aspekt 1 (Bias) nach Möglichkeit durch Kalibrierung vermieden werden sollte

20 Veranschaulichung der Kritik an Kappa (I) Zwei mögliche Ergebnisse für die Einschätzung zweier Beobachter für 20 Objekte bezüglich eines dichotomen Merkmals: Tabelle: Problematik von Kappa In beiden Fällen erhält man eine Übereinstimmung in 19 von 20 Objekten, oder einen Wert von f o = Allerdings ist Kappa für die linke Tafel 0.9 und für die rechte Tafel nur 0.64

21 Veranschaulichung der Kritik an Kappa (I) Erklärung: Die Randverteilungen der beiden Beobachter unterscheiden sich dabei jeweils nur gering, d.h. sie scheinen gut kalibriert zu sein (daran liegts also nicht) Offenbar ist die Prävalenz (d.h. der Grundanteil in der untersuchten Population/Stichprobe) in der rechten Tafel für die Ausprägung 1 wesentlicher größer ist als für die Ausprägung 0. Damit ist aber auch die zufällige Übereinstimmung wahrscheinlicher! Genau dieser Effekt wird bei Kappa berücksichtigt und herausgerechnet Befürworter von Kappa sehen diesen Effekt als wünschenswert an!

22 Veranschaulichung der Kritik an Kappa (II) Tabelle: Problematik von Kappa In der linken Tafel ergibt sich ein Kappa von 0.13, in der rechten Tafel ein Kappa von 0.26, obwohl wieder in beiden Fällen 12 von 20 Objekten (f o = 0.6) übereinstimmend eingestuft wurden

23 Veranschaulichung der Kritik an Kappa (II) Erklärung: Die Randverteilungen in der rechten Tafel divergieren wesentlich stärker als in der linken Tafel (d.h. hier kann ein Kalibrierungsproblem vorliegen) Rechte Tafel: Beobachter 1: ((5 + 7)/20, (1 + 7)/20) = (0.6, 0.4) Beobachter 2: ((5 + 1)/20, (7 + 7)/20) = (0.3, 0.7) Linke Tafel: Beobachter 1: (12/20, 8/20) = (0.6, 0.4) Beobachter 2: (14/20, 6/20) = (0.7, 0.3) Fazit: Beobachter müssen unbedingt kalibriert werden!

24 Erweiterungen von Kappa Ein weiterer Nachteil von Kappa ist, dass nur die Diagonale berücksichtigt wird Wenn die Bewertungsskala sehr viele verschiedene Merkmalsausprägungen besitzt, so liegen aufeinanderfolgende Ausprägungen oft nicht so weit auseinander Wenn zwei Beobachter sich nur gering in der Bewertung unterscheiden, so sollte eine Maßzahl dies auch berücksichtigen können Eine solche Maßzahl ist das gewichtete Kappa

25 Gewichtetes Kappa Das gewichtete Kappa wurde von Cohen (1968) vorgeschlagen Formal gehen alle Zellen der Kontingenztafel in die Berechnung ein Die Zellen auf der Hauptdiagonalen erhalten das höchste Gewicht (in der Regel Gewicht Eins), während die anderen Zellen ein geringeres Gewicht erhalten Die Idee ist, die Zellen umso geringer zu gewichten, je schlechter die Übereinstimmung der beiden Beobachter ist

26 Definition: Gewichtetes Kappa Das gewichtete Kappa ist definiert als mit κ w = f o fe 1 fe, (4) f o = f e = I I w ij f ij i=1 j=1 I I w ij f i f j i=1 j=1 Dabei wird fo wie beim ungewichteten Kappa als relativer Anteil der Übereinstimmung beider Beobachter aufgefasst, während fe die zufällige Übereinstimmung darstellt, wenn kein Zusammenhang bestehen würde

27 Wahl der Gewichte w ij Zwei populäre Vorschläge sind w ij = 1 (i j)2 (I 1) 2 (5) und w ij = 1 i j I 1. (6)

28 Gewichte w ij und w ij im 3 3-Fall Tabelle: Gewichte w ij einer 3 3 Tafel Tabelle: Gewichte w ij einer 3 3 Tafel Die Zellen der größten Nichtübereinstimmung (Zelle (1, 3) und (3, 1) bei einer 3 3 Tafel) werden in beiden Fällen mit 0 gewichtet, die Zellen auf der Diagonalen mit Gewicht 1

29 Gewichte w ij und w ij im 4 4-Fall Tabelle: Gewichte w ij einer 4 4 Tafel Tabelle: Gewichte w ij einer 4 4 Tafel

30 Medizinisches Beispiel (Fortsetzung), Arzt A und B Verwendung der Gewichte gemäß Formel (5): nf o = und damit sowie f o = = , n 2 f e =

31 Medizinisches Beispiel (Fortsetzung), Arzt A und B Also Damit erhalten wir κ w = f e = = = 0.209

32 Medizinisches Beispiel (Fortsetzung), Arzt A und B Verwendung der Gewichte gemäß Formel (6): nf o = und damit sowie f o = = , n 2 f e =

33 Medizinisches Beispiel (Fortsetzung), Arzt A und B Also Damit erhalten wir κ w = f e = = Für dieses Beispiel erhalten wir also = κ = < κ w = < κ w = 0.209

34 Medizinisches Beispiel (Fortsetzung), Arzt C und D Wir erhalten unter Verwendung der Gewichte aus (5) κ w = und unter Verwendung der Gewichte aus (6) κ w = Auch hier erhalten wir κ = < κ w = < κ w = 0.601