DER KAPPA-KOEFFIZIENT: DISKUSSION EINES MISSVERSTÄNDNISSES UND EIN MODIFIZIERUNGSVORSCHLAG

Transkript

1 DER KAPPA-KOEFFIZIET: DIKUIO EIE MIVERTÄDIE UD EI MODIFIZIERUGVORCLAG Marcus Kutschmann Institut für Rehabilitationsforschung orderney Gerd Riin Omnicare Clinical Research Gmb Köln

2 Vortragsinhalt: Was wird mit Kaa berechnet? Wie wird Kaa berechnet? Welche Probleme gibt es bei der Anwendung? Warum werden diese Probleme als solche emfunden? ( Missverständnis ) Wie lassen sich diese Probleme lösen? ( Modifizierungsvorschlag ) Welche Vorteile hat der Modifizierungsvorschlag? Welche chlussfolgerungen ergeben sich?

3 Was wird mit Kaa berechnet? Der Kaa-Koeffizient von Cohen (): It is now fairly well disseminated as one of the standard summary statistics used in the medical literature. (Guggenmoos-olzmann, ) Berechnung der zufallskorrigierten Übereinstimmung zweier Gutachter, die eine bestimmte Anzahl von Objekten/ubjekten mit ilfe eines vorgegebenen Kategoriensystems klassifizieren.

4 Wie wird Kaa berechnet? Beisiel zur Berechnung von Kaa: Zuordnung von neun Patienten zu einer der drei Kategorien chizohren (), eurotisch () und irngeschädigt () durch zwei Psychiater: Patienten 8 Rater A Rater B

5 ,, E B, E E B Wie wird Kaa berechnet? Beisiel (Fortsetzung):

6 Welche Probleme gibt es bei der Anwendung? Chance-corrected measures of agreement are rone to exhibit aradoxical and counter-intuitive results when used as measures of reliability. (Guggenmoos-olzmann, )

7 8 8,,,,,,,, Gleiches B, unterschiedliches Kaa: Welche Probleme gibt es bei der Anwendung?

8 Unterschiedliches B, gleiches Kaa: Welche Probleme gibt es bei der Anwendung?

9 Welche Probleme gibt es bei der Anwendung?. Kaa-Paradoxon: grosses B, kleines Kaa If E is large, the correction rocess can convert a relatively high value of K[aa]... Thus, with different values of E the K[aa] for identical values of B can be more than twofold higher in one instance than the other. (Feinstein & Cicchetti, ) kleines E: grosses E: B E,, B E,,,,

10 . Kaa-Paradoxon: Randverteilungen Unbalanced marginal totals roduce higher values of Kaa than more balanced totals. (Feinstein & Cicchetti, ) Welche Probleme gibt es bei der Anwendung?,, E B, unbalancierte Rangverteilungen:,, E B,8 balancierte Rangverteilungen:

11 . Kaa-Paradoxon: B, trotzdem Zufallskorrektur 8 8,,,,,, 8, Welche Probleme gibt es bei der Anwendung?

12 Warum werden diese Probleme als solche emfunden? Warum bezeichnet man diese Ergebnisse als aradox bzw. warum erscheinen sie unlausibel? The coefficient kaa... is the roortion of agreement after chance agreement is removed from consideration. (Cohen, )

13 Warum werden diese Probleme als solche emfunden? uggerierter Zusammenhang zwischen beobachteter und zufälliger Übereinstimmung: beobachtete Übereinstimmung zufällige Übereinstg.

14 Warum werden diese Probleme als solche emfunden? uggerierter Zusammenhang zwischen beobachteter und zufälliger Übereinstimmung (Fortsetzung): beobachtete Kometenzbedingte Übereinstimmung Übereinstimmung zufällige Übereinstg.

15 Warum werden diese Probleme als solche emfunden? Zwei Befunder werden bei einem gewissen Anteil der Individuen bereits rein zufällig den gleichen Befund erstellen, auch wenn gar kein Bezug des Befundes zum Individuum besteht (mithin zufällige Übereinstimmungen auftreten). un interessiert in erster Linie, wie weit die durch echte Kometenz bedingte Übereinstimmung den Anteil dieser `Zufalls-Treffer überschreitet. Gemessen wird also das Kometenz-bedingte Agreement zweier oder mehrerer Befunde(r)... (Krummenauer, )

16 Warum werden diese Probleme als solche emfunden? Tatsächlicher Zusammenhang zwischen beobachteter und erwarteter Übereinstimmung bei Cohen: B E beobachtete Übereinstimmung C erwartete Übereinstimmung Kaa is not really a chance-corrected measure of agreement. (Übersax, )

17 Wie lassen sich diese Probleme lösen? Ursache der Paradoxa: In Cohens Korrekturterm fließen Matrixelemente ein, die nichts zur beobachteten Übereinstimmung beitragen! B E. ( ( (.... ) ( ) ( ) (. ) ) )

18 Wie lassen sich diese Probleme lösen? Modifizierungsvorschlag: Verwende für den Korrekturterm nur die Anteile der Randverteilungen, die auch Anteil an der beobachteten Übereinstimmung haben! B E. ( ( (.... ) ( ) ( ) (. ) ) ) C ney B C C

19 Wie lassen sich diese Probleme lösen? Mengentheoretische Betrachtungsweise: B : Menge der E : Menge der C : Menge der Elemente, deren umme B ergibt Elemente deren umme E ergibt Elemente, deren ummec ergibt B E C,,,,,,,,...,,...,,...,, E,. ( ( (.... ) ( ) ( ) (. ) ) )

20 Mengendarstellung: Wie lassen sich diese Probleme lösen? B E ( ) ( ) ( ) C

21 Welche Vorteile hat der Modifizierungsvorschlag? Unterschiedliches B, gleiches Kaa:,8 ney, ney,, Gleiches B, unterschiedliches Kaa:, ney, ney Beisiele ():

22 Welche Vorteile hat der Modifizierungsvorschlag? Beisiele ():,,. Kaa-Paradoxon:,,8. Kaa-Paradoxon:, ney, ney ney ney, ney, ney,8,. Kaa-Paradoxon:

23 Welche Vorteile hat der Modifizierungsvorschlag? catterlot B vs. Cohens Kaa (Beisiel):, Beobachtete Übereinstimmung Kaa-Paradoxa,8,,, Kaa-Paradoxa n, -,,,,,,8, Cohens Kaa

24 Welche Vorteile hat der Modifizierungsvorschlag? catterlot B vs. (Beisiel): Beobachtete Übereinstimmung ney,,8,,, n, -,,,,,,8, Kaa_ney ney

25 Welche chlussfolgerungen ergeben sich? ney berücksichtigt nur den Anteil der zufallsmäßig zu erwartenden Übereinstimmung, der gleichzeitig auch Anteil der beobachteten Übereinstimmung ist. ney ney kann nicht negativ werden: Minimum ist, Maximum ist. ist (ebenso wie Cohens Kaa) nicht definiert, falls nur eine Zelle der Agreement-Matrix besetzt (mit ). Ist keine Übereinstimmung zu beobachten, findet bei auch keine Zufallskorrektur statt. ney ney ist erweiterbar (multile Ratings, Gewichtung, mehrere Kategorien). ist Paradoxa-frei. ney

26 Wie lassen sich diese Probleme lösen? Andere Ansätze zur Lösung der Paradoxa: Brennan & Prediger (8): Coefficient kaa: ome uses, misuses, and alternatives. Cicchetti & Feinstein (): igh agreement but low kaa: II. Resolving the aradoxes. Byrt, Bisho & Carlin (): Bias, revalence and kaa. Lantz & ebenzahl (): Behavior and interretation of the kaa statistic: Resolution of the two aradoxes.

27 Wie lassen sich diese Probleme lösen? Die semantische Lösung: Betrachte den Kaa-Koeffizienten nur als das, was er tatsächlich ist: Ein Koeffizient, der (die adjustierte) Differenz zwischen beobachteter Übereinstimmung und erwarteter Übereinstimmung misst. Misst man Kaa also nicht mehr die Bedeutung eines zufallskorrigierten Übereinstimmungskoeffizienten bei, ergeben sich auch keine aradoxen Ergebnisse. Ich bedanke mich für Ihre Aufmerksamkeit!