Effektstärken Nachtrag

Transkript

1 Effektstärken Nachtrag Benchmarks für Effektstärken gehen auf Cohen (1988) zurück, nimmt man statistische Hintergründe der Berechnung und Umrechnung ernst, sind Angaben jedoch teilweise inkonsistent (vgl. Lipsey& Wilson, 2001) Benchmarks für rzu groß interpretatorische Unterschätzung, Inkonsistenz mit anderen Effektmaßen (Eta 2, Cohensd) Größe des Effekts r %Var d Cohen: Klein.1 1% 0.20 Mittel.3 9% 0.66 Groß.5 25% 1.33 Exakt: Klein.10 1% 0.2 Mittel.24 6% 0.5 Groß.37 14% 0.8 Empfohlene alternative Benchmarks für r:.10 kleiner Effekt.25 mittlerer Effekt.40 großer Effekt

2

3 Einführung 1/6 Erhebungsmethoden in der empirischen Forschung und klinischen Psychologie nichtauf Selbstberichte(z.B. standardisierte Fragebögen) beschränkt Fremdbeurteilungendurch i. d. R. geschulte Rater stellen eine weitere wichtige Informationsquelle dar, z.b.: Beim Stellen von Diagnosen Für die klinische Einschätzung von Schweregraden (z.b. HRSD) Allgemein zur Einschätzung der Ausprägung beliebiger Merkmale Analog zur Messgüte bei Fragebogenverfahren (Validität, Reliabilität, etc.) stellt sich auch bei Fremdbeurteilungen die Frage nach deren Güte Kommen zwei (oder mehr) Beurteiler unabhängigvoneinanderzur gleichen Einschätzung/Diagnose? INTERRATERRELIABILITÄT

4 Einführung 2/6 Interraterreliabilitätnicht einzig relevante Form der Reliabilität von Urteilsdaten Analog zu Fragebogenverfahren ist z.b. auch Retest-Reliabilität von Bedeutung ( Intraraterreliabilität) Interraterreliabilität liefert Aussagen hinsichtlich der Genauigkeit von Urteilen als (implizit) auch ihrer Objektivität Urteile sollten davon unabhängig sein, wersie vergeben hat (vgl. Wirtz & Caspar, 2002, S. 15) (prinzipielle) Austauschbarkeit der Rater Urteile eines Raters ausreichend Urteile spiegeln wahre Merkmalsausprägung (klassische Testtheorie) reliabel wider

5 Einführung 3/6 Erfassung und Untersuchung der Interraterreliabilitätsetzt voraus, dass mindestens zwei Rater Urteile zu denselben Objekten abgegeben haben Interraterreliabilität kann dann mithilfe von Maßen der Beurteilerübereinstimmung berechnet werden Unterscheidung gemäß Skalenniveauund anhand der jeweils verwendeten Definition von Übereinstimmung nominale/ordinale Skalen: Konkordanz metrische Skalen: Reliabilität i. e. S. Konkordanz bezieht sich i. A. auf die (absolute) Gleichheit von Urteilen, Reliabilität auf die Ähnlichkeit (relative Gleichheit) von Urteilen

6 Einführung 4/6 Im Folgenden werden Maße der Konkordanzbehandelt Anwendung auf nominalskalierte(kategoriale) Merkmale (z.b. Diagnosen) Erfassung des Ausmaßes der Gleichheit von Urteilen

7 Einführung 5/6 Beispiel Diagnostik: Diagnostik in der klinischen Psychologie basiert häufig auf der Anwendung strukturierter klinischer Interviews Operationalisierteund standardisiertediagnostik psychischer Störungen Objektiv (Standardisierung, Raterschulung) Valide (operationalisierte Diagnostik nach ICD-10 und/oder DSM-IV) Aber: Werden spezifische Diagnosen von unterschiedlichen Ratern nach Durchführung des Interviews übereinstimmend vergeben? Nicht-Übereinstimmungen erwartbar Ebene der Operationalisierung:unpräzise Diagnosekriterien, etc.; Ebene des Durchführenden:Symptomgewichtung, Anwendungsfehler, etc.; Ebene des Interviewten: unterschiedliche Offenheit, etc.

8 Einführung 6/6 Beispiel Diagnostik: DIPS (Diagnostisches Interview bei psychischen Störungen; Schneider & Margraf, 2005) Erlaubt die standardisierte Diagnostik einer Anzahl definierter Störungsbilder nach ICD-10 und DSM-IV-TR Angaben zur Konkordanz(bzgl. Lebenszeitdiagnosen) geschulter Rater im Manual (N = 237 Patienten) Major Depression ICD-10: F32.x und F33.x DSM-IV-TR: 296.2x und 296.3x Rater B Rater A

9 Prozentuale Übereinstimmung 1/2 Einfachste Möglichkeit der Konkordanzbestimmung prozentuale Übereinstimmung = Anzahl der Übereinstimmungen 100% Anzahl der beurteilten Personen Rater B Rater A % = % = 86.5%

10 Prozentuale Übereinstimmung 2/2 Prozentuale Übereinstimmung einfachesund anschaulichesmaß Allerdings: aus statistischer Sicht ist auchdannmit Übereinstimmungen zu rechnen, wenn Rater Urteile völligzufälligvergeben (vgl. Analyse von Vier-Felder-Tafeln, χ 2 -Tests) Zufällige Übereinstimmungen werden in prozentualer Übereinstimmung nichtberücksichtigt und können somit zu einer Überschätzungder Konkordanz führen Cohens Kappa

11 2 Rater: Cohens Kappa 1/10 CohensKappa(κ) ist ein zufallsbereinigtesmaßder Beurteilerübereinstimmung(Konkordanz) für 2 Rater (Cohen, 1960) Ähnlich wie für χ 2 -Tests wird für die Berechnung von Kappadie Anzahl zufällig konkordanter Urteile aus den Randverteilungen geschätzt (unter Annahme der Unabhängigkeit der Urteile) Rater B Rater A + Summe + e ++ a b a +b ++ ( a + c) ( a + b) = N ( b + d) ( c + d) c d e c+d e = Summe a +c b +d N N e ++

12 2 Rater: Cohens Kappa 2/10 Anteil konkordanter Urteile wird genausowie in prozentualer Übereinstimmung berechnet p 0 = a + d N Anteil zufälliger konkordanter Urteile p e = e e N Kappaist Anteilder tatsächlichenüber den Zufall hinausgehenden konkordanten Urteile (p 0 p e ) an den theoretischmöglichen (1 p e ) p p = 1 p κ 0 e e

13 2 Rater: Cohens Kappa 3/10 Wertebereich von Kappa 1 bis +1 Wie Korrelation, allerdings mit anderer Interpretation vor allem bei negativen Werten κ = +1: Perfekte Übereinstimmung/Konkordanz (b =c=0 p 0 =1) κ = 1: keinebeobachteten Übereinstimmungen (a =d=0 p 0 =0) bei maximaler Wahrscheinlichkeit zufälliger Übereinstimmungen (b =c p e =0.5 alle vier Randsummen sind identisch) κ = 0: beobachtete Übereinstimmung ist nicht besser als die durch den Zufall erwartete Übereinstimmungen liegen vor, aber keineüber den Zufall hinausgehenden (p 0 =p e )

14 2 Rater: Cohens Kappa 4/10 Durchführung in SPSS (File DIPS.sav) Analysieren > Deskriptive Statistiken > Kreuztabellen

15 2 Rater: Cohens Kappa 5/10 Kappa=.73, p<.001 (einseitig)

16 2 Rater: Cohens Kappa 6/10 Spricht ein Kappavon.73 für eine gutekonkordanz? Cutoffsfür Kappa (Fleiss, 1981) Signifikanz vorausgesetzt Kappa Interpretation.75 Sehr gut.60 bis.74 Gut.40 bis.59 Genügend <.40 Mangelhaft Allerdings: Wertebereichund Ausprägungdes Koeffizienten von einer Anzahl an Faktoren beeinflusst, die nicht Konkordanz selbst betreffen erschwert Interpretation von Kappaund verringert den Nutzen von Cutoffs

17 2 Rater: Cohens Kappa 7/10 Randverteilungen (vgl. Phi-Koeffizient) Wertebereich 1 bis +1 nur bei gleichen Randverteilungen möglich Unterschätzung der Konkordanz in allen anderen Fällen (paradoxe Fälle auch möglich höhere Konkordanz, vgl. Feinstein & Cicchetti, 1990) Anzahl der Kategorien und der Besetzung von Zellen (Asendorpf & Wallbott, 1978) Liegt eine geringe Anzahl an Beurteilungskategorien vor und/oder nur geringe Zellbesetzungen in einzelnen Zellen Unterschätzung der Konkordanz Prävalenz des untersuchten Merkmals (Feinstein & Cicchetti, 1990; Spitznagel & Helzer, 1985) insbesondere bei niedrigen Prävalenzen (ca. < 10% in der Stichprobe) Unterschätzung der Konkordanz

18 2 Rater: Cohens Kappa 8/10 Inhaltliche Gründe niedriger Beurteilerübereinstimmung können vielfältig sein Auf Seiten der Rater sind insbesondere bedeutsam (vgl. Wirtz & Caspar, 2002) Unterschiede in den Schwellen (= ab welcher Merkmalsausprägung kommt es zu einer positiven Einschätzung?) Inkongruenzen bzgl. des zu erfassenden Merkmals (= Unterschiede in der Auffassung und im Verständnis des zu messenden Konstrukts) Raterschulung! Die Berechnung von CohensKappaist (in SPSS) nichtauf dichotome Kategoriensysteme beschränkt Allerdings: beide Rater müssen übereinstimmend dieselbe Anzahlan Kategorien verwendet haben, sonst ist in SPSS keine Berechnung möglich

19 2 Rater: Cohens Kappa 9/10 Tool im Internet, das diese Einschränkungen nicht aufweist CohensKappaverrechnet alle Nicht-Übereinstimmungen gleich schwer Gibt es eine ordinaleordnung der Kategorien ( ordinaleskala) oder inhaltliche Gründe, dass unterschiedliche Nicht-Übereinstimmungen differentiell gewichtet werden sollten gewichtetes Kappa(weighted Kappa; Cohen, 1968) Einfach auch mit obigem Tool berechenbar (erlaubt Angabe eigener Gewichte oder Übernahme eines linearen oder quadratischen Gewichtungsschemas)

20 2 Rater: Cohens Kappa 10/10

21 m > 2 Rater: Fleiss Kappa Liegen Urteile von mehr als 2 Ratern vor und ist man an deren Übereinstimmung interessiert Fleiss Kappa (Fleiss, 1971) Mittlere Konkordanz aller Rater über alle Objekte Fleiss Kappaist nichtin SPSS implementiert Tool im Internet, z.b. Inhaltlich kann Fleiss Kappaanalog zu CohensKappainterpretiert werden, Gewichtung ist aber nicht möglich

22 Ausblick Probleme des Kappa-Koeffizienten führten auch zur Empfehlung der Verwendung anderer Koeffizienten Für dichotome Ratingsskalen und 2 Rater z.b. Odds Ratio oder YulesY (vgl. Wirtz & Caspar, 2002) Für metrischeratingskalen ist insbesondere die Intraklassenkorrelation (ICC) ein gebräuchliches Maß zur Bestimmung der Interraterreliabilität Maß der Varianzaufklärung (Wertebereich 0 bis 1) Für 2 oder mehr Rater geeignet Erlaubt Bestimmung der absoluten und relativen Gleichheit von Urteilen In SPSS (Analysieren > Skalieren > Reliabilitätsanalyse ) ausreichend implementiert