Felix-Nicolai Müller. Seminar Fragebogenmethodik - WS2009/ Universität Trier Dr. Dirk Kranz

Größe: px

Ab Seite anzeigen:

Download "Felix-Nicolai Müller. Seminar Fragebogenmethodik - WS2009/2010 - Universität Trier Dr. Dirk Kranz 24.11.2009"

Linus Langenberg
vor 8 Jahren
Abrufe

1 Cohen s Kappa Felix-Nicolai Müller Seminar Fragebogenmethodik - WS2009/ Universität Trier Dr. Dirk Kranz Felix-Nicolai Müller Cohen s Kappa / 21

2 Inhaltsverzeichnis Felix-Nicolai Müller Cohen s Kappa / 21

3 Datenanalyse In wie weit stimmen 2 Beobachter überein? = Auswertung von Fragebögen Achtung: Cohen s Kappa unterscheidet nur pauschal zwischen Urteilsübereinstimmung und Nicht-Übereinstimmung. Oder auch: Stimmen 2 Beobachter deutlich überzufällig überein? Felix-Nicolai Müller Cohen s Kappa / 21

4 Genau 2 Beurteiler (sonst: Fleiss Kappa) Nominales Skalenniveau N > 19 für Standardnormalverteilung Felix-Nicolai Müller Cohen s Kappa / 21

5 Cohen s (ungewichtetes) Kappa Kritiker A Gut Mittel Schlecht Gut Kritiker B Mittel Schlecht Die Wahrscheinlichkeit dafür, dass beide Kritiker sich einig sind, wird durch die Hauptdiagonale beschrieben. Im : h real = k i=1 h ii N = 0.7 Vergleichen mit der Häufigkeit, mit der 2 rein zufällig urteilende Kritiker übereinstimmende Urteile fällen. h Zufall = k h ix h Xi N = i=1 Felix-Nicolai Müller Cohen s Kappa / 21

6 Cohen s (ungewichtetes) Kappa Kritiker A Gut Mittel Schlecht Gut Kritiker B Mittel Schlecht h real = 0.7 h Zufall = Der Kappa Koeffizienz ist definiert als: κ = h real h Zufall 1 h Zufall = Felix-Nicolai Müller Cohen s Kappa / 21

7 Cohen s (ungewichtetes) Kappa Jetzt muss der Test auf Signifikanz durchgeführt werden. Hierzu berechnet man die Standardabweichung. Dies ist nur zulässig bei Gültigkeit der Nullhypothese und ab N > 19. σ = h Zufall +(h Zufall ) 2 k P (0.475) 2 [( = i=1 N (1 h Zufall ) 2 h ixn hxi N ( h ix N + h Xi N ) ) ( )+ ( ( ) ) ( ] ) Felix-Nicolai Müller Cohen s Kappa / 21

8 Cohen s (ungewichtetes) Kappa h real = 0.7 h Zufall = σ = κ = Das standardisierte Kappa ist Prüfgrösse und berechnet sich aus κ σ = = 5.43 Hiervon errechnet man das einseitige Signifikanzniveau, welches % beträgt. = Die beiden Kritier sind sich deutlich überzufällig einig. [Reiter] Zum weiterrechnen: Fleiss-Kappa.htm Felix-Nicolai Müller Cohen s Kappa / 21

9 Kappa mal anders Andere (hier unwichtige) Arten von Kappa Kappa mit linearer Gewichtung Kappa mit quadratischer Gewichtung Fleiss Kappa Kardinalskalen-Kappa Wann was wo? Gewichtetes Kappa bei unterschiedlicher Gewichtung der Items nutzen, also (auch) Ordinal-Skalenniveau vorliegt. Also z.b. wenn Intensität einer Krankheit gefragt ist. Fleiss Kappa bei mehr als 2 Ratern benutzen. (basiert auf Scott s π) Kardinalskalen-Kappa bei Intervall-Skalenniveau. Felix-Nicolai Müller Cohen s Kappa / 21

10 Quiztime! Wann ist κ = 1? Wann ist κ = 0? Kann κ kleiner als 0 werden? Felix-Nicolai Müller Cohen s Kappa / 21

11 Achtung! Achtung Der maximale Wert von Kappa ist nicht automatisch 1. Wenn Beurteilungsunterschiede auftreten (in der Kontingenztafel eine Zelle Hauptdiagonalen gefüllt ist), hängt der maximale Wert von Cohen s Kappa von den Randverteilungen ab Kappa wird umso geringer, je weiter sich die Randverteilungen von einer Gleichverteilung entfernen! Felix-Nicolai Müller Cohen s Kappa / 21

12 3+ Rater? Fleiss Kappa: p i = 1 z d(d 1) j=1 d ij(d ij 1) = 1 d(d 1) ( z ) j=1 d ij 2 d ij d ij ist die Anzahl der Rater, die Beurteilungsobjekt i in Kategorie j passend beurteilt hat. N i=1 d ij ist die Summe aller Fälle in Beurteilungskategorie j. p j = 1 N d N i=1 d ij ist der Anteil aller Fälle in Beurteilungskategorie j an allen (N d) Beurteilungen insgesamt. Felix-Nicolai Müller Cohen s Kappa / 21

13 kann prinzipiell nur Cohen s Kappa berechnen. Möchte man mehr, so muss man dies per VBA lösen. Felix-Nicolai Müller Cohen s Kappa / 21

14 Klicken Felix-Nicolai Müller Cohen s Kappa / 21

15 Klicken Felix-Nicolai Müller Cohen s Kappa / 21

16 Klicken Felix-Nicolai Müller Cohen s Kappa / 21

17 Code DATASET ACTIVATE DatenSet1. /* Aktiviere das Datenset mit dem Namen DatenSet1 CROSSTABS /* Kreuztabellen erstellen /TABLES=lb r1 BY lb r3 /* lb r1 wird mit lb r3 gekreuzt /FORMAT=AVALUE TABLES /* Zeigt die Variablen in der Tabelle vom höchsten zum kleinsten Wert an /STATISTICS=KAPPA /* Befehl um Cohen s Kappa zu berechnen /CELLS=COUNT /* Gibt die Anzahl der Fälle aus /COUNT ROUND CELL. /* Gibt gerundete Werte werden zur statistischen Auswertung benutzt. Felix-Nicolai Müller Cohen s Kappa / 21

18 Code DATASET ACTIVATE DatenSet1. /* Aktiviere das Datenset mit dem Namen DatenSet1 CROSSTABS /* Kreuztabellen erstellen /TABLES=lb r1 lb r2 BY lb r3 /* lb r1 und lb r2 werden mit lb r3 gekreuzt /FORMAT=AVALUE TABLES /* Zeigt die Variablen in der Tabelle vom höchsten zum kleinsten Wert an /STATISTICS=KAPPA /* Befehl um Cohen s Kappa zu berechnen /CELLS=COUNT /* Gibt die Anzahl der Fälle aus /COUNT ROUND CELL. /* Gibt gerundete Werte werden zur statistischen Auswertung benutzt. Felix-Nicolai Müller Cohen s Kappa / 21

19 Noch? Abbildung: Noch? Felix-Nicolai Müller Cohen s Kappa / 21

20 Vielen Dank für eure Aufmerksamkeit! Abbildung: Vielen Dank für eure Aufmerksamkeit! Felix-Nicolai Müller Cohen s Kappa / 21

21 & Literatur Bortz J.(2005): Statistik für Sozialwissenschaftler. Berlin: Springer. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, (20), Greve, W., & Wentura, D., (1997). Wissenschaftliche Beobachtung: Eine Einführung. Weinheim: PVU/Beltz. Reiter, T. (2008, August 01). Statistik, Zuverlässigkeit, Qualitätsmanagement Retrieved November 09, 2009, from: Fleiss-Kappa.htm Lowry, R. (2009). Web Site for Statistical Computation. Retrieved November 09, 2009, from: Felix-Nicolai Müller Cohen s Kappa / 21

Ähnliche Dokumente

Professionelle Seminare im Bereich MS-Office

Professionelle Seminare im Bereich MS-Office Der Name BEREICH.VERSCHIEBEN() ist etwas unglücklich gewählt. Man kann mit der Funktion Bereiche zwar verschieben, man kann Bereiche aber auch verkleinern oder vergrößern. Besser wäre es, die Funktion