Verfahren 7. Die Berechnungsoptionen für Cohens Kappa in den Q-DAS Software-Produkten

Transkript

1 Verfahren 7 Die Berechnungsoptionen für Cohens Kappa in den Q-DAS Software-Produkten

2 Verfahren 7: Berechnungsoptionen für Cohens Kappa 1/23 Verfahren 7: Berechnungsoptionen für Cohens Kappa Inhalt Verfahren 7: Berechnungsoptionen für Cohens Kappa... 1 Warum dieses Dokument?... 2 Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA... 3 Beispieldaten... 3 Standardberechnung... 4 AIAG MSA Standard... 7 Datensatz ohne Referenzurteile... 9 Datensatz mit Referenzurteilen AIAG MSA Extended Datensatz ohne Referenzurteile Datensatz mit Referenzurteilen... 21

3 Verfahren 7: Berechnungsoptionen für Cohens Kappa 2/23 Warum dieses Dokument? In den Programm solara.mp und destra können beim Verfahren 7 verschiedene Berechnungsoptionen für den Kappa-Index nach Cohen eingestellt werden. Worin diese Unterschiede bestehen, kann der Anwender nicht direkt ersehen. Hier wird dem Leser eine Erläuterung geboten, welche Auswirkung das Einstellen einer bestimmten Berechnungsmethode auf die angezeigten Ergebnisse hat. Was mit dem Dokument nicht beabsichtigt ist Das Dokument stellt keine Einführung in die Bestimmung des Kappa-Index nach Cohen dar und es ist auch kein Ersatz für eine Schulung zu diesem Thema. Vielmehr wird das Wissen hier schon vorausgesetzt. Auswertestrategie in solara.mp oder in destra, Modul Messsystemanalyse Wie aus der Abbildung 1 entnommen werden kann, sind drei Berechnungsoptionen für den Kappa- Index nach Cohen in der Software verfügbar. Jede Berechnungsoption ist in einem eigenen Kapitel beschrieben, wobei in allen Kapiteln das gleiche Zahlenbeispiel verwendet wurde. Abbildung 1: Auswertestrategie zum Verfahren 7 - Berechnung Cohen's Kappa Das verwendete Zahlenbeispiel stammt aus der AIAG-Richtlinie Measurement System Analysis (4 th Edition, Page 134). Aus Platzgründen ist der Rechengang für den Prüfer A jeweils ausführlich dargestellt und derjenige für die weiteren Prüfer da analog stets nur angedeutet.

4 Verfahren 7: Berechnungsoptionen für Cohens Kappa 3/23 Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA Drei Prüfer haben 50 Einheiten in drei Durchgängen geprüft. Dadurch sind = 450 Prüfergebnisse entstanden. Zusätzlich wurde zu jedem Teil genau eine einzige Referenzbewertung durchgeführt. Somit besteht der Datensatz aus 450 Prüferurteilen und weiteren 50 Referenzurteilen. Beispieldaten Abbildung 2: Beispieldaten aus der AIAG-Richtlinie Measurement System Analysis

5 Verfahren 7: Berechnungsoptionen für Cohens Kappa 4/23 Standardberechnung Diese Einstellung ist nur geeignet, wenn in allen Fällen sicher ist, dass die auszuwertenden Datensätze eine Referenzbewertung enthalten. Abbildung 3: Berechnung Cohen's Kappa Standardberechnung Welche Ergebnisse werden berechnet? Wird ein Datensatz mit Referenzbewertung verwendet und wählt man die Auswertung Cohen s Kappa Prüferurteil mit Referenz Prüferübereinstimmung, so erhält man das in der Fehler! erweisquelle konnte nicht gefunden werden. dargestellte Ergebnis: den Vergleich der Prüferurteile mit den Referenzurteilen, wie z.b. A mit Referenz, B mit Referenz, C mit Referenz und alle Prüfer mit Referenz. Abbildung 4: Ergebnisaufruf bei Einstellung Standardberechnung Abbildung 5: Cohen s Kappa - Vergleich der Prüferurteile mit der Referenz

6 Verfahren 7: Berechnungsoptionen für Cohens Kappa 5/23 Erster Schritt: Die beobachteten Urteilskombinationen der Prüfer werden ausgezählt. Das Ergebnis dieser Zählung ist in der Tabelle 1 dargestellt. Dort bedeutet das Symbol A1, dass hier die Urteile des Prüfers A aus dem ersten Durchgang betrachtet werden. Hinweis: Analog müssen diese Zählungen für die weiteren Durchgänge 2 und 3 durchgeführt werden. A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe Referenz: Teil schlecht = Referenz: Teil gut = Summe Tabelle 1: Beobachtete Häufigkeiten der Urteile des Prüfers A Zweiter Schritt: Man berechnet die beobachteten relativen Häufigkeiten der Prüferurteile aus den Zählergebnissen im ersten Schritt. Das Vorgehen mit Ergebnisangabe st in der Tabelle 2 dargestellt. A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe 34 Referenz: Teil schlecht = 1 50 = = Referenz: Teil gut = 0 50 = = Summe Tabelle 2: Relative Beobachtungshäufigkeit der Urteile des Prüfers A Dritter Schritt: Man berechnet die erwarteten relativen Häufigkeiten, wieder auf der Grundlage der Zählungen im Schritt 1. Das Rechenschema mit Ergebnis ist in der Tabelle 3 dargestellt. A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe 34 Referenz: Teil schlecht = = = Referenz: Teil gut = = = Summe Tabelle 3: Erwartete relative Häufigkeiten der Urteile des Prüfers A Vierter Schritt: Es wird der Anteilswert P o = beobachteter Anteil übereinstimmender Prüferurteile und der Anteilswert P e = Erwarteter Anteil übereinstimmender Prüferurteile berechnet. Dazu werden die Inhalte (Anteilswerte) der Hauptdiagonalzellen in Tabelle 2 bzw. Tabelle 3, addiert. Beobachteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 2): P o = = 1.0 Formel 1: Beobachteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz

7 Verfahren 7: Berechnungsoptionen für Cohens Kappa 6/23 Erwarteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 3): P e = = Formel 2: Erwarteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz Fünfter Schritt: Es wird der Kappa-Index nach Cohen anhand der im Schritt vier ermittelten Anteilswerte berechnet. Für das Beispiel - Vergleich der Prüferurteile von Prüfer A im ersten Prüfdurchgang mit der Referenzbewertung ist das Ergebnis dargestellt: κ A1R = P o P e 1 P e = = 1.0 Formel 3: Kappa-Index nach Cohen, berechnet für den ersten Durchlauf Prüfer A mit Referenz Für den zweiten Prüfdurchgang des Prüfers A erhält man analog nach dem oben angegebenen Fünf- Schritt-Schema den Kappa-Werte κ A2R = und für den dritten Durchgang den Wert κ A3R = 0,7331. Der Kappa-Index für den Prüfer A ist der Mittelwert aus den drei Kappa-Werten, die man für die drei Durchgänge des Prüfers A zuvor berechnet hat: κ A = κ A1R + κ A2R + κ A3R 3 = Formel 4: Kappa-Index nach Cohen, berechnet als Mittelwert = Hinweis: Um alle Ergebnisse für das Zahlenbeispiel zu erhalten, muss das Fünf-Schritte-Schema wie es am Beispiel des Prüfers A beschrieben wurde auch für die Prüfer B und C ausgeführt werden. In der Tabelle 4 ist das Rechenschema zur Bestimmung der Kappa-Werte dargestellt. κ all = κ A + κ B + κ C 3 κ B = κ B1R + κ B2R + κ B3R κ A = κ A1R + κ A2R + κ A3R 3 3 κ A1R κ A2R κ A3R κ B1R κ B2R κ B3R κ C1R κ C2R κ C3R Tabelle 4: Übersicht zur Bildung der Kappa-Werte, Einstellung Standardberechnung κ C = κ C1R + κ C2R + κ C3R 3

8 Verfahren 7: Berechnungsoptionen für Cohens Kappa 7/23 AIAG MSA Standard Bei dieser Einstellung wird das Rechenschema aus der AIAG-Richtlinie Measurement System Analysis (4 th Edition) verwendet. Wer die Ergebnisse genauso wie in der Richtlinie dargestellt erhalten möchte, sollte diese Einstellung in der Software wählen. Abbildung 6: Berechnung Cohen's Kappa - AIAG MSA Standard Welche Ergebnisse werden berechnet? Wird ein Datensatz ohne Referenzwerte geladen, so werden die paarweisen Vergleicher der Prüfer untereinander bestimmt. Paarweiser Vergleich der Prüfer im Beispiel: A mit B, A mit C und B mit C. Abbildung 7: Aufruf der Ergebnisse im "Assistenten" Abbildung 8: Cohen s Kappa - AIAG MSA Standard, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte

9 Verfahren 7: Berechnungsoptionen für Cohens Kappa 8/23 Bei einem Datensatz mit Referenzwerten werden folgende Ergebnisse ausgegeben: Paarweise Vergleicher der Prüfer untereinander Paarweise Vergleiche der Prüfer mit den Referenzwerten Exemplarisch für die Daten des Beispiels erhält man die folgenden Vergleiche: Abbildung 9: Aufruf der Ergebnisse im "Assistenten" Abbildung 10: Cohen s Kappa - AIAG MSA Standard links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten

10 Verfahren 7: Berechnungsoptionen für Cohens Kappa 9/23 Datensatz ohne Referenzurteile Betrachtet wird das Auswerten gemäß der Auswahl Cohen s Kappa - Prüferurteil ohne Referenz Prüferübereinstimmung. Paarweise Vergleiche der Prüferurteile Für die Auswertung werden Urteilspaare gebildet. Die Tabelle 5 zeigt, welche Paarungen im Beispieldatensatz miteinander verglichen werden müssen. Dabei ist die symbolische Schreibweise bestehend aus Buchstabe und Zahl wie folgt zu deuten: A1 = Prüfer A im ersten Durchgang, A2 = Prüfer A im zweiten Durchgang, usw. A mit B A mit C B mit C A1 = B1; A2 = B2; A3 = B3 A1 = C1; A2 = C2; A3 = C3 B1 = C1; B2 = C2; B3 = C3 Tabelle 5: Übersicht der paarweisen Urteilsvergleiche Erster Schritt: Bei jedem Durchgang trifft ein Prüfer 50 Prüfentscheidungen. Somit sind für den paarweisen Vergleich der Urteile der beiden Prüfer A und B insgesamt 150 Urteilspaare auszuzählen: 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schließlich 50 Urteilspaare im dritten Durchgang. Das Ergebnis dieser Zählungen ist in der Tabelle 6 dargestellt. A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe Urteil B: Teil schlecht = Urteil B: Teil gut = Summe Tabelle 6: Beobachtete Häufigkeiten der paarweise miteinander verglichenen Urteile der Prüfer A und B Vierter Schritt: Aus den Ergebnissen der beobachteten Häufigkeiten werden die relativen Häufigkeiten berechnet. A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 97 Urteil B: Teil schlecht = = = Urteil B: Teil gut = = = Summe Tabelle 7: Beobachtete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B

11 Verfahren 7: Berechnungsoptionen für Cohens Kappa 10/23 Dritter Schritt: Nun werden die erwarteten relativen Häufigkeiten der paarweisen Urteile berechnet: A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 103 Urteil B: Teil schlecht = = = Urteil B: Teil gut = = = Summe Tabelle 8: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B Vierter Schritt: Mit den Ergebnissen in den Hauptdiagonal-Zellen der Tabelle 7 berechnet man den beobachteten Anteil übereinstimmender Prüferurteile: P o = = 0.94 Formel 5: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B Mit den Ergebnissen in den Hauptdiagonal-Zellen in der Tabelle 8 berechnet man den erwarteten Anteil übereinstimmender Prüferurteile: P e = = Formel 6: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B Fünfter Schritt: Nun wird mit den im Schritt 4 berechneten Anteilswerten der Kappa-Index nach Cohen berechnet. κ c (A B) = P o P e = 1 P e = Formel 7: Kappa-Index nach Cohen, berechnet für den Vergleich der Prüfer A und B Hinweis: Analog werden die Kappa-Werte für den paarweisen Vergleich A mit C und B mit C berechnet. Zur Erinnerung: Im Programm erhält man das Ergebnis, wenn man Cohen s Kappa - Prüferurteil ohne Referenz Prüferübereinstimmung auswählt.

12 Verfahren 7: Berechnungsoptionen für Cohens Kappa 11/23 Abbildung 11: Cohen's Kappa - MSA AIAG Standard ohne Referenzwerte-Vergleich

13 Verfahren 7: Berechnungsoptionen für Cohens Kappa 12/23 Datensatz mit Referenzurteilen Wählt man Cohen s Kappa - Prüferurteil mit Referenz Prüferübereinstimmung, so erhält man die Ergebnisse für den Vergleich der Urteile von jeweils einem Prüfer mit den Referenzurteilen. Übersicht der paarweisen Vergleiche (Prüferurteile mit Referenzbewertung) In der Tabelle 9 ist dargestellt, welche Urteilspaare gebildet werden müssen. Wieder ist die symbolische Schreibweise Buchstabe und Zahlenwert wie folgt zu deuten: A1 = Prüfer A im ersten Durchgang, A2 = Prüfer A im zweiten Durchgang, usw. A mit Referenz B mit Referenz C mit Referenz A1 = Ref.; A2=Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 9: Übersicht aller paarweise zu vergleichender Urteile - Prüfer mit Referenz Erster Schritt: In jedem Durchgang sind 50 Prüferurteile mit 50 Referenzbewertungen zu vergleichen. Somit sind insgesamt 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schließlich 50 Urteilspaare im dritten Durchgang auszuzählen. Das Ergebnis dieser Zählungen ist in der Tabelle 10 dargestellt. A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe Referenz: Teil schlecht = Referenz: Teil gut = Summe Tabelle 10: Beobachtete Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz Zweiter Schritt: Mit den Zählergebnissen aus der Tabelle 10 berechnet man die beobachteten relativen Häufigkeiten der paarweisen Urteilsvergleiche Prüfer mit Referenz. Das Ergebnis ist in der Tabelle 11 dargestellt. A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 97 Referenz: Teil schlecht = = = Referenz: Teil gut = = = Summe Tabelle 11: Beobachtete relative Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz

14 Verfahren 7: Berechnungsoptionen für Cohens Kappa 13/23 Dritter Schritt: Auf der Grundlage der beobachteten relativen Häufigkeiten in der Tabelle 11 berechnet man die erwarteten relativen Häufigkeiten. Die Berechnungsschritte mit Ergebnissen sind in Tabelle 12 dargestellt: A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 102 Referenz: Teil schlecht = = = Referenz: Teil gut = = = Summe Tabelle 12: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile Prüfer A mit Referenz Vierter Schritt: Mit den Ergebnissen aus der Tabelle 11 im zweiten Schritt wird der beobachtet Anteil gleicher Entscheidungen berechnet: P o = = Formel 8: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz Analog wird mit den Ergebnissen aus der Tabelle 12 im dritten Schritt der erwartete Anteil gleicher Entscheidungen berechnet: P e = = 0.56 Formel 9: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz Fünfter Schritt: Mit den Anteilswerten aus dem vierten Schritt wird der Kappa-Index nach Cohen berechnet. κ c (A Ref) = P o P e = P e Formel 10: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz Hinweis: Analog gemäß dem gezeigten Fünf-Schritte-Schema muss der Kappa-Index für den Vergleich Prüfer B mit Referenz und Prüfer C mit Referenz bestimmt werden. Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen s Kappa - Prüferurteil mit Referenz Prüferübereinstimmung aufgerufen werden. In der Abbildung 12 ist das Ergebnis für das Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt.

15 Verfahren 7: Berechnungsoptionen für Cohens Kappa 14/23 Abbildung 12: Ergebnisse für die Auswertung Prüferurteil mit Referenz - Berechnungsmethode AIAG MSA Standard Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen s Kappa - Prüferurteil ohne Referenz Prüferübereinstimmung aufgerufen werden. In der Abbildung 13 ist das Ergebnis für das Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt Abbildung 13: Cohen s Kappa - AIAG MSA Standard, Vergleich der Prüfer ohne Referenzwerte-Vergleich

16 Verfahren 7: Berechnungsoptionen für Cohens Kappa 15/23 AIAG MSA Extended Diese mit AIAG MSA Extended bezeichnete Berechnungsmethode integriert die Berechnung des Kappa-Index nach Fleiss, um die Wiederholbarkeit (Vergleich der Urteile eines Prüfers von einem Durchlauf zum nächsten) berechnen zu können. Abbildung 14: Einstellung in der Auswertestrategie - Berechnungsmethode AIAG MSA extended Welche Ergebnisse werden dargestellt? Bei einem Datensatz ohne Referenzurteile werden die folgenden Vergleiche durchgeführt: Vergleich der Prüfer untereinander (Vergleichbarkeit) Vergleich der Prüfer mit sich selbst (Wiederholbarkeit) Abbildung 15: Cohen s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte Bei einem Datensatz mit Referenzurteilen werden folgende Vergleiche durchgeführt: Vergleich der Prüfer (Wiederholbarkeit) Paarweiser Vergleich der Prüfer (Vergleichbarkeit der Prüfer) Vergleich der Prüfer mit dem Standard (Vergleichbarkeit der Prüfer mit dem Standard)

17 Verfahren 7: Berechnungsoptionen für Cohens Kappa 16/23 Abbildung 16: Cohen s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten Datensatz ohne Referenzurteile Liegt ein Datensatz ohne Referenzurteile vor und wählt man die Auswertung Cohen s Kappa - Prüferurteil ohne Referenz Prüferübereinstimmung, so erhält man mehrere Ergebnisse: 1. Vergleich innerhalb eines jeden Prüfer Vergleich der Durchläufe: Wiederholbarkeit. 2. Paarweiser Vergleich der Urteile zwischen den Prüfern: Vergleichbarkeit. Der Aufbau der Vergleiche ist weiter unten im Detail beschrieben. Vergleich der Durchläufe der einzelnen Prüfer mit sich selbst - Wiederholbarkeit In der Tabelle 13 sind alle Kombinationen an Paarvergleichen aufgelistet, die insgesamt mit den Beispieldaten durchgeführt werden müssen: A B C A1 = A2; A1 = A3; A2 = A3 B1 = B2; B1 = B3; B2 = B3 C1 = C2; C1 = C3; C2 = C3 Tabelle 13: Übersicht der Vergleiche innerhalb der Prüfer Im Beispiel ist die Zählung exemplarisch für den Prüfer A ausführlich dargestellt und muss analog für die übrigen Prüfer ausgeführt werden. Erster Schritt: Auszählen der Urteilspaare gemäß der ersten Spalte in der Tabelle 13. Das Ergebnis dieser Zählungen ist in der Tabelle 14 dargestellt. A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe Urteil A: Teil schlecht = Urteil A: Teil gut = Summe

18 Verfahren 7: Berechnungsoptionen für Cohens Kappa 17/23 Tabelle 14: Ergebnis der beobachteten Häufigkeiten für den Prüfer A Zweiter Schritt: Mit den beobachteten Häufigkeiten aus der Tabelle 14 berechnet man die beobachteten relativen Häufigkeiten. Der Rechengang und die Ergebnisse für den Prüfer A sind in der Tabelle 15 enthalten. A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 92 Urteil A: Teil schlecht = = = Urteil A: Teil gut = = = Summe Tabelle 15: Beobachtete relative Häufigkeiten für den Prüfer A Dritter Schritt: Anhand der Ergebnissen aus der Tabelle 15 im zweiten Schritt berechnet man die erwarteten relativen Häufigkeiten. Wieder sind die Berechnungsgrundlagen und Ergebnisse nur für den Prüfer A in der Tabelle 16 dargestellt. A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 102 Urteil A: Teil schlecht = = = Urteil A: Teil gut = = = Summe Tabelle 16: Erwartete relative Häufigkeiten für den Prüfer A Vierter Schritt: Wählt man aus der Tabelle 15 die beobachteten relativen Häufigkeiten der Hauptdiagonalen, so erhält man den beobachteten Anteil gleicher Urteile: P o = = Formel 11: Beobachteter Anteil gleicher Urteile, berechnet für den Prüfer A Analog berechnet man mit den Hauptdiagonalelementen der Tabelle 16 den erwarteten relativen Häufigkeiten übereinstimmender Urteile den erwarteten Anteil gleicher Urteile: P e = = Formel 12: Erwarteter Anteil gleicher Urteile, berechnet für den Prüfer A

19 Verfahren 7: Berechnungsoptionen für Cohens Kappa 18/23 Fünfter Schritt: Mit den beobachteten und erwarteten Anteilen gleicher Entscheidungen wird der Kappa-Index berechnet: κ c (A) = P o P e = P e Formel 13: Kappa-Index nach Cohen für den Prüfer A Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile. Abbildung 17: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich Hinweis: Analog nach diesem Fünf-Schritte-Schema sind die Kappa-Werte für die Vergleiche der Urteile innerhalb der Prüfer B und C berechnet (die ersten drei Zeilen in der Abbildung 17).

20 Verfahren 7: Berechnungsoptionen für Cohens Kappa 19/23 Paarweise Vergleiche aller Prüferurteile Insgesamt müssen mit den Beispieldaten die in der Tabelle 17 dargestellten Paarvergleiche ausgezählt werden. A mit B A mit C B mit C A1=B1; A1=B2; A1 = B3; A2=B1; A2 = B2; A2 = B3; A3 = B1; A3 = B2; A3 = B3 A1=C1; A1=C2; A1 = C3; A2=C1; A2 = C2; A2 = C3; A3 = C1; A3 = C2; A3 = C3 B1=C1; B1=C2; B1 = C3; B2=C1; B2 = C2; B2 = C3; B3 = C1; B3 = C2; B3 = C3 Tabelle 17: Übersicht zu dem paarweisen Vergleich der Prüferurteile Exemplarisch wird hier wieder nur der Rechengang für den Vergleich der Prüfer A und B betrachtet. Erster Schritt: Auszählen der paarweisen Urteilskombinationen der Prüfer A und B (gemäß der ersten Zeile in der Tabelle 17). Das Ergebnis ist in der folgenden Tabelle 18 dargestellt: A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe Urteil B: Teil schlecht = Urteil B: Teil gut = Summe Tabelle 18: Ergebnis der beobachteten Häufigkeiten des paarweisen Vergleiches der Prüfer A und B Zweiter Schritt: Berechnen der beobachteten relativen Häufigkeiten der Urteilskombinationen anhand der Zählergebnisse aus der Tabelle 18. A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 289 Urteil B: Teil schlecht = = = Urteil B: Teil gut = = = Summe Tabelle 19: Ergebnis der beobachteten relativen Häufigkeiten des paarweisen Vergleiches der Prüfer A und B Dritter Schritt: Bestimmen der erwarteten relativen Häufigkeiten der Urteilskombinationen anhand der Rechenergebnisse aus der Tabelle 18 : A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 300 Urteil B: Teil schlecht = = = Urteil B: Teil gut = = = Summe Tabelle 20: Ergebnis der erwarteten relativen Häufigkeiten des paarweisen Vergches der Prüfer A und B Vierter Schritt: Mit den Hauptdiagonal-Elementen aus der Tabelle der beobachteten relativen Häufigkeit berechnet man den Anteilswert P o = Anteil der beobachteten übereinstimmenden Prüferurteile P o = = Formel 14: Beobachtete Anteil gleicher Urteile

21 Verfahren 7: Berechnungsoptionen für Cohens Kappa 20/23 Analog berechnet man mit den Hauptdiagonal-Elementen der Tabelle der erwarteten relativen Häufigkeiten den Anteilswert P e = Anteil der erwarteten übereinstimmenden Prüferurteile. P e = = Formel 15: Erwarteter Anteil gleicher Urteile Fünfter Schritt: Der Wert für Kappa wird mit diesen Anteilswerten wie folgt errechnet: κ c (A B) = P o P e = P e Formel 16: Kappa-Index nach Cohen für den Vergleich der Urteile der Prüfer A und B Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile. Abbildung 18: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich

22 Verfahren 7: Berechnungsoptionen für Cohens Kappa 21/23 Datensatz mit Referenzurteilen Liegt ein Datensatz mit Referenzbewertungen vor, so werden folgende Auswertungen durchgeführt: 1. Vergleich der Durchläufe eines einzelnen Prüfers: Wiederholbarkeit 2. Paarweise Vergleiche der Prüfer ohne Referenz: Vergleichbarkeit 3. Prüfer mit Referenz: Vergleichbarkeit jedes Prüfers mit der Referenz 4. Alle Prüfer mit Referenz: Vergleichbarkeit aller Prüfer mit der Referenz Die Berechnung der Fälle 1 und 2 entspricht dem Vorgehen gemäß dem Abschnitt Datensätze ohne Referenz (Kapitel AIAG MSA Extended). Daher wird auf eine wiederholte Darstellung des Rechenganges hier verzichtet. Im Folgenden angenommen, dass in der Auswertestrategie die Berechnungsmethode AIAG MSA Extended eingestellt ist. Tabelle 21: Darstellung der Einstellung AIAG MSA extended in der Auswertestrategie Vergleich der Prüferurteile mit der Referenzbewertung Die Übersicht, welche Paarvergleiche mit den Beispieldaten insgesamt durchgeführt werden müssen, ist in der Tabelle 22 dargestellt. A mit Referenz B mit Referenz C mit Referenz A1 = Ref.; A2 = Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 22: Übersicht der Vergleiche Prüfer mit Referenz Erster Schritt: Bei jedem Prüfdurchgang wurden 50 Prüfentscheidungen getroffen. Damit sind für jeden Prüfer 150 Paare von Prüferurteilen auszuzählen. Das Ergebnis dieser Zählungen ist in den folgenden Tabelle 23 für den Vergleich der Urteile des Prüfers A dargestellt. A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe Referenz: Teil schlecht = Referenz: Teil gut = Summe Tabelle 23: Beobachtete Häufigkeit der Urteile, gezählt für den Vergleich Prüfer A mit Referenz

23 Verfahren 7: Berechnungsoptionen für Cohens Kappa 22/23 Zweiter Schritt: Anhand der Zählergebnisse in der Tabelle 23 berechnet man die beobachteten relativen Häufigkeiten der Urteilskombinationen. In der Tabelle 24 sind diese für den Vergleich der Urteile des Prüfers A mit der Referenzbeurteilung dargestellt. A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 97 Referenz: Teil schlecht = = = Referenz: Teil gut = = = Summe Tabelle 24: Beobachtete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz Dritter Schritt: Mit den Ergebnissen für die beobachteten relativen Häufigkeiten berechnet man die erwarteten relativen Häufigkeit. In der Tabelle 25 sind die erwarteten relativen Häufigkeiten für den Vergleich des Prüfers A mit der Referenzbewertung dargestellt. A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe 102 Referenz: Teil schlecht = = = Referenz: Teil gut = = = Summe Tabelle 25: Erwartete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz Vierter Schritt: Mit den beiden Hauptdiagonalelementen der beobachteten relativen Häufigkeit in der Tabelle 24 berechnet man den Anteilswert P o = beobachteter Anteil übereinstimmender Prüferurteile. P o = = Formel 17: Beobachteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz Analog wird mit den Hauptdiagonalelementen der erwarteten relativen Häufigkeit in Tabelle 25 der Anteilswert P e = erwarteter Anteil der übereinstimmender Prüferurteile berechnet. P e = = 0.56 Formel 18: Erwarteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz

24 Verfahren 7: Berechnungsoptionen für Cohens Kappa 23/23 Fünfter Schritt: Der Kappa-Index nach Cohen für den Vergleich des Prüfers A mit der Referenz wird mit den Anteilswerten aus dem vierten Schritt berechnet. κ c (A) = P o P e = P e Formel 19: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz Hinweis: Analog gemäß dem Fünf-Schritt-Schema müssen die Indizes für die Prüfer A und B berechnet werden. Abbildung 19: Cohen's Kappa AIAG MSA Extended, mit Referenzwerte-Vergleich Zu ergänzen ist noch, dass der Kappa-Wert für alle Prüfer der arithmetische Mittelwert der drei einzelnen Kappa-Werte der Prüfer A bis C ist.