Forschungspraktikum Gruppenbezogene Menschenfeindlichkeit

Transkript

1 Forschungspraktikum Gruppenbezogene Menschenfeindlichkeit Reliabilität in der klassischen (psychometrischen) Testtheorie Statistisches Modell Realisierung mit der SPSS-Prozedur Reliability

2 Klassische Testtheorie: Reliabilität von Messungen In der klassischen Testtheorie (KTT) der Psychometrie wird die Messung x A einer interessierenden Eigenschaft eines Objektes A als Summe aus dem sog. "wahren Wert" (engl.: true score) A dieses Objektes und einem zufälligen Messfehler ε i aufgefasst, der einen Erwartungswert von Null aufweist: x = +ε mit μ ε = 0 Es wird angenommen, dass für alle zu messenden Objekte gilt, dass der jeweilige wahre Wert statistisch unabhängig vom Messfehler ist, was in der KTT als lokale stochastische Unabhängigkeit bezeichnet wird. Gilt diese Annahme, so folgt daraus, dass die Varianz der Messungen über alle Objekte gleich der Summen aus der True-Score-Varianz plus der Messfehlervarianz ist: X ε σ X =σ +σε ( ) A,i A i i Grafisch lässt sich dies als Pfaddiagramm darstellen, bei dem eine beobachtete Variable X in einem linearen Regressionsmodell durch eine latente Variable erklärt wird. Im Pfaddiagramm wird die beobachtete Variable X als Rechteck dargestellt und die unbeachtete Variable, die die "true scores" repräsentiert durch einen Kreis. Die Messfehler werden dann durch die ebenfalls unbeobachtete Residualvariable ε repräsentiert. Forschungspraktikum GMF 1

3 Klassische Testtheorie: Reliabilität einer Messung Die Reliabilität der Messung X ist dann als der durch die "true-scores" erklärte Varianzanteil an der Varianz der Messungen definiert: σ σε ρ X. = = 1 σ σ X 1 X ε 1 ε X Zwei Messungen heißen parallel, wenn sie nicht nur den gleichen "true score" messen, sondern zusätzlich auch die Messfehlervarianzen gleich sind. Zwei Messungen heißen tau-äquivalent, wenn sie den gleichen "true score" messen, aber unterschiedliche Messfehlervarianzen haben. Zwei Messungen heißen kongenerisch, wenn die Regressionsgewichte der Regression der Messungen auf die "true scores" zu unterschiedlichen Regessionsgewichten führt, wobei die Messfehlervarianzen gleich oder verschieden sein können. Im Pfaddiagramm ist dann eine der beiden Regressionsgewichte ("Ladungen") kleiner 1 und für deren Varianz gilt: X Um die Reliabilität zu ermitteln, wird angenommen, dass es mehrere Messungen bzw. unabhängige Messwiederholungen X i der "true scores" gibt, wobei jede Messung wieder die Summe aus "true score" und Messfehler ist. Das Pfaddigramm entspricht dann dem einer Faktorenanalyse mit einem Faktor. In der Abbildung sind zwei Messungen X 1 und X der gleichen Größe eingezeichnet. σ =λ σ +σ X i ε i i Forschungspraktikum GMF

4 Klassische Testtheorie: Reliabilität von Summenscores X 1 X Es kann gezeigt werden, dass die Kovarianz zwischen zwei parallelen oder tau-äquivalenten Messungen der gleichen Größe gleich der Varianz der true scores ist: σ X,X =σ =σ ( i j) ij ε 1 ε Wenn zwei Messungen parallel sind, gilt zudem, dass die Korrelation zwischen den Messungen gleich der Reliabilität ist. Aus dieser Eigenschaft wird gelegentlich Reliabilität auch als Korrelation einer Messung mit sich selbst bezeichnet, wobei "mit sich selbst" meint, dass es sich um zwei statistisch unabhängige identische (d.h. parallele) Messungen handelt. Die KTT hat vor allem unterschiedliche Formeln zur Berechnung der Reliabilität von Summenscores generiert. Angenommen, es liegen K parallele Messungen X 1, X,..., X k der gleichen Größe vor. Es kann gezeigt werden, dass dann für die Reliabilität der Summe Y= X 1 + X X k gilt: K σ K σ K ρ ρ = = = X. Y. σy K σ + K σ ε 1 + (K 1) ρx. wobei ρ X. die Reliabilität einer einzelnen parallelen Messung ist. Forschungspraktikum GMF 3

5 Klassische Testtheorie: Reliabilität von Summenscores Summenscore K=10 K=4 0.6 K= Einzelne Messung Aus der Gleichung folgt, dass die Reliabilität eines Summenscores höher ist als die Reliabilität jeder einzelnen Messung, wobei der Unterschied um so höher ist, je geringer die Reliabiliät jeder einzelnen Messung ist. In der Abbildung ist dese Beziehung für Summen von K=, 4 und 10 Messungen dargestellt. Sind die Messungen nicht parallel, sondern nur tau-äquivalent, so gilt die Formel, wenn anstelle der Reliabilität einer einzelnen Messung der Quotient aus der "true score"-varianz und dem Mittelwert der Varianzen der einzelnen Messungen berechnet wird: K K ρ ρ = = = ρ = σ K σ σ mit X. σ Y + ρx. σx * X. Y. K * 1 (K 1) * K σ + σεi i= 1 Forschungspraktikum GMF 4

6 Klassische Testtheorie: Reliabilität von Summenscores Bei kongenerischen Messungen gilt für die Summenscores: K K K K λ λ σ i j λ λ σ i j i= 1 j= 1 i= 1 j= 1 Y. K K K σy λi λj σ + σεi i= 1 j= 1 i= 1 ρ = = Berechnung von Reliabilitätskoeffizienten Aus der Formel für die Reliabilität einer Summe aus zwei parallelen Messungen folgt bei zwei Messungen: K σ K ρx. ρx. ρ K = ρ Y. = = = = σ 1 + (K 1) ρ 1+ρ 1+ρ Y X. X. wobei ρ für die Korrelation zwischen den beiden parallelen Messungen steht. Eine Schätzung der Reliabilität der Summe zweier paralleler Messungen ist also der Quotient aus der zweifachen Korrelation zwischen den beiden Messungen geteilt durch die Summe aus eins plus dieser Korrelation. Dieser Koeffizient ist auch als Spearman-Brown-Koeffizient bekannt. Forschungspraktikum GMF 5

7 Klassische Testtheorie: Berechnung von Reliabilitätskoeffizienten ρ ρ Y. = 1 + ρ In der Regel besteht ein Summenscore aus K Messungen (Items). Für die Schätzung der Reliabilität nach der Spearman-Brown-Formel werden daher zwei Testhälften gebildet und die Korrelation zwischen den Summen der jeweils K/ Items berechnet. "ρ" steht hier also für die Korrelation zwischen diesen beiden Hälften. Dieses Verfahren wird als "split half"-methode bezeichnet. Bei der Anwendung der Spearman-Brown-Fornel wird unterstellt, dass die beiden Testhälften als parallele Messungen aufgefasst werden können. Wenn die Messungen nicht gleich lang sind, sondern sich die K Items in k 1 und k Items aufteilen, gilt eine sehr viel komplexere Formel: ρ = Y. k k ρ + ρ + 4 ρ ( 1 ρ ) K k1 k ( 1 ρ ) K 4 1 wobei "ρ" hier für die Korrelation zwischen den beiden Summen aus k 1 bzw. k Items steht. Forschungspraktikum GMF 6

8 Klassische Testtheorie: Berechnung von Reliabilitätskoeffizienten Bei der Berechnung der Reliabilität kann auch davon Gebrauch gemacht werden, dass die Varianz einer Summe gleich der Summe der Varianzen der Summanden plus zweimal der Summe aller möglichen Kovarianzen ist: K K K K i 1 K K ( X,X) ( X) ( X,X) σ = σ = σ + σ = σ + σ Y i j i i j i ij i= 1 j= 1 i= 1 i= j= 1 i= 1 i> j Werden unter der Annahme tau-äquivalenter oder paralleler Messungen die "true-score"-varianz und die Messfehlervarianz(en) eingesetzt, ergibt sich: ( ) ( ) K K K Y i ij ε K K 1 i i= 1 i> j i= 1 σ = σ + σ = σ +σ + σ Dann folgt für die "true score"-varianz: K σy σi i= 1 σ = K K 1) ( ) Setzt man den rechten Teil der Gleichung in die Formel für die Reliabilität der Summe von tauäquivalenten Messungen bei K= ein: ergibt sich: Y 1 4 K σ 4 σ ( 1) σ Y. σy σy σy σy σ σ σ ρ = = = = ( Y σ1 σ) Forschungspraktikum GMF 7

9 Klassische Testtheorie: Berechnung von Reliabilitätskoeffizienten ( ) σy σ1 σ ρ Y. = σy Diese Formel zur Berechnung der Reliabilität von zwei Messungen bzw. Testhälften ist die Formel für die "split half"-reliabilität nach Guttmann. Im Unterschied zu Formel von Spearman-Brown wird hier nicht Paralelität, sondern nur Tauäquivalenz unterstellt und gilt dann auch bei Testhälften, die unterschiedliche Zahlen von Items aufweisen. Für die Reliabilität einer Summe von K tau-äquivalenten Items folgt zudem: K σy σi K K K i= 1 K σy σi σi K σ K (K 1) K 1 i= 1 K i= 1 Y. 1 σy σy σy K 1 σy ρ = = = = =α Diese Formel zur Schätzung der Reliabilität einer Summe heißt Crombachs α und ist vermutlich der am häufigsten berechnete Koeffizient zur Berechnung der Reliabilität. Bei K= ist er mit der "split half"-reliabilität nach Guttman identisch. Forschungspraktikum GMF 8

10 Klassische Testtheorie: Berechnung von Reliabilitätskoeffizienten Combachs α hat die Eigenschaft, dass dieser Koeffizient gleichzeitig der Durchschnittswert alle "split half"-koeffizienten nach Guttmann ist. Wenn die Messungen parallel oder tau-äquivalet sind, erfasst α die Reliabilität des Summenscores. Bei kongenerischen Messungen unterschätzt α die tatsächliche Reliabilität. Bei der Anwendung der Formeln der KTT muss unterstellt werden, dass das Messmodell der KTT gilt, was insbesondere heißt, dass alle Messungen tatsächlich die gleiche Eigenschaft erfassen und nicht unterschiedliche Eigenschaften. Cronbachs α wird auch als Maß der internen Konsistenz bezeichnet um auszudrücken, dass nicht garantiert ist, dass der Wert tatsächlich die Reliabilität des Summenscores erfasst, sondern nur unter der Annahme der Eindimensionalität. In der Realität liegen keine Populationsdaten, sondern Stichprobendaten vor. Die Formeln der KTT werden dann auf die entsprechenden Schätzungen der Populationsvarianzen angewendet. Dabei ist es möglich, dass es aufgrund der Stichprobengegebenheiten zu Abweichungen mit den tatsächlich interessierenden Populationswerten kommt. Forschungspraktikum GMF 9

11 Realisierung mit der SPSS-Prozedur Reliability Die Koeffizienten der KTT können in SPSS mit der Prozedur Reliability berechnet werden. Die für die KTT wichtigsten Optionen lauten: RELIABILITY VARIABLES=varlist oder ALL /SCALE(name)=varlist /MODEL=ALPHA oder SPLIT(n) /STATISTICS=DESCRIPTIVE COVARIANCES CORRELATIONS SCALE /SUMMARY= TOTAL MEANS VARIANCE COV CORR. Notwendig sind die Optionen "/variables=..." und "/model=..."; alle andere Optionen können ausgelassen werden: /variables=varlist benennt die Variablem die analysiert werden sollen. /scale(name)=varlist ermöglicht, nur eine Teilmenge der Variablen in "/variables" für die Analyse auszuwählen. In Klammern muss dann ein temporärer Variablenname für die Liste der ausgewählten Variablen aufgeführt werden. /model=... gibt die Berechnungsmethode für die Reliablitäten vor. Der Parameter "alpha" forder die Berechnung von Crombachs α an, der Parameter "split" die Berechnung nach der "Split Half"-Methode. Hinter dem Wort "split" kann in Klammern eine Zahl angegeben werden, die die Größe der ersten Testhälfte angibt. Forschungspraktikum GMF 10

12 Realisierung mit der SPSS-Prozedur Reliability /statistics=... /summary=... ermöglichst die Ausgabe deskriptiver (Mittelwerte, Standardabweichungen und Fallzahlen ("descri"), der Varianzen und Kovarianzen ("cov") bzw. der Korrelationen ("cor"). Mit "scale" werden Mittelwert, Varianz und Standardabweichung des Summenscores und die Zahl der eingegangenen Variablen (Items) ausgegeben. gibt für die Mittelwerte ("means"), Varianzen ("var"), Kovarianzen ("cov") und Korrelationen ("cor") der im Summenscore verwendeten Variablen deskriptive Statistiken wieder. Mit dem Parameter "total" werden Statistiken berechnet, wenn jeweils ein Item aus dem Summenscore ausgeschlossen wird: Ausgegeben werden Mittelwert und Varianz des Summenscores ohne das Item, die Korrelation des Items mit dem Summenscore ohne das Item, und R, wenn das Item durch die übrigen Items erklärt wird, sowie Crombachs α, wenn das Item aus dem Summenscore ausgeschlossen ist. Als Beispiel soll die SPSS-Prozedur Reliabilität zur Berechnugn der Reliabilität der Summe (bzw. des Mittelwertes) aus den vier Items zur Messung der Fremdenfeindlichkeit in dem kumulierten GFM-Datensatz herangezogen werden. Forschungspraktikum GMF 11

13 Realisierung mit der SPSS-Prozedur Reliability get file="c:\...\trend.sav. reliability var=ff03d ff04d ff05d ff08d /Mod alpha /stat des cov cor scale /sum tot mean var cov cor. Berechnet wird Cromachs α. Angefordert werden zusätzlich diverse Statistiken, Reliabilitätsstatistiken Cronbachs Alpha Cronbach s Alpha für standardis ierte Items Anzahl der Items Die Schätzung ergibt einen Wert von Auf der Basis der Korrelationen ergibt sich nach der Formel für parallele Messungen ein Wert von Die Resliabilität scheint also recht hoch zu sein. Ausgegeben werden zusätzlich die deskriptiven Statistiken für die einzelnen Items und die Gesamtskala. Forschungspraktikum GMF 1

14 Realisierung mit der SPSS-Prozedur Reliability Itemstatistiken ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Mittelwert Std. -Abweichung Anzahl Skala-Statistiken Mittelwert Varianz Std. -Abweichung Anzahl der Items Aus der Varianz der Skala und den ebenfalls angeforderten Kovarianzen lässt sich α per Hand berechnen. Der Wert für die standardisierten Variablen kann aus der Korrelationsmatrix berechnet werden. Forschungspraktikum GMF 13

15 Realisierung mit der SPSS-Prozedur Reliability Inter-Item-Kovarianzmatrix ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkind er verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Inter-Item-Korrelationsmatrix ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkind er verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Forschungspraktikum GMF 14

16 Realisierung mit der SPSS-Prozedur Reliability Auswertung der Itemstatistiken Item-Mittelwerte Item-Varianzen Inter-Item-Kovarianzen Inter-Item-Korrelationen Maximum / Anzahl Mittelwert Minimum Maximum Bereich Minimum Varianz der Items Die mit "/summary" angeforderten Statistiken geben weitere Informationen. Von Interesse ist vor allem die durch "total" angeforderten Informationen: Item-Skala-Statistiken ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Skalenmittelw ert, wenn Item weggelassen Skalenvarianz, wenn Item weggelassen Korrigierte Item-Skala- Korrelation Quadrierte multiple Korrelation Cronbachs Alpha, wenn Item weggelassen Forschungspraktikum GMF 15

17 Realisierung mit der SPSS-Prozedur Reliability Item-Skala-Statistiken ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Skalenmittelw ert, wenn Item weggelassen Skalenvarianz, wenn Item weggelassen Korrigierte Item-Skala- Korrelation Quadrierte multiple Korrelation Cronbachs Alpha, wenn Item weggelassen In der letzten Spalte wird sichtbar, welche Auswirkungen das Auslassen eines Items hat. In der Regel verringert sich die Reliabilität. Können nicht alle Items verwendet werden, so wird das Item ausgelassen, dass die Reliabilität am geringsten verringert. Im Beispiel ist es aber so, dass das Auslassen von "ff05d" die Reliabilität sogar erhöhen würde. Dies deutet darauf hin, dass dieses Item möglicherweise die Bedingung der Eindimensionalität der Messungen verletzt und daher ausgeschlossen werden sollte: reliability var=ff03d ff04d ff08d /Mod alpha /sum tot. Forschungspraktikum GMF 16

18 Realisierung mit der SPSS-Prozedur Reliability Reliabilitätsstatistiken Cronbachs Anzahl Alpha der Items ff03d Ausländer sind Belastung fürs soziale Netz ff04d Es leben zu viele Ausländer in D. ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp Skalenmittelw ert, wenn Item weggelassen Item-Skala-Statistiken Skalenvarianz, wenn Item weggelassen Korrigierte Item-Skala- Korrelation Cronbachs Alpha, wenn Item weggelassen Werden die Reliabilitäten über "split half" geschätzt, ergeben sich unterschiedliche Werte, je nachdem wie die Hälften gebildet werden: reliability var=ff03d ff04d ff05d ff08d /Mod split. reliability var=ff03d ff05d ff04d ff08d /Mod split. reliability var=ff03d ff08d ff05d ff04d /Mod split. ff03d + ff04d mit ff05d + ff08d: nach Guttmann ff03d + ff05d mit ff04d + ff08d: nach Guttmann ff03d + ff08d mit ff05d + ff04d: 0.84 nach Guttmann Crombachs α ist der Durchschnittswert dieser drei Schätzungen. Forschungspraktikum GMF 17

19 Realisierung mit der SPSS-Prozedur Reliability Reliabilitätsstatistiken Cronbachs Alpha Korrelation zwischen Formen Teil 1 Teil Gesamtzahl der Items Spearman-Brown- Gleiche Länge Koeffizient ungleiche Länge Guttmans Split-Half-Koeffizient Wert Anzahl der Items Wert Anzahl der Items.805 a.55 b a. Die Items sind: ff03d Ausländer sind Belastung fürs soziale Netz, ff04d Es leben zu viele Ausländer in D.. b. Die Items sind: ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder, ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp. Reliabilitätsstatistiken Cronbachs Alpha Korrelation zwischen Formen Teil 1 Teil Gesamtzahl der Items Spearman-Brown- Gleiche Länge Koeffizient ungleiche Länge Guttmans Split-Half-Koeffizient Wert Anzahl der Items Wert Anzahl der Items.559 a.740 b a. Die Items sind: ff03d Ausländer sind Belastung fürs soziale Netz, ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder. b. Die Items sind: ff04d Es leben zu viele Ausländer in D., ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp. Forschungspraktikum GMF 18

20 Realisierung mit der SPSS-Prozedur Reliability Reliabilitätsstatistiken Cronbachs Alpha Korrelation zwischen Formen Teil 1 Teil Gesamtzahl der Items Spearman-Brown- Gleiche Länge Koeffizient ungleiche Länge Guttmans Split-Half-Koeffizient Wert Anzahl der Items Wert Anzahl der Items.693 a.565 b a. Die Items sind: ff03d Ausländer sind Belastung fürs soziale Netz, ff08d Ausländer nach Hause schicken, wenn Arbeitsplätze knapp. b. Die Items sind: ff05d Ausländerkinder verhindern gute Bildung der dt. Kinder, ff04d Es leben zu viele Ausländer in D.. Forschungspraktikum GMF 19