Reliabilitäts- und Itemanalyse

Transkript

1 Reliabilitäts- und Itemanalyse In vielen Wissenschaftsdisziplinen stellt die möglichst exakte Messung von hypothetischen Prozessen oder Merkmalen sogenannter theoretischer Konstrukte ein wesentliches Problem dar. So ist in den Sozialwissenschaften die Messung der Einstellungen von Personen (z.b. Feindlichkeit gegenüber AusländerInnen, Politikverdrossenheit, Umweltbewußtsein) ein notwendiger Schritt vor der Formulierung und Überprüfung entsprechender Theorien. 1

2 Unzuverlässige Messungen menschlicher Absichten oder menschlichen Verhaltens erschweren Verhaltensprognosen. In derartigen Situationen kann die Reliabilitäts- und Itemanalyse zur Konstruktion zuverlässiger Skalen, zur Verbesserung bestehender Skalen und zur Bewertung der Zuverlässigkeit (Reliabilität) benutzter Skalen eingesetzt werden. Die Reliabilitäts- und Itemanalyse hilft z.b. bei der Erstellung und Bewertung von Summenskalen. Diese summieren mehrere Messungen (Items) desselben theoretischen Konstrukts. 2

3 Das Vorgehen folgt dem Modell der klassischen Testtheorie ( A. Diekmann oder J. Krauth). Die klassische Testtheorie geht von der Vorstellung aus, dass sich die einzelne Messung X ein Item eines theoretischen Konstruktes an einer zufällig ausgewählten Person additiv zusammensetzt: Zufälliges Item X = zufällige Ausprägung des theoretischen Konstruktes T (des wahren Wertes) + Messfehler E 3

4 Die klassische Testtheorie stellt Methoden bereit, wie aus mehreren Items X k (k = 1,..., n) einer Itembatterie, die das gleiche Konstrukt messen (sollen), durch Summation von geeigneten Items Skalen S = n k=1 X k konstruiert werden können, die möglichst günstige Eigenschaften aufweisen. Bei der Bewertung der Güte von Skalen spielen Kriterien wie Objektivität, Reliabilität und Validität eine Rolle. 4

5 Objektivität der Messung: Der Grad der Objektivität eines Messinstrumentes (z.b. einer Befragung) beschreibt, wie unabhängig die Ergebnisse von der Person sind, die dieses Instrument verwendet. Vollständige Objektivität liegt vor, wenn zwei beliebige Anwender mit dem gleichen Instrument bei Messung an den gleichen Objekten jeweils übereinstimmende Resultate erzielen. Objektivität kann ggf. mit Hilfe des Pearsonschen Korrelationskoeffizienten erfasst werden. Maximale Objektivität liefert einen Wert des Korrelationskoeffizienten von 1 (Hinweis: Es gibt viele weitere Maße zur Messung der Beobachtungsübereinstimmung). 5

6 Reliabilität (Zuverlässigkeit) der Messung: Jede Messung einer empirischen Größe kann mit zufälligen und/oder systematischen Messfehlern verbunden sein. Letztere führen zu systematisch verzerrten Messwerten, die von den wahren Werten der gemessenen Eigenschaft (evtl. in berechenbarer Weise) abweichen. Systematische Verzerrungen treten z.b. bei Umfragen dann auf, wenn die Befragten nicht ihre tatsächliche Meinung äußern, sondern sozial gewünschte Antworten geben. 6

7 Das Ausmaß, in dem wiederholte Messungen mit dem gleichen Messinstrument bei Konstanz der zu messenden Eigenschaft die gleichen Werte liefern, bezeichnet man als Reliabilität (reliability) oder Zuverlässigkeit. Die Reliabilität eines Items kann als Relation zwischen der Variabilität des Konstruktes T zur Gesamtvariabilität des Items X definiert werden. Der Grad der Reproduzierbarkeit kann ggf. auch mit Hilfe von Korrelationskoeffizienten beschrieben werden. Hinweis: Systematische Messfehler können nicht Gegenstand dieser Definition sein, weil identische also absolut zuverlässige Messergebnisse nicht ausschließen, dass alle Messungen systematisch verzerrt sind. 7

8 Validität der Messung: Die Validität eines Messinstrumentes gibt den Grad der Genauigkeit an, mit der es dasjenige theoretische Konstrukt misst, das es messen soll. Objektivität und Reliabilität sind lediglich notwendige Voraussetzungen für Validität. Die Erfassung der Validität eines Messinstrumentes ist ein schwieriges auch logisches Problem, das durch die Analyse einer Itembatterie nicht gelöst werden kann (Intelligenz ist, was Intelligenztests messen.) Ist jedoch ein valides Außenkriterium vorhanden (woher weiß man das?), das das intendierte theoretische Konstrukt misst, so besteht manchmal die Möglichkeit, die Validität mit Hilfe von Korrelationskoeffizienten zu beschreiben. 8

9 Unter gewissen Modellannahmen über vorliegende Items X k = T + E k des gleichen Konstruktes T lassen sich Berechnungs- oder Schätzverfahren für die Reliabilität oder Validität der Items und auch für aus ihnen gebildete Summenskalen angeben. Hauptaufgabe der Itemanalyse ist die Konstruktion von Summenskalen mit möglichst hoher Validität. Liegt kein geeignetes Außenkriterium zur Messung des untersuchten theoretischen Konstruktes vor, so versucht man die Items zur Konstruktion der Summenskala so auszuwählen, dass diese eine möglichst hohe Reliabilität aufweist. Hohe Validität kann nur bei hoher Reliabilität auftreten. 9

10 Die Reliabilitätsanalyse beschäftigt sich daher mit der Auswahl und Zusammenstellung einzelner Items zu einer Summenskala (diese wird auch als Test bezeichnet daher Testtheorie; nicht verwechseln mit Signifikanztests!). Sie wählt die in die Summenskala (Test) eingehenden Items so aus, dass diese einerseits in Relation zum Fehler hoffentlich! vorwiegend den wahren Wert (also das Konstrukt) widerspiegelt und diese andererseits eine gewisse Eigenständigkeit besitzen (z.b. nicht völlig redundant sind oder von allen Probanden nahezu gleich beantwortet werden; Itemschwierigkeit ). 10

11 Ein Maß für die Reliabilität einer Summenskala stellen Reliabilitätskoeffizienten (z.b. Cronbachs α) dar. Cronbachs α bewertet die interne Konsistenz einer aus mehreren Items zusammengesetzten Summenskala. Interne Konsistenz bedeutet, dass die einzelnen Items mit der Gesamtheit der übrigen Items (linear) zusammenhängen/korrelieren. Eine weitere Aufgabe der Reliabilitätsanalyse besteht in der Verkürzung von vorliegenden Summenskalen (Tests) durch Elimination einzelner, beispielsweise redundanter Items. Dabei kommen Trennschärfekoeffizienten zum Einsatz, die die Brauchbarkeit eines Items für eine vorliegende Summenskala bewerten. Sie stellen Schätzungen für die Korrelation zwischen Einzelitem und Summenskala dar. 11

12 Als Beispiel zur Item- und Reliabilitätsanalyse verwenden wir einige Merkmale Items der ALLBUS Umfrage von Und zwar benutzen wir die 6 Antworten zu Fragen, ob eine Frau berufstätig sein sollte (frau 1,...,frau 6). Zu Demonstrationszwecken beziehen wir zunächst noch die Antwort auf die Frage zur Kirchgangshäufigkeit (kirche 2) mit ein. Die Antworten wurden jeweils auf Ordinalskalen gemessen, die wir wie metrische Skalen behandeln. Aus diesen Items soll eine möglichst zuverlässige Likert-Skala konstruiert werden. 12

13 Wir gehen davon aus (theoretisches Konstrukt), dass das Antwortverhalten der Probanden von ihrem Frauenbild geprägt wird, das nur indirekt z.b. durch Antworten auf die Fragen zur Berufstätigkeit erfassbar ist. Die Frage zur Kirchgangshäufigkeit hat damit vermutlich weniger (?) zu tun. Ein Außenkriterium liegt uns nicht vor. Die Validität kann demnach damit nicht geprüft werden. Ziel kann also nur die Konstruktion einer möglichst zuverlässigen Summenskala sein, die hoffentlich das Frauenbild misst. 13

14 Bei der Konstruktion des Fragebogens wurden die Skalen zu frau 1 und frau 5 anders gepolt als die Skalen zu frau 2, frau 3, frau 4 und frau 6. Dies wird beispielsweise auch in der Korrelationsmatrix sichtbar. Daher müssen wir zunächst alle Skalen gleich polen, also z.b. frau 1 und frau 5 umpolen. Damit stehen dann in allen Items hohe Werte für ein moderneres Frauenbild. 14

15 Zur Konstruktion verwenden wollen wir Cronbachs α. Dieser Koeffizient kann maximal den Wert 1 annehmen und stellt eine obere Schranke für die Validität der Summenskala dar. Er beschreibt den Anteil der Varianz des (hoffentlich) wahren Wertes, der durch die in der Summenskala verwendeten Items repräsentiert wird. 15

16 Cronbachs α kann als Anteil der Varianz var(t ) des Konstruktes T, die durch eine Summenskala S = n k=1 X k mit n Items erfasst wird, aus den Daten geschätzt werden. Es gilt α = n n 1 [1 n var(x k ) ] var(s) k=1 bzw. äquivalent α = n r 1 + (n 1) r, wobei r die durchschnittliche Korrelation (nach Pearson) zwischen den n Einzelitems darstellt. 16

17 Für die Summenskala, die aus allen 7 Merkmalen aufgebaut wird, ergibt sich ein akzeptabler Wert für Cronbachs α von Die Kichgangshäufigkeit besitzt innerhalb dieser Summenskala die geringste Trennschärfe (Korrigierte Item-Skala-Korrelation). Verkürzt man diese Summenskala durch Elimination der Kirchgangshäufigkeit, so steigt Cronbachs α auf Dieser Wert lässt sich nicht durch Elimination eines weiteren Items verbessern. Die verbleibenden Items weisen alle eine hohe Trennschärfe auf. 17

18 Hinweis: Cronbachs α ist kein Mass für die Eindimensionalität einer Skala (bzw. des entsprechenden Konstruktes). Die Zahl der Dimensionen einer Skala sollte demnach zusätzlich mit Hilfe einer Faktorenanalyse (Hauptkomponentenanalyse) untersucht werden. Ggf. können dann z.b. zwei Subskalen gebildet werden, die jeweils eindimensional sind. 18