Verfahren zur Skalierung. A. Die "klassische" Vorgehensweise - nach der Logik der klassischen Testtheorie

Transkript

1 Verfahren zur Skalierung A. Die "klassische" Vorgehensweise - nach der Logik der klassischen Testtheorie 1. Daten: z. Bsp. Rating-Skalen, sogenannte "Likert" - Skalen 2. Ziele 1. Eine Skalierung von Items - also die Entwicklung eines Messinstrumentes 2. Eine Skalierung, also Messung von individuellen Ausprägungsgraden auf einer Merkmalsdimension. Definition psychometrischer Test: " Ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad an individuellen Merkmalsausprägungen." (Lienert & Raatz, 1998). Kennzeichen psychometrischer Tests: normiert objektiv strukturiert zugänglich Klassische Testtheorie Gute Literatur: Markus Bühner (2004): Einführung in die Test- und Fragebogenkonstruktion. München: Pearson Studium Vorbedingung: Leistungen schwanken, Antworten auf Items auch. Also: die individuellen Leistungen oder manifesten Merkmalsausprägungen schwanken um den "eigentlichen" Wert. Diese Schwankungen werden, wenn die

2 Testbedingungen stimmen, als Zufallsschwankungen aufgefasst: "Beleg": Normalverteilung um den "wahren Wert" herum. Daher sind wiederholte Erfassungen notwendig. Vorannahme: Testergebnisse einzelner Personen variieren. Gründe: Übung- und Transfereffekte unsystematische äußere Einflüsse unsystematische innere Einflüsse Diese Effekte werden zusammengefasst als "unsystematische Fehler". Die Klassische Teststheorie ist eine Theorie über die Messfehler, und wie es möglich ist, aus einer Menge beobachteter "Ergebnisse" möglichst exakt auf die "wahre" Merkmalsausprägung zu schließen. Logik: (1): Der beobachtete Messwert (X) einer Person in einem Test setzt sich zusammen aus einem konstanten wahren Wert (T) einer Person und einem Messfehler (E) X = T + E Der "wahre" Messwert ist definiert als der Mittelwert über unendlich viele beobachtete Testergebnisse einer Person unter gleichen Bedingungen. (2) Der Messfehler setzt sich zusammen aus der Differenz zwischen beobachtetem Testwert und wahrem Wert einer Person. Er repräsentiert alle unsystematischen Störeinflüsse. E = X - T

3 Aus dieser Definition von Messfehler und tatsächlichem Wert ergeben sich Folgerungen über die Eigenschaften des Messfehlers und des Zusammenhangs zwischen Messfehler und wahrem Wert. ("logische" Zusammenhänge) (3) M (E)= 0 (4) r (E, T) = 0 zu (3): Da Fehler unsystematisch sind zu (4): Der Messfehler nimmt nicht zu bei steigender "Fähigkeit" einer Person. Frage: wie kann man den Messfehler ermitteln, wenn unendlich viele Wiederholungen nicht möglich sind? Dies führt zu dem Konzept der Reliabilität: Messgröße: Varianz Test macht nur dann Sinn, wenn sich Personen in den Testergebnissen voneinander unterscheiden. Berechnung: 1. Ermittlung eines Personenmittelwerts 2. Ermittlung der Abweichungen vom Mittelwert. 3. Summiert man die quadrierten Abweichungen über alle Personen und teilt sie durch die Anzahl der Personen, dann erhält man die Varianz des Tests. Die Unterschiede zwischen den Personen sollen systematisch sein, also auf ihre Testergebnisse bzw. ihre "wahre" Merkmalsausprägung zurückzuführen sein. Das aber kann so nicht beobachtet sein, wegen der Messfehler. Also ist die "Güte" der Messung das Verhältnis zwischen Varianz des wahren Wertes und der Varianz des beobachteten Wertes.

4 VAR(T) r(tt)= VAR (X) Schrittweises Vorgehen 2. Schwierigkeitsgrad: Was ist ein Schwierigkeitsgrad? Gibt an, wie extrem (und also gleichförmig) ein Item beantwortet wird. Gemeinsam mit einer Betrachtung der Varianz ein erstes gutes Kriterium für die Auswahl der Items Häufigkeit V4 Mean = 1,78 Std. Dev. = 0,801 N = 27 Beispiel für eine linksschiefe Verteilung

5 Häufigkeit V8 Mean = 2,37 Std. Dev. = 0,839 N = 27 Beispiel für eine gute Verteilung 3. Trennschärfe: Trennschärfe: Grad des Zusammenhangs zwischen der Bejahung eines Items mit dem Gesamtwert (Summe aller Urteile minus der Beurteilung dieses einen Items - punktbiseriale Korrelation)

6 4. Zuverlässigkeit (Reliabilität): - Interne Reliabilität/Halbierungsreliabilität - Retestrelabilität - Paralleltestreliabilität Hier: Berechnung der internen Reliabilität