4.2 Grundlagen der Testtheorie. Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke

Größe: px

Ab Seite anzeigen:

Download "4.2 Grundlagen der Testtheorie. Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke"

Christel Ritter
vor 6 Jahren
Abrufe

1 4.2 Grundlagen der Testtheorie Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke

2 GHF im WiSe 2008 / 2009 an der HS MD-SDL(FH) im Studiengang Rehabilitationspsychologie, B.Sc., 3. Semester Modul: 4.2 Einführung in die Testtheorie KAPITEL 4 DESKRIPTIVE STATISTIK UND ITEMANALYSE

5 Itemselektion und Revision des Tests 4.6 Testwertermittlung 4.

3 KAPITEL 4 DESKRIPTIVE STATISTIK UND ITEMANALYSE GHF 4.1 Einleitung 4.2 Schwierigkeitsanalyse 4.3 Itemvarianz 4.4 Trennschärfeanalyse 4.5 Itemselektion und Revision des Tests 4.6 Testwertermittlung 4.7 Testwerteverteilung und Normalisierung 4.8 Zusammenfassung und weiteres Vorgehen

4 4.5 Itemselektion und Revision des Tests Simultane Berücksichtigung von Erkenntnissen der Prüfung der Itemschwierigkeit Itemvarianz Itemtrennschärfe Sowie der Reliabilität Validität

5 4.5 Itemselektion und Revision des Tests Itemschwierigkeit: optimal 50 + gute Trennschärfe Test zur Erfassung extremer Ausprägungen: Itemschwierigkeiten 5-20 und gute Trennschärfe Test zur Erfassung typischer Merkmale: Itemschwierigkeiten von 5-95 gleichmäßig verteilt + gute Trennschärfe

6 4.5 Itemselektion und Revision des Tests Itemvarianz: optimal mittlere Varianz Itemtrennschärfe: Optimal: Nicht in den Test aufnehmen: Items mit Trennschärfe nahe 0 oder negativer Trennschärfe

7 KAPITEL 4 DESKRIPTIVE STATISTIK UND ITEMANALYSE GHF 4.6 Testwertermittlung Testwertermittlung bei Leistungstests Testwertermittlung bei Persönlichkeitstests

8 4.6 Testwertermittlung = m xv xvi i= 1 Die einfachste Möglichkeit, den Testwert x(v) eines Probanden v zu bestimmen, besteht darin, die einzelnen Antworten x(vi) auf die Items zu einem Summenwert zusammenzufassen. Diese Vorgehensweise setzt Intervallskalenniveau voraus. Die einfache Summierung stellt für die Test- und Fragebogenkonstruktionen nach der klassischen Testtheorie die Regel dar. Aus praktischen Gründen ist es sinnvoll, zwischen der Testwertermittlung bei Leistungstests und der Testwertermittlung bei Persönlichkeitstests zu unterscheiden.

m(r) der richtig gelösten Aufgaben: x(v) = m(r) Weiterhin: je nach Instruktion

9 4.6.1 Testwertermittlung bei Leistungstests Einfachste Form der Testwertermittlung für einen Probanden v: Testwert x(v) ist gleich der Anzahl m(r) der richtig gelösten Aufgaben: x(v) = m(r) Weiterhin: je nach Instruktion kann es notwendig sein, falsche Antworten m(f) zu berücksichtigen, c=korrekturfaktor: x(v) = m(r) c * m(f)

10 4.6.1 Testwertermittlung bei Leistungstests Sind die einzelnen Aufgaben von sehr unterschiedlicher Bedeutung hinsichtlich des zu beobachtenden Merkmals, so kann man für jede einzelne Aufgabe i ein Gewicht g(i) angeben, mit dem eine richtige Antwort zu gewichten ist.

11 4.6.1 Testwertermittlung bei Leistungstests Der Testwert entspricht dann der Summe der Aufgabengewichte der richtig gelösten Aufgaben, ggf. korrigiert um die Aufgabengewichte der falsch gelösten Aufgaben.

12 4.6.1 Testwertermittlung bei Leistungstests Wenn bei Auswahlaufgaben richtige Lösungen durch Zufall erreicht werden können, würden Probanden benachteiligt, die lieber keine als eine unsichere Antwort geben. Daher werden Rate- bzw. Zufallskorrekturen vorgenommen.

4.6.2 Testwertermittlung bei Persönlichkeitstests Bei

diskreten Ratingskalen konzipiert werden, erfolgt die

Dazu werden bei k-fach abgestuften Items jeder

13 4.6.2 Testwertermittlung bei Persönlichkeitstests Bei Persönlichkeitstests, die vornehmlich als Fragebögen mit diskreten Ratingskalen konzipiert werden, erfolgt die Testwertermittlung i.d.r. durch Summenbildung über die Itemantworten hinweg. Dazu werden bei k-fach abgestuften Items jeder potentiellen Itemantwort Werte zwischen 0 und k-1 zugeordnet.

14 4.6.2 Testwertermittlung bei Persönlichkeitstests Die am wenigsten für das Kriterium sprechende Stufe wird mit 0 Punkten verrechnet, die am stärksten für das Kriterium sprechende Stufe mit k-1 Punkten. Die dazwischen liegenden Stufen werden entsprechend gewichtet (auf Iteminversionen achten). m Bspl.: =27 = xv xvi i= 1

15 KAPITEL 4 DESKRIPTIVE STATISTIK UND ITEMANALYSE GHF 4.7 Testwertverteilung und Normalisierung Testwertverteilung Ursachen für die Abweichung der Testwertverteilung von der Normalverteilung Normalisierung

mittels der Bestimmung von Mittelwert, Median, Modalwert,

16 4.7 Testwertverteilung und Normalisierung Ist die Testwertermittlung abgeschlossen, kann die Testwertverteilung mittels der Bestimmung von Mittelwert, Median, Modalwert, Testwertvarianz und Spannweite sowie Schiefe und Exzess genauer untersucht werden.

17 4.7.1 Testwertverteilung x = n n n x v x vi v= 1 = Var(x) = n v= 1 v= 1 (x v n m i= 1 E(x)) n 1 2 Bei intervallskalierten Testwerten berechnet man aus einer Menge von Testwerten für n Probanden den Mittelwert x(quer). Der Median ist der Testwert, der die Stichprobe in 2 gleichgroße Hälften teilt. Der Modalwert ist der häufigste Testwert der Verteilung. Die Varianz var(x) ist das übliche Streuungsmaß, E(x)=Mittelwert. Die Wurzel aus der Varianz ist die Standardabweichung. Range umfasst die Spannweite minmax.

18 4.7.1 Testwertverteilung Normalverteilung oder nicht? Schiefe(x) = E((x E(x)) SD(x) 3 3 ) Schiefe(x) >0, dann ist die Verteilung rechtsschief, d.h. linkssteil Schiefe(x) <0, linksschief, d.h. rechtssteil Werte, die größer sind als der Mittelwert sind häufiger, so dass sich der Median rechts vom Mittelwert befindet, der linke Teil der Verteilung ist flacher als der rechte Exzess(x) = E((x E(x)) SD(x) 2 4 ) Exzess(x) = 0, die Wölbung der Verteilung entspricht der Normalverteilung. Exzess(x)>0, spitzere Verteilung Exzess(x)<0, flachere Verteilung

19 4.7.2 Ursachen für die Abweichung der Testwertverteilung von der Normalverteilung Bei psychologischen Merkmalen im Leistungsbereich kann eine Normalverteilung der Testwerte häufig dahingehend interpretiert werden, dass der Test angemessene Anforderungen an die Probanden richtet. Weicht die Testwertverteilung von der Normalverteilung ab, so kann das unterschiedliche Ursachen haben: Konstruktionsmängel Linksschief, d.h. rechtssteile Verteilung Test zu leicht Rechtsschief, d.h. linkssteile Verteilung Test zu schwer Reaktion: Hinzunahme schwerer bzw. leichter Items Heterogene Stichproben Verschiedene Untergruppen haben zwar für sich normalverteilte Ergebnisse, nur in der Summe ist es nicht so Reaktion: gruppenspezifische Normierung Nicht-normalverteilte Merkmale z.b. Reaktionsfähigkeit

20 4.7.3 Normalisierung Ist die Annahme vertretbar, dass das gemessene Merkmal eigentlich normalverteilt ist, kann eine nicht-lineare Transformation der Testwerte durchgeführt werden Normalisierung. Obacht: nicht mit Normierung verwechseln, dies bedeutet die Transformation der Daten zwecks Interpretation vor dem Hintergrund eines Bezugsrahmens der Normverteilung. Normalisierung: Ausgangspunkt: eine nicht-normalverteilte Testwerteverteilung Ziel: Anpassung der Verteilung der Testwerte an die Normalverteilung Logarithmierung: einfachste Transformation, jeder Testwert wird logarithmiert Spezialfälle der Logarithmierung: Box-Cox-Verfahren sowie Yeo- Johnson Transformation

21 4.7.3 Normalisierung PR ( v) = f cum (x n v ) *100 Flächentransformation nach McCall (1939) Anpassung der einzelnen Säulen im Histogramm in Höhe und Breite an die Normalverteilung Fläche bleibt unverändert 1. Schritt Prozentrang bestimmen PR(v) aus dem Quotienten der kumulierten Anzahl der Probanden, die einen Testwert < x(v) haben (f(cum)(x(v)) und der Gesamtzahl der Probanden n multipliziert mit 100 danach z-transformation 2. Schritt eigentliche Normalisierung z -Werte bilden 3. Schritt Erstellen eines neuen Histogramms

Analyse der Itemschwierigkeit Analyse der Itemvarianzen Bestimmung der Itemtrennschärfen Dann

22 4.8 Zusammenfassung und weiteres Vorgehen Nach der ersten Datenerhebung erfolgt die psychometrische Aufbereitung der gewonnen Daten mit den deskriptivstatistischen Analysen Analyse der Itemschwierigkeit Analyse der Itemvarianzen Bestimmung der Itemtrennschärfen Dann Selektion der geeigneten Items Testwerteermittlung Normalisierung Reliabilitätsanalyse - Validitätsprüfung

Ähnliche Dokumente

4.2 Grundlagen der Testtheorie. Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke

4.2 Grundlagen der Testtheorie Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke GHF im WiSe 2008 / 2009 an der HS MD-SDL(FH) im Studiengang Rehabilitationspsychologie,