Klausur Testtheorie: Antworten und Lösungen

Transkript

1 Name: Matrikelnummer: Klausur Testtheorie: Antworten und Lösungen Psychologisches Institut der JGU Mainz Freitag, Bitte vergessen Sie nicht, Ihren Namen und Ihre Matrikelnummer anzugeben! 1. Aufgabe: Sie wollen einen Test im Rahmen der Klassischen Testtheorie (KTT) konstruieren, bei dem die Items psychophysiologische Messungen (galvanischer Hautwiderstand, Hormonkonzentrationen im Speichel, Herzrate, etc) sind, zusammen mit einigen verbalen Items, die auf einer Ratingskala von 1 bis 7 beantwortet werden. (a) Wie lautet die Grundgleichung der KTT bezüglich der Zusammensetzung der Scores? Antwort: X = τ + ε (b) welche Bedeutung haben die in dieser Gleichung auftretenden Größen? Antwort: X beobachteter Messwert, τ wahrer Wert, ε Messfehler. (c) wie können Sie den Einfluß externer Faktoren (Lebensbedingungen, Geschlecht, Alter, Ausbildung, etc) mit dieser Grundgleichung in Zusammenhang bringen? Antwort: Wie beim Allgemeinen Linearen Modell (AML) üblich: sind X 1, X 2,..., X r die externen Faktoren, so nimmt man τ = b 0 + b 1 X 1 + b 2 X b b X r an. Man kann auch Wechselwirkungen der Form b r+1 X 1 X 2 etc hinzufügen. (d) welches klassische Argument kennen Sie, das die Annahme normalverteilter Scores rechtfertigen könnte? Antwort: Das Standardargument ist der Zentrale Grenzwertwsatz: viele Einflüsse wirken additiv und unabhängig voneinander auf den Messwert ein und ergeben so einen i. A. in guter Näherung normalverteilten Fehler. Selbst im Falle nicht allzu ausgeprägter Abhängigkeiten zwischen einzelnen Fehlerkomponenten ist ε noch normalverteilt. 2. Aufgabe: Es sollen dem in Aufgabe 1 skizzierten Test einige dichotome Items (Lieben Sie Brahms?, Erröten Sie leicht?, etc) hinzugefügt werden. (a) Das dichotome Item I g wird von der Person a mit der Wahrscheinlichkeit p ag positiv beantwortet. Welchen Wert nimmt dann der wahre Wert (dh den Erwartungwert der zufälligen Veränderlichen X ag, die den Score der Person bei dieser Aufgabe repräsentiert), τ ag (i) mindestens, (ii) höchstens an? 1

2 Antwort: Ist X ag = {0, 1}, so ist τ ag = E(X ag ) = p ag 1 + (1 p ag )0 = p ag. Da p ag eine Wahrscheinlichkeit ist, fogt 0 τ ag = p ag 1. (b) Ist für Items dieser Art die Normalverteilungsannahme für den Fehler ε sinnvoll, der in den Annahmen der KTT postuliert wird? Antwort: ε kann nicht normalverteilt sein, denn nimmt man das Modell X ag = τ ag + ε ag an, so folgt ja ε ag = X ag τ ag und also entweder ε ag = 1 τ ag oder ε ag = 0 τ ag, d.h. der Fehler kann jeweils nur einen von zwei möglichen Werten annehmen. Eine normalverteilte Variable kann aber alle Werte ε mit < ε < annehmen Aufgabe: Wie ist im Rahmen der KTT der Begriff der Reliabilität (a) definiert (nicht: wie wird sie berechnet!)? Antwort: X = τ + ε ist dem Ansatz nach eine Regressionsgleichung: X wird anhand des τ-wertes vorhergesagt. Vollständig als Regressionsgleichung angeschrieben hat man X ag = βτ ag + α + ε, mit β = 1, α = 0. Im allgemeinen Fall y = βx + α + ε wird die Güte der Vorhersage durch den Determinationskoeffizienten r 2 = V(ŷ) V(y), ŷ = βx + α angegeben; dem entspricht für den Fall X = τ + ε (wobei X dem y entspricht, und τ dem x) ρ 2 xτ = V(τ), (β = 1). V(X) Die Reliabilität ist die Güte der Vorhersage, also Rel(X) = ρ 2 xτ. (b) Charakterisieren Sie den Begriff der parallelen Tests und begründen Sie kurz, warum sich parallele Tests zur Berechnung der Reliabilität eignen. Unter welchen Bedingungen werden Korrekturformeln notwendig, und was wird damit korrigiert? Antwort: Hat man zwei Tests mit den Scores X und X, so sind sie parallel, wenn gilt τ x = τ x und V(ε) und V(ε ), dh die beiden Tests haben den gleichen Erwartungswert und die gleiche Varianz. Man kann zeigen, dass dann ρ xx = ρ 2 xτ gilt. Wird die Reliabilität nach der Split-Half-Methode berechnet, so schätzt man die Reliabilität eines Tests halber Länge. Da die Reliabilität von der Länge des Tests (= Anzahl der Aufgaben/Fragen) abhängt, muß man die Spearman-Brown Formel für den Test doppelter Länge anwenden. 4. Aufgabe: Welche Eigenschaften eines Tests lassen sich mit Cronbachs α abschätzen, und welche Kritik wird an dieser Abschätzung geübt? Antwort: Cronbachs α liefert in jedem Fall eine untere Grenze für den Wert der Reliabilität des Tests. Darüber hinaus wird Cronbachs α als Maß für die interne Konsistenz betrachtet. Das Problem ist hier, dass α schon für 2

3 mäßig lange Tests im Allgemeinen Werte größer als.8 liefert, und selbst im Falle strikter Eindimensionalität sehr kleine Werte annehmen kann, wenn die Items nur entsprechend gepolt sind. Damit geht die de-facto-aussagekraft eines α-wertes gegen Null. 5. Aufgabe: Erläutern Sie bitte die Begriffe des homogenen und des heterogenen Tests; Antwort: Ein homogener Test mißt nur ein Merkmal, ein heterogener Test mißt mehrere. (a) warum setzt der Reliabilitätsbegriff die Homogenität eines Tests voraus? Antwort: Hier ist eine gewisse Ungenauigkeit in die Aufgabenstellung geraten, was bei der Bewertung berücksichtigt wird. Denn der Reliabilitätsbegriff setzt die Homogenität insofern nicht voraus, als Homogenität nicht explizit als notwendige Bedingung für Reliabilität in deren Definition eingeht. Andererseits zeigt die Diskussion von Cronbachs α, dass die untere Abschätzung der Reliabilität, die α ja darstellt, klein wird, wenn die Iteminterkorrelationen klein werden, der Test also heterogen ist. Sind die Iteminterkorrelationen alle perfekt gleich 1, so ergibt die Faktorenanalyse der Items nur einen Faktor und der Test ist perfekt homogen; α wird dann groß und darüber hinaus gleich 1, falls die Varianzen der Items alle gleich 1 sind. Insofern ist Homogenität eine notwendige, wenn auch nicht hinreichende Bedingung für eine hohe Reliabilität. (b) In welcher Weise können Sie die Hypothese der Homogenität eines Tests überprüfen? Antwort: Wie in der vorangegangenen Antwort angedeutet durch eine Faktorenanalyse. (c) Bei welchem Itemtyp ist bei der Überprüfung der Homogenität besondere Vorsicht geboten, und warum? Antwort: Für dichotome Items ist das nicht ganz einfach (im Sinne von eindeutig). Testet man Daten für dichotome Items daraufhin, ob sie einen Rasch- Test bilden und ist der Test erfolgreich, so weiß man auch, dass sie homogen sind, denn das Rasch-Modell setzt Homogenität der Items voraus. (d) Ist es möglich, aus einem heterogenen Test homogene Tests zu gewinnen? Antwort: Im Prinzip wieder durch eine Faktorenanalyse. Bildet man aus den Items, die auf einer und nur auf einer Dimension liegen, einen Test, so ist er homogen, denn er sollte dann eben nur dasjenige Merkmal messen, dass durch diesen Faktor (diese Dimension) definiert wird. 6. Aufgabe: In welcher Beziehung stehen die Iteminterkorrelationen einerseits und die Trennschärfeindices andererseits zur Gültigkeit eines Tests, und was verstehen Sie unter dem Gültigkeitsparadox der KTT? Antwort: Einerseits gilt für die Gültigkeit ρ xy ρ xx, d.g. die Gültigkeit kann nicht größer als die Wurzel aus der Reliabilität sein. Die wird groß, wenn 3

4 Cronbachs α groß wird, und α wird groß, wenn V(X) groß wird, wozu hohe Iteminterkorelationen gut sind, und wenn die Trennschärfeindices groß sind. Andererseits ist die Gültigkeit umgekehrt proportional zu g σ gρ gx, also umgekehrt proportional zur (gewogenen) Summe der Trennschärfeindices, d.h. je kleiner diese sind, desto größer die Gültigkeit.... Dieser Zusammenhang zwischen den Größen bezeichnet man als Gültigkeitsparadox. 7. Aufgabe: Für zwei (dichotome) Items Ihres Tests finden Sie, dass das eine eine extrem steile Itemfunktion hat, das andere eine extrem flache. (a) Nennen Sie bitte die relativen Vor- und Nachteile dieser beiden Itemfunktionen. Antwort: Eine extrem steile Itemfunktion trennt scharf alle Personen mit einem Merkmalsparameter θ < θ 0 von den Personen mit einem Merkmalsparamter θ > θ 0. Das ist gut, wenn es genau auf eine derartige Trennung ankommt. Andererseits differenziert diese Itemfunktion wenig bis gar nicht innerhalb der Personen mit θ < θ 0 bzw. θ > θ 0. Eine solche Differenzierung findet eher durch flache Itemfunktionen statt. Will man also eher eine Differenzierung im gesamten θ-bereich, sollte man Items mit flachen Itemfunktionen verwenden. (b) Ist Ihr Test mit dem Rasch-Modell kompatibel? Antwort: Nein, denn das Rasch-Modell setzt identische Itemfunktionen voraus. 8. Aufgabe: Sie haben einen Test entwickelt, der nur aus dichotomen Items besteht, und die Items so ausgewählt, dass sie den Forderungen des Rasch- Modells entsprechen. (a) Bedeutet die Rasch-Homogenität der Items, dass die Korrelationen zwischen allen Items notwendig einen Wert nahe bei 1 haben müssen? (Hinweis: Betrachten Sie zwei Items mit Schwierigkeitsindices κ g und κ g, wobei κ g sehr viel kleiner als κ g ist, skizzieren Sie die zugehörigen Itemfunktionen und überlegen Sie sich die Implikationen für die Häufigkeiten in der 2 2-Häufigkeitstabelle, die Sie für den φ-koeffizienten φ gg benötigen.) Antwort: Nein. Denn auch, wenn alle Items das gleiche Merkmal messen, müssen ja nicht alle Iteminterkorrelationen gleich 1 oder nahe bei 1 sein. Man betrachte zwei Items mit stark unterschiedlicher Schwierigkeit. Die Zeilen mögen das leichte (Schwierigkeit κ l ), die Spalten das + + a b a + b c d c + d a + c b + d N schwere Item (Schwierigkeit κ s ) repräsentieren. Alle Personen, die das schwere Item lösen, lösen auch das leichte: deren Anzahl ist gleich a. Alle, die zwar das leichte lösen, nicht aber nicht das schwere, bilden die 4

5 Anzahl b. Kaum jemand, der das leichte nicht löst, löst das schwere, also c 0, und fasst alle, die das leichte nicht lösen, lösen auch das schwere nicht; deren Anzahl ist d. Da also bei diesen beiden Items b deutlich von Mull verschieden ist, wird der φ-koeffizient deutlich kleiner als 1 sein, obwohl beide Items das gleiche Merkmal messen. Hohe Korrelationen zwischen allen Items können sich nur dann ergeben, wenn alle Items die gleiche Schwierigkeit haben. (b) Welche Abhängigkeiten zwischen den Personenparametern θ und den Itemparametern κ erwarten Sie, wenn Ihr Test tatsächlich ein Rasch- Test ist? Antwort: Personen- und Itemparameter sind unabhängig voneinander. 9. Aufgabe: Ein Ihnen bekannter Psychologe berichtet, er habe anhand denkpsychologischer Untersuchungen Evidenz für die Hypothese gefunden, dass die Schwierigkeit κ eines Items eine exponentiell abnehmende Funktion der Fähigkeit einer Person sei: Je größer also der Wert von θ für eine Person sei, desto kleiner sei für diese Person der Wert κ g. Es soll demnach κ g = κ 0 exp( λ g θ) gelten, wobei κ 0 eine für den gesamten Test charakteristische Konstante sei und λ g charakteristisch für das Item I g sei. Dieser Zusammenhang ergäbe sich aus der Tatsache, dass die Menge der möglichen kognitiven Operationen exponentiell mit dem Wert von θ zunähme. Gesetzt den Fall, der Mann hat Recht: sind nun spezifisch objektive Messungen möglich? Antwort: Spezifisch objektive Messungen bedeuten voneinander unabhängige Personen- und Itemparameter. Hier wird explizit eine Abhängigkeit der beiden Parameter voneinander postuliert. Sollte also die Hypothese des Forschers zutreffen, kann es keine spezifisch objektive Messungen geben. 5