Item-Response-Theorie Probabilistische Testtheorie. Christian Stroppel

Transkript

1 Item-Response-Theorie Probabilistische Testtheorie Referat von: Christian Stroppel

2 Testtheorie Personenparameter Latente Variable ξ Testtheorie Manifeste Variable Xvi Eine Testtheorie beschreibt in welchem Zusammenhang das zu testende Merkmal mit den im Test tatsächlich beobachtbaren Antworten steht. Antwort

3 Testtheorien unterteilt in Item-Response-Theorie Propabilistische Testtheorie Klassische Testtheorie Vorteile Vorteile Skalendignität: Intervallskala Stichprobenunabhängigkeit der Paramaterschätzung Homogenität der Skala Überprüfbar durch Lokale stochastische Unabhängigkeit Weniger aufwendig (ökonomisch) führt zu ähnlichem Ergebnis wie IRT

4 wird unterteilt in Modelle der IRT wird unterteilt in Latent-Trait-Modelle Latent-Class- Modelle Mixed-Rasch- Modelle Linear-logistische- Modelle Antwortformat: dichotom polytom wird unterteilt in Deterministische Modelle z. B. Propabilistische Modelle wird unterteilt in wird unterteilt in Linear-logistisches- Test-mModell Guttman- Skala Rasch-Modell (1PL) Birnbaum-Modell (2PL) (3PL) Polytomes Rasch-Modell Ratingskalenmodell von Andrich Intervallskalierter Personenparameter (ξ) oder (θ) Nominaler Personenparameter 1 Itemschwierigkeit (σ) Itemdiskriminanzparameter λ i oder α Intervallskala innerhalb der Klassen Ratewahrscheinlichkeit c klassen- spezifische Itemcharakteristiken Schwierigkeits- parameter als Linearkombination Logistische Funktion ist in der IRT eine Itemcharacteristic-Curve(ICC) ist die Darstellung einer Itemcharakteristische Funktion ordnet t y(achse) Antwort-W Wahrscheinlichkeit zu zu (x-achse) joint scale d aus: bestehen Personenparameter (ξ) oder (θ) minus Itemschwierigkeit (σ)

5 Verbundwahrscheilichkeit Bedingtee Wahrscheinlichkeit p(antwort=ja Schw-Pers=x) y(achse) Antwort-Wahrscheinlichkeit bestehend aus: Logistische Funktion hat die Achsenbezeichnungen ist in der IRT eine Itemcharacteristic-Curve(ICC) ist die Darstellung einer Itemcharakteristische Funktion (x-achse) joint scale Personenparameter (ξ) oder (θ) minus Itemschwierigkeit (σ) ist eine latente Variable

6 Verfälschungstendenz Modellannahmen überprüft Manifeste Antworten (Xvi) eine bilden erschöpfende (suffiziente) i Statistik ist Vorraus- setzung für eine Rasch-Homogenitiät überprüft üft durch Person-fit-indices indices am Besten auf Basis einer Likelihood- Funktion Spezifische Objektivität der Vergleiche von Skala und Items überprüft durch Personenparameter (ξ) oder (θ) Itemschwierigkeit (σ) t über bestimmt für die Parameterschätzung erfolgt über die Conditional Maximum-Likelihood-Methode ist Lokale stochastische Unabhängigkeit Stichprobenunabhängigkeit der Kennwerte führt falls inhaltlich Homogen wird überprüft durch einen unkorreliertheit der Messfehler bei konstantem Personenparameter Graphischer Modelltest Likelodhood- Quotenten-Test ist ein iteratives Verfahren zur Maximierung Likelihoodfunktion

7 Spezifische Objektivität der Vergleiche von Skala und Items Iteminformationsfunktion Lösungswahrscheinlichkeit multipliziert mit AID ermöglicht ist ein Maß für Diskriminationsleistung Nichtlösungswahrscheinlichkeit branched testing unterteil in Adaptives Testen Trotz wenigen Aufgaben hohe für alle Items auf summiert gibt die Testgesamtinformation tailored testing verbessert bestimmt die Breite des FAKT Testökonomie Konfidenzintervall

8 Rasch-Homogenität Die ICCs verlaufen entsprechend dem Schätzmodell (z.b. 1PL-, 2PL oder 3PL- Modell)

9 Spezifische Objektivität von Skala und Items Wenn ein zwei Probanden 10 Items beantworten X hat 5 richtig (Rangplatz 1) Y hat 3 richtig (Rangplatz 2) Dann sollten sich auch bei der Beantwortung von anderen Items die Rangplätze nicht tauschen. Item die einen Rangplatztausch zuließen würden eleminiert. Fisseni, 1990, S.139

10 Lokale stochastische Unabhängigkeit Wenn alle Items ausschließlich Indikatoren der latenten Variable sind, so sollten die Korrelationen zwischen den Items verschwinden, wenn die latente Variable auf einer Stufe konstant gehalten wird.

11 Lokale stochastische Unabhängigkeit it r=0 (Unkorreliert falls nur Probandem mit gleichem Personenparameter) r=1 Item B ja Item B nein Item A Item A Item A Item A ja nein ja nein Item B ja Item B nein Item A ja Item A nein Item B ja p AB (5/20)=p A (10/20)*p B (10/20) Item B nein p AB (¼)=p A (½) * p B (½) r=-1 Multiplukationstheorem für unabhängige Ereignisse Korrelation

12 Stichprobenunabhängigkeit der Parameterschätzung Amelang & Schmidt-Atzert, 2006, S.77 Man konstruiert den Fragebogen anhand zweier Stichproben zum Beispiel Deutschland und Österreich und kontrolliert ob die Itemparameter gleich ausfallen, was bei Stichprobenunabhängigkeit der Konstruktion so sein müsste.

13 Deterministisches Modell Frage: Sind die schwerer als 80 kg? p(ja) 1 Itemcharakteristische Kurve (ICC) Eine Person mit 60 kg antwortet ganz sicher P(ja)=0 mit nein Eine Person mit 120 kg antwortet ganz sicher P(ja)=1 mit ja kg (Propabilistisches mit unendlicher Steigung)

14 Rasch-Modell

15 1PL-Rasch-Modell

16 2-PL-(Birnbaum)-Modell

17 3-PL-Raschmodell

18 Polytome Latent-Trait-Modelle 1 p(x=0) p(x=3) 05 0,5 p(x=1) p(x=2) (Personenparameter)

19 Latent-Class-Modelle p(ja) (Personenparameter)

20 Downloads Exceltabellen mit logistischen Funktionen pp