Seminar: Psychometrische Modelle: Theorie und Anwendungen. Institut für Statistik, LMU München

Transkript

1 Seminar: Psychometrische : Theorie und Anwendungen Institut für Statistik, LMU München / 25

2 Grundfragen: Wie können spezifische Modellverletzungen entdeckt werden? Wie soll man mit diesen Verletzungen umgehen? 2 / 25

3 Testungen des Modell-Fit und auf Misfit Ein Modellierungsansatz: das MPLT-Modell und Ausblick 3 / 25

4 Testungen des Modell-Fit und auf Misfit Andersen LQ-Test Wald-Test (Itemebene) Martin-Löf-Test Natürlich auch: BIC, AIC mit bekannten Problemen. Was tun bei Modellverletzungen? Welche sind es? Anwendung von mit Power für bestimmte Modellverletzungen bei gefundener Modellverletzung: Ansatz: Modellierung durch flexiblere ( Modellierungs -Ansatz) Ansatz: Verbesserung des Messinstruments (eher messtheoretischer Ansatz) Bestlösung: Modell spezifizieren, das die Modellverletzungen auffangen kann und messtheoretische Eigenschaften beibehält. 4 / 25

5 Messtheoretischer Ansatz zur Testverbesserung Diverse Möglichkeiten Items inhaltlich prüfen. Umformulierung um Probleme zu lösen, z.b. bei Items die mehrere Dimensionen abfragen. Antwortskala überprüfen. Prüfen, was als Lösung bewertet wird. Evtl. Bewertungsschema anpassen. Bei unterschiedlicher Diskrimination der Items: Scoring ändern. Anschließend adäquates Modell wählen. Last Resort: Items eliminieren. 5 / 25

6 Modellierungs -Ansatz Vorwiegendes Ziel sollte es sein, die gewünschten messtheoretischen Eigenschaften beizubehalten, die z.b. das Rasch-Modell mit sich bringt (lokale Unabhängigkeit, spezifische Objektivität). Modellierung mittels alternativer (Rasch-), die die Modellierung der Annahmenverletzungen zulassen. Für adäquate Modellwahl müssen aber zunächst die Modellverletzungen bekannt sein Modelltests Bisherige Tests (Andersen LQ-Test, Martin-Löf Test, Wald-Test) haben geringe Teststärke für Verletzungen der lokalen Abhängigkeit. Daher sollen zunächst zwei Tests, und, für diesen Zweck eingeführt werden. Anschließend werden zwei allgemeine zur Modellierung von Modellverletzungen vorgestellt. 6 / 25

7 Pearson-Type Statistiken zur Modellprüfung Gegeben: multionomial verteilte Zufallsvariable Y mit K Kategorien, p k relative Häufigkeit der Kategorie k, ˆπ k BAN-Schätzer für P(Y = k). Dann gilt asymptotisch X 2 = n K (p k ˆπ k ) 2 k=1 ˆπ k asymp. χ 2 (K q 1) Mit b = n 1/2 (p ˆπ) und ˆD π = diag(ˆπ k ) kann man schreiben : X 2 = b T ˆD 1 π b Mit geeigneter Transformationsmatrix U lassen sich Linearkombinationen der Elemente von b bilden (Kategorien zusammenlegen) und vergleichbare ermitteln. Die Form ändert sich zu Q = b T U(U T ˆD π U) U T b = d T W d 7 / 25

8 Pearson-Type zur Testung des Rasch-Modells Wie hilft uns die multinomiale Betrachtung bei Modelltestung des Rasch-Modells? Die möglichen Antwortpattern werden jeweils als Kategorie k mit rel. Hfgkt. p k und erwarteter Häufigkeit ˆπ k betrachtet. Erwartete und beobachtete Hfgktn. pro Pattern jedoch sehr niedrig bei langen Tests. χ 2 -Approximation problematisch Lösung über Kombination bestimmter Pattern zu größeren Kategorien. Aber: nicht für jede Matrix U ist Q(U) zwangsläufig χ 2 -verteilt Glas und Verhelst (1995) leiten Bedingungen für passende U her. Daraus werden R1 und Q1 abgeleitet. und setzen auf ähnliche Statistiken für die Kombination zweier Items. 8 / 25

9 Die -Statistik, van den Wollenberg (1982) basiert auf den gemeinsamen Wahrscheinlichkeitsverteilungen je zweier Items, getrennt nach Scoregruppen r j i n rij00 n rij01 n ri0 1 n rij10 n rij11 n ri1 nrj0 n rj1 n r Für jede Kreuztabelle soll q rij = x,y n (p rijxy ˆπ rijxy ) 2 r ˆπ rijxy berechnet werden. ˆπ rijxy = n r ˆɛ i ˆɛ j ˆγ (i,j) r 2 ˆγ r mit ˆɛ i = exp( β i ) und ˆγ (i,j) r 2 = 2ˆγ r ˆɛ i ˆɛ j Pro Scoregruppe gibt es (J(J 1))/2 Kreuztabellen. 9 / 25

10 Aufsummieren der q rij über alle r und alle Itempaare (i, j) ergibt die Teststatistik Q 2. Aufgrund Restriktionen der n rijxy ist ein Korrekturfaktor nötig, damit sich folgende Statistik ergibt: Q 2 = k 3 I 1 k 1 I 1 I r=1 i=1 j=i+1 q rij approx. χ 2 (I (I 1)(I 3)/2) Q 2 zeigt beste Leistung, wenn die Itemparameter pro Scoregruppe separat geschätzt werden. Computationaler Aufwand hoch. Weiteres Problem: Die asymptotische χ 2 -Verteilung ist nicht analytisch gezeigt, sondern approximativ angenommen (Simulationsstudien). Deckt vor allem Verletzungen der Eindimensionalität und lokaler Unabhängigkeit auf. 10 / 25

11 Die -Statistik Glas (1988 Im Gegensatz zu wird für die -Statistik jeweils ˆπ ij11 über alle Scores hinweg verwendet. berechnet sich folgendermaßen: R 2 = d T 2 W 1 2 d 2 + d T 1 W 1 1 d asymp. 1 χ 2 (I (I 1)/2) mit d 2 = vec ( d ) 2ij n i<j r 2 I 1 und d 2ij = n(p 2ij ˆπ 2ij t,ˆβ cml ) und ˆπ 2ij t,ˆβ = ˆπ rijxy ; W cml 2 = cov(d 2 ) r=2 Der Vollständigkeit ( halber benötigt: d ) d 1 = vec n 1i und W 1 = cov(d 1 ) i r=1 11 / 25

12 Problematisch kann die hohe Dimensionalität der Matrix W 2 ( 2)x( I 2) I werden, die invertiert werden muss. Die asymptotischen Eigenschaften wurden für, im Gegensatz zu denen von, jedoch bereits von Glas (1988) gezeigt. Wie zeigt auch gute Power bei Verletzungen der Eindimensionalität und der lokalen Unabhängigkeit. Zusätzlich hält bei Modellpassung α gut ein. 12 / 25

13 Performance verschiedener Modelltests LR, R 2, Q 2 und weitere Figure : Power verschiedener gegen bestimmte Modellverletzungen (Mair, Ledl, 2006) LR-Test also ausreichend für Prüfung der Trennschärfen und Eindimensionalität und für Prüfung lokaler Unabhängigkeit geeignet Fazit: LR-Test anwenden zur Ermittlung der genauen Modellverletzung Kombination der anderen Statistiken betrachten. oder betrachten zur Ermittlung lokaler Abhängigkeiten Wie kann man diese Modellverletzungen auffangen? 13 / 25

14 Multidimensional Polytomous Latent Trait Modell Das MPLT wurde 1984 von Kelderman und Rijkes vorgestellt und ist ein allgemeines Modell, das viele der IRT als Spezialfälle beinhaltet, bspw. das bereits vorgestellte PCM. Die Wahrscheinlichkeit einer Antwort von Person i auf Item j in Kategorie x berechnet sich wie folgt: P(X ij = x θ i ) = exp [ s d=1 (θ id β jdx )B jdx ] c(θ i, β j ) K j [ s ] c(θ i, β j ) = exp (θ id β jdy )B jdy θ i = (θ i1,..., θ is ); y=0 d=1 Person i, Dimension d = 1,..., s β j = (β jdx ) d=1,...,s,x=0,...,kj ; K j : höchste Kategorie von Item j B jdx : Scoring weights, Item j, Dim. d und Kategorie x 14 / 25

15 Aspekte der Schätzung des MPLT conditional Likelihood und suffiziente Statistiken der Personenparameter Je nach konkret erzeugtem Modell sind diverse Restriktionen zur Identifikation nötig. Immer nötig: B jdx = 0 β jdx = 0 Für ein Antwortmuster x i einer Person ergibt sich: g(t (x i ) θ i ) [{}}{{}} s ] { J s P(X i =x i θ i )=exp θ id t id β jdxij B jdxij d=1 j=1 d=1 h(x i ) g(t (x i ) θ i ) { }} { J [c(θ i, β j )] 1 j=1 t i = (t i1,..., t is ) T somit nach Faktorisierungssatz suffizient für θ i = (θ i1,..., θ is ) T mit J T θ (x i ) = t i = j=1 B jdxij d=1,...,s 15 / 25

16 Aspekte der Schätzung des MPLT conditional Likelihood und symmetrische Grundfunktion Bedingt man die Likelihood auf T θ (x i ) = t i, ergibt sich für die bedingte Likelihood des Antwortvektors x i einer Person i mit folgenden Umparametrisierungen: Φ jx = s β jdxij B jdxij ; d=1 Φ = (Φ 10,..., Φ 1K1,..., Φ J0,..., Φ JKj ) T [ J exp j=1 Φ jx P(X i =x i T θ (x i )) = γ(t i, Φ) mit der symmetrischen Grundfunktion: γ(t i, Φ) = J exp x i t i j=1 Φ jxij ] 16 / 25

17 Ableitung des OPLM aus dem MPLT Je nach Zuordnung der Gewichte B jdx ergeben sich bestimmte. Zu betonen ist, dass diese Gewichte als fest angenommen werden und keine Modellparameter darstellen. Ein Beispiel: Für x (0, 1) und einer Dimension (also s = 2) Bj10 = 0, B j11 = α j vereinfachte Modellgleichung führt zum OPLM: P(X ij = x ij ) = exp(x ijα j (θ i β j )) 1 + exp(α j (θ i β j )) ; T suff,θ(x i ) = J α j x ij unterschiedliche Itemtrennschärfen modellierbar, anders als im 2PL- und 3PL-Modell bleibt cml-schätzung möglich Viele weitere ableitbar aus diesem sehr generellen Modell. In jedem (!) ist cml-schätzung möglich, also Parameterseparierbarkeit gegeben. Weitere ableitbare sind z.b. das RSM, das PCM, MPCM, das polytome Raschmodell, mehrdimensionale und weitere. j=1 17 / 25

18 Aspekte der Anwendung des MPLT Herausforderungen der cml-schätzung Großer Vorteil der MPLT-: Wünschenswerte Eigenschaften des Rasch-Modells bleiben erhalten Herausforderungen: Interpretationen entstandener entwickeln Berechnung der symmetrischen Grundfunktion (Kombinatorik!) Modellierung lokaler Abhängigkeiten darüber hinaus nicht direkt möglich, nur über den Umweg einer weiteren Dimension. Als für diesen Fall kann das Interaktionsmodell von Verhelst und Glas angewendet werden. 18 / 25

19 Das General Logistic Model von Verhelst und Glas (1995) Modellierung lokaler Abhängigkeiten Definition über Test-Response x, statt über einzelne Item-Responses x j, d.h. z.b. für ein Rasch-Modell mit zwei Items, dass um eine Interaktion erweitert wird: P(X = x θ) exp(t (x)θ β 1 x 1 β 2 x 2 β 12 x 1 x 2 ) Beispiel für die Scoring function: T (x) = X 1 + X 2 + X 1 X 2 Interessantes Detail: da T (x) suffizient für θ ist, ist auch hier cml-schätzung möglich, trotz Verletzung lokaler Unabhängigkeit. Konsequenz: Flexibles Modell, in dem aber die Antwortwahrscheinlichkeit auf ein Item von den Antworten auf die anderen Items abhängen kann. 19 / 25

20 General Logistic Model (Interaktionsmodell) allgmeine Formulierung P TR,R(x θ) exp[t R (x)θ R x m1...x mr β m1,...,m r ] R ist dabei eine Untermenge der Potenzmenge von {1,..., J}, also eine Auswahl von Interaktionen zusätzlich zu den Itemeffekten. z.b. für das vorher aufgeführte Beispielmodell: R = {{1}, {2}, {1, 2}} vereinfacht geschrieben: R = {1, 2, 12} T R (X) kann frei gewählt werden. R und T R (X) bestimmen das konkrete Modell. 20 / 25

21 Interaktionsmodell: Spezialfälle und cml Figure : Mögliche Spezifikationen von T R und R mit zugehörigen Modellnamen cml-schätzung der über: P TR,R(x t R (x) = t) = exp[ R x m 1...x mr β m1,...,m r ] γ t (β) γ t (β) = [ exp ] y m1...y mr β m1,...,m r R y:t(y)=t 21 / 25

22 Interaktionsmodell Was tun, wenn Items Interaktionen zeigen? Interaktionsmodell anwenden oder evtl. Items eliminieren. Zu beachten bleibt, dass dieses Modell keine Aussagen darüber trifft, was das Herauslassen bestimmter Items, z.b. derer mit Interaktionen, für die Messeigenschaften des verbleibenden Instruments bedeutet. Es gilt nicht zwangsläufig für das restliche Instrument das Rasch-Modell! Weiterhin ist natürlich bei Änderung des Modells die neuerliche Modellpassung anhand einer anderen, unabhängigen Stichprobe zu untersuchen. 22 / 25

23 Fazit zur Modellwahl s. auch Rost (2004) Problematische Items inhaltlich betrachten, Schwachstellen identifizieren, umformulieren. Antwortskala auf den Prüfstand stellen. Evtl. qualitatives Scoring ändern (Was ist eine richtige Antwort?). Anpassungen vornehmen, die zu anderen adäquaten n führen Diskriminationen anpassen OPLM Mehrdimensionalität z.b. Variante des MPLTM Mixed-Rasch zur Auffindung verschiedener Gruppen mit raschkonformen Mustern Erst dann wichtige igenschaften aufgeben. Modellierung dann z.b. über Interaktionsmodelle, 2PL-, 3-PL-Modell oder andere. 23 / 25

24 und Ausblick Große Menge an Modelltests verschiedener Annahmen verfügbar. Teilweise schwierig Implementationen zu finden. Es gibt viele Optionen um Modellverletzungen im cml-kontext aufzufangen. Weiterführende Gedanken: Differential Item Functioning überprüfen mittels Lasso Trees Learning Models: Berücksichtigung der Lerneffekte im Modell bei Beibehaltung lokaler stochastischer Unabhängigkeit. 24 / 25

25 Herzlichen Dank für die Aufmerksamkeit 25 / 25