Das Rasch-Modell: Modellprüfung & Informationskriterien. Vortrag von Manuela Gärtner, Jörg-Henrik Heine und Sarah Hofer

Transkript

1 Das Rasch-Modell: Modellprüfung & Informationskriterien Vortrag von Manuela Gärtner, Jörg-Henrik Heine und Sarah Hofer 1

2 Gliederung 1. Einführung 2. Vorstellung des Beispieldatensatzes: I-S-T 2000 R 3. Grafischer Modelltest 4. Globale Modelltests 5. Parametrischer Bootstrap 6. Das Mixed-Rasch-Modell 7. Informationskriterien 8. Lokale Modellverletzungen 9. Zusammenfassung 2

3 1. Einführung 3 Grundfrage: Wie gut passt das angewandte Testmodell auf die erhobenen Daten? Frage nach der Modellgültigkeit Lösungsversuch: Modellgeltungstests aber: Frage nach Modellgültigkeit nicht definitiv zu beantworten, aufgrund der zwangsläufig willkürlichen Grenzziehung zwischen Passung und Nicht-Passung der unterschiedlichen Komplexität verschiedener Modelle Einfachheitskriterium & Geltungsbereich einer Theorie

4 1. Einführung Einfachheitskriterium möglichst gute Passung unter möglichst wenigen und einfachen Annahmen bei gleichem Geltungsbereich wie ein komplexeres Modell 4 Geltungsbereich entspricht i.a. für alle konkurrierenden Testmodelle dem durch die erhobenen Daten festgelegten Realitätsausschnitt bei Vorerfahrungen mit der Thematik (momentaner Forschungsstand) auch größere Realitätsausschnitte als Geltungsbereich auffassbar

5 1. Einführung bei der Prüfung auf Modellgültigkeit zu beachten: 5 I. Wie gut erklärt das Modell die Daten? Kriterium der empirischen Gültigkeit II. III. Mit welchem Aufwand geschieht dies? Einfachheitskriterium Wie gut läuft das Modell mit dem Forschungsstand konform? Geltungsbereich Gewichtungsproblem

6 1. Einführung Welche Modellgeltungstests gibt es nun? globale (over-all) Modelltests inferenz-statistische Entscheidung über Passung bzw. Nichtpassung geläufige Prüfgrößen: Likelihoodquotient und Chiquadrat Statistik Informationskriterien relative Modellvergleiche AIC BIC CAIC 6 bootstrap-methode

7 1. Einführung Modellgeltungstests im Rahmen des Rasch-Modells prüfen: Additivität der Personen- und Itemparameter erschöpfende Statistiken spezifische Objektivität Eindimensionalität (lokale stochastische Unabhängigkeit) gleiche Trennschärfen passt Modell Test ist Rasch-konform separate Testung einzelner Annahmen möglich 7

8 2. I-S-T 2000 R 8 zeitbegrenzter Intelligenz-Struktur-Test Erscheinungsjahr: 1973 entwickelt von D. Liepmann, A. Beauducel, B. Brocke und R. Amthauer einzusetzen für Jugendliche ab 15 Jahren und Erwachsene in Einzel- oder Gruppentestung Aufgabengruppen: Satzergänzung, Analogien, Gemeinsamkeiten, Zahlenreihen, Figurenauswahl, Würfelaufgaben, Rechenaufgaben ohne verbalen Anteil, Vorzeichenaufgaben und Matrizenaufgaben sowie ein Test zum Allgemeinwissen

9 2. I-S-T 2000 R 9 Erfassung von 11 Fähigkeiten: verbale Intelligenz figural-räumliche Intelligenz rechnerische Intelligenz figurale Merkfähigkeit schlussfolgerndes Denken verbales Wissen figural-bildhaftes Wissen numerisches Wissen Wissen (Gesamt) fluide und kristallisierte Intelligenz

10 2. I-S-T 2000 R Beispieldatensatz Aufgaben zur Figurenauswahl erfassen: schlussfolgerndes Denken mit figuralem Material N = Items (1121 bis 1140) 10 runde Figuren (1121 bis 1130) 10 eckige Figuren (1131 bis 1140) 10

11 11 Beispiele für die Figurenauswahl

12 3. Grafischer Modelltest nimmt an, Test messe in jeder beliebigen Teilstichprobe dieselbe Fähigkeit oder Eigenschaft Test für alle Personen homogen (Personenhomogenität) Erwartung, wenn Rasch-Modell gilt: 12 Itemparameter in allen Teilstichproben gleich

13 3. Grafischer Modelltest Aufspalten der vorliegenden Stichprobe in zwei Teilstichproben (z.b. am Median der Leistung) Bestimmen der Itemparameter für beide Teilstichproben separat Eintragen der Itemparameter in ein Streudiagramm Itemparameter bilden Winkelhalbierende (absolute Übereinstimmung) 13 Annahme von Personenhomogenität und Modellgeltung

14 14

15 3. Grafischer Modelltest Nachteile Ergebnis möglicherweise aufteilungsabhängig Standardfehler der Itemparameter meist nicht berücksichtigt kein globaler Signifikanztest Vorteile anschaulich Entdeckung ungünstiger Items möglich Möglichkeit der Interpretation von Abweichungen 15

16 4. Globale Modelltests Der Pearson χ 2 -Test Bedingter Likelihood-Quotienten Test Likelihood-Quotienten-Test gegen das saturierte Modell 16

17 Der Pearson χ 2 -Test Oberstes Kriterium zur Prüfung der Modelgültigkeit ist die Vorhersage der Patternhäufigkeit (in den empirisch gefundenen Daten). Ein Antwortpattern kann im dichotomen Fall z.b. so aussehen: d.h. das Antwortpattern umfasst insgesamt 5 Items, wobei die ersten drei Items richtig und die letzten beiden falsch beantwortet wurden. Beim Pearson χ 2 -Test werden die vom Modell vorhergesagten Patternhäufigkeiten mit den empirisch beobachteten verglichen. 17 Es wird beim Test die Gesamtheit aller Abweichungen berücksichtigt.

18 Der Pearson χ 2 -Test 1. Berechnung des χ 2 - Wertes: " 2 = ( o x # e x ) 2 $ x e x o x e x = beobachtete Häufigkeit des Patterns x = erwartetet Häufigkeit des Patterns x " = Summe über alle Pattern x x 2. Berechnung der Freiheitsgrade: df = m k " n p "1 m k n p = Anzahl der Antwortkategorien = Anzahl der Items = Anzahl unabhängiger Modellparameter 3. Prüfung der errechneten χ 2 -verteilten Prüfgröße auf Signifikanz. 18

19 Likelihood-Quotienten-Tests Allgemeine Prinzipien und Vorgehen 1. Berechnung der Likelihood der Daten unter bestimmten Modell-Annahmen 2. Berechnung des Quotienten aus den Likelihoods 3. Überführung in eine χ 2 -verteilte Prüfgröße 4. Signifikanzprüfung Bedingter Likelihood-Quotienten-Test (Anderson Modelltest) Likelihood-Quotienten-Test gegen das saturierte Modell 19

20 Bedingter Likelihood-Quotienten Test 1. Berechnung der bedingten Likelihood cl 0 der Daten unter der Annahme, dass das Rasch-Modell in der Gesamtstichprobe gilt. cl 0 = N " v=1 p( x v r ) v Patternwahrscheinlichkeit der Person v unter der Bedingung ihres jeweiligen Summenscores r v. N " v=1 = Multiplikation über alle Personen v Es lässt sich zeigen, dass sich die bedingte Patternwahrscheinlichkeit als Funktion der Itemparameter darstellen lässt, in der die Parameter Θ v nicht mehr enthalten sind. (Ableitung: Rost (2004), S.126.) 20

21 Bedingter Likelihood-Quotienten Test 2. Berechnung der beiden bedingten Likelihoods cl niedrig und cl hoch der Daten unter der Annahme, dass das Rasch-Modell in der jeweiligen Teilstichprobe gilt. cl hoch = n " = Multiplikation über alle Personen aus der jeweiligen Teilstichprobe v=1 N " v=1 p( x v r ) v cl niedrig = N " v=1 p( x v r ) v Es wird also modelliert, welche Antwortmuster die Personen unter der Bedingung Ihres (Summen-)Scores produzieren. Die Wahrscheinlichkeiten eines bestimmten Scores werden hier nicht berücksichtigt. 21

22 Bedingter Likelihood-Quotienten Test 3. Bilden des Quotienten aus den berechneten Likelihoods und Überführung in eine χ 2 verteilte Prüfgröße durch Transformation mit -2log. $ cl ' " 2 = #2log 0 & % cl niedrig cl ) hoch ( Berechnung der Freiheitsgrade: ( ) " k 0 "1 df = k niedrig "1+ k hoch "1 ( ) Da die Wahrscheinlichkeiten eines bestimmten Scores hier nicht berücksichtigt werden, hat die cl wegen der Summennormierung der k Itemparameter k-1 unabhängige Modellparameter. 4. Prüfung der errechneten χ 2 -verteilten Prüfgröße auf Signifikanz. 22

23 Bedingter Likelihood-Quotienten Test Besteht eine Hypothese darüber für welche Personengruppen sich die Itemparameter unterscheiden, kann diese Personenheterogenität mit dem bedingten Likelihood-Quotienten-Test überprüft werden. Ein häufiges Teilungskriterium nach Rost (2004) ist der Summenscore der Personen (hoch scorende vs. niedrig scorende Personen siehe Beispiel). 23 Problematisch ist dabei... Das Kriterium zur Teilung der Stichprobe N in die Teilstichproben ist im Prinzip nicht eindeutig definiert. Es gibt theoretisch unendlich viele Teilungskriterien wie z.b. Geschlecht, Alter, Körpergröße, etc.... Es kann Personenheterogenität vorliegen die man mit einem manifesten Teilungskriterium nicht findet.

24 Likelihood-Quotienten-Test gegen das saturierte Modell Berechnung der Likelihood L Rasch-Modell der Daten unter der Annahme, dass das Raschmodel in der Stichprobe gilt. Es wird dabei die Likelihood des unrestringierten Rasch-Modells berechnet. N " v=1 x vi L Rasch"Modell = N % v=1 k % i=1 k " i=1 exp[ x ( vi # v "$ )] i 1+ exp (# v "$ ) i = Multiplikation über alle Personen = Multiplikation über alle Items = Wert einer Person v für das Item i (im Datenbeispiel 0 für nicht gelöst und 1 für gelöst) Diese Gleichung lässt sich so umformen, dass in ihr nur noch die Summenscores der Datenmatrix enthalten sind. (Ableitung: Rost (2004), S )

25 Likelihood-Quotienten-Test gegen das saturierte Modell 2. Berechnung der Likelihood des Saturierten Modells L sat. Dazu werden einfach die relativen Häufigkeiten der beobachteten Antwortpattern aufmultipliziert. L sat = ( x ( ) N " n x $ # % ' & n( x) " = Multiplikation über alle Antwortpattern x n( x) = absolute Häufigkeit eines Antwortpatterns Inhaltlich bedeutet dies, dass bezüglich des Zustandekommens der empirischen Daten der Stichprobe keinerlei Modellannahmen gemacht werden. 25 Die Wahrscheinlichkeiten werden aus den relativen Häufigkeiten in der Datenmatrix geschätzt.

26 Likelihood-Quotienten-Test gegen das saturierte Modell 3. Bilden des Quotienten aus den berechneten Likelihoods und Überführung in eine χ 2 verteilte Prüfgröße durch Transformation mit -2log. $ " 2 = #2log L ' Rasch#Modell & ) % ( L sat Berechnung der Freiheitsgrade (bei dichotomen Items m=2): df = m k "1 ( ) " 2k "1 ( ) In Vergleich zur cl fließen beim unrestringierten RM noch die k+1 Scorewahrscheinlichkeiten mit ein, von denen aber nur k unabhängig sind. Das unrestringierte RM hat daher k-1+k = 2k-1 unabhängige Modellparameter Rost (2004), S Prüfung der errechneten χ 2 -verteilten Prüfgröße auf Signifikanz. 26

27 Likelihood-Quotienten-Test gegen das saturierte Modell Der Test gegen das saturierte Modell stellt das höchste Testkriterium dar. Das Saturierte Modell ist das gemeinsame Obermodell von allen Modellen eines Datensatzes. Es ist möglich, das mehrere Modelle den Test gegen das saturierte Modell aushalten. Entscheidung für das beste von mehreren passenden Modellen mit informationstheoretischen Maßen für den Modellvergleich möglich. 27

28 Beispiele und Outputs globale Modelltests 1 m k "1 # 2 20 "1 Anzahl der möglichen Pattern minus Anzahl unabhängiger Modellparameter des unrestringierten RM 3 3 χ 2 -verteilte Prüfgröße des Pearson χ 2 -Tests 4 4 χ 2 -verteilte Prüfgröße des Quotienten Tests 5 5 Freiheitsgrade der errechneten Prüfgröße 28

29 Problematik mit der Prüfstatistik Damit die berechnete Prüfgröße des Likelihood-Quotiententests und des Pearson χ 2 -Tests tatsächlich χ 2 verteilt sind, muss nach Rost (2004) jedes Antwortpattern mindestens einmal beobachtet werden. Diese Vorraussetzung ist allerdings selten gegeben. (insbesondere bei längeren Tests und geringen Stichproben) Die Lösung: Bootstrapping D.h., Berechnung einer Verteilung anhand simulierter Daten mit den zuvor geschätzten Modellparametern. 29

30 Beispiele und Outputs globale Modelltests Der obere Wert ist der Quotient aus der Anzahl der empirisch beobachteten und der möglichen Pattern. n x m = 262 k Der untere Wert gibt die Anzahl der nicht beobachteten Pattern an. 2 Dieser Wert ist der Quotient aus der Anzahl der Probanden N und der Anzahl der möglichen Pattern m k " n x = 2 20 " 262 N m = 285 k 2 20

31 5. Parametrischer Bootstrap Vorgehen / Prinzip Schätzung der Modellparameter (anhand der Stichprobe). Resimulation von modellkonformen Stichproben, z.b. 400 (anhand der geschätzten Modellparameter). Berechnung der Prüfgröße für jede simulierte Stichprobe (z.b. den χ 2 - Wert). Erzeugung einer Verteilung der errechneten Werte der berechneten Prüfgrößen. Vergleich des empirischen Wertes der Prüfgröße des Datensatzes mit der erzeugten Verteilung aus den simulierten Daten. 31

32 Beispiele und Outputs parametrischer Bootstrap 32 Mit den geschätzten Modellparametern wurden in diesem Beispiel 400 simulierte Stichproben erzeugt und deren jeweilige Prüfgrößen ausgegeben.

33 Beispiele und Outputs parametrischer Bootstrap 95% der χ 2 Werte aus den simulierten Daten 5% der χ 2 Werte aus den simulierten Daten

34 Fazit aus diesem Beispiel Der Untertest Figurenauswahl des I-S-T 2000 R ist in der vorliegenden Form für diese Stichprobe nicht Rasch-skalierbar. Die von den Testpersonen erzielten Summenscores sind keine suffizienten Statistiken. Zur umfassenden Interpretation der Testleistung einer Person wäre im Prinzip die Betrachtung ihres Antwortmusters nötig. 34

35 Ursachen für die globale Modellverletzungen Itemheterogenität Der Test bzw. die Items sind nicht eindimensional. Prüfung durch den Martin-Löf-Test Prüfung durch eine Faktorenanalyse Personenheterogenität Die Testpersonen in dieser Stichprobe nutzen unterschiedliche Fähigkeiten zur Lösung der Items. Prüfung mit dem Mixed-Rasch-Modell 35

36 6. Mixed-Rasch-Modell Annahme: Itemschwierigkeit variiert mit der jeweiligen Lösungsstrategie der Person Personen lassen sich in unterschiedliche Klassen einteilen innerhalb der Klassen gilt das Rasch-Modell 36

37 6. Mixed-Rasch-Modell Klassen sind im Voraus nicht bekannt Bilden der Klassen durch trennen der Personen mit maximal unterschiedlichen Antwortmustern 37 Wird das Mixed-Rasch-Modell durch einen Modelltest nicht verworfen Personen benutzen unterschiedliche Strategien zum Lösen der Items

38 6. Mixed-Rasch-Modell Die Formel des Mixed-Rasch-Modells setzt sich zusammen aus Der Wahrscheinlichkeit einer Person v das Item i zu lösen wenn sie in Klasse g ist (1) p(x vi = 1 g) = exp(" vg # $ ig ) 1+ exp(" vg # $ ig ) 38

39 6. Mixed-Rasch-Modell Und der unbedingten Lösungswahrscheinlichkeit (2) wobei p(x vi = 1) = G # g=1 " g " ig " ig = klassenspezifische Wahrscheinlichkeitsparameter " g = Klassengrößenparameter 39

40 6. Mixed-Rasch-Modell Setze für π ig die bedingte Wahrscheinlichkeit (1) ein: G exp(# p(x vi = 1) = " vg $ % ig ) & g 1+ exp(# vg $ % ig ) p(x vi =x) = W'keit, dass eine Person v bei Item i die Kategorie x wählt θ vg = Personenparameter für eine Person v in Klasse g σ ig = Itemparameter eines Items i in Klasse g π g = Klassengrößenparameter = relative Klassengröße G wird a priori festgelegt g=1 40 Es gilt: k #" ig = 0 und #" g = 1 i =1 G g=1

41 6. Mixed-Rasch-Modell Interpretation der Klassen durch Itemparameter der Klasse Quantitative Unterschiede: innerhalb einer Klasse Qualitative Unterschiede: zwischen den Klassen 41

42 6. Mixed-Rasch-Modell 42 nicht signifikant

43 6. Mixed-Rasch-Modell 43 nicht signifikant

44 7. Informationskriterien Welches Modell unter konkurrierenden Modellen ist das Beste? informationstheoretische Maße - Keine hierarchische Beziehung nötig ( nested models ) - Modelle mittels beliebiger Restriktion definiert - Geltung muss nicht nachgewiesen sein - Müssen sich auf dieselben Daten beziehen 44

45 7. Informationskriterien 45 Grundgedanke: Likelihoodquotient: 2 " df =npl 1 #n pl 0 "2log( L 0 L 1 ) = 2(log(L 1 )" log(l 0 )) Spart man durch Restriktion einen Modellparameter ein, bekommt man einen Freiheitsgrad dazu Anstieg der Signifikanzgrenze um etwa 2 Pro eingespartem Parameter sollte Log-Likelihood um ungefähr einen Punkt sinken Abwägen von Parameteranzahl und Wert der Log- Likelihood

46 7. Informationskriterien AIC = "2log(L) + 2n p Akaike Information Criterion Abwägung von Parameteranzahl n p und Likelihoodwert ohne weitere Gewichtung n p geht strafend ein (allerdings unabhängig von Stichprobengröße) Modell mit dem kleinsten AIC sollte gewählt werden 46

47 7. Informationskriterien BIC = "2log(L) + log(n) # n p Bayes Information Criterion Parameteranzahl wird mit dem Logarithmus der Stichprobengröße N gewichtet (sinnvoll bei großen Datensätzen) Einfachheitskriterium wird stärker berücksichtigt 47

48 7. Informationskriterien CAIC = "2log(L) + log(n) # n p + n p Consistent AIC Korrektur des AIC 48

49 7. Informationskriterien AIC = "2log(L) + 2n p BIC = "2log(L) + log(n) # n p CAIC = "2log(L) + log(n) # n p + n p 49 AIC bei kleinen Itemanzahlen mit großen Patternhäufigkeiten BIC bei großen Itemanzahlen und kleinen Patternhäufigkeiten Bei gleicher Modellanpassung wird das weniger komplexe bevorzugt Keine Aussage möglich über die Stärke der Abweichung zum optimalen saturierten Modell Keine Ersetzung des Signifikanztests, sondern Ergänzung

50 7. Informationskriterien 2 Klassen: 3 Klassen: 50 -Nach AIC ist das MRM mit 3 Klassen das besser passende -BIC und CAIC bewerten das MRM mit 2 Klassen besser

51 8. Lokale Modellverletzungen Betrachtung einzelner Items und Personen Betrachtung der Antwortpattern auffälliges Pattern einer Person Personen Fit-Indizes auffälliges Pattern eines Items Item Fit-Indizes: Q-Indizes Personenfähigkeit steigt an VP Sarah Jörg Manuela Item Item Item Item Itemschwierigkeit steigt an

52 Maße der Verteilung der Personen Fit-Indizes (z-werte) z-wert kleiner als -1.96, hohe negative Schiefe Personen zeigen eher keine rasch-konformen Antwortmuster z-wert größer als +1.96, hohe positive Schiefe Personen zeigen eher überangepasstes Antwortverhalten Kurtosis kleiner 0 breitgipflige Verteilung mit einigen extremen Personen Fit-Indizes 52

53 8. Lokale Modellverletzungen Q-Index (Trennschärfekoeffizient) zeigt an, wie wahrscheinlich ein Antwortpattern eines Items unter den gegebenen Modellparametern ist variiert zwischen 0 und 1 Werte liegen gewöhnlich zwischen 0.1 und

54 8. Lokale Modellverletzungen Q-Index = 0 beobachtetes Antwortmuster eines Items entspricht demjenigen mit maximaler Trennschärfe Q-Index = 0.5 zufälliges Antwortmuster mit entsprechender Trennschärfe von 0 Q-Index = 1 beobachtetes Antwortmuster eines Items entspricht demjenigen mit geringster Trennschärfe Q-Index = 0 Q-Index = 0.5 Q-Index = 1 54

55 8. Lokale Modellverletzungen Q-Index: Signifikanzprüfung (z-wert) liegt Antwortmuster eines Items signifikant über oder unter dem bei Modellgeltung zu erwartenden Muster 55 Item-Under-Fit Antwortmuster signifikant schlechter als erwartetes Muster Item ungeeignet positiver z-wert Item-Over-Fit Antwortmuster signifikant besser als erwartetes Muster Item zu gut geeignet negativer z-wert

56 Welche Items schmeißt man raus? Under-Fit Items Over-Fit Items, wenn lokale stochastische Unabhängigkeit verletzt stets inhaltlichen Sinngehalt bedenken 56 Under-Fit (-) positiver z-wert Over-Fit (+) negativer z-wert

57 57

58 Mindmap - Ausblick - Diskussion Globaler Modelltest Rasch Modell Test wird nicht signifikant Raschmodell passt / Teststärke? Summenscore = suffiziente Statistik Keine Betrachtung der Antwortpattern Spezifische Objektivität Eindimensionalität Test wird signifikant Ist die Abweichung vom Modell praktisch bedeutsam? Teststärke? globale Ursachen Mixed-Rasch-Modell Gute Modelle zur Erklärung der Daten, aber diagnostisch unbefriedigend Auswahl eines Modells aus mehreren passenden mit AIC, BIC, CAIC Faktorenanalyse / Martin Löf-Test Lösung? Konstruktion von besseren Items mit linearlogistischen Testmodellen (LLTM) lokale Ursachen Personenselektion Itemselektion Personenheterogenität Itemheterogenität Q-Indizes, (Infit- und Outfitmaße) Items stets auch inhaltlich inspizieren Ausschluss von Personen aus der Stichprobe u.u. schwer begründbar Personen Fit-Indizes

59 Vielen Dank für Eure Aufmerksamkeit und schöne Semesterferien 59