Rasch-Modelle und Verallgemeinerung

Transkript

1 Ludwig-Maximillian-Universität München Institut für Statistik Seminararbeit Rasch-Modelle und Verallgemeinerung Seminar: Ausgewählte Aspekte der Wirtschafts- und Sozialstatistik Seminarleiter: Prof. Dr. Thomas Augustin Seminarbetreuer: Eva Endres Autor: Nataliia Semenenko 28. Juli 2015

2 Abstract Im Rahmen des Seminars sind ausgewählte Aspekte der Wirtschafts- und Sozialstatistik zu besprechen. Insbesondere sind die Themengebiete zu bearbeiten, die in unserer Zeit relevant sind, für die Existenz und Entwicklung der Gesellschaft. Mithilfe der statistischen Methoden sind die Probleme z.b im Bildungssystem, Wirtschaft sowie Volkswirtschaft zu untersuchen und wissenschaftlich zu lösen. So sind für dieses Seminar vor allem die folgende Themen zu bearbeiten: Anonymisierungsverfahren, Faktorenanalyse, Ausgewählte Studien (u.a. PISA-Studie), Rasch-Modelle und Verallgemeinerung, Stichprobenplan des Zensus und Gefühlte Inflation. In dieser Arbeit wird das Rasch-Modell und deren Verallgemeinerungen dargestellt, die für die Analysen in PISA-Studie sowie in der Psychologie verwendet werden. Erstmal wird es kleine Einleitung zum Thema Item-Response-Theorie sowie Wichtigkeit der Testkonstruktion geben. Dann wird die Grundform des Rasch-Modells, Modellannahmen und -Eigenschaften sowie die Schätzung des Parameters dargestellt. Zunächst werden einige Verallgemeinerungen wie z.b. das linear-logistische-testmodell, Birnbaum-Modelle, das Partial-Credit- Modell kennengelernt. Schließlich anhand der simulierten Daten werden der graphische Modelltest, Likelihood-Quotiententest und Wald-Test durchgeführt und deren Ergebnisse verglichen. 1

3 Notation Grundmodell n - Anzahl Personen m - Anzahl Aufgaben u {0, 1} - beobachtete Variable Aufgabe gelöst (1 = ja, 0 = nein) θ - Personen-Parameter, z.b. Fähigkeit einer Person β - Aufgaben-Parameter, z.b. Schwierigkeit einer Aufgabe B - Nullpunkt auf gemeinsamen Skala für θ und β (wird festgelegt) A - die Einheit der gemeinsamen Skala für θ und β (wird festgelegt) i = 1,...n - Laufindex für Personen, die an einem Test teilnehmen j = 1,...m - Laufindex für Aufgaben im Test u i,j {0, 1} - beobachtete Variable Aufgabe gelöst (1 = ja, 0 = nein), Eintrag für die i-te Person und j-te Aufgabe U i,j {0, 1} - Zufallsvariable Aufgabe gelöst (1 = ja, 0 = nein), Eintrag für die i-te Person und j-te Aufgabe P(U i,j = u i,j ) - Wahrscheinlichkeit, dass die i-te Person bei j-ter Aufgabe genau Ergebnis u i,j erzielt r i = m j=1 u i,j - Zeilenrandsumme für i-te Person s j = n i=1 u i,j - Spaltenrandsumme für j-te Aufgabe L ui (θ i, β) - Likelihood für eine Person über alle Aufgaben L u (θ, β) - Gemeinsame Likelihood 2

4 h(u r, β) - Bedingte Likelihood L u (β) - Marginale Likelihood f(θ) - Randdichte für Personenparameter Das linear-logistische Testmodell l = 1,..., L - Laufindex für nötige Teilkompetenzen für eine Aufgabe ω j,l {0, 1, 2...} - Gewicht, Teilkompetenz in der Aufgabe enthalten (0 = nein, 1 = einmal, 2 = zweimal,...) η l - Schwierigkeit der Teilkompetenz Birnbaum-Modelle δ j - Diskriminationsparameter, Steigung j-ter Aufgabe γ j - Regulierungs-Parameter für Lösungswahrscheinlichkeiten Das Partial-Credit-Modell C - Anzahl Antwortkategorien c - bestimmte c-te Antwortkategorie k = 0,..., C - Laufindex für die Antwortkategorien einer Aufgabe β j,c - Parameter für c-te Antwortkategorie der j-ten Aufgabe τ j,k - Schwellenwert u {0,...,C} - beobachtete Variable Aufgabe gelöst (0 = nein, 1 = 1. Teilschritt, 2 = 1. und 2. Teilschritte,... ) im Partial-Credit- Modell u i,j {0,...,C j } - beobachtete Variable Aufgabe gelöst (0 = nein, 1 = 1. Teilschritt, 2 = 1. und 2. Teilschritte,... ) Eintrag für die i-te Person und j-te Aufgabe U i,j {0,...,C j } - unbekannte Variable Aufgabe gelöst (0 = nein, 1 = 1. Teilschritt, 2 = 1. und 2. Teilschritte,... ) Eintrag für die i-te Person und j-te Aufgabe k = 1...K - Laufindex für den Gruppen im LQ-Test 3

5 Inhaltsverzeichnis 1 Einleitung 1 2 Grundform des Rasch-Modells Datendarstellung Modellgleichung Aufgaben- und Personencharaktereistische Kurven Modellannahmen und Modelleigenschaften Parameterschätzung Verallgemeinerungen des Rasch-Modells Das linear-logistische Testmodell Birnbaum-Modelle Das Partial-Credit-Modell Weitere Verallgemeinerungen Simulation des Rasch-Modells 21 5 Modellgeltungstests Der Graphische Modelltest Likelihood-Quotienten-Test Wald-Test Zusammenfassung 28 A Parameterschätzung 29 A.1 Herleitung Formel A.2 Herleitung Formel A.3 Herleitung Formel A.4 Herleitung Formel i

6 Kapitel 1 Einleitung Das Rasch-Modell ist ein Modell, dass von dänischen Statistiker Georg Rasch entwickelt wurde (1960). Das ist sogenanntes Grundmodell aller Modelle der Item-Response-Theorie (IRT), die sich als eine eigene Teildisziplin der psychologischen Testtheorie entwickelt hat. Das beschreibt eine Reaktion (Response) einer oder mehreren Person/-en auf eine Aufgabe oder Frage (Item). (Vgl. Kubinger, Rasch und Yanagida (2011), S.555) Es handelt sich dabei um eine latente Eigenschaft. Um diese Eigenschaft zu erfassen, werden den Personen die Aufgaben oder Fragen gestellt. Anhand gelösten (bzw. nicht) Aufgaben oder beantworteten (bzw. nicht) Fragen wird ein Aufschluss über interessierende Eigenschaft geben. Am Ende des Testens bekommt die Person eine Schätzung über die nicht beobachtete Fähigkeit. In der IRT ist es wichtig zu verstehen, wie ein Test konstruiert werden soll und welche Aufgaben verwendet werden müssen, um objektive Schätzungen zu bekommen. Um die Verzerrungen zu vermeiden, müssen die Testaufgaben gründlich auf die bestimmte Eigenschaften überprüft und bei Bedarf mithilfe des Rasch-Modells aussortiert (bzw. ersetzt) werden. Z.B. im Test für Mathematikkompetenz bei Textaufgaben schneiden sich nicht Muttersprachler schlechter als Kommilitonen, obwohl sie genau so gut oder besser in der Mathematik sind. Es kann auch passieren, dass die bestimmten Gruppen von Probanden einzelne Aufgaben bevorzugen (bzw. benachteiligen), was auch zu den nicht objektiven Schätzungen führt. Nur psychologische Tests, die eine strenge Überprüfung bestanden haben, sind objektiv und erlauben faire Vergleiche. Das Rasch-Modell wird nicht nur zur Konstruktion von neuen Tests verwendet (der berühmteste Einsatz ist PISA-Studie der OECD), sondern auch, um die Tests nachträglich auf die Geltung des Rasch-Modells zu überprüfen. (Vgl. Strobl (2010), S. 1-3) 1

7 Kapitel 2 Grundform des Rasch-Modells 2.1 Datendarstellung Ein Test soll eine nicht direkt beobachtete Eigenschaft (bzw. Fähigkeit) messen. Den in einem Test teilnehmenden Personen werden unterschiedliche Aufgaben gegeben oder verschiedene Fragen gestellt. Für jeder Teilnehmer wird es notiert, ob er jede Aufgabe richtig (bzw. falsch) beantwortet hat oder jeder Frage zugestimmt (bzw. nicht) hat. Für die richtig gelöste Aufgabe (bzw. korrekt zugestimmte Frage) bekommt die Person einen Eintrag von 1 und für falsch gelöste Aufgabe (bzw. unrichtig zugestimmte Frage) erhält die Person eine 0. Aus den Antworten der Personen ergibt sich die Datenmatrix, die aus Nullen und Einser besteht. In die Zeilen sind die Personen und in die Spalten die Aufgaben (bzw. Fragen) eingetragen. Aufgabe Person Tabelle 2.1: Rasch-Modell. Datenmatrix Bsp. für 7 Personen und 7 Aufgaben Die Tabelle 2.1 stellt die Antwortmatrix für 7 Personen und 7 Aufgaben dar. Daraus kann man z. B. ablesen, dass die erste Person die Aufgaben 2 und 4 richtig gelöst hat und die Aufgabe 5 von den vierten, sechsten und 2

8 siebten Personen richtig gelöst wurde. Die Allgemeine Darstellung der Daten ist in der Tabelle 2.2 präsentiert: für i = 1,..., n Personen und j = 1,..., m Aufgaben in der i-ten Zeile und der j-ten Spalte steht ein Eintrag u i,j dafür, ob die i-te Person die j-te Aufgabe tatsächlich richtig (bzw. falsch) gelöst hat. Aufgabe Person j... m 1 u 1,1 u 1,2 u 1,3... u 1,j... u 1,m 2 u 2,1 u 2,2.. 3 u 3, i u i,1... u i,j.... n u n, u n,m Tabelle 2.2: Rasch-Modell. Datenmatrix Allgemeine Form Das Resultat einer Person in einem Test hängt nicht deterministisch von ihrer Fähigkeit ab, sondern kann auch von dem Zufall abhängen. Bei der gleich bleibender Fähigkeit kann eine Person dieselben Aufgaben an unterschiedlichen Tagen anders lösen und damit unterschiedliche Noten (bzw. Punktezahl) bekommen. Es existiert eine latente Zufallsvariable U i,j für das voraussichtliche Resultat vor der Bearbeitung der Aufgaben. Die Wahrscheinlichkeit, dass i-te Person bei der Beantwortung der j-ten Aufgabe einen bestimmten Ergebnis erzielt P(U i,j = u i,j ), werden wir als Lösungswahrscheinlichkeit bezeichnen. (Vgl. Strobl (2010), S. 5-7) 2.2 Modellgleichung Die Modellgleichung soll die Wahrscheinlichkeit beschreiben, dass eine Person mit der bestimmten Fähigkeit eine Aufgabe mit dem bestimmten Schwierigkeitsgrad richtig beantwortet. Natürlich hängt die Lösungswahrscheinlichkeit sowohl von der Fähigkeit der Person als auch von der Schwierigkeit der Aufgabe ab. Mehr begabte Person wird die Fragestellung eher lösen, als eine wenig begabte. Die leichten Aufgaben werden alle Personen mit hoher Wahrscheinlichkeit lösen. Bei der Definition der Modellgleichung müssen wir auch beachten, dass es ein positiver Zusammenhang zwischen der Personenfähigkeit und der Lösungswahrscheinlichkeit gibt. Je fähiger die Person ist, desto eher wird sie die Aufgabe lösen. Da 3

9 es sich hier um die Wahrscheinlichkeiten handelt, muss die Funktion zwischen 0 und 1 begrenzt werden. (Vgl. Strobl (2010), S. 7) Die Modellgleichung P (U i,j = 1 θ i, β j ) = eθ i β j 1 + e θ i β j (2.1) erfüllt alle Forderungen, die wir bereits besprochen haben. Die Lösungswahrscheinlichkeit ist eine bedingte Wahrscheinlichkeit, die von der Personenfähigkeit θ i und Aufgabenschwierigkeit β j abhängt. D.h. die ersten 2 Forderungen sind erfüllt. Der Bruch beschreibt einfache Logistische Funktion P (Y i = 1) = π i = eζ i 1 + e ζ i (2.2) mit ζ i - der lineare Prädiktor. (Vgl. Fahrmeir, Alfred und Tutz (1996), S ) Im Rasch-Modell der lineare Prädiktor ist dargestellt als die Differenz θ i β j. An diesem Ausdruck, der sowohl im Zähler als auch im Nenner der Gleichung 2.1 steht, erkennt man positive Differenz, falls θ i > β j (die Person ist fähiger als die Aufgabe schwer). Dies bedeutet, dass die Wahrscheinlichkeit, dass die Person diese Aufgabe richtig löst, sehr groß ist. Im Gegensatz dazu wird Differenz negativ, falls θ i < β j (die Aufgabe ist schwerer als die Person fähig). Also, die Wahrscheinlichkeit, dass die Person diese Aufgabe richtig löst, ist sehr klein. Somit erfüllt die Modellgleichung die dritte Forderung. Die letzte vierte Forderung ist die Beschränktheit. Der Wertebereich der logistischen Funktion und somit der Rasch-Modell-Funktion liegt zwischen 0 und 1. Das sagt aus, dass die logistische Funktion gut für die Abbildung der Wahrscheinlichkeiten geeignet ist. Für die Beschreibung der Rasch-Modell- Gleichung könnte man auch andere S-förmige Funktionen wie z.b. die kumulierte Dichte der Normal-Verteilung anwenden, was zu den Verletzungen der Rasch-Modell-Annahmen und -Eigenschaften (Siehe Kap. 2.4) führen würde. (Vgl. Strobl (2010), S. 7-9) 2.3 Aufgaben- und Personencharaktereistische Kurven Die im Rasch-Modell verwendete logistische Funktion beschreibt die Veränderung der Lösungswahrscheinlichkeiten für eine Aufgabe in der Abhängigkeit 4

10 von der Fähigkeit der Person. Die Abb. 2.1 stellt uns solche Funktion dar. Aufgabencharakteristische Kurve (ICC) P(U ij = 1 θi, βj) β j = 0.37 Item Aufg θ i Abbildung 2.1: Aufgabencharakteristische Kurve für eine Aufgabe mit der Schwierigkeitsgrad β j = 0.37 Diese nennt man die aufgabencharakteristische Kurve und bezeichnet man mit ICC (Item Charasteristic Curve). Im allgemeinen gilt: die Personen mit der bestimmten Fähigkeit θ i gleich der Aufgabenschwierigkeit β j werden diese Aufgabe mit der Wahrscheinlichkeit von 0.5 lösen. Aus der Abb. 2.1 kann man z.b. ablesen, dass die Personen mit der Fähigkeit θ i = 1.5, was deutlich größer als β j = 0.37 ist, die Aufgabe mit sehr hohen Wahrscheinlichkeit P = lösen werden. Wohingegen die Personen mit der Fähigkeit von -3 werden diese Aufgabe mit sehr niedriger Wahrscheinlichkeit von 0.67 lösen. (Vgl. Strobl (2010), S. 10) In der Wirklichkeit besteht ein Test aus mehreren Aufgaben. Die ICCs werden in einer Grafik nebeneinander abgebildet. In der Abb. 2.2 sieht man, dass alle ICCs parallel zueinander verlaufen. In der Abhängigkeit von der Schwierigkeitsgrad der Aufgabe werden die Aufgabencharaktereistische Kurven entsprechend nach rechts (Aufgabe 9 mit β j = 0.57) oder nach links (Aufgabe 3 mit β j = 1.65) verschoben. Das liegt daran, dass es in der Gleichung für Rasch-Modell kein zusätzlichen Parameter für die Steigung der Funktion gibt. D.h. bei der Geltung des Rasch-Modells müssen alle Aufgaben etwas gemeinsames (die Steigung) haben. (Vgl. Strobl (2010), S. 11) Das ist eine von der wichtigsten Annahmen des Rasch-Modells, die wir in der nächsten Sektion 2.4 betrachten werden. 5

11 Aufgabencharakteristische Kurven (ICCs) P(U ij = 1 θi, βj) β j = 0.37 β j = 1.65 β j = 0.57 Item Aufg. 3 Item Aufg. 1 Item Aufg θ i Abbildung 2.2: Aufgabencharaktereistische Kurven für drei Aufgaben Die Steigung der ICC im mittleren Bereich nennt man Trennschärfe. Je höher die Trennschärfe einer Aufgabe ist, desto genauer kann man mit Hilfe dieser Aufgabe zwischen den Personen mit unterschiedlichen Fähigkeiten unterscheiden. ICC ICC P(U ij = 1 θ i, β j ) P = 0.96 P = 0.18 P(U ij = 1 θ i, β j ) P = 0.24 P = θ i,β j hohe Trennschärfe θ i,β j niedrige Trennschärfe Abbildung 2.3: ICCs mit unterschiedlicher Trennschärfe 6

12 Die Abb (links) stellt uns die ICC mit der hohen Trennschärfe dar. Die Person mit der Fähigkeit θ i = 1 löst die Aufgabe mit der Wahrscheinlichkeit von 0.18 und die Person mit der Fähigkeit θ i = 0 löst diese Aufgabe mit der viel höheren Wahrscheinlichkeit von Anhand dieser Aufgabe kann man deutlich zwischen beiden Personen mit nicht so unterschiedlichen Fähigkeiten trennen. Hingegen die Abb. 2.3 (rechts) stellt uns die ICC mit der niedrigen Trennschärfe dar. Die beiden Personen mit der Fähigkeiten -1 und 0 werden die Aufgabe mit der niedrigen Wahrscheinlichkeit lösen. Diese Aufgabe ist weniger geeignet, um zwischen den beiden Personen zu unterscheiden. (Vgl. Strobl (2010), S ) 2.4 Modellannahmen und Modelleigenschaften Bis jetzt haben wir einige Eigenschaften und Forderungen des Rasch-Modells besprochen. Es gibt allerdings mehrere Besonderheiten. Während es didaktisch einfacher ist, sich diese Besonderheiten als Eigenschaften des Rasch-Modells vorzustellen, die aus der Modellgleichung folgen und die wir uns z.t. auch einfach daran veranschaulichen können, ist es aus messtheoretischer Sicht umgekehrt: Aus bestimmten theoretischen Annahmen kann man die Modellgleichung des Rasch-Modells ableiten. (Strobl (2010), S. 14). Die Zentrale Annahmen des Rasch-Modells werden wir zunächst diskutieren. Suffiziente Statistiken Eine Statistik heißt suffizient, wenn sie alle Informationen der Stichprobe bezüglich des Parameters enthält (Henning (1974), S. 79) und die Datenreduktion zu keinem Informationsverlust führt (Strobl (2010), S. 15). Man darf nicht die Begriffe erwartungstreu (Vgl. Fahrmeir und Fahrmeir-Künstler- Pigeot-Tutz (2011), Kap ) und suffizient verwechseln. Wie wir im Beispiel 2.1 sehen, eine Statistik kann erwartungstreu dennoch nicht suffizient sein (x enthält keine Informationen über x 2 und x 4 ). 1 Die Abbildung wurde ähnlich der Abb. 2.4 (Strobl (2010), S. 12) ausgefertigt. 7

13 Beispiel 2.1 (Suffizient und Erwartungstreu für n=5:) x = 1 5 5i=1 x i = 1 5 (x 1 + x 2 + x 3 + x 4 + x 5 ) erwartungstreu suffizient x = 1 3 (x 1 + x 3 + x 5 ) erwartungstreu nicht suffizient Vorteil der suffizienten Statistik ist, dass man nicht komplette Daten kennen muss, um alle relevante Informationen über den Parametern zu erhalten. Die ganzen Angaben sind schon in der suffizienten Statistik als Einzelwert zusammengefasst. Im Rasch-Modell sind solche suffizienten Statistiken Spaltenund Zeilenrandsummen. Die Zeilenrandsumme r i enthält für die i-te Person die gesamte Information über den Personenparameter θ i und die Spaltenrandsumme s j enthält für die j-te Aufgabe die gesamte Information über den Aufgabenparameter β j. (Vgl. Strobl (2010), S ) Lokale Stochastische Unabhängigkeit Die nächste Annahme ist lokale stochastische Unabhängigkeit. Unter stochastischer Unabhängigkeit im Rasch-Modell wird sowohl Personen- als auch Aufgabenunabhängigkeit gemeint. Die Personenunabhängigkeit bedeutet, dass die Lösungswahrscheinlichkeiten von zwei Personen für j-te Aufgabe nicht voneinander abhängen dürfen. In der Praxis bedeutet dies, dass die Personen voneinander nicht abschreiben dürfen. Bei der Aufgabenunabhängigkeit geht es um die ähnliche Bedeutung. Lösungswahrscheinlichkeiten der i-ten Person für zwei Aufgaben dürfen nicht voneinander abhängen. In der Tat dürfen die Lösungen der Aufgaben nicht aufeinander aufgebaut werden. Im Rasch- Modell wird von der lokalen stochastischen Unabhängigkeit gesprochen. Lokal bedeutet hier, dass die Unabhängigkeit der Aufgaben muss gelten, solange man eine Person (bzw. mehrere Personen mit gleichen Fähigkeiten) betrachtet. Natürlich kann es passieren, dass die mehr begabten Personen alle Aufgaben mit höherer Wahrscheinlichkeit lösen als wenig begabten. (Vgl. Strobl (2010), S ) Spezifische Objektivität Die spezifische Objektivität im Rasch-Modell gilt für den Vergleich von Personen ebenso wie für den Vergleich von der Aufgaben. Aussagen über die 8

14 Fähigkeiten von 2 Personen hängen nicht davon ab, anhand welcher Aufgabe sie verglichen werden. In der Abb sind 2 Personen mit unterschiedlichen Fähigkeiten (θ a = 1 und θ b = 0) und 2 Aufgaben mit verschiedenem Schwierigkeitsniveau (β Aufg.3 = 1.7 und β Aufg.1 = 0.4) gezeichnet. Person a wird beide Aufgaben mit der niedrigeren Wahrscheinlichkeiten als Person b lösen. D.h. der Aufgabenwahl im Rasch-Modell spielt keine Rolle beim Vergleich von Personen. Genauso die Aussagen über die Schwierigkeit von 2 Aufgaben sind unabhängig davon, welche Person gewählt wird. In der Abb. 2.4 sieht man, dass die leichtere Aufgabe (Item Aufg. 3) von beiden Personen mit höherer Wahrscheinlichkeit als schwierigere Aufgabe (Item Aufg. 1) gelöst wird. Auch der Personenwahl im Rasch-Modell spielt keine Rolle beim Vergleich von Aufgaben. (Vgl. Strobl (2010), S ) Aufgabencharakteristische Kurven (ICCs) P(U ij = 1 θi, βj) a b Item Aufg. 3 Item Aufg θ i,β j Abbildung 2.4: Spezifische Objektivität Eindimensionalität Noch eine zentrale Annahme im Rasch-Modell ist Eindimensionalität. Hier wird es angenommen, dass die Personenparameter θ und Aufgabenparameter β auf einer gemeinsamen latenten Dimension liegen. Formal in der Modellgleichung erkennt man das an der Differenz θ i β j. Die Aufgabenparameter werden direkt von der Personenparameter abgezogen. Inhaltlich bedeutet es, 2 Die Abbildung wurde anhand der simulierten Daten erstellt 9

15 dass z.b. in einem Test zur Lesekompetenz nur die Lesekompetenz gemessen wird. (Vgl. Strobl (2010), S. 23) Messniveau Die Personen- und Aufgabenparameter haben gemeinsame latente Skala, die keinen absoluten Nullpunkt hat. Wie es auch diskutiert wurde, wird der Nullpunkt durch die Wahl eines Wertes B festgelegt. Allgemeinere Gleichung des Rasch-Modells ist folgendermaßen dargestellt: P (U i,j = 1 θ i, β j ) = ea(θ i β j )+B 1 + e A(θ i β j )+B (2.3) Hier sieht man, dass der Wert B die gesamte Parameterskala nach links oder rechts verschiebt. Es wird auch die Einheit der Skala durch den Wert von A festgelegt. Der Wert A ausweitet oder zusammendrückt die einzelne Abschnitte der Skala. Man erkennt sofort die lineare Transformation, die von mindestens Intervall-Skalen erlaubt sind. D.h. im Rasch-Modell sind die Messungen von zumindest Intervallskalenniveau zulässig. (Vgl. Strobl (2010), S ) 2.5 Parameterschätzung Wie am Anfang schon gesagt wurde, ist das Ziel, die beobachtete Reaktionen durch das unbeobachtete Eigenschaften zu erklären und diese Eigenschaften zu schätzen. D.h. im Rasch-Modell alle Parameter θ i und β j. Die grundlegende Methode dafür ist Maximum-Likelihood-Schätzung (ML-Schätzung). (Zur ML-Methode Vgl. Toutenburg, Heumann, Nittner und Scheid (2003), Kap , Fahrmeir, Alfred und Tutz (1996), Kap 2.3 und Fahrmeir und Fahrmeir-Künstler-Pigeot-Tutz (2011), Kap 9.3.1) Man unterscheidet allerdings im Rasch-Modell die Vorgehensweisen der Schätzung. Je nachdem, ob man die Parameter gleichzeitig oder nacheinander schätzt, werden unterschiedliche Schätzansätze verwendet. Für die gleichzeitige Schätzung der Personen- und Aufgabenparameter verwendet man die Gemeinsame ML-Methode. Und wenn man die Parameter nacheinander schätzt, benutzt man die Bedingte oder Marginale ML-Schätzung. Der erste Schritt der ML-Schätzung ist die Bildung der Maximum-Likelihood- Funktion. Dafür braucht man die allgemeine Form des Rasch-Modells 10

16 P (U i,j = u i,j θ i, β j ) = eu i,j(θ i β j ) 1 + e θ i β j (2.4) Man bildet ein Produkt über alle Aufgabenparameter und erhält Likelihood für eine Person i und alle Aufgaben 3 m L ui (θ i, β) = er iθ i j=1 u i,jβ j mj=1 (1 + e θ i β j) (2.5) Diese Likelihood-Funktion ist die Grundlegende Funktion für alle Schätzansätze. (Vgl. Strobl (2010), S ) Gemeinsame ML-Schätzung Bei dieser Vorgehensweise bildet man gemeinsame Likelihood 4 L u (θ, β) = e n i=1 r m iθ i j=1 s jβ j ni=1 mj=1 (1 + e θ i β j) (2.6) und daraus schätzt man die Personen- und Aufgabenparameter gleichzeitig. Diese Vorgehensweise ist allerdings nicht die beste, weil es hier das große Problem auftritt. Man ist immer früher daraus ausgegangen, dass mit dem wachsenden Stichprobenumfang die Varianz kleiner und die Schätzungen genauer werden. In unserem Fall mit der wachsenden Stichprobengröße steigt die Anzahl zu schätzenden Parameter. D.h. mit jeder zusätzlich in die Stichprobe aufgenommenen Person, muss man um einen Personenparameter mehr schätzen. Man bekommt nie die konstante Parameteranzahl mit dem wachsenden Stichprobenumfang. Die Schätzer sind in diesem Fall nicht konsistent. (Vgl. Strobl (2010), S und zur Konsistenz der Schätzer Fahrmeir und Fahrmeir-Künstler-Pigeot-Tutz (2011), Kap ) Bedingte ML-Schätzung Bei dieser Methode werden zuerst die Aufgabenparameter geschätzt. Dafür wird die Logarithmus der Likelihood gebildet, zunächst diese Funktion abgeleitet und gleich Null gesetzt. Als nächstes die geschätzte Aufgabenschwierigkeiten als deterministisch gegeben in die jeweilige Likelihood-Funktion einge- 3 Herleitung siehe Anhang A Parameterschätzung, Abschnitt A.1 (Vgl. Strobl (2010)) 4 Herleitung siehe Anhang A Parameterschätzung, Abschnitt A.2 (Vgl. Strobl (2010)) 11

17 setzt und daraus schon die Personenparameter geschätzt. Diese ML-Methode ist unproblematisch, weil die bedingte Likelihood 5 m j=1 s jβ j h(u r, β) = e ni=1 γ ri (β) (2.7) schon nicht von der Personenparameter abhängig ist. (Vgl. Strobl (2010), S ) Marginale ML-Schätzung Bei der Marginalen ML-Schätzung ebenso wie bei der Bedingten ML-Methode werden die Personenparameter nach den Aufgabenparametern geschätzt. Der Unterschied besteht daran, dass die Personenparameter aus der Funktion ausintegriert werden. Man multipliziert erst die gemeinsame Likelihood (Formel 2.6) mit der Randdichte der Personenparameter f(θ) und als nächstes integriert diese über θ. Als Ergebnis bekommt man die Marginale Likelihood 6 L u (β) = P (u, θ β) θ (2.8) Bei dieser Vorgehensweise kann auch ein Problem auftreten. Man braucht die Annahme über marginale Randverteilung. Wenn diese Vermutung für Randdichte f(θ) falsch ist, bekommt man eine verzerrte Schätzung. (Vgl. Strobl (2010), S ) 5 Herleitung siehe Anhang A Parameterschätzung, Abschnitt A.3 (Vgl. Strobl (2010)) 6 Herleitung siehe Anhang A Parameterschätzung, Abschnitt A.4 (Vgl. Strobl (2010)) 12

18 Kapitel 3 Verallgemeinerungen des Rasch-Modells Neben dem Modell, dass wir hier als Grundmodell kennengelernt haben, gibt es viele Erweiterungen mit unterschiedlichen Zielsetzungen. Diese verallgemeinerte Modelle werden um die zusätzlichen Komponente erweitert und deswegen werden die unterschiedliche Annahmen und Forderungen des Grundmodells in einzigen Fällen verletzt. 3.1 Das linear-logistische Testmodell Das linear-logistische Testmodell (LLTM) von Fischer (1973) gibt ausführlich den Einfluss von Teilkompetenzen auf die Lösungswahrscheinlichkeit an. Die Aufgaben-Parameter sind als Linearkombination der Parameter für die Teilkompetenzen dargestellt β j = l ω j,l η l (3.1) Wobei ω j,l {0, 1, 2...} bezeichnet Gewicht für die Teilkompetenz, die in der Aufgabe enthalten ist (0 = nein, 1 = einmal, 2 = zweimal,...), und η l steht für die Schwierigkeitsgrad der Teilkompetenz. Die Gewichte werden bei der Konstruktion der Aufgaben festgelegt. Jede Teilkompetenz, die zur Lösung der Aufgabe benötigt wird, erhöht die Schwierigkeit der Aufgabe um ein bestimmten Beitrag η l, sodass sich die Gesamtschwierigkeit der Aufgabe als die Summe der einzelnen gewichteten Beiträgen ergibt. Diese Vorgehensweise ermöglicht die Schätzung von Schwierigkeitsgrad der einzelnen Teilkomponenten. (Vgl. Strobl (2010), S , Kubinger, Rasch und Yanagida (2011), S. 564 und Moosbrugger, Kelava und Moosbrugger-Kelava (2012), S ) 13

19 Die Tabellen 3.1 und 3.2 stellen die Allgemeine Form der Gewichtung und der Teilkompetenzparameter dar. Im Gegensatz zur Datendarstellung (Vgl. Tabelle 2.2) stehen die Aufgaben in beiden Tabellen in den Zeilen. Die Teilkompetenzen sind hier jeweils in die Spalten eingetragen. Teilkompetenzen Aufgabe l... L 1 ω 1,1 ω 1,2 ω 1,3... ω 1,j... ω 1,L 2 ω 2,1 ω 2,2.. 3 ω 3, j ω j,1... ω j,l.... m ω m, ω m,l Tabelle 3.1: LLTM. Gewichtung-Darstellung Allgemeine Form Teilkompetenzen Aufgabe l... L 1 η 1,1 η 1,2 η 1,3... η 1,j... η 1,L 2 η 2,1 η 2,2.. 3 η 3, j η j,1... η j,l.... m η m, η m,l Tabelle 3.2: LLTM. Teilkompetenzparameter-Darstellung Allgemeine Form Z.B. in einem Test für Mathematik-Kompetenz, der aus 3 Aufgaben besteht, kann jede Aufgabe 3 Teilkompetenzen zu Kommutativ- Assoziativ- und Distributivgesetz enthalten. In den Tabellen 3.3 und 3.4 sind die Gewichte und die Schwierigkeitsparameter für jede Teilkompetenz eingetragen. Das Beispiel 3.1 demonstriert, wie sich die Gesamtschwierigkeiten der 3 Aufgaben aus einzelnen Teilkompetenzparameter gegeben Gewichtung berechnen lässt. Beispiel 3.1 (LLTM. β j für 3 Aufgaben und 3 Teilkompetenzen) Die Schwierigkeitsparameter β j ergeben sich aus Tabellen 3.3 und 3.4 folgender weise: β 1 = 0 η 1,1 + 1 η 1,2 + 2 η 1,3 = η 1,2 + 2η 1,3 14

20 Teilkompetenzen Aufgabe Kommutativ- Assoziativ- Distributiv Gesetz Gesetz Gesetz Tabelle 3.3: LLTM. Gewichtung-Darstellung Bsp. für 3 Aufgaben und 3 Teilkompetenzen Teilkompetenzen Aufgabe Kommutativ- Assoziativ- Distributiv Gesetz Gesetz Gesetz 1 η 1,1 η 1,2 η 1,3 2 η 2,1 η 2,2 η 2,3 3 η 3,1 η 3,2 η 3,3 Tabelle 3.4: LLTM. Teilkompetenzparameter-Darstellung Bsp. für 3 Aufgaben und 3 Teilkompetenzen β 2 = 3 η 2,1 + 1 η 2,2 + 0 η 2,3 = 3η 2,1 + η 2,2 β 3 = 0 η 3,1 + 0 η 3,2 + 1 η 3,3 = η 3,3 3.2 Birnbaum-Modelle Das zwei-parametrige Birnbaum-Modell (2PLM) In das zwei-parametrige Birnbaum-Modell von Kubinger und Draxler (2006) P (U i,j = 1 θ i, β j, δ j ) = eδ j(θ i β j ) 1 + e δ j(θ i β j ) (3.2) wird der zusätzliche Parameter für die Steigung δ j aufgenommen. δ j ist ein Diskriminationsparameter, der die richtige Antworten bei der Bestimmung des Testwerts unterschiedlich gewichtet (Kubinger, Rasch und Yanagida (2011), S. 563). Bisher war dieser Parameter gleich 1 und jetzt δ j 1, sodass die alle Aufga- 15

21 ben nicht mehr die gleiche Steigung aufweisen können (Abb ). Es wird die Forderung von Spezifischen Objektivität (siehe Kap. 2.4) aufgegeben. Die Diskriminationsparameter geben an, wie stark sich die Lösungswahrscheinlichkeiten in Abhängigkeit von der Personenfähigkeit verändern (Moosbrugger, Kelava und Moosbrugger-Kelava (2012), S. 251). Aufgabencharakteristische Kurven (ICCs) P(U ij = 1 θ i, β j, δ j ) β j = 1 δ j = 5 β j = 1 δ j = θ i Abbildung 3.1: Zwei ICCs im zwei-parametrigen Birnbaum-Modell (2PLM) Welches Modell besser passt, hängt von der Zielsetzung ab. Will man den neuen Test konstruieren, muss man die ungeeignete Aufgaben solange aussortieren, bis der Test alle Forderungen des Rasch-Modells erfüllt und somit alle Schätzungen objektiv sind. Wenn man hingegen die Daten aus schon bestehenden Test möglichst gut beschreiben möchte, kann dafür 2PLM oder andere Modelle besser geeignet werden. Allerdings in 2PLM Fall sind die Aufgaben- und Personenparameter nicht mehr trennbar, was zu nicht mehr suffizienten Randsummen führt, sodass es hier keine bedingte sondern marginale ML-Schätzung möglich ist. Um nachzuweisen, ob die zusätzliche Parameter für die unterschiedlicher Trennschärfe nötig sind, kann man die Modelle mithilfe z.b. eines LQ-Tests vergleichen. (Vgl. Strobl (2010), S ) 1 Die Abbildung wurde ähnlich der Abb. 5.1 (Strobl (2010), S. 52) ausgefertigt. 16

22 Das Birnbaum-Modell mit zusätzlichem Rateparameter (3PLM) Ausgangspunkt für das Birnbaum-Modell mit zusätzlichem Rateparameter ist 2PLM. Hierbei wird noch ein zusätzlicher Parameter γ j ins Modellgleichung aufgenommen P (U i,j = 1 θ i, β j, δ j, γ j ) = γ j + (1 γ j ) e δ j(θ i β j ) 1 + e δ j(θ i β j ) (3.3) Bisher war dieser Parameter gleich 0, im 3PLM ist γ j 0. Der Rateparameter γ j regelt, ob es bestimmte untere Schranke > 0 für die Lösungswahrscheinlichkeit gibt. Aufgabencharakteristische Kurven (ICCs) P(u ij = 1 θ i, β j, δ j, γ j ) β j = 1 δ j = 5 γ j = 0.2 β j = 1 δ j = 1 γ j = θ i Abbildung 3.2: Zwei ICCs im Birnbaum-Modell mit zusätzlichem Rateparameter (3PLM) Anders ausgedrückt, ob die Person mit unendlich niedriger Fähigkeit die Aufgabe mit einer gewisser positiver Wahrscheinlichkeit lösen kann. Ein gutes Beispiel dafür ist Multiple-Choice-Test, bei dem Richtige Antwortkombination durch zufälliges Ankreuzen geraten werden kann. Die Abb veranschaulicht den Verlauf von Aufgabencharakteristischen 2 Die Abbildung wurde ähnlich der Abb. 5.2 (Strobl (2010), S. 53) ausgefertigt. 17

23 Kurven mit gegebenem Parameter γ j = 0.2. Praktisch ist es interessanter den Rateparameter nicht vorzugeben, sondern zu schätzen. (Vgl. Strobl (2010), S ) Setzt man γ j = 0, bekommt man 2PLM. Wenn man dazu noch δ j = 1 setzt, bekommt man das Rasch-Modell (so genanntes 1PLM). (Vgl. (Kubinger, Rasch und Yanagida, 2011), S. 563) 3.3 Das Partial-Credit-Modell Bisher haben wir binäre Zufallsvariable u i,j {0, 1} betrachtet (Vgl. Kap. 2.1). Das Partial-Credit-Modell von Masters (1982) P (U i,j = c θ i, β j ) = e c θ i β j,c Cj k=0 ek θ i β j,k (3.4) mit β j,c = c l=1 τ j,l und β j,0 = 0 stellt uns den Fall mit mehrstufigen Antwortkategorien dar. Jetzt steht u i,j {0,...,C j } für die Zufallsvariable, ob die i-te Person die j-te Aufgabe ganz oder teilweise gelöst hat (0 = nein, 1 = 1.Teilschritt, 2 = 1. und 2. Teilschritte,... ). Die Gleichung des Partial-Credit-Modells (Formel 3.4) gibt die Wahrscheinlichkeit dafür an, dass die i-te Person in der j-ten Aufgabe mit der Kategorie c Antwortet. Genauer gesagt, dass die i-te Person den bestimmten Anteil der j-ten Aufgabe löst. Der Zähler e c θ i β j,c, der den Ausdruck für bestimmte Kategorie c darstellt, steht im Verhältnis zu der Summe über alle Antwortkategorien C j k=0 ek θ i β j,k, was im Nenner der Gleichung steht. Man erkennt, dass in dieser Formel für jede Antwortkategorie einen eigenen Aufgabenparameter β j,c = c l=1 τ j,l gibt, der als Summe von der überschrittenen Schwellenwerte dargestellt ist. D.h. die Modellgleichung sieht für jede Antwortkategorie anders aus. Beispiel 3.2 (Das Partial-Credit-Modell für 4 Kategorien) Eine Aufgabe bestehe aus 3 Teilschritten. Die Person bekommt 0 Punkte für nicht gelöste Aufgabe. 1 Punkt für einen richtig gelösten Teilschritt, 2 Punkte für zwei fehlerfrei gelösten Teilschritten und 3 Punkte für komplett gelöste Aufgabe. Die Abb veranschaulicht ICCs für 4 mögliche Antwortkategorien aus dem Beispiel 3.2. Die blaue Kurve stellt uns die Wahrscheinlichkeit dar, dass die i-te Person diese Aufgabe nicht löst und 0 Punkte erzielt. Die Wahrscheinlichkeit wird hoch für die wenig begabten Personen und umgekehrt 3 Die Abbildung wurde ähnlich der Abb. 5.3 (Strobl (2010), S. 56) ausgefertigt. 18

24 niedrig für die mehr begabten Personen. Die rosa und die grüne Kurven bezeichnen die Wahrscheinlichkeiten dafür, dass die i-te Person nur teilweise diese Aufgabe löst und 1 bzw. 2 Punkte bekommt. Die Wahrscheinlichkeit wird niedrig für Personen mit hohen und niedrigen Fähigkeiten und hingegen hoch für die Personen mit mittleren Fähigkeiten. Die schwarze Kurve bildet die Wahrscheinlichkeit dafür ab, dass die i-te Person diese Aufgabe komplett löst und 3 Punkte erreicht. Aus der Abb. 3.3 lässt sich ablesen, dass z.b. die Person mit der Fähigkeit θ i = 5 mit höchster Wahrscheinlichkeit in die dritte Kategorie landet und somit 2 Punkte erzielt, während die Wahrscheinlichkeiten für zweite und vierte Kategorien deutlich kleiner sind und für die erste Kategorie fast bei Null liegt. Die grauen gestrichelte Linien sind die Schwellenwerte, die Schnittpunkte zwischen den Kurven Markieren. Alle Personen mit der Fähigkeiten, die zwischen den 2 Schwellenwerten liegen (τ j,l < θ i < τ j,l+1 ), haben die größte Wahrscheinlichkeit für diese Kategorie. Die Anzahl der erreichten Punkten entspricht der Zahl der überschrittenen Schwellenwerten. Es ist deutlich, welches Fähigkeitsniveau muss man haben um bestimmte Anzahl der Punkte zu erzielen. Je höher Personenfähigkeit, desto mehr Schwellenwerte werden überschritten und desto höhere Kategorie wird erreicht. (Vgl. Strobl (2010),S und Moosbrugger, Kelava und Moosbrugger-Kelava (2012), S ) Aufgabencharakteristische Kurven (ICCs) P(U ij = c θ i, β jc ) τ j1 τ j2 τ j3 0 Punkte 1 Punkt 2 Punkte 3 Punkte θ i Abbildung 3.3: ICCs für 4 Antwortkategorien im Partial-Credit-Modell 19

25 3.4 Weitere Verallgemeinerungen Es gibt mehrere verallgemeinerten Modellen, die auf Rasch-Modell oder anderen Verallgemeinerungen aufgebaut wurden. So z.b. das Raiting-Scale-Modell von Andrich (1978) ist ein Spezialfall des Partial-Credit-Modells, in dem alle Aufgaben die gleiche Anzahl von Antwortkategorien haben (Vgl. Strobl (2010), S. 57). Das dichtome Rasch-Modell mit Rateparametern stellt ein Spezialfall des 3PLMs mit dem Steigungsparameter δ j = 1 und der unteren Schranke γ j 0 dar (Vgl. (Moosbrugger, Kelava und Moosbrugger-Kelava, 2012), S. 252). Das Mischverteilungs-Rasch-Modell von Rost (1990) enthält unbekannte Anzahl von latenten Personengruppen mit unterschiedlichen Aufgabeparametern. Man modelliert unterschiedliche Anzahl von Gruppen und sucht nach beste Modellanpassung mithilfe AIC oder BIC (Zu AIC- und BIC-Prinzip Fahrmeir, Kneib und Lang (2009), S ). Es gibt noch die Mehrdimensionale Rasch-Modelle. Hierbei wird nicht nur eine Dimension, sondern mehrere Dimensionen betrachtet. In einem Test zu Mathematikkompetenz können sowohl die mathematisch-logischen als auch verbale Aufgaben (Deutsch-Kenntnisse nötig) enthalten werden. Es ist angemessener beide Bereiche als getrennte Dimensionen mit der entsprechender Gewichtung zu betrachten. (Vgl. (Strobl, 2010), S ) Auf diese Weise z.b. in PISA 2012 wurden drei latente Personeneigenschaften (in Mathematik-, Lese- und Naturwissenschaft-Kompetenzbereich) untersucht und analysiert. Es wurde die Mehrdimensionale Rasch-Skalierung verwendet, in dem man die gesamte Aufgabenmenge gemeinsam analysiert und durch die mehrdimensionale Rasch-Modellgleichung erweitert wurde. (Vgl. Prenzel, Sälzer, Klieme und Köller (2013), S ) 20

26 Kapitel 4 Simulation des Rasch-Modells Um das Rasch-Modell sowie die verallgemeinerte Modelle untersuchen zu können und auf dem praktischen Beispiel die Geltung (bzw. nicht) des Rasch- Modells zeigen zu können, braucht man die Daten des tatsächlich durchgeführten Tests oder simulierte Daten. Mithilfe des Programms R (R Core Team (2014)) unter der Verwendung des Paketes erm (Mair und Hatzinger (2007)) kann man die nötigen Daten für Rasch-Modell simulieren. Funktion für Simulation des Rasch-Modells Funktion Rasch.Simulation erzeugt Rasch-Modell-Datensätze mit den Spaltenund Zeilennamen. Die eigentliche Simulation der Daten wird mit Hilfe der Funktion sim.rasch (R-Pakete erm) durchgeführt, die eine dichotome Rasch- Modell-Datenmatrix für die gewünschte Stichprobengröße (Argument persons) und die gewünschte Anzahl der Aufgaben (Argument items) modelliert. Es wird die zufällige Wahrscheinlichkeitsmatrix in die resultierende 0/1-Matrix transformiert (Argument cutpoint). Auch kann man hier die Anfangsbedingung für die Zufallszahlenerzeugung (Argument seed) angeben, was dafür sorgt, dass die Werte genau dieser Simulation vorkommen. Für weitere Modellgeltungstests wurde der Datensatz mit 200 Personen (Zeilennamen: Pers.1,...,Pers.200), 15 Aufgaben (Spaltennamen: Aufg.1,..., Aufg.15) simuliert. Dabei wurde Argument cutpoint = randomized gewählt. Eine randomisierte Zuweisung bedeutet, dass für jede Zelle eine zusätzliche Zufallszahl gezogen wird. Wenn die Modellwahrscheinlichkeit größer als dieser Wert ist, die Person erhält 1 an diesem Punkt, wenn kleiner, wird der Person einen 0 zugeordnet. Für die Simulation wurde Anfangsbedingung seed = 49 ausgewählt. 21

27 Simulation und Faktorisierung der Variablen Geschlecht und Schultyp Desweiteren für 200 Personen wurden 2 Variablen Geschlecht mit 2 Kategorien (männlich, weiblich) und Schultyp mit 4 Kategorien (Gymnasium, Realschule, Hauptschule, Integrierte Gesamtschule) erzeugt. Mithilfe der Funktion sample wurden erst die zufällige numerische Variablen simuliert und mithilfe der Funktion factor wurden diese numerische Variablen in Nominal-skalierte umgewandelt. Dabei wurde Anfangsbedingung seed = 49 ausgewählt, weil in diesem Fall wurden auch DIF-Aufgaben mit im Datensatz drin, die wir für weitere Analysen benötigten. 22

28 Kapitel 5 Modellgeltungstests Es gibt unterschiedliche statistische Tests, mit deren Hilfe prüft man, ob das Rasch-Modell gilt. Man kontrolliert, ob es systematische Unterschiede in der geschätzten Aufgaben-Parameter zw. den Gruppen vorliegen. Bei der Geltung des Rasch-Modells gibt es keine systematische Unterschiede und wenn die Forderung von Spezifischen Objektivität (siehe Kap. 2.4) des Rasch- Modells verletzt wurde, wird eine Aufgabe für unterschiedlichen Personengruppen unterschiedlich schwer, d.h. liegt DIF (Differential Item Functioning) vor. (Vgl. Strobl (2010), S. 39) 5.1 Der Graphische Modelltest Der Graphische Modelltest basiert auf dem Vergleich geschätzten Aufgaben- Parameter in 2 Gruppen. Bei der Geltung des Rasch-Modells stimmen die Werte in beiden Gruppen bis auf lineare Transformationen überein. Man trägt die geschätzte Werte in beiden Gruppen in ein Koordinatensystem ein. Idealerweise bei der Übereinstimmung sollen die Werte auf der Winkelhalbierenden liegen. Praktisch weichen diese von der Diagonale ab. (Vgl. Kubinger, Rasch und Yanagida (2011), S. 556 und Strobl (2010), S ) Anhand der Simulierten Daten mit 200 Personen und 15 Aufgaben wurde es zum einen hohe Leistung gegen niedrige getestet und zum anderen Männer gegen Frauen. Für die Schätzungen und Vergleiche in R wurden die Funktionen RM und LRtest aus dem Paket erm (Mair und Hatzinger (2007)) verwendet. Zugrunde liegender Test für die grafische Darstellung ist der LQ- Test (Siehe Kap. 5.2). Mithilfe der Funktion plotgof aus dem Paket Hmisc (Frank und Harrell (2015)) wurden die Grafiken erzeugt. In der Abb. 5.1 sind links die geschätzte Werte für die Leistung und rechts für Geschlecht abgetragen. Um daraus zu schließen, ob die Abweichungen systematisch oder 23

29 Leistung hoch vs. niedrig Männer vs. Frauen Randsumme > = Mittelwert Frauen Randsumme < Mittelwert Männer Abbildung 5.1: Der Grafische Modelltest zufällig sind, trägt man die Konfidenzregionen (zweidimensionale Konfidenzintervalle) meistens zum Signifikanzniveau α = 0.05 ab. Schneiden sich die Konfidenzregionen mit der Winkel-halbierenden nicht, liegt es DIF vor. (Vgl. (Strobl, 2010), S ) Leistung hoch vs. niedrig Männer vs. Frauen Randsumme > = Mittelwert Frauen Randsumme < Mittelwert Männer Abbildung 5.2: Der Grafische Modelltest mit Konfidenzregionen In der Abb. 5.2 links weisen DIF die Aufgaben 7 und eventuell 13 vor, rechts die Aufgaben 1, 4, und eventuell 2 und 3. Es lässt sich auch ablesen, dass z.b. Aufgabe 1 (Abb. 5.2 rechts) oberhalb der Gerade liegt. Diese Aufgabe ist für die Männer leichter zu lösen als für die Frauen. Die unterhalb der 24

30 Winkel-halbierenden liegende Aufgabe 3 ist hingegen für die Frauen leichter zu lösen als für die Männer. 5.2 Likelihood-Quotienten-Test Die Idee von dem Likelihood-Quotienten-Test (LQ-Test) von Andersen (1972) ist genauso wie bei dem Grafischen Modelltest mit dem einzigen Unterschied, dass man beliebig viele Gruppen K wählen kann. Der Likelihood-Quotient LQ = L u (r, ˆβ) Kk=1 L uk (r k, ˆβ k ) (5.1) vergleicht die gemeinsame Schätzung der Parameter (gemeinsame Likelihood im Zähler des Bruches) mit den Schätzungen getrennt nach Gruppen (Produkt der einzelnen Likelihood-Funktionen für jeder Gruppe im Nenner des Bruches). Bei der Geltung des Rasch-Modells passen die gemeinsam geschätzte Parameter zu den Daten genauso gut wie die geschätzte Parameter für K- Gruppen getrennt. Somit lassen sich die Hypothesen H 0 : LQ = 1 vs. H 1 : LQ 1 (5.2) für LQ-Test leicht formulieren. Die Nullhypothese ist dabei, dass in jeder Teilgruppe dieselben Schwierigkeitsparameter gelten. In diesem Fall werden der Zähler und der Nenner gleich groß und somit LQ = 1. Wenn es in jeder Teilgruppe unterschiedliche Schwierigkeitsparameter gelten, werden die Bruchteilen nicht gleich und folglich LQ 1 ist die Gegenhypothese. Allerdings wird der Likelihood-Quotient nicht direkt zum Testen verwendet, sondern die aus dem LQ berechnete Teststatistik T = 2 ln(lq) χ 2 (K 1) (m 1) (5.3) Die Nullhypothese wird abgelehnt, wenn Teststatistik größer, als z 1 α -Quantil der χ 2 -Verteilung. (Vgl. Strobl (2010), S ) In R erfolgt der LQ-Test mithilfe der Funktion LRtest aus dem Paket erm (Mair und Hatzinger (2007)). Es wurde noch Mal die Leistung (hohe gegen niedrige) sowie Geschlecht (Männer gegen Frauen) getestet. Außerdem wurden die Personen nach Schultyp (Gymnasium, Realschule, Hauptschule und Integrierte Gesamtschule) aufgeteilt und LQ-Test für 4 Gruppen durchgeführt. 25

31 Leistung Andersen LR-test: LR-value: Chi-square df: 14 p-value: Geschlecht Andersen LR-test: LR-value: Chi-square df: 14 p-value: 0 Schultyp Andersen LR-test: LR-value: Chi-square df: 42 p-value: Tabelle 5.1: Likelihood-Quotienten-Test In der Tabelle 5.1 sind die Ergebnisse der 3 Tests zum Signifikanzniveau α = 0.05 dargestellt. Es wurden signifikante Unterschiede in den Gruppen für Leistung und Geschlecht (p-value: bzw. 0 kleiner als 0.05) erkannt. D.h. unsere Nullhypothese kann verworfen werden. Die Aufgaben weisen DIF auf. Hingegen hat der LQ-Test keine signifikante Unterschiede (p-value: > 0.05) für die Aufteilung nach Schultyp erkannt. Die Nullhypothese, dass das Rasch-Modell gilt, kann nicht abgelehnt werden. 5.3 Wald-Test Der Wald-Test mit den Hypothesen H 0 : ˆβ j,k = ˆβ j,l vs. H 1 : ˆβ j,k ˆβ j,l für k l (5.4) erlaubt direkte Vergleiche der Schätzungen in 2 Gruppen. Die Nullhypothese ist wiederum die Übereinstimmung der geschätzten Parameter in beiden Gruppen. Die H 0 ist abzulehnen, falls die Teststatistik im Test für eine Aufgabe T = sign( ˆβ j,1 ˆβ j,2 ) W j N(0, 1) (5.5) mit W j = ( ˆβ j,1 ˆβ j,2 ) 2 ˆσ 2 j,1 + ˆσ 2 j,2 bzw. Teststatistik im Test für alle Aufgaben gleichzeitig T = ( ˆβ 1 ˆβ 2 ) ( ˆΣ 1 ˆΣ 2 ) 1 ( ˆβ 1 ˆβ 2 ) χ 2 (m 1) (5.6) größer als z 1 α -Quantil der Normal- bzw. χ 2 -Verteilung ist. (Vgl. Strobl (2010), S ) Praktisch in R wird der Test mithilfe der Funktion Waldtest R-Paket erm (Mair und Hatzinger (2007)) durchgeführt. Der Wald-Test wurde wiederum 26

32 für die Leistung und für das Geschlecht durchgeführt. Der Test liefert gleiche Ergebnisse (Tabelle 5.2) wie der Grafische- und der LQ-Test. Die Aufgaben 7 und 13 für die Leistung und die Aufgaben 1, 2, 3 und 4 für Geschlecht weisen DIF auf. Diese müssen aus dem Test ausgeschlossen bzw. ersetzt werden. Leistung hoch vs. niedrig Wald test on item level (z-values): z-statistic p-value beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg Männer vs. Frauen Wald test on item level (z-values): z-statistic p-value beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg beta Aufg Tabelle 5.2: Wald-Test 27

33 Kapitel 6 Zusammenfassung Das Rasch-Modell und Verallgemeinerungen spielen grundlegende Rolle in der Item-Response-Theorie. In der Testentwicklung mithilfe des Rasch-Modells kann man die für ein Test nicht geeignete Aufgaben bestimmen. Unter nicht geeigneten Aufgaben versteht man auch diejenige Aufgaben, die DIF aufweisen. Die bekanntesten Tests dafür sind der grafische Modell-Test, LQ- Test, Wald-Test sowie χ 2 - Anpassungstest, der als weitere Fragestellung für DIF-Analysen betrachtet werden kann. Das Grundmodell ist allerdings nicht immer für die Analysen sowie für die Datenbeschreibung gut geeignet. In dem man das Rasch-Modell mit den neuen Annahmen erweitert oder auf schon existierte Forderungen, Eigenschaften und Annahmen verzichtet, ergeben sich die verallgemeinerten Modelle. Diese Verallgemeinerungen sind manchmal besser für die Analysen von durchgeführten Tests. Für weitere Analysen wäre es wichtig weitere Verallgemeinerungen des Rasch-Modells detailliert betrachten zu können sowie anhand Simulationen von verallgemeinerten Modellen weitere Analysen durchzuführen. Von besonderer Interesse stehen die unterschiedliche Methoden, wie z.b. Maentel-Haenszel-Verfahren, mit deren Hilfe DIF-Aufgaben bestimmt werden können. 28

34 Anhang A Parameterschätzung A.1 Herleitung Formel 2.5 Likelihood-Funktion für alle Aufgaben einer Person: L ui (θ i, β) = P (U i,1 = u i,1,...u i,m = u i,m θ i, β 1,..., β m ) = P (U i = u i θ i, β) = m P (U i,j = u i,j θ i, β j ) = j=1 m j=1 e u i,j(θ i β j ) 1 + e θ i β j = e r iθ i m j=1 u i,jβ j mj=1 (1 + e θ i β j) 29

35 A.2 Herleitung Formel 2.6 Likelihood-Funktion für alle Aufgaben und alle Personen: L u (θ, β) = P (u θ, β) = P (U 1 = u 1,...U n = u n θ 1,..., θ n, β) = P (U i = u i θ i, β) = n m P (U i,j = u i,j θ i, β j ) = i=1 j=1 n i=1 e r iθ i m j=1 u i,jβ j mj=1 (1 + e θ i β j) = n e i=1 r m iθ i j=1 s jβ j ni=1 mj=1 (1 + e θ i β j) A.3 Herleitung Formel 2.7 Die Likelihood für eine Person und alle Aufgaben: m L ui (θ i, β) = P (u i θ i, β) = er iθ i j=1 u i,jβ j mj=1 (1 + e θ i β j) Die Likelihood für eine Person und alle Aufgaben wegen Unabhängigkeit kann man als Produkt von 2 Funktionen darstellen: 30

36 L ui (θ i, β) = g(r i θ i, β) h(u i r i, θ i, β) h(u i r i, θ i, β) = L u i (θ i, β) g(r i θ i, β) wobei h(u i r i, θ i, β) - bedingte auf r i Likelihood für i-te Person g(r i θ i, β) - Wahrscheinlichkeit, eine bestimmte r i zu beobachten Wahrscheinlichkeit für die bestimmte Zeilenrandsumme: g(r i θ i, β) = P (u i θ i, β) = j u i.j=r i j u i.j=r i e r iθ i m j=1 u i,jβ j mj=1 (1 + e θ i β j) = e r iθ i mj=1 (1 + e θ i β j) e j u i.j=r i e r iθ i mj=1 (1 + e θ i β j) γ ri (β) m j=1 u i,jβ j = 31

37 Bedingte Likelihood für i-te Person: h(u i r i, θ i, β) = L ui (θ i, β) g(r i θ i, β) = e r iθ i m j=1 u i,jβ j mj=1 (1 + e θ i β j) : e r iθ i γ ri (β) mj=1 (1 + e θ i β j) = e r m iθ i j=1 u i,jβ j mj=1 (1 + e θ i β j ) mj=1 (1 + e θ i β j) e r iθ iγri (β) = e m j=1 u i,jβ j γ ri (β) Bedingte Likelihood für gesamte Daten: h(u r, β) = = h(u i r i, β) n h(u i r i, β) = i=1 n i=1 e m j=1 u i,jβ j γ ri (β) = e n i=1 m j=1 u i,jβ j ni=1 γ ri (β) = e m j=1 s jβ j ni=1 γ ri (β) 32

38 A.4 Herleitung Formel 2.8 Multiplikation der Likelihood mit der Randdichte: L u (θ, β) f(θ) = P (u θ, β) f(θ) = P (u, θ β) Marginale Likelihood für die Aufgabenparameter: L u (β) = P (u, θ β) θ 33