Skript zur Vorlesung Theorien psychometrischer Tests II WS 2009/2010

Transkript

1 Skript zur Vorlesung Theorien psychometrischer Tests II WS 2009/2010 [transkribiert im SS 2010] Dozent: Norman Rose, abgekürzt als NR Ein Skript von Clemens Lechner und Moritz Niehaus Inhaltsverzeichnis: 1. Vorlesung vom : Einführungssitzung... 5 Einordnung... 5 Rückblick... 5 Inhalte der Vorlesung Theorien psychometrischer Tests I... 5 Datenbeispiele... 5 Datenbeispiel I mit metrischen Testwertvariablen Y i... 5 Datenbeispiel II mit dichotomen Testwertvariablen Y i... 6 Datenbeispiel III... 7 Zusammenfassung: Regression und probabilistische Testtheorie Vorlesung vom : Einführung in das Rasch-Modell... 8 Zusammenfassung der letzten Sitzung... 8 Probleme linearer Zusammenhangsmaße... 8 Exkurs: Logistische Regression... 9 Regressionen bei dichotomen Items... 9 Definitionen der logistischen Regression... 9 Zwei Annahmen der Generalisierten Linearen Modelle... 9 Begrifflichkeiten der logistischen Regression...10 Einführung in die Item Response Theorie: Das Rasch-Modell...11 Hintergrund des Rasch-Modells...11 Datenmatrix im Rasch-Modell...12 Modellgleichung des Rasch-Modells...13 Graphische Darstellung des Rasch-Modells...14 Details zur Bedeutung der Modellparameter Vorlesung vom : Vertiefung des Rasch-Modells Zusammenfassung der letzten Sitzung...16 Logistische Regression...16 Rasch-Modell...16 Vertiefung des Rasch-Modells...17 Eindeutigkeit...17 Zulässige Transformationen...18 Bedeutsamkeit...18 Normierung...18 Exkurs: Rechenregeln...18 Schätzbarkeit...19 Testbarkeit...22 Software zur Berechnung der Modellparameter des Rasch-Modells...23 WINMIRA...23 Ausblick auf die nächste Sitzung Vorlesung vom : Anwendungsbeispiel: Rasch-Modell & Maximum-Likelihood- Parameterschätzung

2 Zusammenfassung der letzten Sitzung...24 Kernaussage der letzten Sitzung...24 Zentrale Begriffe...24 Anwendung des Rasch-Modells mit WINMIRA...25 Allgemeine Informationen...25 Datenbeispiel in WINMIRA...25 Erste Schritte in der Software...26 Lesen und Interpretation des Output...26 Prinzip der Maximum-Likelihood-Schätzung in WINMIRA Vorlesung vom : Standardfehler & Reliabilität in der IRT Prinzip der Maximum-Likelihood-Schätzung in WINMIRA [Fortsetzung]...29 Zusammenfassung der letzten Sitzung...30 Standardfehler und Reliabilität in der IRT...30 Reliabilität: KTT vs. IRT...31 Genauigkeit der Parameterschätzung: Rasch-Modell...31 Darstellung in Rabix...33 Itemparameter und deren Standardfehler...33 Itemparameter in verschiedenen Subpopulationen...34 Item- & Personenparameter...35 Reliabilität: KTT vs. IRT Vorlesung vom : Modellgeltungskontrolle (Rasch-Modell) Zusammenfassung der letzten Sitzung...38 Reliabilität in der IRT vs. KTT...38 Iteminformationsfunktion und Testinformationsfunktion...39 Andrich s Reliabilität...39 Modellgeltungskontrolle...40 Ausgangspunkt...40 Testbarkeit des Rasch-Modells...41 Arten der Modellgeltungskontrolle...41 (1) Graphische Modellgeltungskontrolle...41 (2) Likelihoodquotienten-Test Vorlesung vom : Modellgeltungskontrolle und Itemfitmaße im Rasch-Modell46 Zusammenfassung der letzten Sitzung...46 Modellgeltungskontrolle...46 (2) Likelihoodquotienten-Test (Fortsetzung)...46 Likelihood-Ratio-Test...46 Prüfgröße: Pearson χ 2 -Test...47 Bootstrap-Verfahren...48 WINMIRA-Output zu Bootstrap...50 Weitere Tests für Rasch-Modelle...51 Zusammenfassung der Folien zur 6. Sitzung...52 Itemfitmaße...52 Unterscheidung von Itemfitmaßen...53 Q-Index...53 Beispiel zum Q-Index Vorlesung vom : Personenfitmaße und Zusammenfassung - Rasch-Model Zusammenfassung der letzten Sitzung...55 Itemfitmaße...55 Vertiefung zu Itemfitmaßen...56 Details zum Q-Index...56 Personenfitmaße Vorlesung vom : Das 2-parametrische logistische Modell nach Birnbaum Zusammenfassung zum Rasch-Modell...59 Was man zum Rasch-Modell wissen sollte...60 Vom Rasch-Modell zum 2PL-Modell

3 2PL-Modell nach Birnbaum...61 Modellgleichung des 2PL-Modells...61 Itemcharakteristische Funktion...61 Abgrenzung zum Rasch-Modell...61 Modellannahmen...61 Logits...62 Iteminformationsfunktion...62 Maximum Likelihood Schätzung...63 Marginal Maximum Likelihood-Schätzung (MML)...65 Berechnung von 2PL-Modellen in Mplus...66 Modellspezifikation in Mplus...66 Output in Mplus Vorlesung vom : Das 3-parametrische Logistische Modell nach Birnbaum & Linkfunktionen Zusammenfassung der letzten Sitzung...68 Das 2PL-Modell parametrisches Modell nach Birnbaum...69 Einführung...69 Die Modellgleichung des 3PL-Modells...70 Varianzfunktion, Item- und Testinformationsfunktion...73 Linkfunktionen...74 Ausgangspunkt...74 Logistische Funktion als Linkfunktion...74 Weitere Linkfunktionen Vorlesung vom : Strukturgleichungsmodelle für geordnete kategoriale Variablen Zusammenfassung der letzten Sitzung PL-Modell...78 Linkfunktionen...79 Linkfunktionen: Fortsetzung...80 Zur Abbildung aus der letzten Sitzung...80 Verwendung alternativer Linkfunktionen (als den Logit)...80 Linkfunktion und Responsefunktion...82 Zusatz...82 Modellgeltungskontrolle bei 2PL-Modellen...82 Strukturgleichungsmodelle für geordnete kategoriale Variablen...83 Umsetzung in Mplus...87 Anwendung in Mplus Vorlesung vom : IRT-Modelle für polytome Variablen (Partial Credit Model) Zusammenfassung der letzten Sitzung...91 SEM für kategoriale Variablen als Test des 2PL-Modells...91 Strukturgleichungsmodelle für geordnete kategoriale Variablen (Fortsetzung)...91 Varianz-Kovarianzmatrix und Schätzfunktionen...91 Vertiefung zu den Annahmen des SEM-Modells für das 2PL-Modell...91 Umrechnung der Modellparameter...92 Spezifikation eines Strukturgleichungsmodells in Mplus...93 IRT-Modelle für polytome Variablen...94 Agenda...94 Kategorien- vs. Schwellenwahrscheinlichkeiten...94 Das Partial-Credit-Modell (PCM) Vorlesung vom 01. Februar 2010: IRT Modelle für polytome Variablen II (PCM, GPCM & GRM) und die Frage: Was ist "C"? Zusammenfassung der letzten Sitzung...99 Das Problem der Skalierung

4 Kategorienwahrscheinlichkeiten...99 Schwellenwahrscheinlichkeit...99 Kategorienwahrscheinlichkeiten Modellgleichung des Partial Credit Modells Partial-Credit-Modell (Fortsetzung) Ist die Modellgleichung des Partial Credit Modells eine Regression? Modellidentifikation Exkurs: Was ist C? Anwendung des PCM in WINMIRA WINMIRA-Output Unterscheidungen des PCM zum Rasch-Modell Generalized Partial Credit Model (GPCM) Itemdiskriminationen Fazit zum GPCM Graded Response Model (GRM) Formales Modell Operation Characteristic Curves (OCC) Berechnung der Kategorienwahrscheinlichkeit Schwellenwahrscheinlichkeiten Kategorienwahrscheinlichkeiten Artefakt: Problem von PCM und GPCM Vorlesung vom : Zusammenfassung der Vorlesung: Theorien Psychometrischer Tests II Zusammenfassung der letzten Sitzung Das Graded Response Model Umsetzung eines GRM in Mplus Lesen des Outputs Strukturgleichungsmodell zum Modelltest Semesterüberblick Einführung GLM Logistische Regression Rasch-Modell Anwendung des Rasch-Modells [Folie] Maximum Likelihood Schätzung (ML-Schätzung) Standardfehler und Reliablilität in der IRT Modellgeltungskontrolle im Rasch-Modell PL-Modell nach Birnbaum PL-Modell nach Birnbaum Linkfunktionen [Folie] SEM für geordnete kategoriale Variablen [Folie] IRT-Modelle für mehrkategoriale manifeste Variablen [Folie] Abschließender Überblick Allgemeine Anmerkungen zur Prüfung aus verschiedenen Sitzungen Aus 1. Sitzung vom Aus 4. Sitzung vom Aus 5. Sitzung vom Aus 14. Sitzung vom

5 M 1. Vorlesung vom : Einführungssitzung Einordnung Literatur - Es gibt kein wirklich gutes Lehrbuch zum Thema, das v.a. Item-Response-Theorie sein wird. o In den einzelnen Sitzungen werden jeweils detaillierte Literaturangaben gemacht. - 1.) Für den ersten Teil dieser Vorlesung Rasch -Theorie kann man aus dem Buch Messen und Testen von Prof. Steyer die Kapitel 16 und 17, eventuell auch 18, lesen. - 2.) Rost, J. (1996). Lehrbuch Testtheorie, Testkonstruktion: Kapitel , 4 und 5 o Eigentlich gut und verständlich, aber komplett andere Notation als in dieser VL und deshalb problematisch. - 3.) Embretson, S. & Reise, S. (2000). Item Response Theory for Psychologists: Kapitel 4-9 o Englisch, leicht verständlich. - Anmerkung: Auf der Website zur Lehrveranstaltung steht eine ausführliche Literaturliste für jedes Unterthema der Vorlesung ( Literatur zur Vorlesung_WS09_10.pdf ). Rückblick Inhalte der Vorlesung Theorien psychometrischer Tests I Begriffe der klassischen Testtheorie (KTT) - True-Score-Variable o Der True Score ist wie auch viele andere Variablen als Regression definiert: E(Y U) - Messfehler o Die KTT wird teilweise auch als Messfehlertheorie bezeichnet, weil aus der Definition der True-Score-Variable hervorgeht, dass es einen Messfehler gibt. - Modelle der KTT: Ausgehend auf der Zerlegung in True-Score und Messfehler bauen alle Modelle auf o Modell paralleler Tests o Modell essentiell-τ-äquivalenter Tests o Modell τ-kongenerischer Tests - Reliabilität: Verschiedene Reliablitätsmaße für Summenscores (Spearman-Brown-Formel, Cronbach s α) - Begriffe & Modelle der Latent State Trait Theory (LST) o Latent-State-Variable ist definiert als E(Y U,S t ) o Latent-Trait-Variable ist definiert als E(Y U) - Modelle unter Berücksichtigung methodenspezifischer Effekte (Methodenfaktoren) Datenbeispiele Datenbeispiel I mit metrischen Testwertvariablen Y i - [Die Datei mit den findet sich auf der Website und ist von M auch heruntergeladen: Daten_V1.zip ] - τ-kongenerisches Modell: Siehe Abb. rechts - Die Zusammenhänge der manifesten Variablen untereinander sind in diesem Beispiel durch lineare Regressionen beschreibbar, d.h. sie sind korrelativ abhängig. o Dies gilt auch für die regressive Abhängigkeit der manifesten Variablen Y 1 bis Y 7 und der latenten Variable ξ. - Diese korrelative Abhängigkeit ist bedeutsam, weil man dadurch folgende Gleichung aufstellen kann: - Y i = ν I + λ i * ξ + ε o Die Regressionsgleichung ist dann: E(Y i ξ) 5

6 Sprachregelung - Festlegung für alle folgenden Sitzungen: Die Ausprägung 0 nennen wir normalerweise nicht gelöst und 1 gelöst, weil es meist um entsprechende Aufgaben in (Intelligenz-) Tests geht. - Die Fähigkeit ξ könnte in diesem Beispiel die numerische Intelligenz sein. Datenbeispiel II mit dichotomen Testwertvariablen Y i - [Ab Folie 11] - Die Datengrundlage ist eine Korrelationsmatrix, weil wir auch im Beispiel II lineare Zusammenhänge annehmen. Darstellung als Streudiagramm - Ein Streudiagramm für nur zwei dichotome Variablen hat wenig Aussagekraft, weil immer genau 4 Punkte auftauchen. Durch Techniken wie unterschiedlich große Sonnenblumen erlangt die Grafik mehr Aussagekraft (siehe Abb. unten) o In der obenstehenden Abbildung zeigt die Dicke der grauen Linie an, wie stark die Korrelation ist. Korrelation und Lösungswahrscheinlichkeit - Wenn es einen deterministischen Zusammenhang zwischen der manifesten Variable Y i und latenten Variable ξ gibt, ist o der Messfehler 0 o die Korrelation zwischen Y und ξ 1 o die Korrelation von zwei manifesten Variablen Kor(Y 1, Y 2 ) 1 Dies kann man ausrechnen über die Kovarianzen: Cov(α 1 +λ I * ξ + ε, α 2 +λ I * ξ + ε) - Wir nehmen nun einen solchen deterministischen Zusammenhang an, d.h. es gibt keinen Messfehler. Zudem seien die manifesten Variablen Y 1 und Y 2 dichotom. o Die latente Variable ξ sei die Rechenfähigkeit der Personen. Die manifesten Variablen mit ihren Ausprägungen 0 und 1 beschreiben, ob das Item (Y 1 oder Y 2 ) gelöst wurde. Ab einer gewissen Fähigkeit, werden die Items gelöst. Dabei können die Items gleich schwierig sein, d.h. sie werden je nach Fähigkeit beide gelöst oder beide nicht gelöst. Dann korrelieren beide manifeste Variablen zu 1. Sie können aber auch unterschiedlich schwierig sein. Dann ist die Korrelation (Y 1, Y 2 ) kleiner als 1. Je unterschiedlicher der Schwierigkeitsgrad der Items ist, desto mehr weicht sie von 1 ab. Tetrachorische Korrelation - Es gibt nicht nur die Pearson-Korrelation, die wir üblicherweise betrachten. Betrachtet man beispielsweise die Tetrachorische Korrelation sind die Koeffizienten größer. o Die tetrachorische Korrelation ist ein Maß zur Beschreibung der korrelativen Abhängigkeit zwischen zwei künstlich dichotomisierten (ursprünglich normalverteilten metrischen) Variablen. - Sinn dieser Ausführung: Wenn man dichotome Variablen hat, ist es problematisch, den Zusammenhang mit linearen Maßen zu beschreiben. - Zusatz: Wichtig für die Prüfung: Ein Erwartungswert ist eine gewichtete Summe der Werte einer Variablen, gewichtet mit deren Auftretenswahrscheinlichkeit. 6

7 Exkurs - Für dichotome Variablen gilt: E(Y i ξ) = P(Y i =1 ξ) o Damit weiß man, dass der Bereich für die Regression zwischen 0 und 1 liegt, weil Wahrscheinlichkeiten nur entsprechende Werte annehmen können. - Das Ganze noch mal von der Folie: o - Es ergeben sich jedoch bei diesen dichotomen Variablen Bereiche der latenten Variable ξ, die nicht mehr definiert sind. o [Nachträglicher Zusatz von MN: Dies zeigt auch die folgende Folie: Für eine Lösungswahrscheinlichkeit von 1 beträgt ξ=1,67 ; für eine Lösungswahrscheinlichkeit von 0 ξ=-1,26. Das sind aber nicht alle möglichen Werte von ξ, das wie die nächste Abbildung (Folie 22) zeigt, auch größere bzw. kleinere Werte annehmen kann. In diesen Bereichen wäre die Wahrscheinlichkeit dann aber kleiner als 0 oder größer als 1.] - Zur untenstehenden Abbildung (Folie 22): Dabei steht ξ auf der x-achse, die y-achse ist die Wahrscheinlichkeit. o Datenbeispiel III - Sei X ein metrischer Regressor und Y eine dichotome abhängige Variable. Es gilt: E(Y X) = P (Y i =1 a<x b) - Der kontinuierliche Prädiktor X könnte z.b. die mathematische Fähigkeit sein. Je größer diese ist, desto höher ist die Lösungswahrscheinlichkeit für die Aufgabe Y. 7

8 - Diese ansteigende Kurve könnte man durch eine logistische Regression ausdrücken. Für das Datenbeispiel III ergibt sich folgende mit Mplus berechnete Gleichung: o o Rot ist die berechnete logistische Funktion, blau die tatsächlichen Daten. Zusammenfassung: Regression und probabilistische Testtheorie - Bisher haben wir immer lineare Abhängigkeiten betrachtet, d.h. lineare Regressionen. o Auf Modellebene: Klassische Testtheorie - Aber: Bei dichotomen abhängigen Variablen (z.b. gelöst vs. nicht gelöst ) ist die regressive Abhängigkeit zwischen einem Regressor und dem Regressand zumeist nicht linear. - Korrelationskoeffizienten zur Beschreibung linearer regressiver Abhängigkeiten (Kovarianz und Pearson-Korrelation) sind bei dichotomen Variablen von der Randverteilung ( Lösungswahrscheinlichkeit ) abhängig. - Jetzt betrachten wir auch nicht-lineare Abhängigkeiten, weil Modelle, die lineare Abhängigkeiten zu Grunde legen (z.b. Messmodelle der KTT), für unsere Zwecke nicht mehr geeignet sind, weil unsere Items dichotom sind. Hierfür verwenden wir logistische Regressionen. o Auf Modellebene: Item-Response-Theorie - Die folgende Tabelle stellt dies dar: o C 2. Vorlesung vom : Einführung in das Rasch-Modell Zusammenfassung der letzten Sitzung Probleme linearer Zusammenhangsmaße - In der letzten Sitzung wurde herausgearbeitet, dass den Modellen der klassischen Testtheorie allesamt lineare Regressionen zugrunde liegen. Die Parameterschätzung beruht auf Varianz-Kovarianz-Matrizen. 8

9 - Bei dichotomen manifesten Variablen Y i sind die Werte der Regression E(Y i ξ) die bedingten Wahrscheinlichkeiten P(Y i = 1 ξ = ξ(u)). o Der Definitionsbereich der Regression E(Y i ξ) ist folglich auf das Intervall [0,1] beschränkt (Axiome von Kolmogorov). - Die Verwendung linear parametrisierter Regressionen E(Y i ξ) bei dichotomen manifesten Variablen Y i führt aber zu nicht definierten Werten der Regression. o Folglich sind Modelle der klassischen Testtheorie, insofern sie auf linearen Zusammenhangsmaßen beruhen, bei dichotomen manifesten Variablen Y i ungeeignet. Eine kurz besprochene Lösungsmöglichkeit ist die logistische Regression, deren Grundlagen im Folgenden besprochen werden sollen. Exkurs: Logistische Regression Regressionen bei dichotomen Items - Bereits besprochen wurde die Regression bei dichotomen Items: o Bei dichotomen Variablen Y ist die Regression E(Y ξ) gleich der bedingten Kategorienwahrscheinlichkeit für Y = 1 gegeben ξ. o In der einfachen logistischen Regression wird, anders als hier, auf eine manifeste Variable regrediert. Definitionen der logistischen Regression - Die logistische Regression gehört zu den Generalisierten Linearen Modellen (GLM). o Anwendung bei nicht normalverteilten und/oder nicht metrischen abhängigen Variablen o gestattet die Modellierung bestimmter nicht-linearer regressiver Abhängigkeiten Beispiele: Poisson-Regression, Negativ-Binomiale Regression, Logistische Regression, Warum benötigt man generalisierte lineare Modelle? - In den Klammern der obigen Definition steht ein lineares Glied α 0 + α 1 X, das bereits aus einfachen Regressionen bekannt ist. Dieses wird im Zähler allerdings noch mit einer Exponentialfunktion exp versehen, wozu im Nenner noch 1 addiert wird. - Lineare Schätzmodelle haben oft die Annahme, dass der Fehler normalverteilt sei. Bei dichotomen Items ist dies nicht unbedingt der Fall. Stattdessen hat man an jeder Stelle von X eine bedingte Binomialverteilung (dies spiegelt die Lösungswahrscheinlichkeit des Items gegeben die Ausprägung des Regressors wieder). o Würde man hier in einem Schätzmodell eine Normalverteilung annehmen, so würde dies zu Fehlern in der Parameterschätzung führen. Generalisierte Lineare Modelle benötigt man also immer dann, wenn die abhängige Variable gegeben dem Regressor nicht normalverteilt ist, also z.b. bei dichotomen Items. Zwei Annahmen der Generalisierten Linearen Modelle - GLM machen folgende beide Annahmen: o (1) Verteilungsannahme o (2) Strukturannahme (1) Verteilungsannahme - Die bedingte Verteilung des Regressanden Y gegeben des Regressors X lässt sich durch eine bekannte Verteilung beschreiben (Binomialverteilung, Poisson-Verteilung, ). o Beispiel: Je mehr man lernt, desto wahrscheinlicher ist es, dass man eine Prüfung besteht. So resultiert an jeder Stelle des Prädiktors X, der den Lernaufwand wiedergibt, eine unterschiedliche bedingte Verteilung der Werte von Y (0 oder 1, das heißt Bestehen oder Nichtbestehen). 9

10 - Die bedingte Verteilung des Regressanden Y gegeben der Regressor X ist binomialverteilt, mit: (2) Strukturannahme - Die Werte der Regression E(Y X) sind durch eine Responsefunktion h bzw. Linkfunktion g=h -1 mit einer linearen Funktion des Regressors X oder einer Linearkombination der Regressoren X,, X verknüpft. o Die Regression ist also eine Funktion des linearen Glieds, die aber selbst nicht linear sein muss: die Responsefunktion. Dabei hat man die Wahl zwischen verschiedenen Funktionen. Dies wird im Laufe der Vorlesung noch genauer erklärt werden. In der Regel verwendet man für die Linkfunktionen integrierte Funktionen, d.h. kumulierte Verteilungsfunktionen bzw. Dichtefunktionen. In SPSS kann man zwischen Probit- und Logit-Funktionen wählen. Unterschiedliche Funktionen führen zu unterschiedlichen Parameterschätzungen, die aber die gleichen statistischen Eigenschaften haben. o Man kann auch den umgekehrten Weg gehen und nach dem linearen Glied auflösen. Dazu verwendet man die Linkfunktion g. Dabei erhält man den Logit, der linear in X ist. - Die Responsefunktion h ist die logistische Verteilungsfunktion: - Die Linkfunktion g ist der Logit: o Die Linkfunktion, d.h. der Logit, ist also, wie erwähnt, die Umkehrung der Responsefunktion. Der Logit ist linear in X. Setzt man den Logit auf die Y-Achse, so erhält man die vertrauten Bilder mit Regressionsgeraden [sic!]. Begrifflichkeiten der logistischen Regression - Die folgenden Begrifflichkeiten bilden die zentrale Grundlage der gesamten Vorlesung: o Zu 3.) Durch Umkehrung der unter der letzten Überschrift beschriebenen Linkfunktion g durch Exponieren (Gegenteil von Logarithmieren) erhält man eine Odds Ratio, da im Nenner nichts anderes steht als die Gegenwahrscheinlichkeit zum Zähler. Der Logit ist also nichts anderes als das logarithmierte Chancenverhältnis. o Dadurch, dass man die Odds betrachet, begrenzt man den Wertebereich der abhängigen Variable auf ein Intervall von [0, 1]. Wenn man die Funktion logarithmiert, dann hat man einen Wertebereich von 0 bis unendlich, sodass man kein Problem mehr mit kontinuierlichen unabhängigen Variablen bekommt. o Wir betrachten in der Regel bedingte Odds, bedingen aber auf eine latente Variable ξ statt auf eine manifeste. Rückblick: Einfache logistische Regression - In den nachfolgenden Abbildungen sind verschiedene logistische Regressionen graphisch dargestellt. Die allgemeine Modellgleichung lautete: 10

11 o Auf der Y-Achse stehen die Wahrscheinlichkeiten dafür, dass Y den Wert 1 annimmt gegeben X. o Die unterschiedlichen Funktionen kommen durch unterschiedliche Intercepts und Steigungen zusammen [siehe Kasten]. - Auf der rechten Seite sieht man, was passiert, wenn man eine Logit-Linkfunktion und damit eine Transformation des Regressanden auf die Y-Achse legt: man erhält Regressionsgeraden. o Je steiler der logistische Regressionskoeffizient, desto steiler ist die Regressionsgerade des Zusammenhangs zwischen Logit und Regressor. Probleme der Strukturannahme - In der Strukturannahme wird die Linearität des Logit in X angenommen. Diese Annahme kann falsch sein. Für das bekannte lineare Glied aus der Regression gilt nämlich alles, was wir aus der Regressionstheorie kennen: Man kann mehrere Prädiktoren aufnehmen, quadratische Terme, etc. Dies ist bisweilen auch nötig: So muss es nicht immer so ein, dass die Lösungswahrscheinlichkeit für ein Item umso höher ist, je größer die Ausprägung des Prädiktors X ist. Stattdessen kann es etwa kurvilineare Zusammenhänge geben. o Man muss also auch bei logistischen Regressionen immer überprüfen, ob man das richtige Modell gewählt hat. Die nachfolgende Abbildung zeigt einen Fall, in dem sich die Daten nicht mit einer logistischen Regression beschreiben ließen, die eine einfache lineare Regression im linearen Glied annimmt: Einführung in die Item Response Theorie: Das Rasch-Modell - Das Rasch-Modell kann man sich als eine logistische Regression vorstellen, nur dass man den Prädiktor jetzt nicht mehr sieht. Hintergrund des Rasch-Modells - Das Rasch-Modell wurde begründet von dem dänischen Mathematiker und Statistiker Georg Rasch ( ). Dieser interessierte sich für die Messung von Individuen bzgl. relevanter Merkmale. 11

12 - Dass Personenmerkmale (latente Konstrukte) messbare quantitative Größen sind, betrachtete Rasch als prüfbare wissenschaftliche Hypothese - Ziel der Itemanalyse ist es also, Aussagen bzgl. Items unabhängig von den zu untersuchenden Personen zu machen Datenmatrix im Rasch-Modell - Ausgangspunkt der Modelle der Item Response Theorie wie auch des Rasch-Modells ist die Datenmatrix Y. Dies gilt im Grunde auch für die KTT, nur dass in dieser Summenscores statt Einzelitems verwendet werden. Hier hingegen verwendet man wirklich Rohdaten von Einzelitems: o Die Zeilen der Datenmatrix sind die Antwortmuster ( response pattern ). o Die Zeilensummen sind die Summenscores/Testscores der Personen. o Die Spaltensummen sind die absoluten Häufigkeiten der Kategorie 1 für die Items Y i. Dieser Kennwert sagt etwas über die Items aus: Fällt die Summe gering aus, so handelt es sich offensichtlich um ein schweres Item, da es von wenigen Personen gelöst wird. Details zur Datenmatrix - Die Zeile einer Datenmatrix enthält die Information für die Beobachtungen/Personen u 1 u N (deren zu messende Eigenschaft/Zustand). o Auf den Summenscore wird später genauer eingegangen werden. - Die Spalten einer Datenmatrix enthalten Informationen bzgl. der Items Y 1 Y M : (Sub-) Population und unbedingter Erwartungswert als Itemschwierigkeit / Itemleichtigkeit - Den Itemscore als Maß für die Itemschwierigkeit zu verwenden, birgt allerdings einige Nachteile. Insbesondere sind der I- temscore E(Y i ) = E [E (Y i ξ )] sowie in der KTT alle anderen Kennwerte wie die Reliabilität populationsabhängig. Analog sind die Fähigkeiten von Personen abhängig von der Normierungsstichprobe, d.h. wie gut jemand ist, hängt davon ab, mit wem man ihn vergleicht. o Dies stellt laut Rasch ein großes Problem der KTT dar. - Die nachfolgende Abbildung zeigt zwei Subpopulationen, die ganz unterschiedliche Lösungswahrscheinlichkeiten für die beiden Items haben, weil sie unterschiedlich fähig sind. 12

13 - Die nachfolgende Abbildung zeigt ein simuliertes Datenbeispiel mit zwei Subpopulationen. o Der Erwartungswert von ξ ist in der Population rot = 0, für Population blau = 2. Die Varianz ist in beiden Populationen = 1. Stichprobe N=5000 für jede Population. o Gezeigt sind die Itemmittelwerte für die rote und blaue Population sowie die Differenz zwischen beiden Mittelwerten. o Wie sich zeigt, sind die Populationen unterschiedlich gut. Man sieht vor allem: Unbedingte Erwartungswerte und ihre Differenzen sind populationsabhängig! Modellgleichung des Rasch-Modells - Die Modellgleichung für die beiden Items aus dem Datenbeispiel von der letzten Folie lauten: - Die Daten folgen dem Rasch-Modell, dessen allgemeine Modellgleichung lautet: o Diese Definition ähnelt der oben besprochenen logistischen Regression. Der Regressionskoeffizient hat immer den Wert 1 dies ist eine Restriktion des Modells, die stimmen kann oder nicht. Grundannahmen des Rasch-Modells - Das Rasch-Modell macht zwei Grundannahmen: o (1) Rasch-Homogenität o (2) Lokale stochastische Unabhängigkeit 13

14 o Zur Rasch-Homogenität: Nur die Differenz beschreibt, wie wahrscheinlich es ist, das Item zu lösen. Dies gilt für alle Items eines Tests. o Zur lokalen stochastischen Unabhängigkeit: Die Person löst ein Item nicht aufgrund dessen, was sie auf anderen Items erreicht hat. Nur die Fähigkeit ist entscheidend. Diese Modellannahme ist zum Beispiel verletzt, wenn Reihenfolge- oder Lerneffekte auftreten. Lokal heißt diese Art der stochastischen Unabhängigkeit der manifesten Variablen Y i, weil sie für jede Stelle (lat. locus ) von U, d.h. jeden Wert U=u, gilt. Vergleich des Rasch-Modells mit der logistischen Regression - In der nachfolgenden Abbildung werden die Modellgleichungen des Rasch-Modells und die der logistischen Regression gegenübergestellt: o Dass im Rasch-Modell der Itemdiskriminationskoeffizient α i auf 1 fixiert ist, bedeutet, dass angenommen wird, dass alle Items gleich diskriminieren. Graphische Darstellung des Rasch-Modells - Die nachfolgende Abbildung zeigt itemcharakteristische Kurven (ICC). Diese sind die Funktionen der Lösungswahrscheinlichkeiten von Items. o Je weiter links die Kurve verläuft, desto leichter das Item und desto höher die Lösungswahrscheinlichkeit für ein gegebenes ξ. - Daraus erhellt, warum das Rasch-Modell (a) subtraktiv parametrisiert wird und warum (b) das β die Itemschwierigkeit bezeichnet: o (a) Je höher die Itemschwierigkeit β, desto schwieriger ist es, das Item zu lösen. 14

15 Bei einer additiven Parametrisierung erhielte man die Itemleichtigkeit. o (b) Die Lösungswahrscheinlichkeit eines Items beträgt genau 50%, wenn Personenfähigkeiten und Itemschwierigkeit gleich sind. Dies lässt sich aus dem Zähler der Modellgleichung ableiten: Der Inhalt der Klammer wird 0, wenn β=ξ ist. Dann wird der gesamte Zähler eins, da exp (0) = 1. Der Zähler ergibt 1+1, also 2, sodass 1/2 = 0.5 resultiert. Parallelität von Logit und ICC - Statt der Lösungswahrscheinlichkeit kann man, wie bereits besprochen, auch den Logit auf die Y-Achse legen. Logits und Itemcharakteristiken verlaufen im Rasch-Modell, wie die nächste Abbildung zeigt, jeweils beide parallel! o Bezüglich der Logits gilt das Modell essentiell τ äquivalenter Variablen o Logits verlaufen parallel und sind um die Konstante β i verschoben. o ICC verlaufen ebenfalls parallel in dem Sinne, dass der Abstand der ICC für jede Lösungswahrscheinlichkeit P (Y i = 1 ξ) identisch ist mit dem Betrag der Differenz der Itemschwierigkeiten: β i -β j Details zur Bedeutung der Modellparameter Itemschwierigkeit - Die Itemschwierigkeit β i ist gleich der Ausprägung [auf Folie: Lokation ] von ξ, an der die Lösungswahrscheinlichkeit des Items P(Y i = 1 ξ) = 0.5 beträgt o Dies bedeutet, dass Kennwerte, welche die Items charakterisieren, auf derselben Ebene liegen wie die latente Personenvariable. Itemparameter und Personenparameter liegen auf der gleichen Metrik β i sind Lokationen auf der Skala ξ. Dies ist einer der wesentlichen Vorteile des Modells, weil man dadurch erreicht, dass die Parameter (anders als die Summenscores der KTT) populationsunabhängig sind. - Die Itemschwierigkeit ist der Wert von ξ, an der die erste Ableitung den maximalen Wert annimmt steilste Anstieg - Die Itemschwierigkeit ist der Wendepunkt der Itemcharakteristischen Funktion - Verschiedene Items diskriminieren aber trotzdem unterschiedlich gut zwischen Personen. In der nachfolgenden Abbildung zeigt sich dies in unterschiedlich großen Abständen auf der Y-Achse, genauer: in unterschiedlich großen Abständen in den Lösungswahrscheinlichkeiten von je zwei Personen im selben Test für zwei verschiedene Tests bei gleichem Abstand im Fähigkeitsniveau der Personen von zwei Einheiten [es handelt sich mutmaßlich um einen Test, nicht um zwei]. o In diesem Falle würde man das Personenpaar mit der niedrigeren Fähigkeitsausprägung (links auf der X-Achse) weniger gut messen als jenes mit der höheren [unklar, ob korrekt]. Anders ausgedrückt: der Unterschied in der Lösungswahr- 15

16 scheinlichkeit ist für das höher fähige Personenpaar in diesem Test größer als für das niedriger fähige, obwohl die beiden Personen voneinander je gleich weit entfernt sind. - Beispiel: Wenn man wissen will, wer der beste Hochspringer ist, dann sollte man den Springern keine zu niedrige Latte geben, da diese alle überspringen können. Vielmehr hängt man die Latte auf eine Höhe in einen Bereich, in dem die maximale Fähigkeit jeder Person liegt. o Gleiches gilt für jede Art von Leistungstest. Personenparameter - Der Personenparameter ist eine latente Variable, die sich hinreichend mit wahrscheinlichkeitstheoretischen Begriffen beschreiben lässt: o Die latente Variable ξ ist zunächst nichts anderes als der Logit plus eine Itemkonstante. Es handelt sich also um eine Funktion der Werte der Regression. Was hinter einer auf diese Weise definierten Variable steht, unterscheidet sich dann in jeder Anwendung. M 3. Vorlesung vom : Vertiefung des Rasch-Modells Zusammenfassung der letzten Sitzung [Folie 2] Logistische Regression - In der ersten Hälfte der letzten Sitzung haben wir uns logistische Regressionen als Beispiel für generalisierte lineare Modelle (GLM) angeschaut. o GLM zeichnen sich durch eine Verteilungs- und Strukturannahme aus. o Wir haben aber nur den speziellen Fall der logistischen Regressionen betrachtet. Dabei ist (1) der Regressand bedingt binomial verteilt (Verteilungsannahme). Strukturannahme: Außerdem gibt es bei logistischen Regressionen das lineare Glied, d.h. die transformierten Werte der Regression sind linear. Daher kommt der Name generalisierte lineare Modelle, auch wenn man damit nichtlineare Zusammenhänge darstellen kann. - Die Linkfunktion ist in der logistischen Regression die kumulierte Verteilungsfunktion, die man verwendet, um Zusammenhänge zwischen metrischen Variablen und dichotomen abhängigen Variablen zu modellieren. - Wir haben logistische Regressionen verwandt, weil die abhängige Variable dichotom war. Bei mehreren dichotomen AVs hat man ein Set von logistischen Regressionen, das am einfachsten durch das Rasch-Modell beschrieben werden kann. Rasch-Modell - Restriktion des Modells: Der logistische Regressionskoeffizient ist für alle Items auf 1 fixiert. - Auf Ebene der Logits handelt es sich um ein essentiell-τ-äquivalentes Modell. - Wichtig sind die Grundannahmen des Rasch- Modells (siehe rechts). o 1. Rasch-homogen sind Items, wenn die Lösungswahrscheinlichkeit ausschließlich von der Differenz zwischen der Personenvariablen und der Itemschwierigkeit abhängt. Das Rasch-Modell ist bereits eine logistische Regression; der Regressionskoeffizient vor dem ξ beträgt allerdings 1, weshalb er nicht hingeschrieben wird. In anderen Modellen, die wir noch kennenlernen werden, wird der Koeffizient nicht immer 1 sein. o 2. Lokale stochastische Unabhängigkeit: siehe Abbildung rechts. Demnach sind die Itemantworten voneinander stochastisch unabhängig, gegeben die latente Variable. 16

17 Ein äquivalent zu dieser Annahme ist die Annahme der unkorrelierten Fehler aus dem Strukturgleichungsmodell: Cov (ε i, ε j ) = 0 Modellparameter - o Der dritte Modellparameter ist eigentlich der Regressionsparameter, der aber immer auf 1 fixiert ist. Itemcharakteristische Kurven (ICC) - bilden die Modellgleichung grafisch ab. - Jedes Item hat eine solche Kurve, das sie charakterisiert. - Auf dieser Regressionskurve liegen die Werte der Regression, d.h. die bedingten Wahrscheinlichkeiten für die Lösung des Items, P(Y=1). Logits der Items - Logits sind die logarithmierten Chancenverhältnisse der Items. - Wenn man den Logit verwendet, erhält man eine lineare Funktion. Die Items unterscheiden sich nur hinsichtlich des Achsenabschnittes (siehe Abbildung oben). Vertiefung des Rasch-Modells - Gliederung dieses Abschnitts [vor Schätzbarkeit werden Rechenregeln eingeschoben.]: o Eindeutigkeit o Zulässige Transformationen o Bedeutsamkeit o Normierung o Schätzbarkeit [längster Abschnitt mit vielen Rechnungen] o Testbarkeit Eindeutigkeit - Eindeutigkeit beschreibt, wie eindeutig die Parameter ausgehend von der Definition bestimmt sind. Parameter sind hier β und ξ. o Nicht eindeutig wäre, wenn man die Parameter verändern kann und die untenstehende Formel immer noch wahr ist. - Wenn man beispielsweise zu ξ und β jeweils die Konstante γ addiert, ist die Gleichung immer noch wahr. Die γ im rechten Teil der obigen Gleichung kürzen sich heraus. o Dies bedeutet: Die beiden Parameter ξ und β sind nicht eindeutig bestimmt, sondern es gibt unendlich viele Repräsentanten für ξ und β. Dies entspricht dem essentiell-τ-äquivalenten Modell, bei dem man durch Addition oder Subtraktion transformieren kann. 17

18 Zulässige Transformationen - Wenn die Parameter eines Modells eindeutig bestimmt sind, gibt es keine zulässigen Transformationen. - Im Rasch-Modell ist die Translation zulässig, d.h. die Addition und Substraktion von Konstanten. - Die Itemparameter β i und die latente Variable ξ sind differenzskaliert [ technischer Begriff, der keine so große Bedeutung hat ]. Bedeutsamkeit - Wenn es Transformationen gibt, sind möglicherweise nicht alle Aussagen bezüglich der Parameter grundsätzlich wahr. - Bedeutsame Aussagen Bzgl. Differenzen der latenten Variablen ξ - Eine Aussage zu ξ, z.b. jemand hat die Ausprägung ξ=1, ist nicht invariant: Man kann das Modell anders identifizieren, z.b. den Mittelwert von ξ auf 500 oder auf 0 setzen. o Eine Aussage wie ξ=1 ist in ihrer Bedeutsamkeit abhängig von der Wahl des Repräsentanten. Wenn man ein anderes ξ (z.b. mit Mittelwert 500) wählt, bedeutet ξ=1 etwas anderes. - => nicht bedeutsam Bzgl. der Varianzen Var(ξ) - Aussagen bezüglich der Varianzen von ξ sind bedeutsame Aussagen, weil die Addition oder Subtraktion von Konstanten nichts am Wahrheitsgehalt ändert. o Beispiel: Var(ξ) = Var(ξ+1) Bzgl. der Differenzen der Itemparameter - [Zeitmarke: 00:17:00] - Wenn man zwei Items hinsichtlich ihrer Schwierigkeit β vergleicht, ist es unerheblich, ob man eine Konstante für alle Items addiert oder subtrahiert: Die Differenz bleibt gleich. - => bedeutsam Normierung - Wenn es für ein Modell viele verschiedene Repräsentanten gibt, muss man sich in der Anwendung für einen Repräsentanten entscheiden. Um das Modell zu testen, muss man Restriktionen einführen und bestimmte Parameter fixieren, um das Modell identifizierbar zu machen. Modellidentifikation - Üblicherweise, d.h. als Standardeinstellung in Computerprogrammen, wird die Summe der Itemparameter auf 0 gesetzt: o (Summennormierung der Itemparameter) - Auch möglich: - Die Fixierung von Varianzen oder Kovarianzen erfolgt normalerweise nicht. Exkurs: Rechenregeln - In Zukunft werden wir gelegentlich mit Logarithmen rechnen. Deshalb sollte man diese Regeln immer dabeihaben. 18

19 - Übungen als Warm up zu den Rechenregeln - [Zeitmarke: 00:22:30] - Ziel ist es von der allgemeinen Modellgleichung des Rasch-Modells zum Logit zu kommen: - Erster Schritt: Das ausklammern, was man kürzen möchte. o P (Y i =1 ξ) = 1 * exp(ξ β i ) / [1+ 1/exp(ξ β i ) * exp(ξ β i ) ] rot Markiertes kürzen - Zweiter Schritt: Andere Schreibweise als -1. Diese Schreibweise findet man häufig in der Literatur. o P(Y i =1 ξ) = 1 / [1 + exp(ξ β i ) -1 ] - Dritter Schritt (auch andere Varianten sind möglich): Kehrwert bilden o 1 / [P (Y i =1 ξ)] = 1 + exp(ξ β i ) -1 - Vierter Schritt: 1 subtrahieren o 1 / [P (Y i =1 ξ)] 1 = exp(ξ β i ) -1 - Fünfter Schritt: Um die Subtraktion auf der linken Seite der Gleichung durchzuführen, beide Teile auf einen Nenner bringen o 1 / [P (Y i =1 ξ)] [ P (Y i =1 ξ) / [P (Y i =1 ξ)] ] = exp(ξ β i ) -1 - Sechster Schritt: Auf der linken Seite subtrahieren o 1 P (Y i =1 ξ) / [P (Y i =1 ξ)] = exp(ξ β i ) -1 - Siebter Schritt: Auf der linken Seite steht Gegenwahrscheinlichkeit geteilt durch Wahrscheinlichkeit, d.h. Item nicht gelöst (Y=0) und Item gelöst (Y=1). Nun wird die gesamte Gleichung -1 genommen, d.h. Zähler und Nenner auf beiden Seiten vertauscht. Dadurch fällt der Exponent -1 auf der rechten Seite weg. o P (Y i =1 ξ) / [P (Y i =0 ξ)] = exp(ξ β i ) - Achter Schritt: Anwendung der Rechenregel [welche?], um Gleichung zu exponenzieren. [MN nachträglich: Wird hier nicht logarithmiert?] o ln [ P (Y i =1 ξ) / [P (Y i =0 ξ)] ] = (ξ β i ) - Links steht damit jetzt der logarithmierte Odds (Logit): - NR: Vergleichbare Übungen wie diese kommen immer mal wieder in der Vorlesung. Schätzbarkeit - [Zeitmarke: 00:33:00] - Ziel des folgenden Abschnitts ist die Auseinandersetzung mit Schätzbarkeit und Testbarkeit des Rasch-Modells: Hierfür betreiben wir jetzt ein bisschen Mathematik mit viel Bruchrechnung und etwas Wahrscheinlichkeitsrechnung. - Schätzbarkeit: Es gibt latente Variablen mit Kennwerten, die man nicht sieht. Nur aufgrund von empirisch schätzbaren Größen (z.b. Stichprobenvarianz) kann man die Parameter der latenten Variablen schätzen. o Beispiel im τ-äquivalenten Modell: Die Varianz der latenten Variablen ist schätzbar über die Kovarianz der manifesten Variablen. 19

20 o Grundlegend ist also die Frage: Wie kann man die Parameter der latenten Variablen schätzen, wenn man eine Datenmatrix hat? Herleitung zur Schätzbarkeit - Die allgemeine Modellgleichung des Rasch-Modells kann man unter Anwendung der Rechenregeln für Exponentialfunktionen den oberen Teil des Bruchs auch so schreiben: exp(ξ) * exp( β i ) o [MN: Siehe dafür Regel 3 auf letzter Seite] Aus einer Differenz oder Summe einer Exponentialfunktion, darf man ein Produkt machen. Diese multiplikative Parametrisierung ist unter Umständen einfacher. Summenscores im Rasch-Modell - [Folie 12. Ab hier kaum noch Struktur in der Vorlesung, sondern Aneinanderreihung von Rechnungen] - Der Summenscore im Rasch-Modell ist eine Zufallsvariable und gibt an, wie viele Items eine Person gelöst hat. o In unserem Beispiel betrachten wir einen Test mit nur zwei Items, d.h. der Summenscore kann die Werte 0, 1 und 2 annehmen. Dieses Beispiel mathematisch notiert: - Es gibt zwei mögliche Ereignisse, wenn der Summenscore 1 beträgt. Diese stehen im Nenner der folgenden Gleichung: o o [MN: Achtung! Links steht immer P(Y i =1, d.h. es geht darum, dass das erste Item i gelöst wird unter der Bedingung, dass der Summenscore 0 beträgt. - Wenn man die Wahrscheinlichkeit das Item i zu lösen bzw. nicht zu lösen als Produkt schreibt, erhält man folgende Gleichung. o Dafür benötigt man die Annahme der lokalen stochastischen Unabhängigkeit, d.h. gegeben ξ sind die Wahrscheinlichkeiten unabhängig. o Allgemein gesagt: P(A B) = P(A) * P(B) Dies gilt nur, wenn A und B stochastisch unabhängig sind. - [Zeitmarke: 00:44:40, Folie 13] - Durch Einsetzen von in die Modellgleichung erhält man: zusammengefügt: o weiter vereinfacht [Folie 14]: o Damit steht dort inhaltlich [Zeitmarke: 00:49:00]: Die Wahrscheinlichkeit ein Item zu lösen, gegeben der Personenfähigkeit und des Summenscores ist nur noch eine Funktion des Summenscores. Denn δ i und δ j sind nur noch Funktionen der Item-Parameter. - Daraus resultiert: o Die linke Hälfte der Gleichung ist eine dichotome Regression mit den Regressoren Fähigkeit der Person ξ und Summenscore S. 20

21 - Mit den Rechenregeln für Regressionen kann man den Erwartungswert für die Regression bilden: o NR: Sowas müssen Sie nicht aus m Kopf herleiten. Sie müssen nur einmal sehen, wie man darauf kommt. - Wichtig ist: Die Wahrscheinlichkeit ein Item zu lösen, gegeben der Personenfähigkeit und des Summenscores ist die Wahrscheinlichkeit das Item zu lösen, gegeben des Summenscores. o Dies bedeutet, dass die latente Variable keine Information über den Summenscore hinaus bietet. Der Summenscore hat schon alle Information über die Lösung eines Items. o Begriff hierfür: Der Summenscore ist eine suffiziente Statistik bezüglich der latenten Variable ξ. Der Begriff suffiziente Statistik ist nicht auf das Rasch-Modell oder die IRT begrenzt. o Dies drückt sich in folgender Gleichung aus [untere Zeile ist entscheidend]: o Zusammenfassend [Folie 17]: Unter Gültigkeit des Rasch-Modells ist es irrelevant welche Items gelöst werden, lediglich die Anzahl der gelösten Items ist bedeutsam! - Man kann nun nach der Lösungswahrscheinlichkeit fragen, das Item Y i oder Y j zu lösen, gegeben einem Summenscore von 1. - Nun benutzt man folgende Rechenregel für Wahrscheinlichkeiten: P(A B) = P(A B) / P(B) o [Zeitmarke: 00:55:00] Um zum Ausdruck zu gelangen, ist folgende Rechnung erforderlich: Die Schnittmenge beider Verbundwahrscheinlichkeiten ist - Diese Erkenntnis anders geschrieben: 21

22 o Die obige Gleichung besagt, dass man die Parameter schätzen kann. o Nun kann man Parameter durch relative Häufigkeiten schätzen, wenn man eine Fixierung vornimmt. - Wir haben nun gezeigt, wie man Parameter für das Rasch-Modell schätzen kann. Dies werden wir nicht mehr für andere Modelle machen. Sinn der Herleitung zur Schätzbarkeit - Anders als bei der KTT kann man die Parameter nicht über Varianzen und Kovarianzen schätzen. - Der Summenscore war ein Vehikel ( Krücke ), um zu zeigen, dass die Parameter schätzbar sind. Er war nur zur Herleitung nötig. o Die Verwendung des Summenscores war also ein Weg, um zu zeigen, dass die Parameter schätzbar sind. Testbarkeit - Die Testbarkeit fragt danach, ob es ausgehend vom Modell irgendwelche Implikationen gibt, die sich in den Daten niederschlagen und für oder gegen die Gültigkeit des Modells sprechen. o Beispiel: In der KTT kann man an Subpopulationen testen, ob das kongenerische Modell zutreffend ist. 1. Implikation: Gleichheit der Rangfolge - Im Rasch-Modell sagt man: Wenn die Lösungswahrscheinlichkeit für eines der beiden Items Y i und Y j geringer ist als für das andere, muss dies für alle Populationen gelten. o Beispiel: Wenn Y i das leichtere Item ist, muss dies in allen möglichen Subpopulationen (Frauen/Männer, Junge/Alte) gelten. - Unten abgebildet sind drei unterschiedlich schwere Items: Unabhängig von der Fähigkeit der Person ist das blaue Item immer leichter zu lösen als das rote. 2. Implikation: Gleichheit von Wahrscheinlichkeitsverhältnissen - Die Lösungswahrscheinlichkeit P(Y i =1) darf man, weil die Variable Y i dichotom ist, als E(Y i ) schreiben. Diese Wahrscheinlichkeit bzw. Erwartungswert variiert, je nach Subpopulation. o Beispiel: Hochbegabte haben eine höhere Wahrscheinlichkeit das Item zu lösen als die Durchschnittsbevölkerung. - Die Itemschwierigkeit β i ist davon nicht betroffen, sondern da sie derselben Metrik wie ξ folgt liegt sie immer an der gleichen Stelle. o Die Itemparameter sind unabhängig von der Verteilung der latenten Variable. Damit kann man die Parameter schätzen, obwohl man eine völlig unrepräsentative Stichprobe hat. Hierfür muss man nur zeigen, dass das Rasch-Modell für die gesamte Population ( alle ) gilt, was mit einer unrepräsentativen Stichprobe problematisch ist. Beispiel: Man kann die Itemparameters eines Tests für Hochbegabte einer Population von Minderbegabten schätzen. Im Gegensatz dazu ist diese Parameterschätzung mit einer unrepräsentativen Stichprobe in der KTT nicht möglich. 22

23 3. Implikation - Dies ist die relevanteste der drei Implikationen: Software zur Berechnung der Modellparameter des Rasch-Modells - Bisher haben wir das Rasch-Modell sehr formal betrachtet. Es gibt viele Programme, die die Rechnung des Rasch-Modells ermöglichen: o ConQuest Kommerziell, wurde speziell für den PISA-Test entwickelt, kommt mit tausenden Fällen und hunderten Items klar. Das Rasch-Modell steckt hinter dem PISA-Test. o MULTIRA Kostenlos und frei erhältlich. Bietet sich für IRT an. Weitgehend menügesteuert, keine Syntax. o BILOG o MULTILOG o PARSCALE o Mplus Wir wenden in der Vorlesung nur Mplus und WINMIRA an. o WINMIRA Zunächst werden wir das Modell in WINMIRA rechnen, weil es ohne Syntax auskommt. WINMIRA - Ist geeignet zur Berechnung von o eindimensionalen Modellen, d.h. nur eine latente Variable und nicht mehrere. o latenten Klassenanalysen: werden wir im Laufe der Vorlesung noch kennen lernen - SPSS-Datensätze können problemlos in WINMIRA eingelesen werden, ebenso ASCII-Files. Parameterschätzungen in WINMIRA [Folie] - Im Rasch-Modell o Itemschwierigkeiten mit Standardfehlern o Personenparameterschätzer mit Standardfehlern Maximum Likelihood Schätzer (ML) Warm s Weighted Likelihood Schätzer (WLS) - Alle Parameterschätzer werden mittels der Maximum Likelihood Methode geschätzt. WINMIRA im Internet - Manual zum Programm von H. Reimers: o Ist eine Schritt-für-Schritt-Anweisung, wo man in den Menüs hinklicken soll. - Weiterhin gibt es das Manual von Mathias von Davier: Ausblick auf die nächste Sitzung - Wir werden mit dem CPM-Datensatz von Klauer ( klauer_cpm_pre_18items.sav ) das Rasch-Modell im Programm WINMIRA rechnen. - Klauer erfasste mit Coloured Progressive Matrices die fluide Intelligenz und testete eine Intervention. Die Teilnehmer wurden mit 0=Kontrollgruppe und 1=Interventionsgruppe kodiert. o Klauers Modell ist ein Adjustierungsmodell, weil er einen Prä-Test für die Intelligenz durchführte und den Posttests um die Werte des Prä-Tests bereinigte. - In der kommenden Sitzung werden wir das Rasch-Modell auf diese Daten anwenden und dabei einzelne Items betrachten. 23

24 C 4. Vorlesung vom : Anwendungsbeispiel: Rasch-Modell & Maximum-Likelihood-Parameterschätzung [Sitzung am ausgefallen] Zusammenfassung der letzten Sitzung Kernaussage der letzten Sitzung - In der letzten Sitzung ging es darum zu zeigen, dass Parameter aus Wahrscheinlichkeitsverhältnissen schätzbar sind. o Man benötigt keine Varianzen und Kovarianzen, sondern nur Informationen über das Lösen/Nicht-Lösen von Items. o [Details siehe nächster Abschnitt Schätzbarkeit ]. Zentrale Begriffe o Die folgenden Begriffe, mit denen wir uns dem Rasch-Modell näherten, waren bereits aus der KTT bekannt. - Eindeutigkeit im Rasch-Modell: Item und Personenparameter sind im Rasch-Modell nicht eindeutig bestimmt und differenzskaliert. Man kann zu den Parametern also einfach eine Konstante addieren oder subtrahieren, ohne dass sich etwas an der Gültigkeit des Modells ändert. o Daraus folgt, dass zulässige Transformationen Translationen sind. - Bedeutsamkeit: Unter den zulässigen Transformationen sind folgende Aussagen bedeutsam: o bzgl. Differenzen der latenten Variablen ξ o bzgl. Differenzen der Itemparameter β i o bzgl. der Varianzen Var(ξ) - Wenn die Eindeutigkeit nicht gegeben ist, dann folgt daraus die Notwendigkeit, Itemparameter zu fixieren oder eine ähnliche Restriktion einzuführen, damit die Parameter überhaupt schätzbar werden. Daher verwendet man zur Modellidentifikation folgende Normierung: Fixierung eines Itemparameters (z. B. β i = 0) Summennormierung der Itemparameter Fixierung der latenten Variable: (z. B. E(ξ) = 0) o In der IRT sind allerdings auch ganz andere Möglichkeiten der Normierung gegeben. - Die Schätzbarkeit folgt, wie gesagt, aus Wahrscheinlichkeitsverhältnissen: o Herleitung der Schätzbarkeit unter Betrachtung der Regression: Diese Wahrscheinlichkeit ist eine Regression auf den Summenscore. o Der Summenscore wiederum ist eine suffiziente Statistik hinsichtlich der latenten Variable ξ : Suffiziente Statistik bedeutet: Unter Gültigkeit des Rasch-Modells enthält der Summenscore bereits alle Informationen bezüglich dessen, was man für die Person schätzen will, nämlich deren latente Fähigkeitsausprägung. Wann weiß man, dass das Rasch-Modell gilt? Siehe dazu unten Testbarkeit. o Die logarithmierte Differenz der Itemparameter β i und β j sind gleich dem folgenden logarithmierten Wahrscheinlichkeitsverhältnis - Testbarkeit: Es ergeben sich folgende testbare Konsequenzen: o 1. Gleichheit der Rangfolge der unbedingten Lösungswahrscheinlichkeiten über Subpopulationen. Beispiel: Wenn ein Item bei den Männern schwerer ist als ein anderes, dann muss dies auch für die Frauen gelten. Wenn sich Items als unterschiedlich schwierig für unterschiedliche Subpopulationen erweisen, stellt dies ein Problem für die Gültigkeit des Rasch-Modells dar. Dies ist gar nicht selten und wird als differential item functioning bezeichnet. o 2. Gleichheit von Wahrscheinlichkeitsverhältnissen über Subpopulationen: 24