Was ist eine Testtheorie? Grundlagen der Item-Response. Response-Theorie. Modelle mit latenten Variablen

Transkript

1 Was ist eine Testtheorie? Eine Testtheorie beschäftigt sich also mit dem Zusammenhang zwischen Testverhalten und dem zu erfassenden Merkmal. Testauswertung Persönlichkeitsmerkmal (z.b. Emotionalität, Fähigkeit) Beeinflusst Verhalten im Test (Antworten, Lösungen) Grundlagen der Item-Response Response-Theorie Im Unterschied zur KTT werden in der IRT ausdrücklich latente, nicht direkt beobachtbare Persönlichkeitsvariablen angenommen, d.h. Merkmal und Verhalten im Test werden nicht gleichgesetzt ( Modelle mit latenten Variablen ). Die IRT formuliert mathematische Modelle zu den Zusammenhängen zwischen latenten Persönlichkeitsvariablen und den Antworten in zugehörigen Testitems. Modelle mit latenten Variablen In der Psychologie wird häufig mit Konstrukten gearbeitet, die nicht unmittelbar beobachtbar sind, z.b. Intelligenz oder Extraversion. Diese Variablen werden als im Kontext statistischer Analyseverfahren oft als latente Variablen bezeichnet. Dieser Begriff ist zentral für Methoden der Item- Response-Thorie (IRT), aber z.b. auch im Zusammenhang mit linearen Strukturgleichungsmodellen ( LISREL ). 1

2 Modelle mit latenten Variablen Latente Variablen sind per Definition nicht direkt erfassbar. Sie werden über beobachtbare Variablen erschlossen, die mit ihnen in Zusammenhang stehen. Diese beobachtbaren Variablen werden als manifeste Variablen bezeichnet. So kann z.b. Rechenfähigkeit als eine latente Variable betrachtet werden, das lösen oder nichtlösen einer Rechenaufgabe als eine zugehörige maifeste Variable. Latent-Trait Trait-Modelle Die latenten Variablen in den meisten IRT- Modellen werden als kontinuierliche Dimensionen betrachtet. Modelle, in denen Zusammenhänge zwischen kontinuierlichen latenten Merkmalen ( latent trait ) und beobachtbaren Variablen beschrieben werden, werden auch als Latent-Trait Trait-Modellen bezeichnet. Latente Variable als Quelle für f Zusammenhänge nge zwischen den Items In Modellen mit latenten Variablen werden unterschiedliche Ausprägungen einer latenten Variablen mit systematischen Unterschieden in den beobachtbaren Verhalten verknüpft. Die Zusammenhänge zwischen den beobachteten Variablen (Items) sollen dadurch erklärt werden, dass die Items durch eine gemeinsame Varianzquelle, nämlich die latente Variable, beeinflusst werden. Items korrelieren (nur!), weil sie dasselbe Merkmal messen. 2

3 Latente Variable als Quelle für f Zusammenhänge nge zwischen den Items Lokale stochastische Unabhängigkeit ngigkeit Wenn der Einfluss der latenten Variablen auf die beobachteten Variablen kontrolliert wird, sollten die Korrelationen zwischen den Items verschwinden. Die Items sollten also unter Berücksichtigung der latenten Variablen unabhängig voneinander sein. Dies wird als lokale stochastische Unabhängigkeit bezeichnet: In einer Gruppe von Personen mit derselben Merkmalsausprägung sollten die Items nicht miteinander korrelieren. Lokale stochastische Unabhängigkeit ngigkeit Das Konzept der lokalen stochastischen Unabhängigkeit in einem Latent-Trait-Modell entspricht der KTT-Annahme unkorrelierter Messfehler. In IRT-Modellen können sind diese Annahmen ein liziter Teil des Modells, der auch empirisch geprüft werden kann. 3

4 Grundlagen der Item-Response Response-Theorie In IRT-Modellen werden Annahmen über die Zusammenhänge zwischen der latenten Variablen (=der individuellen Merkmalsausprägung) und der Wahrscheinlichkeit* für das Auftreten bestimmter Antworten** formuliert. * Daher auch probabilistische Testtheorie ** Daher Item-Response Response-Theorie Grundlagen der Item-Response Response-Theorie Vorteile gegenüber der KTT Die Schätzung der Merkmalsausprägungen ( Personenparameter, θ v ) und der Aufgabenmerkmale (Itemparameter) ist unabhängig von der Stichprobe und den verwendeten Aufgaben möglich. Die IRT erlaubt eine kriterienorientierte Interpretation der gemessenen Merkmalsausprägungen. Itemcharakteristische Funktion Der Zusammenhang zwischen der Wahrscheinlichkeit für eine bestimmte Antwort und dem latenten Merkmal θ wird durch die Itemcharakteristische Funktion (IC-Funktion) beschrieben. 4

5 Itemcharakteristische Funktion Deterministische IC-Funktion: Guttman-Skala Im Guttman-Modell existieren nur Antwort- bzw. Lösungswahrscheinlichkeiten von 0 und 1, d.h. das Antwortverhalten kann mit Personenfähigkeit θ v und Itemschwierigkeit σ i sicher vorhergesagt werden. IC-Funktion der Guttman-Skala Deterministische vs. probabilistische IC-Funktionen Das deterministische Guttman-Modell ist für empirische Daten i.d.r. viel zu streng. Die meisten IRT-Modelle arbeiten mit Antwortwahrscheinlichkeiten zwischen null und eins. Diese IC-Funktionen sind dann i.e.s. probabilistisch. Das einfachste und verbreitetste probabilistische Testmodell ist das dichotome Raschmodell. Das dichotome Raschmodell Das dichotome Raschmodell für zweistufige Antworten kann z.b. auf Fragebogenitems mit einem ja / nein -Antwortformat oder Leistungsaufgaben mit den Bewertungsstufen gelöst / nicht gelöst angewendet werden. Es enthält folgende Parameter: Jede Person hat eine individuelle latente Merkmalsausprägung θ v, Jedes Item hat eine Schwierigkeit σ i. Personen- und Itemparameter werden auf derselben, eindimensionalen Skala dargestellt. 5

6 p Das dichotome Raschmodell Das dichotome Raschmodell nimmt eine logistische IC-Funktion zwischen der individuellen Merkmalsausprägung θ v und der Lösungswahrscheinlichkeit eines Items i in Abhängigkeit von dessen Schwierigkeit σ i an: ( X = 1) vi = 1+ ( θv σi ) ( θ σ ) v i p ( X = 1) vi Das dichotome Raschmodell Itemcharakteristische Funktion des dichotomen Raschmodells Entscheidend für die Lösungswahrscheinlichkeit ist die Differenz zwischen der individuellen Merkmalsausprägung θ v und der Schwierigkeit σ i des jeweiligen Items i. = 1+ ( θv σi ) ( θ σ ) v i p(x vi =1): Wahrscheinlichkeit, das ein Item i von Person v gelöst bzw. im Sinne einer hohen Merkmalsausprägung beantwortet wird, θ v : Merkmalsausprägung der Person v, σ i : Schwierigkeit des Items i. Das dichotome Raschmodell Itemcharakteristische Funktion des dichotomen Raschmodells ( ) ( θv σi ) p X vi = 1 = 1+ ( θ σ ) v i Die Verortung der Itemparameter auf der Merkmalsdimension Die Die Itemschwierigkeit macht σ i σund i ist diese als der direkt, Punkt Kriteriumsorientiert Ausprägung definiert, an des dem Personenmerkmals die interpretierbar. Chance, ein Item θ v zu werden lösen, auf 50% derselben beträgt. Dies Dimension entspricht dem beschrieben. Wendepunkt der logistischen IC- Funktion. 6

7 Das dichotome Raschmodell IC-Funktionen dreier rasch-homogener Items: Parallele Itemfunktionen Parameterschätzung tzung im Raschmodell Im Rasch-Modell erfolgt die Schätzung der Personen- und Aufgabenparameter nach dem Maximum-Likelihood-Prinzip: Dabei beschreibt die Likelihoodfunktion (LF) die Wahrscheinlichkeit der Daten, unter der Annahme, dass das Modell gilt. Der Wert der LF gibt also an, wie wahrscheinlich die beobachten Daten sind, wenn das Modell wirklich gilt. Parameterschätzung tzung im Raschmodell Vereinfacht ausgedrückt werden sowohl die Itemparameter θ v als auch die Personenparameter σ i gemeinsam so geschätzt, dass die Likelihood für die beobachteten Daten möglichst groß wird Maximum Likelihood. Dieses Vorgehen erfolgt iterativ (schrittweise), d.h. die optimalen Werte der Parameter werden nicht durch das Lösen eindeutiger Gleichungssysteme ermittelt, sondern durch ausprobieren. Hierzu sind spezielle Computerprogramme notwendig. 7

8 Iteminformation in IRT-Modellen Ein Item bringt für die Testung einer Person unterschiedlich viel Informationsgewinn je nachdem, wie nahe die Itemschwierigkeit und die Personenfähigkeit beieinander liegen. Ist ein Item für eine Person viel zu leicht oder viel zu schwer, bringt es wenig an Information. Am informativsten sind Items, wenn Itemschwierigkeit und Personenfähigkeit nahe beieinander liegen. Dichotomes Raschmodell: IC-Funktion und Iteminformations-Funktion Iteminformation in IRT-Modellen: Individuelle Messgenauigkeiten Das Konzept der Iteminformation ist eine Stärke der IRT in der KTT wird die Trennschärfe auf Stichprobenebene geschätzt, ein Bezug der Messgenauigkeit eines Items auf Personen mit unterschiedlicher Merkmalsausprägung ist nicht möglich. Die Messgenauigkeit für eine Person v hängt in IRT-Modellen von ihrer Merkmalsausprägung θ v ab, in der KTT wird auch die Reliabilität eines gesamten Tests nur auf Stichprobenebene ermittelt. 8

9 Dichotomes Raschmodell: IC-Funktion und Iteminformations-Funktion Zusammenhang zwischen Personenfähigkeit und Messgenauigkeit (Beispiel DESI Englisch Lesen). Messungen in extremen Merkmalsbereichen sind bei gegebener Itemmenge weniger reliabel. IRT und adaptives Testen Beim so genannten adaptiven Testen werden die Items im Verlauf der Testung so ausgewählt, dass sie für r die getestete Person eine möglichst hohe Information liefern d.h. eine mittlere Schwierigkeit haben. Adapatives Testen erfolgt i.d.r. am Computer Dieses Vorgehen ist nur unter Anwendung von IRT-Modellen möglich. Die Schätzung der Merkmalsausprägung θ v ist auch für Personen, die unterschiedliche Items beantwortet haben, auf der selben Skala möglich. Das ordinale Raschmodell Das ordinale Raschmodell beschreibt die Antwortwahrscheinlichkeiten für Items mit mehrstufigen Antworten, z.b. Ratingskalen in Persönlichkeitsfragebögen oder verschiedene Punktezahlen bei der Bewertung von Leistungstestaufgaben. Bei Leistungstests kann z.b. für nicht ganz richtig gelöste Aufgaben ein Teil der maximal möglichen Punkte gegeben werden, daher wird dieses Modell auch als Partial Credit-Modell bezeichnet. 9

10 Das ordinale Raschmodell Im ordinalen Raschmodell wird - entsprechend den Items im dichotomen Raschmodell - für jede Stufe eines Items eine logistische Funktion angenommen, die die Wahrscheinlichkeit beschreibt, dass eine Person mit einer Merkmalsausprägung θ v diese Stufe erreicht oder überschreitet. Das ordinale Raschmodell Die Schwierigkeit der Itemstufen k eines Items i werden durch Schwellenparameter τ ik beschrieben. Die Funktionen für die einzelnen Schwellen eines ordinalen Items entsprechen jeweils der IC- Funktion eines einzelnen Items im dichotomen Rachmodell: ( k) p X vi ( θv τik) ( θ τ ) = 1 + v ik Das ordinale Raschmodell Beispiel. Schwellenfunktionen für ein Item mit 4 ordinalen Kategorien 0 bis 3. Es wird deutlich, dass die Abstände zwischen den Schwellenparametern und damit den Antwortkategorien nicht gleich sein müssen das Modell geht von ordinalen Messungen aus. 10

11 Das ordinale Raschmodell Kategorienwahrscheinlichkeiten im ordinalen Raschmodell: Wahrscheinlichkeit für das Auftreten einer Antwort in Kategorie k in Item i Es werden kumulierte Schwierigkeiten σ ik für jede Schwelle gebildet, die sich aus dem Schwellenparameter τ ik der Schwelle k und aller vorhergehenden Schwellen ergeben: σ ik = k s= 1 τ is Das ordinale Raschmodell Mit Hilfe der kumulierten Schwellenschwierigkeiten σ ik kann die Wahrscheinlichkeit für das Auftreten einer Antwort in Kategorie k beschrieben werden: ( k) p X vi = = m s= 0 ( k θv σik) ( s θ σ ) v is σ k ik = τis, σi0 = s= 1 0 (vgl. Rost, 2003) Das ordinale Raschmodell Wahrscheinlichkeit für das Auftreten einer Antwort in Kategorie k in Item i 11

12 Latent-Class Class-Modelle Latent-Trait-Modelle wie das Raschmodell gehen von quantitativen latenten Variablen aus. Latent-Class-Modelle nehmen qualitative latente Variablen zur Charakterisierung von Personenunterschieden an. Lösungswahrscheinlichkeiten jedes einzelnen Items unterscheiden sich zwischen den latenten Klassen (Personengruppen). Latent-Class Class-Modelle Die Klassen sind durch spezifische Antwortmuster charakterisiert; innerhalb der Klassen wird stochastische Unabhängigkeit angenommen. Die Anzahl der anzunehmenden Klassen muss bei der Analyse vorgegeben werden die Klassengrößen werden geschätzt. Die Klassenzuordnung von Personen erfolgt probabilistisch auf Basis der Ähnlichkeiten der beobachteten mit den klassenspezifischen Antwortmustern. Mehrparametrige Modelle Das dichotome Raschmodell ist ein relativ einfaches Modell, in dem jedes Item nur durch seine Schwierigkeit beschrieben wird d.h. durch einen Parameter. Es gibt auch komplexere Modelle, in denen die IC- Funktionen der Items durch weitere Parameter definiert sind. 12

13 Mehrparametrige Modelle Items können sich außer hinsichtlich ihrer Schwierigkeit auch darin unterscheiden, wie gut sie zwischen mehr und weniger fähigen Testpersonen unterscheiden. Dieser Unterschied wird in der IC-Funktion durch den Diskriminationsparameter β beschrieben. Der Diskriminationsparameter β gibt die Steigung der IC-Funktion an ihrem Wendepunkt an. β entspricht in etwa der Itemtrennschärfe in der klassischen Testtheorie. Mehrparametrige Modelle ( βi( θv σi) ) ( i( v i) ) p( X vi = 1) = 1 + β θ σ β = 1 β = 0,5 β = 1,5 Probabilistische IC- Funktionen einer Birnbaum-Skala, Items mit unterschiedlichen Diskriminationsparametern β Mehrparametrige Modelle Das IRT-Modell mit Schwierigkeit und Diskriminations-Parametern wird auch Birnbaum- Modell genannt (nach Birnbaum, 1968), oder als zweiparametriges Modell bezeichnet ( 2PL für zweiparametriges logistisches Modell ) 13

14 Mehrparametrige Modelle Zusätzlich zu Schwierigkeit und Diskriminations- Parametern können Items auch dadurch charakterisiert werden, wie hoch die Chance ist, das Item per Zufall ohne jedes Wissen zu lösen. Hierzu wird ein Rateparameter γ eingeführt. Aus dem 2PL wird so ein 3PL : Das dreiparametrige logistisches Modell. In diesem Zusammenhang kann das Raschmodell auch als 1PL bezeichnet werden: das einparametrige logistische Modell. Mehrparametrige Modelle IC-Funktion des 3PL mit Schwierigkeit, Diskriminations- und Rateparameter ( X = ) =γ + ( γ ) p 1 1 vi i i ( βi( θv σi) ) ( i( v i) ) 1+ β θ σ Mehrparametrige Modelle Mit mehrparametrigen Modellen wird eine bessere Anpassung an die beobachteten Daten erzielt. Die Schätzung der Parameter erfordert komplexere Algorithmen und v.a. größere Stichproben. Modelle mit unterschiedlichen Trennschärfen (2PL und 3PL) führen dazu, dass die Rangfolge der Itemschwierigkeiten sich in unterschiedlichen Abschnitten der Fähigkeitsskala verändern. 14

15 Mehrparametrige Modelle Wechsel der Rangfolge der Itemschwierigkeiten in unterschiedlichen Abschnitten der Fähigkeitsskala IRT-Modelle mit Item-Eigenschaften In den meisten IRT-Modellen wird für jedes Item eine eigene Itemschwierigkeit geschätzt. Falls Theorien über bestimmte Eigenschaften der Items vorliegen, die deren Schwierigkeit erklären, können diese Eigenschaften in IRT-Modellen berücksichtigt werden. Bsp.: Anzahl der Rotationen bei Würfeldreh-Aufgaben Das bekannteste hierfür entwickelte Modell ist das Linear-Logistische Testmodell (LLTM) von Fischer (1973). Linear-Logistisches Logistisches Testmodel (LLTM) Im LLTM werden die Itemschwierigkeiten als gewichtete Summe von K Itemeigenschaften x ausgedrückt: K i αkxik k= 1 σ = Hierbei ist x ik die Ausprägung von Eigenschaft k für Item i, α k ist der Einfluss von Eigenschaft k auf die Itemschwierigkeit σ i. 15

16 Linear-Logistisches Logistisches Testmodel (LLTM) In der Regel werden wesentlich weniger Itemeigenschaften als Items einbezogen (K << I). Für das LLTM werden daher weniger Parameter α k geschätzt als Itemschwierigkeiten σ i im normalen Raschmodell. Linear-Logistisches Logistisches Testmodel (LLTM) Das LLTM ist eine Verallgemeinerung des Raschmodells. Die Lösungswahrscheinlichkeit eines Items hängt nicht von einzelnen Itemschwierigkeiten σ i, sondern von den Schwierigkeiten α k der Itemeigenschaften ab: K θv αkxik k= 1 p( Xvi = 1) = K 1+ θv αkxik k= 1 16