SOZIALWISSENSCHAFTLICHE FORSCHUNGSMETHODEN

Transkript

1 SOZIALWISSENSCHAFTLICHE FORSCHUNGSMETHODEN Carolin Strobl Das Rasch-Modell Eine verständliche Einführung für Studium und Praxis Band 2 Rainer Hampp Verlag

2 Inhaltsverzeichnis 1 Bedeutung des Rasch-Modells für die Entwicklung psychologischer Tests Mathematische Formulierung und inhaltliche Bedeutung Die Datenmatrix Die Modellgleichung Aufgaben- und Personencharakteristische Kurven Unterschiedliche Darstellungen der Modellgleichung Zentrale Annahmen und Eigenschaften Parameterschätzung Schätzansätze für das Rasch-Modell Gemeinsame Maximum-Likelihood-Schätzung Bedingte Maximum-Likelihood-Schätzung Marginale Maximum-Likelihood-Schätzung Weitere Schätzansätze Die Information von Aufgaben und Tests Überprüfung der Modellannahmen Der graphische Modelltest Der Likelihood-Quotienten-Test Wald-Tests Aufgaben-spezifischer Wald-Test Globaler Wald-Test Weitere Modellgeltungstests Der χ 2 -Anpassungstest Ausblick auf verwandte Modelle Das linear-logistische-testmodell Birnbaum-Modelle Das zwei-parametrige Birnbaum-Modell

3 X Inhaltsverzeichnis Das Birnbaum-Modell mit zusätzlichem Rateparameter Modelle mit mehrstufigen Antwortkategorien Das Partial-Credit-Modell Weitere Modelle für mehrstufige Antwortkategorien Modellierung von Unterschieden zwischen Personen Mischverteilungs-Rasch-Modell Modellbasierte rekursive Partitionierung Das Rasch-Modell als gemischtes Modell Mehrdimensionale Rasch-Modelle Anpassung von Rasch-Modellen mit R A.1 Vorbereitungen A.2 R-Paket erm A.2.1 Bedingte Maximum-Likelihood-Schätzung der Aufgaben-Parameter A.2.2 Modellkontrolle und Aufgaben-Selektion A.2.3 Graphische Darstellung A.2.4 Schätzung der Personen-Parameter A.3 R-Paket ltm A.3.1 Marginale Maximum-Likelihood-Schätzung der Aufgaben-Parameter A.3.2 Modellkontrolle und Aufgaben-Selektion A.3.3 Graphische Darstellung A.3.4 Schätzung der Personen-Parameter A.4 Weitere R-Pakete zur Anpassung von IRT-Modellen Mathematische und statistische Grundlagen B.1 Mathematische Grundlagen B.1.1 Summen- und Produktzeichen B.1.2 Rechenregeln für Exponentialfunktion und Logarithmus 77 B.1.3 Ableitungsregeln B.2 Grundlagen der Maximum-Likelihood-Schätzung B.3 Grundlagen statistischer Tests B.3.1 Tests basierend auf der χ 2 -Verteilung B.3.2 Tests basierend auf der Normalverteilung Literaturverzeichnis Autorenregister Index

4 2 Mathematische Formulierung und inhaltliche Bedeutung des Rasch-Modells In diesem Kapitel werden wir die Struktur der Daten, die sich z.b. aus einem Leistungstest ergeben, und das Rasch-Modell selbst kennenlernen (mit das Rasch-Modell ist übrigens meist die Modellgleichung gemeint, also eine Formel). Dazu kommen statistische Annahmen und Eigenschaften des Modells, deren mathematische und inhaltliche Bedeutung erklärt wird. Dieses Kapitel ist als Hilfestellung zur vertieften Prüfungsvorbereitung gedacht, und enthält evtl. mehr Formeln und Zwischenschritte, als Sie zum grundsätzlichen Verständnis des Verfahrens und für die praktische Anwendung benötigen (ggf. können Sie also die Formeln beim Lesen überspringen; die wichtigsten Formeln sind durch Umrandungen hervorgehoben). 2.1 Die Datenmatrix Mit dem Rasch-Modell können Tests zur Leistungs- und Einstellungsmessung ausgewertet werden. Ein Test soll eine latente (d.h. nicht direkt beobachtbare) Fähigkeit oder Einstellung der Personen messen. Für jede Person, die an dem Test teilnimmt, wird dabei notiert, ob die Person eine Aufgabe richtig oder falsch beantwortet hat, bzw. ob die Person einer Aussage zustimmt oder sie ablehnt. Diese Antworten lassen sich dann in einer einfachen Tabelle oder Matrix zusammenfassen: Für jede richtige Antwort oder Zustimmung erhält die Person eine 1, für jede falsche Antwort oder Ablehnung eine 0. Die in Tabelle 2.1 dargestellte Datenmatrix enthält z.b. die Antworten von 4 Personen auf 6 Aufgaben bzw. Fragen. Die erste Person hat z.b. die zweite, vierte und sechste Aufgabe richtig beantwortet. (Der Einfachheit halber werden wir im Folgenden als Beispiel immer von einem Leistungstest ausgehen, der die Fähigkeit einer Person misst.) Allgemein betrachten wir die Situation, dass i = 1,..., n Personen an einem Test mit j = 1,..., m Aufgaben teilnehmen. In unserem Beispiel wäre n = 4

5 6 2 Mathematische Formulierung und inhaltliche Bedeutung Tabelle 2.1. Datenmatrix eines Tests mit 6 Aufgaben, an dem 4 Personen teilgenommen haben. Aufgabe Person und m = 6. Die Datenmatrix besteht also aus n Zeilen und m Spalten. Die Einträge der Datenmatrix bezeichnet man mit u ij, d.h. der Eintrag u ij gehört zur Person i (liegt also in der i-ten Zeile) und zur Aufgabe j (also in der j-ten Spalte dabei wird immer zuerst die Zeile, dann die Spalte angegeben). Die Antwort der ersten Person auf die zweite Aufgabe heißt also u 12. Die Datenmatrix in dieser allgemeinen Schreibweise ist in Tabelle 2.2 dargestellt. Tabelle 2.2. Datenmatrix eines Tests mit m Aufgaben, an dem n Personen teilgenommen haben. Aufgabe Person j... m 1 m 1 u 1,1 u 1,2... u 1,j... u 1,m 1 u 1,m 2 u 2,1 u 2,2... u 2,j... u 2,m 1 u 2,m i u i,1 u i,2... u i,j... u i,m 1 u i,m n 1 u n 1,1 u n 1,2... u n 1,j... u n 1,m 1 u n 1,m n u n,1 u n,2... u n,j... u n,m 1 u n,m Eine zentrale Idee der Item-Response-Theorie ist, dass das Ergebnis einer Person in einem Test nicht deterministisch von ihrer Fähigkeit abhängt, sondern dass dabei auch immer etwas Zufall im Spiel ist: Man kann sich gut vorstellen, dass eine Person (obwohl ihre Fähigkeit ja immer gleich bleibt) nicht genau dieselbe Punktzahl erreichen würde, wenn sie an zwei unterschiedlichen Tagen an demselben Test teilnehmen würde. An einem Tag wäre sie vielleicht müde und würde viele Flüchtigkeitsfehler machen. An einem anderen Tag wäre sie hingegen in Top-Form und würde sogar bei einigen Aufgaben richtig raten, deren Lösung sie eigentlich nicht weiß.

6 2.2 Die Modellgleichung 7 Entsprechend werden wir später oft von der Wahrscheinlichkeit sprechen, mit der eine Person eine Aufgabe richtig beantwortet, der sogenannten Lösungswahrscheinlichkeit. Eine sehr fähige Person hat z.b. eine hohe Wahrscheinlichkeit, eine Aufgabe richtig zu beantworten trotzdem kann man nicht 100%-ig sicher sein, ob sie die Aufgabe wirklich lösen wird, bevor sie es versucht hat. Deshalb gibt es neben den Einträgen u ij in der Datenmatrix, die wir schon beobachtet haben (d.h. wir wissen bereits, ob die Person die Aufgabe gelöst hat oder nicht, also ob an der Stelle in der Datenmatrix eine 1 oder eine 0 steht), noch die Zufallsvariablen U ij. Die Zufallsvariablen U ij stehen sozusagen für das noch unbekannte Ergebnis bevor die Personen die Aufgaben bearbeiten. Im nächsten Abschnitt brauchen wir diese Unterscheidung, um die Wahrscheinlichkeit, dass ein bestimmtes Ergebnis (0 oder 1) eintritt, in einer allgemeinen Formel darzustellen, die für beide möglichen Ergebnisse (0 oder 1) gilt. Die Wahrscheinlichkeit, dass Person i bei der Beantwortung von Aufgabe j das Ergebnis u ij erzielt, nennen wir dann P (U ij = u ij ) (P steht dabei für das englische Wort Probability ). 2.2 Die Modellgleichung Die Wahrscheinlichkeit, dass eine Person eine Aufgabe richtig beantwortet, hängt natürlich von der Fähigkeit der Person ab: Eine fähigere Person wird die Aufgabe eher lösen als eine weniger fähige Person trotzdem kann auch die fähigere Person mal einen Leichtsinnsfehler begehen, wie im letzten Abschnitt besprochen. Zusätzlich hängt die Wahrscheinlichkeit, dass eine Person eine Aufgabe richtig beantwortet, aber auch von der Schwierigkeit der Aufgabe selbst ab: Wenn die Aufgabe sehr leicht ist, wird sie auch eine weniger fähige Person mit hoher Wahrscheinlichkeit lösen können. Das heißt, dass sowohl die Fähigkeit der Person als auch die Schwierigkeit der Aufgabe in der Modellgleichung berücksichtigt werden sollten. Die Modellgleichung soll also die Wahrscheinlichkeit beschreiben, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe mit einer bestimmten Schwierigkeit richtig beantwortet. Aus dieser Überlegung können wir schon einige Eigenschaften ableiten, die die Modellgleichung haben soll: 1. Die Fähigkeit der Person soll berücksichtigt werden (wir benennen die Fähigkeit der Person i mit θ i ). 2. Die Schwierigkeit der Aufgabe soll berücksichtigt werden (wir benennen die Schwierigkeit der Aufgabe j mit β j ). 3. Je fähiger die Person, desto höher ihre Lösungswahrscheinlichkeit d.h. die Modellgleichung soll eine Funktion sein, die mit der Personen-Fähigkeit ansteigt. 4. Da es sich um eine Wahrscheinlichkeit handelt, muss sie aber zwischen den Grenzen 0 und 1 bleiben.

7 8 2 Mathematische Formulierung und inhaltliche Bedeutung Das Rasch-Modell (Formel 2.1) erfüllt alle diese sinnvollen Forderungen und hat, wie wir später sehen werden, noch einige andere angenehme Eigenschaften. Die Modellgleichung für das Rasch-Modell lautet: P (U ij = 1 θ i, β j ) = eθi βj 1 + e θi βj (2.1) Wenn wir diese Formel stückchenweise betrachten, finden wir alle geforderten Eigenschaften wieder: Die Lösungswahrscheinlichkeit hängt 1. von der Personen-Fähigkeit θ i und 2. der Aufgaben-Schwierigkeit β j ab. Das erkennt man daran, dass die beiden Parameter θ i und β j auf der linken Seite der Gleichung als Bedingung hinter dem senkrechten Strich stehen (d.h. die Lösungswahrscheinlichkeit ist eine bedingte Wahrscheinlichkeit, die von der Personen-Fähigkeit und der Aufgaben-Schwierigkeit abhängt) und auf der rechten Seite der Gleichung in der Form θ i β j auftauchen. An dieser Differenz sieht man, dass die Lösungswahrscheinlichkeit wie gewünscht davon abhängt, wie groß die Fähigkeit der Person im Vergleich zur Schwierigkeit der Aufgabe ist: Ist die Person fähiger als die Aufgabe schwer ist (ist also θ i > β j ), ergibt sich bei diesem Vergleich eine positive Differenz; ist aber die Aufgabe schwerer als die Person fähig ist (ist also θ i < β j ), ergibt sich eine negative Differenz. Diese Differenz kommt gleich an zwei Stellen in der Formel vor: Der Bruch e θi βj 1 + e θi βj beschreibt aber eine ganz einfache Funktion. Diese Funktion mit der vereinfachten Form e x nennt man logistische Funktion e x 1 Die logistische Funktion wird auch in anderen Bereichen der Statistik angewendet, z.b. bei der logistischen Regression mit einer binären Zielgröße. Als Alternative zur logistischen Funktion kann man auch andere S-förmige Kurven verwenden, z.b. die kumulierte Dichte der Normalverteilung. In der Regression unterscheidet man entsprechend das Logit Modell (logistische Funktion) und das Probit Modell (kumulierte Dichte der Normalverteilung). Da die beiden Kurven kaum zu unterscheiden sind, führen beide Ansätze meist zu sehr ähnlichen Ergebnissen. Auch im Rasch-Modell könnte man im Prinzip eine andere S-förmige Kurve wie die kumulierte Dichte der Normalverteilung verwenden allerdings wäre diese Funktion viel komplizierter (was u.a. dazu führen würde, dass es keine einfachen suffizienten Statistiken wie im Rasch-Modell mehr gäbe, vgl. Abschnitt 2.5).

8 2.2 Die Modellgleichung 9 e x 1 + e x x Abb Logistische Funktion. Die logistische Funktion erinnert an ein umgekipptes S, wie in Abbildung 2.1 dargestellt. Praktischerweise erfüllt diese Funktion mit ihrer S-Form gleich zwei von unseren Forderungen: 3. Die Funktion steigt, wenn der Wert x im Exponenten größer wird (von links nach rechts in Abbildung 2.1). Da an Stelle von x im Rasch-Modell die Differenz θ i β j steht, heißt das: Die Lösungswahrscheinlichkeit steigt mit der Überlegenheit der Person über die Aufgabe, ausgedrückt in der Differenz θ i β j. Ist die Person z.b. fähiger als die Aufgabe schwer ist (also θ i > β j und daher θ i β j > 0), ist die Lösungswahrscheinlichkeit groß. Ist die Person hingegen weniger fähig als die Aufgabe schwer ist (also θ i < β j und daher θ i β j < 0), ist die Lösungswahrscheinlichkeit klein. 4. Die Werte, die die logistische Funktion annehmen kann, liegen zwischen 0 und 1 (vgl. Wertebereich der y-achse in Abbildung 2.1). Deshalb ist sie gut dafür geeignet, Wahrscheinlichkeiten abzubilden wie die Lösungswahrscheinlichkeit im Rasch-Modell. Durch den beschränkten Wertebereich ergibt sich noch eine Besonderheit in der Form der logistischen Funktion: Sie hat im mittleren Bereich die größte Steigung und flacht an den Enden ab. Auf die Stärke der Steigung im mittleren Bereich der Funktion werden wir im nächsten Abschnitt zurückkommen, wenn es um die Trennschärfe von Aufgaben geht.

9 Autorenregister Adams, R., 62, 95 Andersen, E., 41, 95 Andrich, D., 57, 95 Baker, J., 57, 95 Bates, D., 61, 75, 95, 96 Bertling, J., 50, 96 Birnbaum, A., 50, 95 Bliese, P., 61, 96 Briggs, D., 62, 95 Bühner, M., 2, 3, 59, 95 Carstensen, C., 3, 96, 97 De Boeck, P., 46, 61, 96, 97 Doran, H., 61, 75, 96 Dowling, M., 61, 96 Eid, M., 2, 97 Fahrmeir, L., 37, 58, 60, 96 Fischer, G., 20, 23 25, 35, 46, 49, 96 Fox, J.-P., 75, 96 Frey, A., 3, 96 Gomolka, J., 3, 96 Hatzinger, R., 33, 41, 56, 57, 64, 96 Holling, H., 50, 96 Irtel, H., 2, 20, 22, 23, 96 Johnson, J., 33, 98 Johnson, M., 34, 35, 96 Kelava, A., 2, 97 Kneib, T., 58, 96 Kopf, J., 59, 97 Krumm, S., 3, 95 Künstler, R., 37, 96 Kuppens, P., 61, 97 Lang, S., 58, 96 Leisch, F., 63, 96 Maechler, M., 75, 95 Mair, P., 33, 41, 56, 57, 64, 96 Malley, J., 59, 98 Masters, G., 54, 57, 97 Molenaar, I., 20, 23 25, 35, 46, 96 Moosbrugger, H., 2, 97 Pallant, J., 3, 97 Pigeot, I., 37, 96 R Development Core Team, 63, 97 Rönnebeck, S., 3, 96 Rasch, G., 97 Reckase, M., 62, 97 Rijmen, F., 46, 61, 97 Rizopoulos, D., 34, 52, 57, 71, 97 Rost, J., 3, 45, 58, 97 Rounds, J., 57, 95 Samejima, F., 57, 97 Schmidt-Atzert, L., 3, 95

10 100 Autorenregister Shea, T., 3, 97 Steyer, R., 2, 97 Stone, M., 41, 98 Strobl, C., 59, 60, 97, 98 Tennant, A., 3, 97 Tsutakawa, R., 33, 98 Tuerlinckx, F., 61, 97 Tutz, G., 37, 57 59, 96, 98 Van den Wollenberg, A., 34, 98 von Davier, M., 3, 97 Walter, O., 3, 96 Wang, W.-C., 62, 95 Wickelmaier, F., 60, 98 Wikipedia, 24, 98 Wilson, M., 61, 62, 95, 96 Wright, B., 41, 98 Zeileis, A., 59, 60, 97, 98 Zeuch, N., 50, 96 Zevon, M., 57, 95 Ziegler, M., 3, 95 Zwinderman, A., 34, 98

11 Index 2PL-Modell, 50 3PL-Modell, 52 Aufgaben-Parameter, 8, 28 Aufgaben-Schwierigkeit, siehe Aufgaben-Parameter Binomialverteilung, 80 Birnbaum-Modell, siehe 2PL-Modell Datenmatrix, 5 Exponentialfunktion, 77 Gemischtes Modell, 60 Graded-Response-Modell, 57 Grundlagen der Maximum-Likelihood-Schätzung, 80 Grundlagen statistischer Tests Ablehnbereich, 91 p-wert, 92 Tests basierend auf der χ 2 -Verteilung, 90 Tests basierend auf der Normalverteilung, 93 ICC, 10 Information einer Aufgabe, 35 eines Tests, 37 Likelihood, 84 LLTM, linear-logistisches-testmodell, 49 Logarithmus, 77 Lösungswahrscheinlichkeit, 8 Maximum-Likelihood-Schätzung, 27 bedingte, 29 gemeinsame, 28 marginale, 33 Mehrdimensionale Rasch-Modelle, 61 Mischverteilungs-Rasch-Modell, 45, 58 Mixed-Rasch-Modell, siehe Mischverteilungs-Rasch-Modell Modellgeltungstests χ 2 -Anpassungstest, 46 Bootstrap-Test, 46 graphischer Test, 39 Likelihood-Quotienten-Test, 41 Wald-Test Aufgaben-spezifischer, 44 globaler, 45 Modellgleichung des Rasch-Modells, 8 Partial-Credit-Modell, 54 Personen-Fähigkeit, siehe Personen-Parameter Personen-Parameter, 8, 28 Rasch-Modell, 8 Rating-Scale-Modell, 57 Spezifische Objektivität, 20 Trennschärfe, 11 Wahrscheinlichkeitsfunktion, 80