Testtheorie und Testkonstruktion

Transkript

1 v *»» Testtheorie und Testkonstruktion von Michael Eid und Katharina Schmidt HOGREFE GÖTTINGEN BERN WIEN PARIS OXFORD PRAG TORONTO BOSTON AMSTERDAM KOPENHAGEN STOCKHOLM FLORENZ HELSINKI

2 Inhaltsverzeichnis Vorwort 15 1 Grundfragen der Testtheorie und Testkonstruktion Was sind psychologische Messungen? ^ Grundidee psychometrischer Modelle am Beispiel des Rasche Modells Was ist ein psychologischer Test? Grundlegende Annahmen und Eigenschaften psychometrischer Modelle Unterscheidungsmerkmale testtheoretischer Modelle Klassifikation psychometrischer Modelle Begriffliche Abgrenzungen 39 Zusammenfassung 40 Fragen 41 2 Wesentliche Schritte der Konstruktion psychologischer Tests Festlegung des zu erfassenden Konstrukts Definition der Konstruktvalidität Strategien zur Untersuchung der Konstruktvalidität Erstellung eines Itempools: Testkonstruktionsprinzipien und Validitätsfacetten Rationale Testkonstruktion Inhaltsvalidität (Kontentvalidität): Kriteriumsorientierte und induktive Testkonstruktion Kriteriumsorientierte Tests Induktive Methode der Testkonstruktion Kriteriumsvalidität: Externale Testkonstruktion Augenscheinvalidität Auswahl eines Antwortformats: Objektivität und Präzision Gütekriterien der Itemauswahl Testanalyse Skalierung und Normierung 71

3 8 Inhaltsverzeichnis 2.7 Testdokumentation ;: Weitere Untersuchungen zur Güte 74 Zusammenfassung r 75 Fragen 76 3 Itemkonstruktion Noch Fragen? - Konstruktion des Itemstamms Itemgegenstände Itemformulierung und-anordnung Konversationsmaximen Aufbau des Verfahrens: Effekte der Itemreihenfolge Semantische Aspekte der Itemformulierung Ja"- Nein"- Äh..."- Kommt ganz drauf an": Antwortformate "Freie Antwortformate Gebundene Antwortformate Ordnungsaufgaben Auswahlaufgaben Atypische Antwortformate Von der Antwort zur Variablen: Itemkodierung 124 Zusammenfassung 126 Fragen Eindimensionale Modelle für dichotome Antwortvariablen Dichotome Variablen Univariate Verteilung dichotomer Antwortvariablen Unabhängigkeit dichotomer Antwortvariablen Zusammenhang dichotomer Variablen Das Rasch-Modell Erste Modellannahme: Rasch-Homogenität Skaleneigenschaften und Normierung Logit-Transformation Spezifische Objektivität Zweite Modellannahme: Bedingte stochastische Unabhängigkeit Methoden der Schätzung der Itemparameter und Personenwerte 156

4 Inhaltsverzeichnis Das Grundprinzip der Maximum-Likelihood-Schätzung * Die unbedingte ML-Schätzung Schätzung der Itemparameter: Bedingte ML-Schätzung Schätzung der Itemparameter: Marginale ML-Schätzung Weitere Methoden der Itemparameterschätzung Schätzung der Personenwerte: Unbedingte und gewichtete ML-Schätzung Schätzung der Personenwerte: Weitere Ansätze Schätzung der Personenwerte: Reliabilität _ Methoden der Überprüfung der Modellgültigkeit Gleichheit der Itemparameter in Subpopulationen Grafischer Modelltest Bedingter Likelihood-Quotienten-Test Wald-Test Mischverteilungs-Rasch-Analyse Globale Modellgültigkeit: Wahrscheinlichkeitsverteilung der Antwortmuster Globale Modellgültigkeit: Likelihood-Quotienten-Test Gleichheit der Personenwerte in reduzierten Rasch-Modellen Weitere Tests Identifikation von abweichenden Items Identifikation von abweichenden Personen Bewertung der Modellgüte: Empfehlungen Weitere Modelle für dichotome Antwortvariablen Das zweiparametrische logistische Modell Das dreiparametrische logistische Modell Power- vs. Speed-Tests Benötigte Stichprobengröße Computerprogramme Weitere Ansätze Schwierigkeitskoeffizienten Trennschärfe 216 Zusammenfassung 219 Fragen Eindimensionale Modelle für Antwortvariablen mit geordneten Antwortkategorien Antwortvariablen mit geordneten Antwortkategorien Univariate Verteilung kategorialer Variablen mit geordneten Antwortkategorien 224

5 10 Inhaltsverzeichnis 5.3 Unabhängigkeit und Zusammenhang von Antwortvariablen mit geordneten Antwortkategorien Unabhängigkeit Zusammenhangsmaße Das Partial-Credit-Modell ' Erste Modellannahme: Item-und Kategorienhomogenität Kategorienwahrscheinlichkeiten und-charakteristiken Itemcharakteristik Skaleneigenschaften und Normierung... j Zweite Modellannahme: Bedingte (lokale) stochastische Unabhängigkeit Methoden der Schätzung der Itemparameter und Personenwerte Methoden der Überprüfung der Modellgültigkeit Gleichheit der Itemparameter in Subpopulationen Wahrscheinlichkeitsverteilung der Antwortmuster und globale Modellgültigkeit Gleichheit der Personenwerte in reduzierten Rasch-Modellen Identifikation von abweichenden Items und Personen Anwendungsbeispiel Spezialfälle des Partial-Credit-Modells Ratingskalenmodell Äquidistanzmodell Dispersionsmodell Weitere Modelle Benötigte Stichprobengröße Computerprogramme ; Weitere Ansätze 254 Zusammenfassung 255 Fragen Eindimensionale Modelle für metrische Antwortvariablen Metrische Variablen Univariate Verteilung metrischer Antwortvariablen Unabhängigkeit und Zusammenhang von metrischen Antwortvariablen Unabhängigkeit Zusammenhangsmaße Grundzüge der Klassischen Testtheorie 265

6 Inhaltsverzeichnis Wahrer Wert und Messfehler * ' Bestimmung des wahren Wertes Beobachteter Wert als Schätzwert für den wahren Wert Regressionsanalytische Schätzung des wahren Wertes Das Modell essenziell r-äquivalenter Variablen Erste Modellannahme: Essenzielle r-äquivalenz Zweite Modellannahme: Unkorreliertheit der Fehlervariablen Methoden der Schätzung der Itemparameter und Personenwerte, Leichtigkeitsparameter Varianz von ij und Fehlervarianzen Reliabilität Schätzung der latenten Personenwerte: Maximum-Likelihood- Schätzung Schätzung der latenten Personenwerte: Weitere Schätzmethoden Überprüfung der Modellgültigkeit des Modells essenziell r-äquivalenter Variablen Kovarianzstruktur Gleichheit der Leichtigkeitsparameter in Subpopulationen Weitere Möglichkeiten der Modellgeltungsüberprüfung Spezialfälle des Modells essenziell r-äquivalenter Variablen Modell r-äquivalenter Variablen Überprüfung der Modellgültigkeit Überprüfung der Modellgültigkeit: / 2 -Differenztest Modell essenziell r-paralleler Variablen Reliabilität der Summenvariablen Schätzung der latenten Personenwerte: Maximum-Likelihood- Schätzung Schätzung der-latenten Personenwerte: Bayes-Modal- Schätzung Überprüfung der Modellgültigkeit Modell r-paralleler Variablen Modell r-kongenerischer Variablen Normierung Methoden der Schätzung der Itemparameter und Personenwerte Leichtigkeitsparameter Diskriminationsparameter Varianz von rj und Fehlervarianzen Konfidenzintervalle 319

7 12 Inhaltsverzeichnis Reliabilität der Summenvariablen Schätzung der latenten Personenwerte Überprüfung der Modellgültigkeit Vergleich der verschiedenen Modelle Benötigte Stichprobengröße Anzahl der Items Anzahl der Personen Computerprogramme Analyse von Reaktionszeiten t Weitere Ansätze _ Klassische Testtheorie und Testkonstruktion 334 Zusammenfassung 335' Fragen Einführung in mehrdimensionale Testmodelle Mehrdimensionale Modelle und Testvalidierung Multikomponentenmodelle Faktorenanalytisches Modell Konfirmatorische Faktorenanalyse Exploratorische Faktorenanalyse Faktorenanalyse für ordinale Variablen 353 Zusammenfassung 357 Fragen Interpretation und Normierung von Testwerten Vergleich der Testergebnisse mit den Ergebnissen anderer Personen einer Bezugsgruppe (Normpopulation) Lineare Transformationen z-transformation Transformationen der z-werte Nicht lineare Transformationen Prozentrangwerte Weitere nicht lineare Transformationen. : Normalisierende Transformationen Vergleich der verschiedenen Transformationen Bestimmung der Anzahl der Skalenpunkte Andere Normierungssysteme Eichstichprobe 378

8 Inhaltsverzeichnis Arten von Normeri und Stichproben ' ' Bestimmung der Stichprobengröße Vergleich zweier Personen Vergleich der Testergebnisse derselben Person in mehreren Tests (Profilanalyse) Vergleich der Testergebnisse derselben Person in demselben Test zu einer anderen Messgelegenheit Kriteriumsorientierte Interpretation von Testwerten 386 Zusammenfassung 392 Fragen: >^'393 Anhang 395 Literatur 397 Griechisches Alphabet 411 Glossar 412 Sachregister 429