Testtheorie und Testkonstruktion

Transkript

1 hogrefe.de psychlehrbuchplus Michael Eid Katharina Schmidt Testtheorie und Testkonstruktion BACHELORSTUDIUM PSYCHOLOGIE

2 Testtheorie und Testkonstruktion

3 Bachelorstudium Psychologie Testtheorie und Testkonstruktion von Prof. Dr. Michael Eid und Katharina Schmidt Herausgeber der Reihe: Prof. Dr. Eva Bamberg, Prof. Dr. Hans-Werner Bierhoff, Prof. Dr. Alexander Grob, Prof. Dr. Franz Petermann

4 Testtheorie und Testkonstruktion von Michael Eid und Katharina Schmidt GÖTTINGEN BERN WIEN PARIS OXFORD PRAG TORONTO BOSTON AMSTERDAM KOPENHAGEN STOCKHOLM FLORENZ HELSINKI

5 Prof. Dr. Michael Eid, Dipl.-Psych. Katharina Schmidt, - hogrefe.de psychlehrbuchplus Hogrefe Verlag GmbH & Co. KG Göttingen Bern Wien Paris Oxford Prag Toronto Boston Amsterdam Kopenhagen Stockholm Florenz Helsinki Merkelstraße 3, Göttingen Aktuelle Informationen Weitere Titel zum Thema Ergänzende Materialien Copyright-Hinweis: Das E-Book einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Der Nutzer verpflichtet sich, die Urheberrechte anzuerkennen und einzuhalten. Umschlagabbildung: Digitalstock L. Halbauer Satz: ARThür Grafik-Design & Kunst, Weimar Format: PDF ISBN

6 Nutzungsbedingungen: Der Erwerber erhält ein einfaches und nicht übertragbares Nutzungsrecht, das ihn zum privaten Gebrauch des E-Books und all der dazugehörigen Dateien berechtigt. Der Inhalt dieses E-Books darf von dem Kunden vorbehaltlich abweichender zwingender gesetzlicher Regeln weder inhaltlich noch redaktionell verändert werden. Insbesondere darf er Urheberrechtsvermerke, Markenzeichen, digitale Wasserzeichen und andere Rechtsvorbehalte im abgerufenen Inhalt nicht entfernen. Der Nutzer ist nicht berechtigt, das E-Book auch nicht auszugsweise anderen Personen zugänglich zu machen, insbesondere es weiterzuleiten, zu verleihen oder zu vermieten. Das entgeltliche oder unentgeltliche Einstellen des E-Books ins Internet oder in andere Netzwerke, der Weiterverkauf und/oder jede Art der Nutzung zu kommerziellen Zwecken sind nicht zulässig. Das Anfertigen von Vervielfältigungen, das Ausdrucken oder Speichern auf anderen Wiedergabegeräten ist nur für den persönlichen Gebrauch gestattet. Dritten darf dadurch kein Zugang ermöglicht werden. Die Übernahme des gesamten E-Books in eine eigene Print- und/oder Online-Publikation ist nicht gestattet. Die Inhalte des E-Books dürfen nur zu privaten Zwecken und nur auszugsweise kopiert werden. Diese Bestimmungen gelten gegebenenfalls auch für zum E-Book gehörende Audiodateien. Anmerkung: Sofern der Printausgabe eine CD-ROM beigefügt ist, sind die Materialien/Arbeitsblätter, die sich darauf befinden, bereits Bestandteil dieses E-Books.

7 Unseren Kindern Joshua und Johanna gewidmet

8

9 Inhaltsverzeichnis Vorwort Grundfragen der Testtheorie und Testkonstruktion Was sind psychologische Messungen? Grundidee psychometrischer Modelle am Beispiel des Rasch- Modells Was ist ein psychologischer Test? Grundlegende Annahmen und Eigenschaften psychometrischer Modelle Unterscheidungsmerkmale testtheoretischer Modelle Klassifikation psychometrischer Modelle Begriffliche Abgrenzungen Zusammenfassung Fragen Wesentliche Schritte der Konstruktion psychologischer Tests Festlegung des zu erfassenden Konstrukts Definition der Konstruktvalidität Strategien zur Untersuchung der Konstruktvalidität Erstellung eines Itempools: Testkonstruktionsprinzipien und Validitätsfacetten Rationale Testkonstruktion Inhaltsvalidität (Kontentvalidität): Kriteriums orientierte und induktive Testkonstruktion Kriteriumsorientierte Tests Induktive Methode der Testkonstruktion Kriteriumsvalidität: Externale Testkonstruktion Augenscheinvalidität Auswahl eines Antwortformats: Objektivität und Präzision Gütekriterien der Itemauswahl Testanalyse Skalierung und Normierung... 71

10 8 Inhaltsverzeichnis 2.7 Testdokumentation Weitere Untersuchungen zur Güte Zusammenfassung Fragen Itemkonstruktion Noch Fragen? Konstruktion des Itemstamms Itemgegenstände Itemformulierung und -anordnung Konversationsmaximen Aufbau des Verfahrens: Effekte der Itemreihenfolge Semantische Aspekte der Itemformulierung Ja Nein Äh Kommt ganz drauf an : Antwortformate Freie Antwortformate Gebundene Antwortformate Ordnungsaufgaben Auswahlaufgaben Atypische Antwortformate Von der Antwort zur Variablen: Itemkodierung Zusammenfassung Fragen Eindimensionale Modelle für dichotome Antwortvariablen Dichotome Variablen Univariate Verteilung dichotomer Antwort variablen Unabhängigkeit dichotomer Antwortvariablen Zusammenhang dichotomer Variablen Das Rasch-Modell Erste Modellannahme: Rasch-Homogenität Skaleneigenschaften und Normierung Logit-Transformation Spezifische Objektivität Zweite Modellannahme: Bedingte stochastische Unabhängigkeit Methoden der Schätzung der Itemparameter und Personenwerte

11 Inhaltsverzeichnis Das Grundprinzip der Maximum-Likelihood-Schätzung Die unbedingte ML-Schätzung Schätzung der Itemparameter: Bedingte ML-Schätzung Schätzung der Itemparameter: Marginale ML-Schätzung Weitere Methoden der Itemparameterschätzung Schätzung der Personenwerte: Unbedingte und gewichtete ML-Schätzung Schätzung der Personenwerte: Weitere Ansätze Schätzung der Personenwerte: Reliabilität Methoden der Überprüfung der Modellgültigkeit Gleichheit der Itemparameter in Subpopulationen Grafischer Modelltest Bedingter Likelihood-Quotienten-Test Wald-Test Mischverteilungs-Rasch-Analyse Globale Modellgültigkeit: Wahrscheinlichkeitsverteilung der Antwortmuster Globale Modellgültigkeit: Likelihood-Quotienten-Test Gleichheit der Personenwerte in reduzierten Rasch-Modellen Weitere Tests Identifikation von abweichenden Items Identifikation von abweichenden Personen Bewertung der Modellgüte: Empfehlungen Weitere Modelle für dichotome Antwortvariablen Das zweiparametrische logistische Modell Das dreiparametrische logistische Modell Power- vs. Speed-Tests Benötigte Stichprobengröße Computerprogramme Weitere Ansätze Schwierigkeitskoeffizienten Trennschärfe Zusammenfassung Fragen Eindimensionale Modelle für Antwortvariablen mit geordneten Antwortkategorien Antwortvariablen mit geordneten Antwort kategorien Univariate Verteilung kategorialer Variablen mit geordneten Antwortkategorien

12 10 Inhaltsverzeichnis 5.3 Unabhängigkeit und Zusammenhang von Antwortvariablen mit geordneten Antwortkategorien Unabhängigkeit Zusammenhangsmaße Das Partial-Credit-Modell Erste Modellannahme: Item- und Kategorien homogenität Kategorienwahrscheinlichkeiten und -charakteristiken Itemcharakteristik Skaleneigenschaften und Normierung Zweite Modellannahme: Bedingte (lokale) stochastische Unabhängigkeit Methoden der Schätzung der Itemparameter und Personenwerte Methoden der Überprüfung der Modellgültigkeit Gleichheit der Itemparameter in Subpopulationen Wahrscheinlichkeitsverteilung der Antwort muster und globale Modellgültigkeit Gleichheit der Personenwerte in reduzierten Rasch-Modellen Identifikation von abweichenden Items und Personen Anwendungsbeispiel Spezialfälle des Partial-Credit-Modells Ratingskalenmodell Äquidistanzmodell Dispersionsmodell Weitere Modelle Benötigte Stichprobengröße Computerprogramme Weitere Ansätze Zusammenfassung Fragen Eindimensionale Modelle für metrische Antwortvariablen Metrische Variablen Univariate Verteilung metrischer Antwort variablen Unabhängigkeit und Zusammenhang von metrischen Antwortvariablen Unabhängigkeit Zusammenhangsmaße Grundzüge der Klassischen Testtheorie

13 Inhaltsverzeichnis Wahrer Wert und Messfehler Bestimmung des wahren Wertes Beobachteter Wert als Schätzwert für den wahren Wert Regressionsanalytische Schätzung des wahren Wertes Das Modell essenziell -äquivalenter Variablen Erste Modellannahme: Essenzielle -Äquivalenz Zweite Modellannahme: Unkorreliertheit der Fehlervariablen Methoden der Schätzung der Itemparameter und Personenwerte Leichtigkeitsparameter Varianz von und Fehlervarianzen Reliabilität Schätzung der latenten Personenwerte: Maximum-Likelihood- Schätzung Schätzung der latenten Personenwerte: Weitere Schätzmethoden Überprüfung der Modellgültigkeit des Modells essenziell -äquivalenter Variablen Kovarianzstruktur Gleichheit der Leichtigkeitsparameter in Subpopulationen Weitere Möglichkeiten der Modellgeltungs überprüfung Spezialfälle des Modells essenziell -äquivalenter Variablen Modell -äquivalenter Variablen Überprüfung der Modellgültigkeit Überprüfung der Modellgültigkeit: 2 -Differenztest Modell essenziell -paralleler Variablen Reliabilität der Summenvariablen Schätzung der latenten Personenwerte: Maximum-Likelihood- Schätzung Schätzung der latenten Personenwerte: Bayes-Modal- Schätzung Überprüfung der Modellgültigkeit Modell -paralleler Variablen Modell -kongenerischer Variablen Normierung Methoden der Schätzung der Itemparameter und Personenwerte Leichtigkeitsparameter Diskriminationsparameter Varianz von und Fehlervarianzen Konfidenzintervalle