Einführung in die Test- und Fragebogenkonstruktion

Transkript

1 Markus Bühner Einführung in die Test- und Fragebogenkonstruktion 3., aktualisierte und erweiterte Auflage PEARSON Studium ein Imprint von Pearson Education München Boston San Francisco Harlow, England Don Mills, Ontario Sydney Mexico City Madrid Amsterdam

2 Vorwort zur 3. Auflage 11 Kapitel Ziel des Buches Testanwendungsbereiche Arten von Tests Raven Progressive Matrices NEO-FFI und NEO-PI-R Thematischer Apperzeptionstest (TAT) Diagnosemöglichkeiten mit Tests Kapitel Testtheoretische Grundlagen Gegenstand einer Testtheorie Klassische Testtheorie Grundannahmen der Klassischen Testtheorie Kritische Anmerkungen zur Klassischen Testtheorie Kurzer Ausblick auf die Probabilisüsche Testtheorie Haupt- und Nebengütekriterien Hauptgütekriterien Nebengütekriterien Kurzchecklisten zur Testbeurteilung Kurzcheckliste zur Testbewertung Kapitel Einführung Erstellung eines Testentwurfs Festlegung der Art der Indikatoren 85 Festlegen der Zielgruppe 87 Testziel und Entscheidung für eine Konstruktionsstrategie Rationale Testkonstruktion Externale Testkonstruktion Induktive Testkonstruktion Prototypenansatz Vergleich der Methoden 95 Generieren von Indikatoren und Eingrenzen des Konstrukts Erfahrungsgeleitet-intuitiver Ansatz Sammlung und Analyse von Definitionen/Literaturrecherche Analytisch-empirischer Ansatz Personenbezogen-empirische Methode 103 Erstellen einer Definition des Messgegenstandes 105

3 Wahl des Itemformats Gebundene Aufgabenbeantwortung Allgemeine Probleme gebundener Itemformate Die freie Aufgabenbeantwortung Atypische Aufgabenbeantwortung Richtlinien zur Itemformulierung Kapitel Reliabilität Wie ist die Reliabilität eines Tests definiert? Voraussetzungen für die Reliabilitätsschätzung Modell paralleler und im Wesentlichen paralleler Messungen Modell Tau-äquivalenter und im Wesentlichen Tau-äquivalenter Messungen Modell Tau-kongenerischer Messungen Methoden der Reliabilitätsschätzung Konsistenzmethode Paralleltestmethode Retestmethode Formeln zur Schätzung der Reliabilität Reliabilitätsschätzung durch Testhalbierungskoeffizienten Reliabilitätsschätzung durch Konsistenzkoeffizienten Trennschärfen Berechnung von Eigentrennschärfen Fremdtrennschärfen Faktoren, die die Reliabilität beeinflussen Homogenität Verteilungsmerkmale der Testkennwerte Verschiedene Arten von Messfehlern Möglichkeiten der Reliabilitätsverbesserung Reliabilitätsschätzungen als Ausgangspunkt der psychometrischen Einzelfalldiagnostik Vertrauensintervalle um den beobachteten Wert einer individuellen Testleistung Bedeutsamkeit von Untertestdifferenzen Eine messfehler- und valenzkritische Analyse von Testwertdifferenzen Unterscheiden sich die Leistungen einer Person bei einer wiederholten Messung? Unterscheiden sich zwei Probanden in ihrer Leistung? Richtlinien zur Interpretation von diskrepanten Testbefunden... Minderungskorrekturen

4 Kapitel Itemcodierung und Schwierigkeitsanalyse mit SPSS Durchführung einer Schwierigkeitsanalyse mit SPSS Ergebnisse einer Schwierigkeitsanalyse mit SPSS Reliabilitätsanalyse mit SPSS Beispiel einer Item- und Reliabilitätsanalyse mit SPSS Itemanalyse mit allen Items der Skala Extraversion Itemanalyse der Skala Extraversion unter Ausschluss von Items mit geringer inhaltlicher Passung Bewertung der inhaltlichen Passung der Items Zusammenhang zwischen Schwierigkeit, Standardabweichung, Trennschärfe und Reliabilität Norm- und kriteriumsorientierte Testauswertung mit SPSS Normorientierte Testauswertung Kriteriumsorientierte Testauswertung Kapitel б Empirische Überprüfung des Testentwurfs und Normierung Exploratorische Faktorenanalyse Grundgedanke der Faktorenanalyse Definitionsgleichung Strukturgleichungen 305 Methoden der Faktorenanalyse Kommunalitätenproblem Methode der Hauptachsenanalyse (PAF) Maximum-Likelihood-Faktorenanalyse (ML) Vergleich der faktorenanalytischen Methoden mit der Hauptkomponentenmethode 318 Extraktionskriterien für Faktoren Explizite Theorie zur Faktorenextraktion Eigenwertkriterium größer eins Scree-Test nach Cattell Parallelanalyse nach Horn Minimum-Average-Partial-Test (MAP-Test) Modelltest der ML-Faktorenanalyse Reduktion der Itemspezifität 327 Rotation Geometrische Darstellung der Faktorenanalyse Orthogonale Rotation Oblique Rotation 338 Faktorwerte 340 Voraussetzungen für die Berechnung einer Faktorenanalyse 342 Kriterien zur Bewertung der Durchführbarkeit einer Faktorenanalyse Faktorenanalyse mit SPSS 350 Beispiel einer Faktorenanalyse mit SPSS 354

5 Kapitel 7 Konfirmatorische Faktorenanalyse Modell der konfirmatorischen Faktorenanalyse Definitionsgleichungen Messmodell Strukturmodell 7.3 Strukturgleichungen 7.4 Identifikationsgleichungen Fixierung der Ladungen einer Referenzvariablen bzw. der Fehlervariablen Fixierung der Varianz der latenten Variablen Parameterfixierung durch Modellannahmen Prüfung der Identifizierbarkeit 7.5 Schätzmethoden 7.6 Modell-Fit Wie erkenne ich, ob ein Modell passt? Signifikanztests Approximativer Modell-Fit: Fit-Indizes Beurteilung von Modellen Modifikation von Modellen 7.7 Voraussetzungen von konfirmatorischen Faktorenanalysen 7.8 Durchführung einer konfirmatorischen Faktorenanalyse mit AMOS Beispiel einer konfirmatorischen Faktorenanalyse mit AMOS Prüfung eines einfaktoriellen Modells Prüfung eines zweifaktoriellen Modells 7.10 Multi-Trait-Multi-Method-Ansatz 7.11 Das Latent-State-Trait-Modell (LSTM) Wodurch verändern sich Messwerte über die Zeit? Annahmen LSTM mit AMOS Kapitel Probabilistische Testtheorie Messen Unabhängige Messungen Messinstrumente, die einem Messmodell genügen Probabilistische Testmodelle Probabilistische Testmodelle für dichotome Itemantworten Probabilistische Testmodelle für ordinale Itemantworten Modelltests Likelihood-Quotienten-Tests Andersen-Test Nonparametrische Teststatistik T U Likelihood-Quotienten-Test gegen ein saturiertes Modell Pearsons-Test Martin-Löf-Test Grafischer Modelltest Informationstheoretische Maße

6 8.3.9 Axiomatische Modellprüfungen Q-Index Adaptives Testen Branched-Testing Tailored-Testing Einführung in WINMIRA Anwendungsbeispiele des Rasch-Modells Beispiel eines ordinalen Rasch-Modells mit WINMIRA Erstes Beispiel eines ordinalen Mixed-Rasch-Modells mit WINMIRA Zweites Beispiel eines ordinalen Mixed-Rasch-Modells mit WINMIRA 591 Kapitel 9 Probleme der Testkonstruktion 603 Literaturverzeichnis 609 Stichwortverzeichnis 637 9