Konfirmatorische Faktorenanalyse oder Item-Response-Theory-Analyse? Ein Vergleich beider Verfahren zur Entwicklung eines Leistungstests

Transkript

1 Konfirmatorische Faktorenanalyse oder Item-Response-Theory-Analyse? Ein Vergleich beider Verfahren zur Entwicklung eines Leistungstests Philipp K. Masur

2 Wie modelliere ich ein Konstrukt? Ausgangslage Phänomene lassen sich häufig nicht direkt messen Abstrakte Konstrukte (z. B. Intelligenz, Medienkompetenz, Einstellungen, ) Nur indirekt über beobachtbare Indikatoren (Items) erfassbar Schätzung der latenten Variable Zwei Modell-Familien: Strukturgleichungsmodelle (SEM) (Jöreskog, 1967; 1970; 1971) Modelle auf Basis der Item-Response-Theory (IRT) (Rasch, 1960; Lord & Novick, 1968; Andersen, 1972; Bock & Aitken, 1981) 2

3 Überblick über beide Modellarten Theoretischer Hintergrund Strukturgleichungsmodelle Multivariates Verfahren mit konfirmatorischen Charakter In der KoWi vergleichsweise häufig eingesetzt (z.b. zur Prüfung von Hypothesensystemen, aber auch zur Skalenkonstruktion) IRT-Modelle Verfahren, welche die Lösungswahrscheinlichkeit eines Items als Funktion aus Personenfähigkeit und Itemschwierigkeit modellieren In der KoWi eher selten (z. B. bei der Entwicklung von Leistungstests) 3

4 Vergleich beider Verfahren Theoretischer Hintergrund Strukturgleichungs- und (einfache) IRT-Modell formal äquivalent Sowohl bei dichotomen, als auch bei polytomen Items (Lord & Novick, 1968, Takane & de Leeuw, 1987; Kim & Yoon, 2011) Schätzung gleichartiger Modelle in beiden Verfahren möglich (Glockner-Rist & Hoijtink, 2009) Unterschiede in der Anwendung Bei der Skalenkonstruktion: Fokussierung auf unterschiedliche Aspekte In der hypothesen-basierten Forschung: Umgang mit Messfehlern 4

5 Formale Äquivalenz Theoretischer Hintergrund SEM IRT Threshold (ν) Location / Itemschwierigkeit (b) Trennschärfe Faktorladung (λ) Diskrimination (a) Ratewahrscheinlichkeit Lösungswahrscheinlichkeit Ratewahrscheinlichkeit (c) 5

6 Potenzielle Nachteile der CFA bei der Skalenkonstruktion Theoretischer Hintergrund SEM Häufig Vernachlässigung der Schwierigkeit einzelner Items und dadurch oft Einschränkung des eigentlichen Merkmalsraumes Häufig unverhältnismäßige Spezifizierung des Konstruktes durch Eliminierung vermeintlich unpassender Items Fokussierung auf formale Validität und erreichen eines passenden Modells IRT Berücksichtigung unterschiedlich schwieriger Items und dadurch Fokussierung auf Abdeckung des Merkmalsraumes Evaluation der Modelpassung auf der Personenebene Überprüfung der Äquidistanzannahme von Antwortkategorien Adaptives Testen 6

7 Potenzielle Nachteile des IRT-Modells in der hypothesenbasierten Forschung Theoretischer Hintergrund SEM Berücksichtigung des Messfehlers bei der Schätzung der latenten Variable Flexible Integration von Messmodellen und strukturellen Komponenten innerhalb eines Modells Dadurch genauere Schätzung möglicher Effekte oder Einflüsse auf das Konstrukt IRT Fehlende Berücksichtigung des Messfehlers bei Benutzung des IRT- Scores Keine Berücksichtigung von strukturellen Komponenten Vorteile bei der Diagnostik (Ermittlung der wahren Fähigkeit, Einstellung, ) durch verbesserte Schätzung des Factorscores 7

8 Ziel dieser Untersuchung Forschungsfrage 1. Skalenkonstruktion eines Leistungstest (dichotome Antwortstruktur) mit beiden Verfahren Kategoriale Konfirmatorische Faktorenanalyse (CCFA) WLSMV-Schätzung (Berücksichtigung der Thresholds) Zwei- Parameter- Modell (2PL) Im Gegensatz zum Rasch(1PL)-Model Berücksichtigung der Itemschwierigkeit und der Trennschärfe 8

9 Ziel dieser Untersuchung Forschungsfrage 1. Skalenkonstruktion eines Leistungstest (dichotome Antwortstruktur) mit beiden Verfahren 2. Herausstellen von Unterschieden bei der Beurteilung der Items 3. Vergleich der finalen Modelle 9

10 Datengrundlage Methode Online-Befragung zum Thema Privatheit (Trepte et al., under review) Rekrutierung über das Sosci-Panel (Leiner, 2012) 1,077 vollständige Datensätze Soziodemographische Merkmale Geschlecht: 54% weiblich Alter: M = 37 Jahre (SD = 14.4) Bildung: 23.8% Abitur, 11.2% Bachelor, 35.8% Master-Abschluss 10

11 Messinstrument Methode Itempool zur Konstruktion der Online Privacy Literacy Scale 40 dichotome Wissensfragen (Wahr/Falsch oder Multiple Choice) Messung von Privatheitskompetenz in fünf Dimensionen Wissen über institutionelle Praktiken der Datensammlung und -auswertung Wissen über technische Aspekte des Datenschutzes Wissen über Datenschutzrecht Wissen über Datenschutzstrategien Unternehmen kombinieren Daten, die auf verschiedenen Webseiten im Internet hinterlassen werden und stellen daraus Nutzerprofile zusammen 11

12 Skalenkonstruktion auf zwei Wegen Methode Methode CFA IRT 1. Schritt Schätzen des latenten Konstruktes mit WLSMV (Muthen et al., 1997) 2. Schritt Beurteilen der Güte auf Basis des Global-Fits (χ 2 ), Faktorladungen und Modifikation- Indizes Schätzen eines 2PL-Modells Beurteilen der Güte auf Basis des Global-Fits (M 2 ), der Itemschwierigkeit und der Itemtrennschärfe 3. Schritt Ausschließen entsprechender Items Ausschließen entsprechender Items 4. Schritt Erneutes Beurteilen der Güte Erneutes Beurteilen der Güte 5. Schritt Überführen in das jeweils andere Modell 12

13 TEC 01 TEC 02 TEC 03 TEC 04 TEC 05 TEC 06 TEC 07 TEC 08 Wissen über inst. Praktiken (CCFA-Modell) Ergebnisse Wissen über inst. Praktiken Model Fit: WLMSV, χ 2 (20) = 60.17, p <.001; CFI =.97, RMSEA =.04, WRMR =

14 TEC 01 TEC 03 TEC 05 TEC 06 TEC 07 TEC 08 Wissen über inst. Praktiken (CCFA-Modell) Ergebnisse Wissen über inst. Praktiken Model Fit: WLMSV, χ 2 (9) = 16.86, p =.051; CFI =.99, RMSEA =.03, WRMR =.67 14

15 Wissen über inst. Praktiken (2PL-Modell) Ergebnisse Model Fit: M 2 (20) = 55.42, p <.001; CFI =.98, RMSEA =.04, SRMR =.05 15

16 PRA 01 PRA 03 PRA 08 PRA 06 PRA 05 PRA 07 PRA 04 PRA 02 Wissen über inst. Praktiken (2PL-Modell) Ergebnisse 16

17 Wissen über inst. Praktiken (2PL-Modell) Ergebnisse Model Fit: M 2 (9) = 12.10, p =.21; CFI = 1.00, RMSEA =.02, SRMR =.04 17

18 TEC 01 TEC 02 TEC 03 TEC 04 TEC 05 TEC 06 TEC 07 TEC 08 Wissen über techn. Aspekte (CCFA-Modell) Ergebnisse Wissen über tech. Aspekte Model Fit: WLMSV, χ 2 (20) = 90.89, p <.001; CFI =.98, RMSEA =.06, WRMR =

19 TEC 02 TEC 03 TEC 04 TEC 05 TEC 06 Wissen über techn. Aspekte (CCFA-Modell) Ergebnisse Wissen über tech. Aspekte Model Fit: WLMSV, χ 2 (5) = 30.02, p <.001; CFI =.99, RMSEA =.07, WRMR =

20 Vergleich beider Modelle Ergebnisse (Wissen über inst. Praktiken) Methode CFA-Skalenkonstruktion IRT-Skalenkonstruktion Ausgeschlossene Items Item 02 und 04 Item 02 und 03 χ 2 (9) 16.86, p = , p =.13 M 2 (9) 13.31, p = , p =.21 20

21 Wissen über techn. Aspekte (2PL-Modell) Ergebnisse Model Fit: M 2 (20) = 86.49, p <.001; CFI =.98, RMSEA =.06, SRMR =.05 21

22 TEC 07 TEC 02 TEC 05 TEC 06 TEC 03 TEC 01 TEC 04 TEC 08 Wissen über techn. Aspekte (2PL-Modell) Ergebnisse 22

23 Wissen über techn. Aspekte (2PL-Modell) Ergebnisse Model Fit: M 2 (5) = 13.71, p =.02; CFI =.99, RMSEA =.04, SRMR =.03 23

24 Vergleich beider Modelle Ergebnisse (Wissen über techn. Aspekte) Methode CFA-Skalenkonstruktion IRT-Skalenkonstruktion Ausgeschlossene Items Items 08, 07 und 01 Items 08, 06 und 02 χ 2 (9) 30.02, p < , p =.01 M 2 (9) 25.83, p < , p =.02 24

25 Erkenntnisse aus der beispielhaften Skalenkonstruktion Diskussion Beide Verfahren führen zu ähnlichen Modellen In diesem Fall verfügen die über IRT konstruierten Skalen (zufällig?) über einen etwas besseren Fit Unterschiedliche Aspekte werden bei der Konstruktion berücksichtigt IRT ermöglicht die Identifikation psychometrisch redundanter Items SEM fokussiert die Spezifizierung des Konstruktes 25

26 Relevanz für die Kommunikationswissenschaft Fazit und Ausblick In vielen Fällen ist die Diagnostik von Individuen von Bedeutung Beispiele: Medienkompetenz, Mediensucht, politische Einstellung, Wertvorstellung, Oft ist auch die Bestimmung einer latenten Position von Interesse Beispiel: Einschätzung der politischen Position eines Akteurs oder mehrerer Akteure anhand von Stellungsnahmen zu unterschiedlichen Themen IRT-Modelle können bessere und vergleichbarere Scores liefern! 26

27 Vorschlag: Kombination beider Verfahren Fazit und Ausblick Auch wenn die Diagnostik von untergeordnetem Interesse sein sollte: Setzt man die IRT-Brille auf, berücksichtigt man andere Aspekte bei der Skalenkonstruktion Integration von schwierigen und einfachen Items, bei gleichzeitiger Berücksichtigung der Itemtrennschärfe: Abdeckung des Merkmalsraumes Evaluation der Model-Passung auf der Personenebene Die finale Skala kann anschließend wieder in ein SEM überführt werden, um bei der hypothesenbasierter Forschung die Messfehler zu berücksichtigen 27

28 Vielen Dank für Ihre Aufmerksamkeit! Philipp K. Masur Institut für Kommunikationswissenschaft Fachgebiet Medienpsychologie (540 F) Universität Hohenheim Stuttgart

29 Literatur Andersen, E. B. (1972). The numerical solution of a set of conditional estimation equations. Journal of the Royal Statistical Society, Series B, 34, Bock, R. D., & Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters: an application of an EM algorithm. Psychometrika, 46, Glockner-Rist, A., & Hoijtink, H. (2003). The best of both worlds: Factor analysis of dichotomous data using item response theory and structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 10(4), doi: /s sem1004_4 Kim, E. S., & Yoon, M. (2011). Testing measurement invariance: A comparison of multiple group categorical CFA and IRT. Structural Equation Modeling: A Multidisciplinary Journal, 18(2), doi: / Jöreskog, K. G. (1967). Some contributions to maximum likelihood factor analysis. Psychometrika, 32, Jöreskpg, K. G. (1969). A general approach to confirmatory maximum likelihood factor analysis. Psychometrika, 34, Jöreskopg, K. G. (1970). A general method for analysis of covariance structures. Biometrika, 57, Leiner, Dominik J. (2012). SoSci Panel: The Noncommercial Online Access Panel. Poster presented at the GOR 2012, 6th March, Mannheim. Available fromhttps:// Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison Wesley. Maydeu-Olivares, A., & Joe, H. (2006). Limited information goodness-of-fit testing in multidimensional contingency tables. Psychometrika, 71(4), doi: /s Muthén, B. O., du Troit, S. H. C., & Spisic, D. (1997). Robust inference using weighted least squares and quadratic estimating equations in latent variable modeling with categorical and continuous outcomes. Retrieved from Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research. Takane, Y., & de Leeuw, J. (1987). On the relationship between item response theory and factor analysis of discretized variables. Psychometrika, 52(3), Trepte, S., Teutsch, D., Masur, P. K., Eicher, C., Fischer, M., Hennhöfer, A., Lind, F. (2015). Do people know about privacy and data protection strategies? Towards the "Online Privacy Literacy Scale" (OPLIS). In. S. Gutwirth, R. Leenes & P. de Hert (Eds.). Reforming European Data Protection Law. (pp ). Springer Netherlands. doi: / Trepte, S., Masur, P. K. & Teutsch, D. (under review). Entwicklung und Validierung der Online-Privatheitskompetenzskala. 29