LISREL/CFA: Modelltest

Transkript

1 LISREL/CFA: Modelltest im Rahmen des Interdisziplinären Seminars Multivariate Statistik bei psychologischen Fragestellungen Martina Feilke, Martina Unterburger, Christoph Burkhardt Dozenten: Prof. Dr. Markus Bühner und Prof. Dr. Helmut Küchenhoff 3.Dezember / 40

2 1 Wie gut ist die Modellanpassung? 2 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz / 40

3 CFA: Spezialfall der linearen Strukturgleichungsmodelle (LISREL) Ziel der CFA: Theoretisch oder empirisch gut fundierte Modelle auf ihre Modellgüte zu testen. Fragestellung der CFA: Wie gut passt das theoretisch aufgestellte Modell zu den beobachteten Daten der Stichprobe? 3 / 40

4 - Testkonstruktion χ 2 -Test: Überprüfung der exakten Modellanpassung Hypothesen: H 0 : Das Modell passt zur Datenstruktur. H 1 : Das Modell weicht von der Datenstruktur ab. 4 / 40

5 Berechnung des χ 2 -Werts I Theoretisches Modell (geschätzte Kovarianzmatrix) Stichprobe (beobachtete Kovarianzmatrix) Diskrepanz Gewichtung F value of the fitting function 5 / 40

6 Berechnung des χ 2 -Werts II Rückblick (Diskrepanzfunktionen = fitting functions ) Prinzip: Minimierung des Abstands zwischen der beobachteten und der geschätzten Kovarianzmatrix Letztes Mal vorgestellt: OLS-Diskrepanzfunktion GLS-Diskrepanzfunktion ML-Diskrepanzfunktion 6 / 40

7 Berechnung des χ 2 -Werts III Idee des χ 2 -Tests: Unter H 0 : Spezifikation eines Modells, Treffen bestimmter. zugehöriger Restriktionen χ 2 -Test prüft somit auch, ob Restriktionen stimmen Likelihood-Ratio-Rationale: Unter H 0 : Restringiertes Modell Unter H 1 : Keinerlei Restriktionen Test, ob H 0 größere Likelihood hat als H 1, also besser passt 7 / 40

8 Testentscheidung I Berechnung des (1-α)-Quantils der χ 2 -Verteilung (=kritischer Wert): Berechnung der Freiheitsgrade (df) df = {[b b+1 2 ] f } b: Anzahl der Items f: Anzahl der frei zu schätzenden Parameter im Modell Festgelegtes α einsetzen χ 2 1 α (df ) aus Tabelle der χ2 -Verteilung ablesen χ 2 > χ 2 1 α (df ) H 0 ablehnen (signifikantes Testergebnis) χ 2 -Wert (Testgröße) und p-wert immer zusammen angeben! 8 / 40

9 Testentscheidung II χ 2 = (N-1) F SIGNIFIKANT Nicht SIGNIFIKANT H0 wird verworfen H0 wird nicht verworfen kein exakter Modell-Fit exakter Modell-Fit 9 / 40

10 Testentscheidung III If the model fits the data, it does not mean that it is the correct model or even the best model. In fact, there can be many equivalent models all of which will fit the data equally well as judged by any goodness of fit measure. To conclude that the fitted model is the best, one must be able to exclude all models equivalent to it on logical or substantive grounds (Jöreskog, 1993, S.298; vgl. Cole, 1987) Annahme der Nullhypothese richtiges oder wahres Modell (Entscheidung durch Hypothesentests nicht möglich) 10 / 40

11 Probleme bei Berechnung des χ 2 -Werts I Minimierung des β-fehlers H 0 : Das Modell passt zur Datenstruktur. H 1 : Das Modell weicht von der Datenstruktur ab. α Fehler (Fehler 1.Art): Entscheidung: Kein exakter Modell-Fit. Realität: β Fehler (Fehler 2.Art): Entscheidung:. Realität: Kein exakter Modell-Fit Wahrscheinlichkeit, dass Entscheidung für exakten Modell-Fit eine Fehlentscheidung ist, soll möglichst gering gehalten werden ( β-fehler minimieren) 11 / 40

12 Probleme bei Berechnung des χ 2 -Werts II Abhängigkeit von der Stichprobengröße χ 2 -Wert abhängig von der Größe der Stichprobe (N) Je größer Stichprobe, desto sensitiver χ 2 -Test Große Stichprobe: Kleine Abweichungen von perfektem Modell führen bereits zur Ablehnung von H 0 Kleine Stichprobe: Große Abweichungen von perfektem Modell können trotzdem zur Annahme von H 0 führen 12 / 40

13 Probleme bei Berechnung des χ 2 -Werts III χ 2 = (N-1) F SIGNIFIKANT Nicht SIGNIFIKANT kein exakter Modell-Fit exakter Modell-Fit Große Stichprobe Betrachtung der Fit-Indizes erforderlich Betrachtung der Fit-Indizes nicht zwingend Kleine Stichprobe Betrachtung der Fit-Indizes erübrigt sich Betrachtung der Fit-Indizes erforderlich 13 / 40

14 - Fit-Indizes Motivation für einen idealen Fit-Index Wertebereich normiert (idealerweise auf [0,1]) Unabhängigkeit vom Stichprobenumfang 2 Arten von Fit-Indizes Komparative Fit-Indizes: Vergleich mit Null-Modell (alle Variablen sind unkorreliert) Absolute Fit-Indizes: Vergleich mit saturiertem Modell (Modell mit perfektem Fit) 14 / 40

15 - Fit-Indizes Einteilung Goodness-of-Fit-Indizes: Wie gut beschreibt ein Modell die Daten? großer Wert guter approximativer Modell-Fit Badness-of-Fit-Indizes: Wie schlecht beschreibt ein Modell die Daten? kleiner Wert guter approximativer Modell-Fit 15 / 40

16 - Fit-Indizes Vorstellung der gängigsten Fit-Indizes in der Psychologie: für komparativen Fit-Index CFI e für absolute Fit-Indizes RMSEA SRMR 16 / 40

17 Komparativer Fit-Index: CFI CFI: Comparative-Fit-Index Einteilung: Goodness-of-Fit-Index (Wert nahe 1: guter Modell-Fit) CFI = 1 χ2 M df M χ 2 N df N χ 2 M : Diskrepanz beobachtete vs. geschätzte Kovarianzmatrix χ 2 N : Diskrepanz beobachtete vs. Kovarianzmatrix des Nullmodels 17 / 40

18 Absoluter Fit-Index: RMSEA RMSEA: Root-Mean-Square-Error of Approximation Einteilung: Badness-of-Fit-Index (Wert nahe 0: guter Modell-Fit) RMSEA berücksichtigt: χ 2 M -Wert RMSEA = Modellkomplexität (df M ) Stichprobenumfang N χ 2 M df M N df M Besonderheit: Konfidenzintervall kann berechnet werden 18 / 40

19 Absoluter Fit-Index: SRMR SRMR: Standardized-Root-Mean-Residual Einteilung: Badness-of-Fit-Index (Wert nahe 0: guter Modell-Fit) SRMR = j k<j r 2 jk b (b+1) 2 r jk : Differenz zwischen beobachteten und geschätzten Korrelationskoeffizient von Item j und Item k b: Anzahl der Items Besonderheit: χ 2 -Wert geht nicht mit ein 19 / 40

20 Cut-off-Werte I Cut-off-Werte (aus Simulationsstudien) CFI 0.95 RMSEA 0.06(N > 250) bzw. 0.08(N < 250) SRMR < 0.11 Vorsicht: Gelten nur bei Verwendung der ML-Diskrepanzfunktion Stark Situationsabhängig Stark umstritten!! 20 / 40

21 Cut-off-Werte II Decision rules such as RMSEA < 0.05 (...) may be useful in some solutions but they often lead to inappropriate decisions in other solutions (...) and should be considered only as rules of thumb. (Hu & Bentler, 1999, S.4) Cut-off-Werte nur als Daumenregeln verwenden!!! 21 / 40

22 Modell-Fit Empfehlung: Gemeinsame Betrachtung von χ 2 -Wert und zugehörigem p-wert CFI RMSEA SRMR It is important to remember that even a model with excellent overall fit indices can be unacceptable because of the components of the model (Bollen & Long, 1993, S.7) theoretische und logische Überlegungen sind unverzichtbar 22 / 40

23 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Korrelierte Fehlervariablen Annahme in klassischer Testtheorie: Korrelationen zwischen den Messfehlern eines Tests und/oder den Messfehlern zweier Tests sind gleich null. Möglichkeiten in der CFA: Testen, ob die Annahme unkorrelierter Fehler verletzt ist (Möglichkeit, Korrelationen zwischen Messfehlern zweier Items zuzulassen) Modifikationsindizes betrachten (zeigen an, ob korrelierte Messfehler vorliegen) an welcher Stelle sollte man das Modell verändern 23 / 40

24 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Konstruktreliabilität Reliabilität: Zuverlässigkeit der Messungen (konsistente und stabile Resultate) Konstruktreliabilität: Qualität, mit der ein Konstrukt gemessen wird Schätzung über: Kommunalität der Items (Mindestschätzung der Reliabilität) Cronbach-α (innere Konsistenz) Konstruktreliabilität 1 H = ( 1+ 1/ [ p a i 2 i=1 1 a i 2 ]) 24 / 40

25 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Minderungskorrigierte Korrelationen Unterschiedliche Ursachen für korrelierte latente Variablen: Querladungen auf fremden Faktoren Unterschiedliche Reliabilität der Skalen Wichtig: Bei der Interpretation der Korrelationen zwischen latenten Variablen muss immer auch die Reliabilität der Skalen berücksichtigt werden. Minderungskorrigierte Korrelationen berücksichtigen dies. 25 / 40

26 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz von Variablen oder Items I Aggregation von Items bei CFA möglich: Statt Verwendung der Einzelitems können mehrere Items, welche die gleiche latente Variable erfassen, zu Aggregaten zusammengefasst werden Bildung der Aggregate mit Hilfe von exploratorischer oder einfaktorieller konfirmatorischer Faktorenanalyse Items, die ein Aggregat bilden, sollten homogen sein (Korrelation untereinander höher als mit anderen Items) Aggregate, die einer latenten Variable zugeordnet werden, sollen ebenfalls homogen sein 26 / 40

27 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz von Variablen oder Items II Vorteile der Aggregation von Items Aggregat ist reliabler als Einzelitem... hat höhere Kommunalität als Einzelitem... weist höheren Prozentsatz an gemeinsamer Varianz im Vergleich zu spezifischer Varianz auf... besitzt meist günstigere Verteilung als Einzelitem zusätzlich: Reduktion der Anzahl der freien Parameter (weniger zu schätzende Ladungen und Fehlervarianzen) 27 / 40

28 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Multi-Trait-Multi-Method-Ansatz I Ziel: Erkennen, wie viel Varianz der Leistung auf den Trait (Kompetenz) einer Person zurückgeht und wieviel Varianz auf die unterschiedlichen Methoden zurückgeht Wünschenswert: Geringe Methoden-Varianz, die nur wenig zu. den Leistungsunterschieden der Personen beitragen 28 / 40

29 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Multi-Trait-Multi-Method-Ansatz II CU-Modell Annahme: Alle Fehlervariablen einer Methode sind korreliert e1 e2 e3 e4 e5 e6 e7 e8 e9 PR GD PK PR GD PK PR GD PK FF AD UD 29 / 40

30 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Multi-Trait-Multi-Method-Ansatz III CTC-Modell Spezifikation von Methodenfaktoren PR GD PK e1 e2 e3 e4 e5 e6 e7 e8 e9 PR GD PK PR GD PK PR GD PK FF AD UD 30 / 40

31 Reliabilität Aggregation von Items Multi-Trait-Multi-Method Ansatz Multi-Trait-Multi-Method-Ansatz IV Gesamtvarianz eines Items lässt sich additiv in mehrere Teile aufspalten: Trait-Varianz: Wieviel Varianz der Leistung gehen auf die Eigenschaft (den Trait ) der Person zurück? Methoden-Varianz: Wieviel Varianz geht auf die Messmethode zurück? Fehler-Varianz 31 / 40

32 1: Nur ein Faktor 32 / 40

33 1: Modell-Fit 33 / 40

34 2: Zwei korrelierte Faktoren 34 / 40

35 2: Modell-Fit 35 / 40

36 3: Zwei unkorrelierte Faktoren 36 / 40

37 3: Modell-Fit 37 / 40

38 der CFA (Spezialfall von LISREL) Strukturgleichungsmodell aufstellen Datenerhebung und Berechnung der beobachteten Kovarianzmatrix (aus den Daten) Prüfung der Identifizierbarkeit und evtl. Treffen von Restriktionen Parameterschätzung (Ladungen und Fehlervarianzen) Berechnung der geschätzten Kovarianzmatrix aus Modellgleichung Modellbeurteilung (durch χ 2 -Test und Fit-Indizes) evtl. Modellmodifikation 38 / 40

39 Vielen Dank für Ihre Aufmerksamkeit! Wir beantworten nun gerne Ihre Fragen! 39 / 40

40 Literatur Buehner Markus, 2006: Einführung in die Test- und Fragebogenkonstruktion; Pearson Studium. Hu L. & Bentler P.M., 1999: Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives; Structural Equation Modeling, 6(1), Fan X. & Thompson B. & Wang L., 1999: Effects of Sample Size, Estimation Methods, and Model Specification on Structural Equation Modeling Fit Indexes; Structural Equation Modeling, 6(1), Bollen K.A. & Long J.S., 1993: Testing Structural Equation Models; S.7. Jöreskog K., 1993: Testing Structural Equation Models; in K.A. Bollen & J.S. Long (Eds.) Testing Structural Equation Models, / 40