Vorlesung: Multivariate Statistik für Psychologen

Transkript

1 Vorlesung: Multivariate Statistik für Psychologen 11. Vorlesung: Agenda. Multivariate Varianzanalyse i. Einführung in die multivariate Variananalyse ii. iii. iv. Uni- vs. multivariate Varianzanalyse Statistisches Modell Hypothesentestung v. Varianzzerlegung vi. Multivariate Prüfgrößen Prüfgrößen bei der MANOVA Exkurs: Eigenwerte und Eigenvektoren Kriterien zur Auswahl der Multivariaten Prüfgröße vii. Beispielanalyse mit SPSS Daten und Fragestellung SPSS-Analyse und Interpretation des Outputs viii. Post-hoc Tests bei der MANOVA 2

2 Zusammenfassung der letzten Vorlesung: MANOVA I Grundidee der multivariaten Varianzanalyse gleichzeitige Testung von Mittelwertsunterschieden verschiedener Gruppen auf mehreren abhängigen Variablen Vermeidung kumulierter Alpha-Fehler bei multipler ANOVA (Multiple Univariate Fragestellung) Berücksichtigung der Zusammenhänge der abhängigen Variablen Testung von Gruppenmittelwertsunterschieden auf Konstruktebene ("Instrinsische" Multivariate Fragstellung) Statistisches Modell Verrechnung der Variablenvektoren der aller abhängigen Variablen Personenvektoren, Gruppenmittelwertsvektoren, Gesamtmittelwertsvektor Bildung einer Linearkombination der abhängigen Variablen (gewichtete Summe) zur optimalen Darstellung der vorhandenen Mittelwertsunterschiede Zusammenfassung der letzten Vorlesung: MANOVA II Hypothesen der multivariaten Varianzanalyse Nullhypothese keine Unterschiede der Mittelwertsvektoren der abhängigen Variablen zwischen den Gruppen Interpretation: keine Gruppenunterschiede auf irgendeiner abhängigen Variablen und auf allen Linearkombinationen der abhängigen Variablen Alternativhypothese Gruppenunterschiede auf Mittelwertsvektoren der abhängigen Variablen Interpretation: Unterschiede auf mindestens einer abhängigen Variable (oder einer Linearkombination der abhängigen Variablen) zwischen mindestens zwei Gruppen Problem: keine Information über Art, Größe, Richtung der Unterschiede; unterschiedliche Gruppen; "verantwortliche" Variablen Post-hoc Tests

3 Varianzzerlegung bei der MANOVA III Betrachtung der Varianz-Kovarianz-Matrizen Zusammenhänge der abhängigen Variablen untereinander berücksichtigt durch Faktor erklärte Varianz der einzelnen abhängigen Variablen: Varianzen ohne Berücksichtigung der Zusammenhänge der abhängigen Variablen Überschätzung der durch Faktor erklärten Varianz durch Faktor erklärte gemeinsame Varianz aller abhängigen Variablen: Kovarianzen Varianzzerlegung / Quadratsummenzerlegung Gesamtquadratsumme Quadratsumme der abhängigen Variablen Abweichung aller Personenvektoren vom Gesamtmittelwertsvektor SSCP TO bzw. Matrix T (Sum of Squares and Cross Products) Varianzzerlegung bei der MANOVA IV Varianzzerlegung / Quadratsummenzerlegung Treatmentquadratsumme Zwischengruppen- bzw. systematische Effekte Abweichung der Gruppenmittelwertsvektoren vom Gesamtmittelwertsvektor (pro Person) SSCP BG bzw. Matrix B Fehlerquadratsumme Innergruppen- bzw. unsystematische Effekte (im Sinne der Faktoren) Abweichung der Personenvektoren vom Mittelwertsvektor der jeweiligen Gruppe SSCP WG bzw. Matrix W Additivität der Varianzen / Quadratsummen Quadratsummen der systematischen und unsystematischen Effekte ergeben Gesamtquadratsumme SSCP TO = SSCP BG + SSCP WG bzw. T = B + W

4 Multivariate Prüfgrößen I Grundprinzip der Prüfgrößen Prüfgrößen sind Kennwerte, deren Verteilung bekannt ist bei Erfüllung der Voraussetzungen, z.b. Normalverteilung der Residuen Beispiel: F-Wert ist F-verteilt Berechnung aus Kennwerten der Daten, z.b. Standardfehler, Varianzen, Mittelwerte, Mittelwertsdifferenzen Prüfgrößen bei der MANOVA Wilk's Lambda Hotelling-Lawley's Spurkritierium Pillai-Bartlett's V Roy's größter Eigenwert Grundprinzip: Verhältnis erklärter zu nicht-erklärter Varianz-Kovarianz-Matrix alle vier Prüfgrößen umrechenbar in F-Wert (zur Berechnung des p-werts) 7 Multivariate Prüfgrößen II Beispiel: Wilk's Lambda Verrechnung der Matrix der Zwischengruppeneffekte B und Innergruppeneffekte W Formel: W W Λ = = T B+ W Umrechnung der Prüfgröße Λ in F-Wert Grund: bekannte Verteilung der Prüfgröße (unter Annahme der Nullhypothese) Vergleich des F-Werts mit kritischem F-Wert auf Alpha-Fehler-Niveau statistische Entscheidung Gütemaß zur Vorhersagekraft der Prädiktoren Bestimmung des durch alle Faktoren erklärten Varianzanteils 2 Formel: η = 1 λ Interpretation analog zu Determinationskoeffizient R 2 2 η einzelner Faktoren nicht additiv (vgl. Multiple Regression) 8

5 Multivariate Prüfgrößen III Berechnung der multivariaten Prüfgrößen Wilk's Lambda Formel: entspricht dem Produkt der Eigenwerte der Matrix Hotelling-Lawley's Spurkriterium entspricht der Summe der Eigenwerte von Pillai-Bartlett's V entspricht der Summe der Eigenwerte von Roy's größter Eigenwert W W Λ = = T B+ W entspricht dem größten Eigenwert der Matrix 1 BW 1 BT 1 BW 1 WT 9 Exkurs: Eigenwerte und Eigenvektoren I Charakteristik der Kennwerte Eigenwert und Eigenvektor Eigenwerte und Eigenvektoren als statistische Kennwerte bestimmbar für jede quadratische Matrix Berechnung quadratische Matrizen bei MANOVA: Varianz-Kovarianz-Matrizen der abhängigen Variablen T bzw. der erklärten und nicht-erklärten Varianzanteile der abhängigen Variablen B, W eine (n x n)-matrix hat i.d.r. n reele Zahlen als Eigenwerte und n reelwertige Vektoren als Eigenvektoren Definition: a11 λ1 a12 v11 0 = a21 a22 λ 1 v 12 0 Legende: λ,, λ v,, v 1 n 1 n Eigenwerte (n Stück) Eigenvektoren (n Stück) 10

6 Exkurs: Eigenwerte und Eigenvektoren II Berechnung (Fortsetzung) Aufgabe: Finden der n möglichen Eigenwerte und Eigenvektoren für eine gegebene (n x n)-matrix Beispiel: Ursprungsmatrix A: Eigenwerte: Eigenvektoren: 1 2 λ = λ = v1 = v2 = 1 Beweis (für ersten Eigenwert und ersten Eigenvektor): Eigenwert subtrahieren: = mit Eigenvektor multiplizieren: = Exkurs: Eigenwerte und Eigenvektoren III Berechnung (Fortsetzung) Berechnung der Eigenwerte und Eigenvektoren durch Lösung des Gleichungsystems det( A λi) = 0 oder: 1 λ = 0 λ 12

7 Multivariate Prüfgrößen IV Auswahl der Multivariaten Prüfgröße Kriterien Ziel der Analyse (siehe Fragestellungen der MANOVA) Gruppenunterschiede auf einzelnen abhängigen Variablen vs. Linearkombinationen der abhängigen Variablen (Konstruktebene) Gültigkeit der Annahmen und Voraussetzungen der MANOVA unterschiedliche Robustheit gegen Voraussetzungsverletzungen Unterschiede in statistischer Power (Größe des Beta-Fehlers, d.h. der Wahrscheinlichkeit der Entdeckung von Unterschieden) Einsatz der Multivariaten Prüfgrößen Pillai-Bartlett's V Ziel: gleichzeitige Testung der Gruppenunterschiede auf einzelnen abhängigen Variablen sehr robust bei Verletzungen der Annahmen und Voraussetzungen große statistische Power (besonders bei kleinen Stichproben, ungleichen Stichprobengrößen in Gruppen und Heteroskedastizität) 1 Multivariate Prüfgrößen V Auswahl der Multivariaten Prüfgröße (Fortsetzung) Einsatz der Multivariaten Prüfgrößen (Fortsetzung) Wilk's Lambda Ziel: Test aller Diskriminanzfunktionen (siehe Diskriminanzanalyse) mittlere Robustheit bei Verletzungen der Annahmen und Voraussetzungen Roy's größter Eigenwert Gruppenunterschiede der besten Linearkombination zur Trennung der Gruppen (entspricht 1. Diskriminanzfaktor, siehe Diskriminanzanalyse) weniger robust bei Voraussetzungsverletzungen größte statistische Power bei erfüllten Annahmen und Voraussetzungen (bei Verletzung größerer Beta-Fehler nur Entdeckung großer Gruppenunterschiede) Hinweis: bei MANOVA mit einem Faktoren mit zwei Faktorstufen (2 Gruppen): Wilk's Lambda = Hotelling-Lawley's Spurkriterium = Pillai-Bartlett's V 1

8 Multivariate Prüfgrößen VI Simulationsstudie zum Einsatz der Multivariaten Prüfgrößen Quelle: Olson, C.L. (197). On Choosing a Test Statistic in Multivariate Analysis of Variance. Psychological Bulletin, 8, Ergebnisse und Empfehlungen hinsichtlich der statistischen Power in Abhängigkeit von Eindimensionalität (hohe Korrelation) der abhängigen Variablen (d.h. Abbildung eines Konstrukts) 1 = am empfehlenswertesten = am wenigsten emfehlenswert Noncentrality structure concentrated diffuse Prüfgröße Roy's größter Eigenwert 1 Hotelling-Lawley's Spurkriterium 2 Wilks Lambda 2 Pillai-Bartlett's V 1 1 Multivariate Prüfgrößen VII Simulationsstudie (Fortsetzung) Ergebnisse und Empfehlungen hinsichtlich der Robustheit gegen Verletzungen der Annahmen und Voraussetzungen keine multivariate Normalverteilung konservativeres Testen (kleiner Alpha-Fehler, geringere statistische Power) keine Varianzhomogenität (Heteroskedastizität) progressiveres Testen (größerer Alpha-Fehler) Prüfgröße Beurteilung Roy's größter Eigenwert Hotelling-Lawley's Spurkriterium 2 Wilk's Lambda 2 Pillai-Bartlett's V 1 1

9 Beispielanalyse zur MANOVA I Daten aus Bortz, J. ( 1999). Statistik für Sozialwissenschaftler. Berlin: Springer. S. 17ff. Fragestellung Zusammenhang zwischen sozialer Herkunft und verbaler Ausdrucksfähigkeit bei Kindern Operationalisierung Faktor soziale Herkunft Faktorstufen/Gruppen: Unterschicht vs. Mittelschicht vs. Oberschicht abhängige Variablen Index für Satzlängen (Y 1 ) Index für Vielfalt der Wortwahl (Y 2 ) Index für Komplexität der Satzkonstruktionen (Y ) 17 Beispielanalyse zur MANOVA II Datensatz Unterschicht Mittelschicht Oberschicht Y 1 Y 2 Y Y 1 Y 2 Y Y 1 Y 2 Y Mittelwert,0,0,8..,,2,2..,2,8,8 Mittelwertsvektoren,0 + 1 =,0 +,8, =,2 y y 2,2 y+,2 =,8,8 y ++, =,7,27 18

10 Beispielanalyse zur MANOVA III Analyse Nullhypothese: keine Mittelwertsunterschiede der Gruppen auf den abhängigen Variablen (bzw. einer Linearkombination der abhängigen Variablen) Alternativhypothese (unspezifisch): Mittelwertsunterschiede zwischen mindestens 2 Gruppen auf mindestens einer abhängigen Variablen (bzw. einer gewichteten Summe der abhängigen Variablen Linearkombination) Auswahl der Prüfgröße Pillai-Bartlett's V pro: stabile Schätzungen trotz kleiner Stichprobe (potentielle Nichterfüllung der Annahmen) contra: geringere statistische Power; Vergleich der Einzelvariablen Roy's größter Eigenwert pro: Test der Gruppenunterschiede auf Konstruktebene contra: kein guter Schätzer bei kleinen Stichproben 19 Beispielanalyse zur MANOVA IV SPSS-Bedienung 20

11 Beispielanalyse zur MANOVA V Output Modellbewertung Multivariate Tests c Effect Intercept GRUPPE Pillai's Trace Wilks' Lambda Hotelling's Trace Interpretation Roy's Largest Root Pillai's Trace a. Exact statistic Wilks' Lambda Hotelling's Trace Roy's Largest Root Value F Hypothesis df Error df Sig.,990 7,87 a,000 10,000,000,010 7,87 a,000 10,000,000 10,2 7,87 a,000 10,000,000 10,2 7,87 a,000 10,000,000,717 2,09,000 22,000,102,297 2,78 a,000 20,000,09 2,21,81,000 18,000,018 2,00 8, b,000 11,000,00 b. The statistic is an upper bound on F that yields a lower bound on the significance level. c. Design: Intercept+GRUPPE Verwerfung der Nullhypothese abhängig von gewählter Prüfgröße evtl. Post-hoc Tests erforderlich (Empfehlung hier: Diskriminanzanalyse) 21 Beispielanalyse zur MANOVA VI Output Test der Zwischensubjekteffekte (univariate Varianzanalysen) Tests of Between-Subjects Effects Source Corrected Model Intercept GRUPPE Error Total Corrected Total Dependent Variable SATZLÄNG WORTVIEL SATZKOMP SATZLÄNG WORTVIEL SATZKOMP SATZLÄNG WORTVIEL SATZKOMP SATZLÄNG WORTVIEL SATZKOMP SATZLÄNG WORTVIEL SATZKOMP SATZLÄNG WORTVIEL SATZKOMP a. R Squared =,222 (Adjusted R Squared =,092) b. R Squared =, (Adjusted R Squared =,92) c. R Squared =,11 (Adjusted R Squared =,009) Type III Sum of Squares df Mean Square F Sig.,9 a 2 1,97 1,710,222 9,78 b 2,892 7,77,007 2,0 c 2 1,27 1,0,7 18,9 1 18,9 11,,000 20, ,112 08,788,000 09, ,10 1,1,000,9 2 1,97 1,710,222 9,78 2,892 7,77,007 2,0 2 1,27 1,0,7 1, ,10 7,0 12,29 1,8 12 1,199 20,000 1,000 1, ,7 1 17, 1 1,9 1 22

12 Post-hoc Tests für die MANOVA I Voraussetzung Verwerfung der Nullhypothese der MANOVA Interpretation: Unterschiede der Mittelwertsvektoren der abhängigen Variablen (Unterschiede bei mindestens einer abhängigen Variablen oder einer Linearkombination der abhängigen Variablen) zwischen mindestens zwei Gruppen Post-hoc Tests bei nicht-signifikantem Ergebnis der MANOVA nur sehr bedingt interpretierbar Fragestellungen Gruppenunterschiede aufgrund welcher abhängigen Variablen bzw. welcher Linearkombination von abhängigen Variablen (Beitrag der einzelnen Variablen zur Linearkombination)? Unterschiede zwischen welchen Gruppen? 2 Post-hoc Tests für die MANOVA II Übersicht der Post-hoc Tests Univariate Varianzanalyse Stepdown Analysis Diskriminanzanalyse Beitrag abhängiger Variablen Multivariate Kontraste 2

13 Post-hoc Tests für die MANOVA III Möglichkeit 1: Univariate Varianzanalyse Ziel Identifizierung der abhängigen Variablen mit Gruppenunterschieden Vorgehen siehe ANOVA Vorteil einfache Interpretierbarkeit Nachteile Alpha-Fehler-Kumulierung bei multiplen Tests (ein Test pro abhängiger Variable) vs. Bonferroni-Korrektur mit geringer statistischer Power keine Berücksichtigung der Korrelation zwischen abhängigen Variablen (effekte auf Linearkombinationen der abhängigen Variablen bei MANOVA) keine Aussage, welche Gruppen unterschiedlich Standard-Post-hoc Test in SPSS 2 Post-hoc Tests für die MANOVA IV Möglichkeit 2: Stepdown Analysis Ziel Identifizierung der für Gruppenunterschiede verantwortlichen abhängigen Variablen Voraussetzung a priori Folge der abhängigen Variablen (hypothesengeleitet) Vorgehen konzeptionelle Ähnlichkeit zur hierarchischen Regression ANOVA für erste abhängige Variable mit allen Faktoren (Test des F-Werts) Bestimmung der Veränderung des F-Werts durch Hinzunahme weiterer abhängiger Variablen (unter Berücksichtigung vorher ins Modell aufgenommener Variablen) Probleme eingeschränkter Geltungsbereich, nur bei a priori Hypothesen Interpretation der (Nicht-)Effekte 2

14 Post-hoc Tests für die MANOVA V Möglichkeit : Diskriminanzanalyse Ziel Finden der optimalen Linearkombination(en) der abhängigen Variablen zur optimalen Unterscheidung der Gruppen Vorgehen Gruppierungsvariable (Faktor) als abhängige Variable bei DA, abhängige Variablen der MANOVA als unabhängige Variable Suche der optimalen Linearkombination(en) Diskriminanzfaktoren Test der Gruppenunterschiede auf Diskriminanzfaktoren (siehe ANOVA) Ergebnis Vorhandensein von Linearkombinationen zur Unterscheidung der Gruppen Beitrag der abhängigen Variablen zu dieser/n Variable(n) Probleme Anwendungsbereich beschränkt auf Fall, dass abhängige Variablen eine latente Dimension (ein Konstrukt) bilden 27 Post-hoc Tests für die MANOVA VI Möglichkeit : Beitrag abhängiger Variablen Ziel Bestimmung der für signifikantes MANOVA-Ergebnis maßgeblichen abhängigen Variablen Vorgehen Berechnung mehrerer MANOVAs mit Weglassen einzelner abhäng. Variablen Bestimmung der Veränderung des multivariaten F-Werts in jedem Einzelmodell gegenüber Gesamtmodell Ergebnis Identifizierung der für MANOVA-Effekt im vollständigen Modell unerlässlichen abhängigen Variablen Probleme Betrachtung des Effekts einzelner abhängiger Variablen; keine Berücksichtigung gemeinsamer Effekte (Konstruktebene) exploratives Vorgehen 28

15 Post-hoc Tests für die MANOVA VII Möglichkeit : Multivariate Kontraste Ziel Bestimmung der sich im Mittelwertsvektor unterscheidenden Gruppen keine Suche nach für Effekt verantwortlichen abhängigen Variablen, sondern nach sich unterscheidenden Gruppen Vorgehen paarweiser Vergleich der Mittelwertsvektoren aller Gruppen (Hotelling's T 2 = multivariater T-Test) Möglichkeit kombinierter Vergleiche mehrerer Gruppen mit einzelnen Gruppen oder Kombinationen anderer Gruppen (siehe Konstrastkodierung) Möglichkeit der Bestimmung der Gruppenunterschiede für einzelne abhängige Variablen oder Linearkombinationen abhängiger Variablen Probleme (kumuliertes) Alpha-Fehler-Niveau und statistische Power Interpretation a priori vs. post-hoc Kontrasten (konfirmatorisch vs. explorativ) 29 Ausblick Multivariate Varianzanalyse Annahmen und Voraussetzungen der MANOVA Kovarianzanalyse Einführung in die Kovarianzanalyse Anwendungsbeispiele Statistisches Modell und Hypothesentestung Interpretation der Ergebnisse der Kovarianzanalyse Beispielanalysen in SPSS Annahmen und Voraussetzungen der Kovarianzanalyse 0