Vorlesung: Multivariate Statistik für Psychologen

Transkript

1 Vorlesung: Multivariate Statistik für Psychologen 9. Vorlesung: Agenda 2. Univariate Varianzanalyse iv. Varianzanalyse als Spezialfall der Regression Zusammenhang Regression und Varianzanalyse Exkurs: Dummy-Kodierung Berechnung einer Varianzanalyse mittels Regression Vergleich der Varianzzerlegung bei Regression und Varianzanalyse v. Verallgemeinerungen mehrfaktorielle Varianzanalyse vi. Annahmen und Voraussetzungen der univariaten Varianzanalyse Exkurs: Matrizenrechnung 2

2 Zusammenfassung letzte Sitzung Univariate Varianzanalyse Grundlagen und Ziele der univariaten Varianzanalyse Vergleich varianzanalytischer Verfahren Statistisches Modell der ANOVA Varianzzerlegung und Hypothesentestung Interpretation der Ergebnisse und Folgetests Güte des ANOVA-Modells, Determinationskoeffizient 3 Varianzanalyse als Spezialfall der Regression I Prädiktoren in der Regression vs. Varianzanalyse unterschiedliches Skalenniveau keine Anwendung der Regression für nominale, ordinale Prädiktoren keine lineare Restriktion der Erwartungswerte/Mittelwerte für einzelne Gruppen Anwendung der Dummy-Kodierung künstliche Benennung und Gegenüberstellung bestimmter Gruppen(mittelwerte) Referenzgruppenkodierung Effektkodierung Kontrastkodierung 4

3 Varianzanalyse als Spezialfall der Regression II Dummy-Kodierung (Fortsetzung) minimale Dekomposition der Gruppen/Kategorien Anzahl der Dummy-Variablen = Gruppen-/Kategorienzahl minus Eins Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorie Dummy-Variable 2 Gruppen 3 Gruppen X 1 X 1 X 2 Gruppe Gruppe Gruppe Kodierungsprinzip Referenzgruppe/-kategorie auf allen Variablen gleich Null alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null 5 Varianzanalyse als Spezialfall der Regression III Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorie (Fortsetzung) Regressionsgleichungen 2 Gruppen Modellgleichung: eingesetzte Gleichungen: 3 Gruppen Modellgleichung: eingesetzte Gleichungen: Yˆi = a + b X Ŷ1 = a Ŷ = a+ b i Y = a + b X + b X ˆi 1 1 i 2 2 i Ŷ = a Ŷ2 = a+ b1 Ŷ3 = a+ b2 Interpretation der Regressionsparameter Intercept a entspricht Gruppenmittelwert der Referenzgruppe/-kategorie Regressionskoeffizienten b k entsprechen Mittelwertsunterschied der Gruppe k zur Referenzgruppe/-kategorie Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz der Unterschiede der Gruppenmittelwert 1 6

4 Varianzanalyse als Spezialfall der Regression IV Dummy-Kodierung (Fortsetzung) Möglichkeit 2: Effektkodierung Dummy-Variable Gruppe 1 Gruppe 2 Gruppe 3 2 Gruppen X Gruppen X 1 X Kodierungsprinzip erste Gruppe/Kategorie auf allen Variablen gleich -1 alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null 7 Varianzanalyse als Spezialfall der Regression V Möglichkeit 2: Effektkodierung (Fortsetzung) Regressionsgleichungen 2 Gruppen Modellgleichung: eingesetzte Gleichungen: 3 Gruppen Modellgleichung: eingesetzte Gleichungen: Yˆi = a + b X Ŷ1 = a b1 Ŷ = a+ b i Y = a + b X + b X ˆi 1 1 i 2 2 i Ŷ = a b b Ŷ2 = a+ b1 Ŷ3 = a+ b2 Interpretation der Regressionsparameter Intercept a entspricht Gesamtmittelwert aller Gruppen Regressionskoeffizienten b k entsprechen Mittelwertsunterschieden der Gruppen zum Gesamtmittelwert (für Gruppe 1 Summe aller Koeffizienten) Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz der Unterschiede der Gruppenmittelwert 8

5 Varianzanalyse als Spezialfall der Regression VI Dummy-Kodierung (Fortsetzung) Möglichkeit 3: Kontrastkodierung Test spezifischer Hypothesen möglich Beispiel 1: Gleichheit der Gruppen 2 und 3 Beispiel 2: Gleichheit der Gruppe 1 mit Mittelwert der Gruppen 2 und 3 Dummy-Variable Gruppe 1 Gruppe 2 Gruppe 3 Beispiel 1 X Beispiel 2 X Kodierungsprinzip abhängig von Hypothese nur Test orthogonaler Kontraste möglich (d.h. nicht redundante Hypothesen) 9 Varianzanalyse als Spezialfall der Regression VII Möglichkeit 3: Kontrastkodierung (Fortsetzung) Regressionsgleichungen Beispiel 1 Modellgleichung: Y = a + b X + b X eingesetzte Gleichungen: Ŷ1 = a Ŷ2 = a b1 Ŷ = a+ b Beispiel 2 Modellgleichung: eingesetzte Gleichungen: Interpretation der Regressionsparameter ˆi 1 1 i 2 2 i 3 1 Y = a + b X + b X Y ˆ 1 = a 2 b1 Ŷ2 = a+ b1 Ŷ = a+ b ˆi 1 1 i 2 2 i 3 1 Bedeutung des Intercept und der Regressionskoeffizienten b k abhängig von Kodierung Signifikanztests der Regressionskoeffizienten entsprechen Test auf Gültigkeit der Hypothesen (z.b. Verhältnisse der Mittelwerte) 10

6 Varianzanalyse als Spezialfall der Regression VIII Berechnung einer Varianzanalyse mittels Regression Durchführbarkeit Varianzanalyse ist als Regression berechenbar (Spezialfall) Restriktion der Linearität der Erwartungswerte für Personen mit unterschiedlicher Ausprägung auf Prädiktor(en) muss aufgehoben werden Anwendung der Dummy-Kodierung Berechnung der Dummy-Variablen für einzelne Prädiktoren (in SPSS: Transformieren > Umkodieren in neue Variable) Kontrastkodierung (Test von orthogonalen Kontrasten) auch in einfaktorieller Varianzanalyse verfügbar (in SPSS: Analysieren > Mittelwertsvergleich > einfaktorielle Varianzanalyse > Kontraste) Ergebnisse Interpretation der Regressionskoeffizienten abhängig von Dummy-Kodierung Äquivalenz der Tests Mittelwertsvergleich ANOVA = Mittelwertsvergleich Regression (Gesamttest) zusätzlich in Regression gezielte Gruppenvergleiche möglich 11 Varianzanalyse als Spezialfall der Regression IX Vergleich der Varianzzerlegung und des Hypothesentests Varianzzerlegung gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierung systematische/erklärte Varianz: Zwischengruppenvarianz (ANOVA) gleich Varianz der Regression Abweichung der vorhergesagten Werte von Gesamtmittelwert Kodierung in Regression keine Restriktion der Erwartungswerte (=ANOVA) Fehler-/nicht erklärte Varianz: Innergruppenvarianz (ANOVA) gleich Fehlervarianz in Regression Abweichung der beobachteten Werte von vorhergesagten Werten (Gruppenmittelwerte) Freiheitsgrade gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierung Freiheitsgrade des Effekts Regression: Anzahl der Prädiktoren (= Anzahl der Gruppen -1) ANOVA: Anzahl der Gruppen

7 Verallgemeinerungen mehrfaktorielle Varianzanalyse I Grundprinzip siehe multiple Regression Effekte bei der mehrfaktoriellen Varianzanalyse Haupteffekte der Faktoren Mittelwertsunterschiede zwischen verschiedenen Gruppen dieses Faktors, gemittelt über die Faktorstufen der anderen Faktoren Interaktionseffekte der Faktoren Einfluss eines Faktors verschiedenen für verschiedene Faktorstufen eines anderen Faktors automatisch berücksichtigt in ANOVA (nicht in Regression) Beispiel Unterschiede bei der Punktzahl der Statistikklausur in Abhängigkeit vom Geschlecht (Faktor 1, zweistufig) und Teilnahme an den Lehrveranstaltungen (Faktor 2, zweistufig) 13 Verallgemeinerungen mehrfaktorielle Varianzanalyse II Veranschaulichung der Effekte am Beispiel Fall 1: nur Haupteffekt Geschlecht (kein Effekt VB, kein Effekt Interaktion) Faktor 2 Vorlesungsbesuch ja nein Faktor 1 Geschlecht weiblich männlich Mittelwert Mittelwert aller Vorlesungsbesucher über alle Stufen des Faktors 2 Mittelwert Mittelwert aller Frauen über alle Faktorstufen des Faktors 2 Gesamtmittelwert 14

8 Verallgemeinerungen mehrfaktorielle Varianzanalyse III Veranschaulichung der Effekte am Beispiel Fall 2: nur Interaktionseffekt (keine direkten Effekte Geschlecht, VB) Geschlecht weiblich männlich Mittelwert Vorlesungsbesuch ja nein Mittelwert Fall 3: Haupteffekt VB und Interaktionseffekt (kein Effekt Geschlecht) Geschlecht weiblich männlich Mittelwert Vorlesungsbesuch ja nein Mittelwert 15 Annahmen und Voraussetzungen der univariaten Varianzanalyse I Grundprinzip: siehe einfache und multiple Regression zentrale Annahmen und Voraussetzungen Annahmen über Fehlerterme/Residuen Normalverteilung der Residuen innerhalb jeder (Kombination) der Faktorstufen Folgen der Nicht-Normalverteilung: potentiell unbekannte Verteilung der Prüfgröße Gleichheit der Varianz der Residuen in jeder (Kombination) der Faktorstufen Folgen der Heteroskedastizität: potentielle Fehlinterpretation der (nicht-)vorhandenen Effekte Unabhängige Fehlerkomponenten Unabhängigkeit der Beobachtungen/Personen innerhalb einer Gruppe Unabhängigkeit der Teilstichproben/Gruppen Annahmen über das Stichprobenmodell Folgen der Verletzung: keine Verallgemeinerung der Effekte auf Populationsebene; Verlust an Teststärke 16

9 Annahmen und Voraussetzungen der univariaten Varianzanalyse II Test der zentralen Annahmen und Voraussetzungen Normalverteilung der Residuen Kolmogorov-Smirnov-Test für jede Faktorstufe/Gruppe mehrfaktoriell: K-S-Test für jede Kombination der Faktorstufen/Gruppen Varianzhomogenität (Homoskedastizität) Levene-Test auf Gleichheit der Varianzen in jeder (Kombination von) Faktorstufen in SPSS: im ANOVA-Menü Optionen > Homogenitätstest Unabhängige Fehlerkomponenten kontrolliert über das Erhebungsdesign Annahmen über das Stichprobenmodell kontrolliert über das Erhebungsdesign 17 Annahmen und Voraussetzungen der univariaten Varianzanalyse III Robustheit bei Verletzungen der Annahmen und Voraussetzungen Beurteilung der Robustheit Frage, unter welchen Bedingungen Voraussetzungsverletzungen zu welchen Verzerrungen führen (ermittelbar über Datensimulationen) Nicht-Normalverteilung der Residuen Schiefverteilung mit vernachlässigbarem Einfluss auf Verteilung der Prüfgröße schmalgipflige Verteilungen (positive Kurtosis): eher konservative Testung (Verlust an Teststärke) breitgipflige Verteilungen (negative Kurtosis): eher progressive Testung (Alpha- Fehler größer als 5%) Varianzheterogenität gleiche Stichprobengröße in Gruppen vernachlässigbarer Einfluss erhebliche Verzerrungen bei kleinen Stichproben und ungleicher Gruppengröße keine Unabhängigkeit der Beobachtungen innerhalb der Gruppen Unterschätzung der Innergruppenvarianz zu progressive Testung 18

10 Annahmen und Voraussetzungen der univariaten Varianzanalyse IV Fixierte vs. stochastische Faktoren Frage nach Verallgemeinerung der Effekte der Faktoren fixierte Faktoren "vollständige" Faktoren keine Verallgemeinerung der Effekte der Faktorstufen auf andere Faktorstufen (nur auf die Population innerhalb der Faktorstufen) Beispiel Vergleich der Abiturnoten der Schüler von 10 verschiedenen Schulen Verallgemeinerung der Ergebnisse auf die Population innerhalb dieser 10 Schulen stochastische Faktoren Faktorstufen als (zufällige) Stichprobe aus einer größeren Population von Faktorstufen Verallgemeinerung der Ergebnisse auf Population aller Faktorstufen Berücksichtigung des Stichprobenfehlers Beispiel (siehe oben) Verallgemeinerung der Ergebnisse der 10 Schulen auf mehr Schulen 19 Univariate Varianzanalyse FRAGEN? 20

11 Exkurs: Matrizenrechnung Definition und Typ einer Matrix Definition einer Matrix Matrix A ist geordnete Menge von Komponenten a ij mit i = 1,,n und j= 1,,m, die in n Zeilen und m Spalten angeordnet sind Indizierung: zuerst Zeile, dann Spalte Beispiel einer Matrix (2 x 3)-Matrix, d.h. n=2 Zeilen und m=3 Spalten a a a A = a21 a22 a A = ( a ij ) 23 Typ einer Matrix definiert durch Anzahl der Zeilen und Spalten: (n x m)-matrix Datenmatrizen beschreiben Daten mehrerer Personen auf mehreren Variablen n Zeilen = n Personen; m Spalten = m Variablen 21 Exkurs: Matrizenrechnung Spezielle Matrizen I Vektoren Matrix mit nur einer Zeile oder Matrix mit nur einer Spalte Zeilenvektor: Variablen in einer Zeile ( a11 a12 a13) Spaltenvektor: Variablen in einer Spalte Einsen Vektor Vektor, dessen Elemente alle gleich Eins Beispiel: Einsen-Zeilenvektor Einsen-Spaltenvektor a a a ( 1 1 1)

12 Exkurs: Matrizenrechnung Spezielle Matrizen II Quadratische Matrizen Matrix mit gleicher Anzahl Zeilen und Spalten: Typ (n x n) Beispiel: quadratische (3 x 3)-Matrix Hauptdiagonale der quadratischen Matrix A = Elemente der Diagonale von links oben nach rechts unten ( a11, a22, a33) Symmetrische Matrizen quadratische Matrix, bei der alle Elemente Beispiel: symmetrische (3 x 3)-Matrix a ij = a ji A = Exkurs: Matrizenrechnung Spezielle Matrizen III Diagonalmatrizen quadratische Matrix, bei der alle Elemente außerhalb der Hauptdiagonalen gleich Null Beispiel: (4 x 4)-Diagonalmatrix Skalarmatrizen Diagonalmatrix, bei der alle Diagonalelemente gleich sind Beispiel: (4 x 4)-Skalarmatrix A = A =

13 Exkurs: Matrizenrechnung Spezielle Matrizen IV Einheitsmatrizen Skalarmatrix mit allen Elementen der Hauptdiagonale gleich Eins Beispiel: (4 x 4)-Einheitsmatrix A = Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen I Grundrechenoperationen Addition, Subtraktion, Multiplikation und Division von Matrizen Anwendung spezieller Rechenregeln, die verschieden von Zahlenoperationen Transposition einer Matrix Berechnung der transponierte Matrix A aus Ursprungsmatrix A, indem Zeilen als Spalten und Spalten als Zeilen geschrieben werden aus (n x m)-matrix wird (m x n)-matrix Beispiel: Transponieren einer (2 x 3)-Matrix in eine (3 x 2)-Matrix A = A =

14 Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen II Addition/Subtraktion vom Matrizen Berechnung über Addition/Subtraktion der Elemente der Matrizen nur anwendbar auf Matrizen desselben Typs (n x m) Rechenregel: Beispiel Addition: A± B= ( a ) ± ( b ) = ( a + b ) ij ij ij ij = = Beispiel Subtraktion: = = Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen III Multiplikation/Division einer Matrize mit einem Skalar Skalar als (1 x 1)-Matrix Berechnung des Produkts als Multiplikation aller Elemente einer (n x m)-matrix mit dem Skalar: c A= c ( a ) = ( c a ) ij ij Beispiel Multiplikation: = = Berechnung des Quotienten einer Matrix mit einem Skalar als Produkt dieser Matrix mit dem Reziprok des Skalars: A/ c= A= ( aij) = aij c c c Beispiel Division: /3 8/3 3 / = 3 = /3 28

15 Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen IV Multiplikation zweier Matrizen Bedingung: Spaltenanzahl der Matrix A(n x m) entspricht der Zeilenanzahl der Matrix B(m x p) Ergebnis: Matrix vom Typ (n x p) Berechnung: jedes Element der i-ten Zeile der Matrix A wird mit jedem Element der j-ten Spalte der Matrix B multipliziert und aufaddiert Beispiel: A = B = AB = = Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen V Rechenregeln für die Addition es gelten Assoziativ- und Kommutativgesetz ( A+ B) + C = A+ ( B+ C) A+ B= B+ A für die Multiplikation mit einem Skalar es gelten Assoziativ- und Kommutativgesetz ( ) ( ) c c A = c c A c A= A c für die Multiplikation zweier Matrizen es gilt das Assoziativgesetz, aber nicht das Kommutativgesetz A B C= A BC ( ) ( ) A B B A 30

16 Exkurs: Matrizenrechnung Rechenoperationen mit Matrizen VI Rechenregeln (Fortsetzung) für die Multiplikation zweier Matrizen (Fortsetzung) es gilt das Distributivgesetz ( A+ B) C= A C+ B C ( ) C A+ B = C A+ C B für die Transposition A+ B = A + B ( ) ( A B) = BA 31 Ausblick Multivariate Varianzanalyse (MANOVA) Grundidee und Ziele der MANOVA Uni- vs. multivariate Varianzanalyse Statistisches Modell Datensituation Fragestellung der MANOVA Effekte einzelner abhängiger Variablen vs. Effekte der Linearkombinationen Varianzzerlegung Multivariate Prüfgrößen und Hypothesentestung 32