Vorlesung: Multivariate Statistik für Psychologen

Transkript

1 Vorlesung: Multivariate Statistik für Psychologen 8. Vorlesung: was man/frau schon immer wissen wollte I Interpolation und Extrapolation Schlussfolgerung auf erwarteten Wert einer Person aufgrund des geschätzten Regressionsmodells Vorgehen: Einsetzen der Werte der Person auf Prädiktor(en ) in Modellgleichung begriffliche Trennung Interpolation: Berechnung des Erwartungswerts für Personen mit Prädiktorausprägung(en) innerhalb des Bereichs der Daten, die zur Schätzung der Modellparameter verwendet Extrapolation: Berechnung des Erwartungswerts für Personen mit Prädiktorausprägung(en) außerhalb dieses Datenbereichs Beispiel: Zusammenhang Körpergröße und Gewicht Modellschätzung für Stichprobe mit Personen zwischen,55 m und,95 m Interpolation: Berechnung des erwarteten Gewichts für Person mit,77 m Extrapolation: Berechnung des erwarteten Gewichts für Person mit,00 m

2 was man/frau schon immer wissen wollte II einfache Korrelation vs. partielle Korrelation vs. partielle Regressionkoeffizienten einfache Korrelation standardisiertes Zusammenhangsmaß zwischen zwei Merkmalen X und Y Stärke des linearen Zusammenhangs (gegeben der Streuung der Personen) entspricht dem standardisierten Regressionskoeffizienten der einfachen Regression Berechnung: n Cov( XY, ) ( Xi X)( Yi Y) Kor( XY, ) = r i xy = = = sx sy sx sy Wertebereich: Kor( XY, ) + 3 was man/frau schon immer wissen wollte III Partialkorrelation standardisiertes Zusammenhangsmaß zwischen zwei Merkmalen X und Y "bereinigt" um den Einfluss eines dritten Merkmals Z Stärke des linearen Zusammenhangs zwischen den Regressionsresiduen exz i und e yz i der einfachen Regression Z X bzw. Z Y Berechnung rxy rxz ryz rxyiz = rxz ryz alternativ: "Umrechnung" aus standardisierten Regressionskoeffizienten: Interpretation rxyi z= βyxyz ( i ) βx( yixz ) Stärke des linearen Zusammenhangs zweier Variablen, aus dem linearer Einfluss einer dritten Variablen "eliminiert" wurde Wertbereich: r xyz i + nicht gleich dem standardisierten partiellen Regressionskoeffizienten β ( ) xyxz i 4

3 was man/frau schon immer wissen wollte IV standardisierter partieller Regressionskoeffizient kein "klassisches" Zusammenhangsmaß zwischen Merkmalen Regressionskoeffizienten sind Schätzungen des relativen Beitrags der Merkmale X und Z zur (möglichst optimalen) Vorhersage des Merkmals Y Berechnung: rxy rxz ryz β xyxz ( i ) = rxz alternativ: "Umrechnung" aus Partialkorrelation: rxyiz β xyxz ( i ) = β y( xi yz ) Interpretation standardisierter partieller Regressionskoeffizient als "Netto-Beitrag" des Prädiktors zur Vorhersage von Y gegeben der anderen Prädiktoren im Modell Beurteilung der "Wichtigkeit" der Prädiktoren über relative Größe der Koeffiz. Wertebereich:? β x ( y i xz ) +? nicht gleich der Partialkorrelation rxy i z und der einfachen Korrelation r xy 5 Agenda. Univariate Varianzanalyse (Wiederholung) i. Grundlagen Grundidee und Ziele der univariaten Varianzanalyse Beispiele ii. Statistisches Modell iii. iv. Prinzip der Varianzzerlegung Determinationskoeffizient Hypothesentesten bei der Varianzanalyse Varianzanalyse als Spezialfall der Regression Zusammenhang Regression und Varianzanalyse Exkurs: Dummy-Kodierung Berechnung einer Varianzanalyse mittels Regression Vergleich der Varianzzerlegung bei Regression und Varianzanalyse 6

4 Einführung in die Varianzanalyse I Ziel Zusammenhang zwischen Gruppenzugehörigkeit einer Person und dem Erwartungswert der Person auf der abhängigen Variablen einfacher: Unterschiede im Mittelwert bei verschiedenen Gruppen Aussage: unterscheiden sich die Gruppen hinsichtlich der abhängigen Variable Y? welche Gruppen unterscheiden sich? Einschränkungen keine kausalen Aussagen (Unterschiede auf Y w e g e n Gruppenzugehörigkeit) keine Differenzierung innerhalb der Gruppen keine Aussagen über Größe und Richtung der Gruppenunterschiede 7 Einführung in die Varianzanalyse II Beispiele Einstellung von SPD-, CDU-, FDP-, Grünen- und PDS-Anhängern zum Reformpaket "Agenda 00" Anzahl der Autopannen bei verschiedenen Automarken Flirthäufigkeit bei Männern vs. Frauen in verschiedenen Jahreszeiten Wirksamkeit verschiedener psychologischer Therapieverfahren (Verhaltenstherapie, Gesprächstherapie, Psychoanalyse) bei Depressiven Varianzanalyse als klassisches Testverfahren bei Experimenten in der empirischen Forschung: Vergleich verschiedener Experimentalgruppen Vergleich der Versuchs- und Kontrollgruppe 8

5 Einführung in die Varianzanalyse III Veranschaulichung der Varianzanalyse Mittelwertsunterschiede bei 3 Gruppen (gegeben der Streuung innerhalb der Gruppen) 9 Einführung in die Varianzanalyse IV eingehende Informationen kontinuierliche abhängige (vorherzusagende) Variable eine univariate Varianzanalyse (ANOVA) mehrere multivariate Varianzanalyse (MANOVA) diskrete unabhängige Variable (Faktor) eine einfaktorielle Varianzanalyse mehrere mehrfaktorielle Varianzanalyse Ergebnis Maß zur Beschreibung des (nicht-linearen!) Zusammenhangs Vorhandensein von Gruppenunterschiede Maß zur Güte des Zusammenhangs Anteil erklärter Varianz durch Gruppenvariable 0

6 Einführung in die Varianzanalyse V Überblick über die varianzanalytischen Verfahren eine abhängige Variable unabhängige Stichproben T-Test für unabhängige Stichproben ( unabhängige Stichproben/Gruppen) einfaktorielle Varianzanalyse ( oder mehr unabhängige Gruppen) abhängigen Stichproben (z.b. Messwiederholung) T-Test für abhängige Stichproben ( abhängige Stichproben/Gruppen) ANOVA mit Messwiederholung ( oder mehr abhängige Stichproben) zwei oder mehr abhängige Variablen unabhängige Stichproben Hotelling T²-Test ( unabhängige Stichproben/Gruppen) Multivariate Varianzanalyse ( oder mehr unabhängige Gruppen) abhängige Stichprobe (z.b. Messwiederholung) Multivariate Varianzanalyse mit Messwiederholung Einführung in die Varianzanalyse VI Abgrenzung von T-Test vs. Varianzanalyse Anzahl der unabhängigen Gruppen T-Test: Gruppen Faktorenanalyse: oder mehr Gruppen Faktorenanalyse vs. mehrere T-Tests bei mehr als Gruppen multiple T-Tests: Problem der Alpha-Fehler-Kumulierung Alpha-Fehler im Einzeltest festgelegt auf z.b. p = 0,05 Alpha-Fehler in Gesamtstudie (mehrere T-Tests) erhöht Wahrscheinlichkeit, dass bei q Tests mindestens einmal die Nullhypothese verworfen wird, obwohl diese gilt: P= ( a) Alternative: Korrektur des Alpha-Fehlerniveaus für alle Einzeltests q Adjustierung des Alpha-Fehler im Einzeltest, so dass Alpha-Fehler in Gesamtstudie p = 0,05 Problem: Verlust an Teststärke Alternative : Varianzanalyse mit gleichzeitigem Vergleich aller Gruppen Alpha-Fehler bei p = 0,05

7 Statistisches Modell der Varianzanalyse Eingangsgrößen Messwert einer abhängigen Variablen für k unabhängige Gruppen/Stichproben unabhängige Variable = Faktor Ergebnis Kennwert zur Testung der Gleichheit a l l e r Gruppenmittelwerte Statistische Hypothesen Nullhypothese Gleichheit der Mittelwerte aller Stichproben/Gruppen (gegeben der Streuung innerhalb der Gruppen) statistisch: µ = µ =... = µ k Alternativhypothese Mittelwertsunterschiede bei mindestens zwei Gruppen (welche unbekannt) 3 Verallgemeinerung des Stichprobenmodells auf Populationsebene Prüfgröße F-verteilte Prüfgröße zur Bestimmung der Wahrscheinlichkeit, dass alle Stichproben aus einer Population stammen (und damit denselben Mittelwert haben) Berechnung F BG = σ σ WG Legende: σ BG σ WG Zwischengruppenvarianz (erklärte Varianz) Innergruppenvarianz (nicht-erklärte Varianz) Freiheitsgrade: df = k df = k (n ) (bei gleich großen Gruppen) Entscheidung: F < Fa,df,df H 0 F Fa,df,df H 4

8 Varianzzerlegung bei der Varianzanalyse I Varianz als "abhängige Variable" Ziel der Varianzanalyse ist Erklärung von Mittelwertsunterschieden der Gruppen Unterschiede zwischen Personen verschiedener Gruppen im Verhältnis zu Unterschiede zwischen Personen derselben Gruppe Annahme: diese Varianz ist gleich für alle Gruppen Betrachtung der Varianz (Unterschiedlichkeit) der Personengruppen zwischen verschiedenen Gruppen dieser Anteil der Varianz wird vom Modell "erklärt" (Zwischengruppenvarianz; erklärte Varianz) innerhalb derselben Gruppen dieser Anteil der Varianz wird vom Modell nicht "erklärt" (Innergruppenvarianz; Fehlervarianz) 5 Varianzzerlegung bei der Varianzanalyse II Berechnung der Varianzanteile Innergruppenvarianz Schätzung der Populationsvarianz innerhalb der Gruppen Abweichung der Messwerte aller Personen vom jeweiligen Gruppenmittelwert σ WG = k n i= j= ( y ) ij yi k (n ) ( ) k n WG = i= j= ij i SS y y Zwischengruppenvarianz Maß für die Unterschiedlichkeit der Gruppen Abweichung aller Gruppenmittelwerte vom Gesamtmittelwert pro Person k i= σ BG = ( y y) i k BG k ( ) i SS = y y i= 6

9 Varianzzerlegung bei der Varianzanalyse III Berechnung der Varianzanteile Gesamtvarianz Abweichung der Messwerte aller Personen vom Gesamtmittelwert σ Y = k n i= j= ( y ) ij y N Additive Zerlegung der Gesamtvarianz Gesamtvarianz = Zwischengruppenvarianz + Innergruppenvarianz σy = σbg + σwg SS = SS + SS TO BG WG TO k n i= j= ( ) ij SS = y y 7 Varianzzerlegung bei der Varianzanalyse IV Veranschaulichung der Varianzzerlegung bei der Varianzanalyse 8

10 Varianzzerlegung bei der Varianzanalyse V Unterschied Varianzzerlegung Regression vs. Varianzanalyse Varianzzerlegung gleich erklärte Varianz: Varianz der Regression = Zwischengruppenvarianz nicht-erklärte Varianz: Fehlervarianz = Innergruppenvarianz Unterschiede in Restriktionen über Erwartungswerte pro Ausprägung des Prädiktors Regression lineare Restriktion der Erwartungswerte in Abhängigkeit von Ausprägung der Person auf Prädiktor Unterschiede Erwartungswerte für X und X+ gleich für alle X (entspricht b) Varianzanalyse keine Restriktionen für Erwartungswerte Erwartungswert für jede Ausprägung des Prädiktors ist Gruppenmittelwert 9 Interpretation der Ergebnisse der Varianzanalyse I Interpretation des Modelltests signifikantes Ergebnis der ANOVA Gruppenunterschiede zwischen mindestens Gruppen Problem: keine Informationen, welche Gruppenmittelwerte verschieden Folgetests bei signifikantem Ergebnis Post-hoc Tests innerhalb der Varianzanalyse direkter Vergleich der Mittelwerte aller Einzelgruppen (T-Test) Empfehlung bei gleichen Varianzen innerhalb der Gruppen Tukey-Test ("faire" Berücksichtigung der Alpha-Fehler-Kumulierung) LSD (keine Berücksichtigung der Alpha-Fehler-Kumulierung alle Tests gegen 5%) Scheffé-Test (Berücksichtigung der Alpha-Fehler-Kumulierung; sehr konservativ geringe Testsstärke) Empfehlung bei ungleichen Varianzen innerhalb der Gruppen Tamhane's T oder Dunnett-C 0

11 Interpretation der Ergebnisse der Varianzanalyse II Folgetests bei signifikantem Ergebnis (Fortsetzung) orthogonale Kontraste innerhalb der Varianzanalyse (Kontrastkodierung) gezielter Vergleich der Mittelwerte aller Gruppen, auch unter Berücksichtigung der Verhältnisse der Mittelwerte Regression mit Dummy-Variablen gleichzeitiger Vergleich aller Gruppen gegen Referenzgruppe (Kodierung mit Referenzgruppe) oder gegen Gesamtmittelwert (Effektkodierung) Vorhersagekraft des varianzanalytischen Modells Güte der Vorhersagekraft des statistischen Modells Vergleich der durch Modell erklärten (Zwischengruppen-)Varianz mit der nichterklärten (Innergruppen-)Varianz Gründe für nicht-erklärte Varianz Messfehler bei der Erhebung des Merkmals natürliche Variabilität des Merkmals Prädiktoren sagen abhängiges Merkmal nicht perfekt voraus Determinationskoeffizient R Verhältnis der vom Modell erklärten vs. nicht-erklärten Varianz R SSBG SSBG SS = = = SS SS + SS SS TO standardisiertes Zusammenhangsmaß: 0 R Prozent aufgeklärter Gesamtvarianz der Merkmals durch den Faktor WG BG WG TO

12 Varianzanalyse als Spezialfall der Regression I Prädiktoren in der Regression vs. Varianzanalyse Regression: kontinuierliche Variable (intervallskaliert) Varianzanalyse: diskrete Variable nominale Variablen: Religionszugehörigkeit, Automarke, Persönlichkeitstyp kontinuierliche Variable, die später kategorisiert (z.b. bei Verletzung der Annahmen): hoch vs. niedrig Ängstliche, Linke vs. Rechte Gedankenexperiment diskrete Variablen als Prädiktor bei Regression Probleme: Skalierung des Prädiktors nominal: keine Anordnung der Faktorstufen in Reihenfolge möglich kategorisierte, kontinuierliche Variable: Intervalle ungleich breit Problem bei Modellschätzung und Interpretation der Regressionskoeffizienten Ausnahme: Prädiktor mit Stufen (Beispiel) 3 Varianzanalyse als Spezialfall der Regression II Dummy-Kodierung Ausweg: Kodierung der Gruppenzugehörigkeit mittels künstlicher Variablen, Dummy-Variablen Voraussetzung: jede Person gehört genau einer Gruppe/Kategorie an Prinzip alle Mitglieder einer Gruppe/Kategorie erhalten denselben Wert; Mitglieder unterschiedlicher Gruppen verschiedene Werte keine Differenzierung innerhalb einzelner Gruppen/Kategorien Einschränkung keine Skalierung der Prädiktoren Aussagen über Gleichheit und Verschiedenheit der Gruppen/Kategorien eingeschränkte quantitative Interpretation der Regressionskoeffizienten keine Ordnung der Prädiktoren 4

13 Varianzanalyse als Spezialfall der Regression III Dummy-Kodierung (Fortsetzung) minimale Dekomposition der Gruppen/Kategorien Anzahl der Dummy-Variablen = Gruppen-/Kategorienzahl minus Eins Möglichkeit : Kodierung mit Referenzgruppe/-kategorie Dummy-Variable Gruppen 3 Gruppen X X X Gruppe Gruppe 0 Gruppe 3 0 Kodierungsprinzip Referenzgruppe/-kategorie auf allen Variablen gleich Null alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null 5 Varianzanalyse als Spezialfall der Regression IV Möglichkeit : Kodierung mit Referenzgruppe/-kategorie (Fortsetzung) Regressionsgleichungen Gruppen Modellgleichung: eingesetzte Gleichungen: 3 Gruppen Modellgleichung: eingesetzte Gleichungen: Yˆi = a + b X Ŷ = a Ŷ = a+ b i Y = a + b X + b X ˆi i i Ŷ = a Ŷ = a+ b Ŷ3 = a+ b Interpretation der Regressionsparameter Intercept a entspricht Gruppenmittelwert der Referenzgruppe/-kategorie Regressionskoeffizienten b k entsprechen Mittelwertsunterschied der Gruppe k zur Referenzgruppe/-kategorie Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz der Unterschiede der Gruppenmittelwert 6

14 Varianzanalyse als Spezialfall der Regression V Dummy-Kodierung (Fortsetzung) Möglichkeit : Effektkodierung Dummy-Variable Gruppe Gruppe Gruppe 3 Gruppen X - 3 Gruppen X X Kodierungsprinzip erste Gruppe/Kategorie auf allen Variablen gleich - alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null 7 Varianzanalyse als Spezialfall der Regression VI Möglichkeit : Effektkodierung (Fortsetzung) Regressionsgleichungen Gruppen Modellgleichung: eingesetzte Gleichungen: 3 Gruppen Modellgleichung: eingesetzte Gleichungen: Yˆi = a + b X Ŷ = a b Ŷ = a+ b i Y = a + b X + b X ˆi i i Ŷ = a b b Ŷ = a+ b Ŷ3 = a+ b Interpretation der Regressionsparameter Intercept a entspricht Gesamtmittelwert aller Gruppen Regressionskoeffizienten b k entsprechen Mittelwertsunterschieden der Gruppen zum Gesamtmittelwert (für Gruppe Summe aller Koeffizienten) Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz der Unterschiede der Gruppenmittelwert 8

15 Varianzanalyse als Spezialfall der Regression VII Dummy-Kodierung (Fortsetzung) Möglichkeit 3: Kontrastkodierung Test spezifischer Hypothesen möglich Beispiel : Gleichheit der Gruppen und 3 Beispiel : Gleichheit der Gruppe mit Mittelwert der Gruppen und 3 Dummy-Variable Gruppe Gruppe Gruppe 3 Beispiel X 0 - Beispiel X - Kodierungsprinzip abhängig von Hypothese nur Test orthogonaler Kontraste möglich (d.h. nicht redundante Hypothesen) 9 Varianzanalyse als Spezialfall der Regression VIII Möglichkeit 3: Kontrastkodierung (Fortsetzung) Regressionsgleichungen Beispiel Modellgleichung: Y = a + b X + b X eingesetzte Gleichungen: Ŷ = a Ŷ = a b Ŷ = a+ b Beispiel Modellgleichung: eingesetzte Gleichungen: Interpretation der Regressionsparameter ˆi i i 3 Y = a + b X + b X Y ˆ = a b Ŷ = a+ b Ŷ = a+ b ˆi i i 3 Bedeutung des Intercept und der Regressionskoeffizienten b k abhängig von Kodierung Signifikanztests der Regressionskoeffizienten entsprechen Test auf Gültigkeit der Hypothesen (z.b. Verhältnisse der Mittelwerte) 30

16 Varianzanalyse als Spezialfall der Regression IX Berechnung einer Varianzanalyse mittels Regression Durchführbarkeit Varianzanalyse ist als Regression berechenbar (Spezialfall) Restriktion der Linearität der Erwartungswerte für Personen mit unterschiedlicher Ausprägung auf Prädiktor(en) muss aufgehoben werden Anwendung der Dummy-Kodierung Berechnung der Dummy-Variablen für einzelne Prädiktoren (in SPSS: Transformieren > Umkodieren in neue Variable) Kontrastkodierung (Test von orthogonalen Kontrasten) auch in einfaktorieller Varianzanalyse verfügbar (in SPSS: Analysieren > Mittelwertsvergleich > einfaktorielle Varianzanalyse > Kontraste) Ergebnisse Interpretation der Regressionskoeffizienten abhängig von Dummy-Kodierung Äquivalenz der Tests Mittelwertsvergleich ANOVA = Mittelwertsvergleich Regression (Gesamttest) zusätzlich in Regression gezielte Gruppenvergleiche möglich 3 Varianzanalyse als Spezialfall der Regression X Vergleich der Varianzzerlegung und des Hypothesentests Varianzzerlegung gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierung systematische/erklärte Varianz: Innergruppenvarianz (ANOVA) gleich Varianz der Regression Abweichung der vorhergesagten Werte von Gesamtmittelwert Kodierung in Regression keine Restriktion der Erwartungswerte (=ANOVA) Fehler-/nicht erklärte Varianz: Innergruppenverlängerung (ANOVA) gleich Fehlervarianz in Regression Abweichung der beobachteten Werte von vorhergesagten Werten (Gruppenmittelwerte) Freiheitsgrade gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierung Freiheitsgrade des Effekts Regression: Anzahl der Prädiktoren (= Anzahl der Gruppen -) ANOVA: Anzahl der Gruppen - 3

17 Ausblick Univariate Varianzanalyse Mehrfaktorielle Varianzanalyse Annahmen und Voraussetzungen der univariaten Varianzanalyse Exkurs: Matrizenrechnung Multivariate Varianzanalyse (MANOVA) Grundidee und Ziele der MANOVA Uni- vs. multivariate Varianzanalyse Statistisches Modell Varianzzerlegung Multivariate Prüfgrößen und Hypothesentestung 33