Vorlesung: Multivariate Statistik für Psychologen

Transkript

1 Vorlesung: Multivariate Statistik für Psychologen 6. Vorlesung: Organisatorisches Terminverlegung Übungsgruppen Gruppe 5 alter Termin: Donnerstag, , Uhr, IfP SR 9 neuer Termin: Mittwoch, , Uhr,??? Gruppe 6 alter Termin: Donnerstag, , Uhr, ABF SR 9 neuer Termin: Dienstag, , Uhr,??? 2

2 Agenda 2. Multiple Regression i. Grundlagen ii. iii. iv. Statistisches Modell Verallgemeinerung des Stichprobenmodells auf Populationsebene Verallgemeinerung der multiplen Regression auf k Prädiktoren v. Techniken der multiplen Regression vi. Techniken/Typen der Modellschätzung bei der multiplen Regression Interaktionseffekte bei multiplen Prädiktoren Annahmen und Voraussetzungen der multiplen Regression Annahmen und Voraussetzungen Test der Annahmen und Voraussetzungen 3 was man/frau schon immer wissen wollte Interpolation und Extrapolation Signalentdeckungstheorie 4

3 Zusammenfassung der letzten Sitzung Multiple Regression Ziele und Grundlagen der multiplen Regression Beispiele zur multiplen Regression Statistisches Modell, Modellgleichung Schätzung und Interpretation der Modellparameter Varianzzerlegung Modellgüte, Determinationskoeffizient Verallgemeinerung des Stichprobenmodells auf Populationsebene 5 Verallgemeinerung der multiplen Regression auf k Prädiktoren I Zahl der Prädiktoren im Regressionsmodell Vorhersage der abhängigen Variablen durch beliebig viele Prädiktoren möglich Grenzen des statistisch Sinnvollen jeder Prädiktor mit zusätzlichem Beitrag zur Varianzaufklärung Unabhängigkeit der Prädiktoren Grenzen des inhaltlich Sinnvollen Interpretierbarkeit von Modellen mit sehr vielen Prädiktoren eingeschränkt inhaltliche Überlappung der Prädiktoren Modellgleichung der multiplen Regression mit k Prädiktoren ausführliche Gleichung Y = a+ bx + bx + + bx ˆi 1 1 i 2 2 i k k i alternative Darstellung k Yˆi = a+ b j=1 j Xj i 6

4 Verallgemeinerung der multiplen Regression auf k Prädiktoren II Modellgleichung der multiplen Regression mit k Prädiktoren (Fortsetzung) Matrix-Schreibweise y= Xß+ e β0 β 1 y = ( 1 X1 X2 Xk ) β2 + e β k Literaturempfehlung zur Matrizendarstellung und rechnung: Steyer, R. (2003). Wahrscheinlichkeit und Regression. Berlin: Springer. (Kapitel 13, S ) Modellschätzung Least-Square Ansatz ( ) 2 Q N ˆ 2 N k i 1 Y i Y i i 1 Y = = i a j=1 b j X ji = ( ) = + min 7 Verallgemeinerung der multiplen Regression auf k Prädiktoren III Berechnung der Modellparameter Formeln zur Berechnung der Modellparameter bei >2 Prädiktoren sehr komplex (siehe Literatur) Grundprinzip: Verrechnung der Korrelation des Prädiktors mit der abhängigen Variablen Korrelation aller anderen Prädiktoren mit der abhängigen Variablen Korrelation der Prädiktoren untereinander Berechnung der Modellgüte Multipler Determinationskoeffizient R 2 Anteil der erklärten Varianz an der Gesamtvarianz Grundlage: Multiple Korrelation R (Korrelation vorhergesagter Wert beobachteter Wert) 2 SSR Ryx i 1... x = = b k 1 ryx + b 1 2 ryx b 2 k ryx k SSTO 8

5 Verallgemeinerung der multiplen Regression auf k Prädiktoren IV Verallgemeinerung des Stichprobenmodells auf Populationsebene Modellprüfung siehe Modellprüfung der einfachen/zweifachen Regression F = = MSE SSE Parameterprüfung siehe Prüfung der Parameter bei der zweifachen Regression t b = s MSR j bj SSR/df /df s b1 R E = s 2 yx i 1...k df R E = k df = N k 1 2 syx i 1... xk N 2 i= 1 2 ( Xi1 X1) ( 1 Rx 1ix2...k ) = SSE /(N k 1) df = N k 1 9 Verallgemeinerung der multiplen Regression auf k Prädiktoren V Interpretation der Ergebnisse Regressionsmodell Modellpassung abhängig von Vorhersagekraft der Prädiktoren, Anzahl und Korrelation der im Modell berücksichtigten Prädiktoren Beispiel Parameter Vorhersagekraft der Prädiktoren abhängig von anderen im Modell berücksichtigten Prädiktoren und gewählter Regressionstechnik Beispiel 10

6 Techniken/Typen der multiplen Regression I Techniken zur Parameterschätzung Testlogik verschiedene Prädiktoren erklären evtl. gleichen Anteil der Varianz der abhängigen Variablen mehrfach erklärte Varianz wird nur einmal im Modell berücksichtigt Frage, welchem Prädiktor mehrfach erklärte Varianz zugeschrieben wird Auswahl der Regressionstechnik abhängig von der inhaltlichen Fragestellung entscheidend dafür, welche Prädiktoren welchen Teil der aufgeklärten Varianz "erklären" 11 Techniken/Typen der multiplen Regression II Techniken zur Parameterschätzung (Fortsetzung) Veranschaulichung der Problemstellung Gesamtvarianzaufklärung der Prädiktoren X1, X2, X3 entspricht a+b+c+d+e Frage: Varianzaufklärung der einzelnen Prädiktoren? abhängig von Regressionstechnik X 2 X 1 X3 a b Y c d e Vorsicht bei Interpretation von Venn-Diagrammen! Diese dienen ausschließlich zur Veranschaulichung, und haben keine statistische Aussagekraft. Varianzen und Kovarianzen können nicht als Flächen bzw. Flächenüberschneidungen verstanden werden. 12

7 Techniken/Typen der multiplen Regression III Überblick über Regressionstechniken Standard Multiple Regression Beurteilung der einzelnen Prädiktoren nach zusätzlicher Varianzaufklärung (bzw. Aufklärung der Ausprägung der abhängigen Variablen) zu allen anderen Prädiktoren Hierarchische (Sequentielle) Regression Vergleich mehrerer Prädiktoren im Bezug auf ihre Vorhersagekraft hinsichtliche der Ausprägung der abhängigen Variablen inhaltlich theoriegeleitet Statistische (Schrittweise) Regression Explorative Suche der besten Prädiktoren für die Ausprägung der abhängigen Variablen kein Test inhaltlichen Theorien, sondern exploratives Vorgehen nach statistischen Kriterien 13 Standard Multiple Regression I Schätzprinzip simultane Schätzung und Beurteilung der Regressionskoeffizienten (und damit der Varianzaufklärung) aller Prädiktoren Beurteilung der Parameter zusätzliche Varianzaufklärung durch einzelne Prädiktoren, nachdem alle anderen Prädiktoren im Modell aufgenommen sind von mehreren Prädiktoren gemeinsam aufgeklärte Varianz berücksichtigt bei der Gesamtbeurteilung im Modell (Determinationskoeffizient), aber nicht bei Beurteilung der einzelnen Prädiktoren (bzw. Parameter der Prädiktoren) potentielle Unterschätzung der Bedeutung von Prädiktoren mit hoher Korrelation mit anderen Prädiktoren 14

8 Standard Multiple Regression II Veranschaulichung der Standard Multiplen Regression bei Parameterbeurteilung berücksichtigte Anteile der aufgeklärten Varianz der einzelnen Prädiktoren X 2 X 1 X3 Y 15 Hierarchische (Sequentielle) Regression I Schätzprinzip Schätzung und Beurteilung der Regressionskoeffizienten (und damit der Varianzaufklärung) aller Prädiktoren nacheinander, in vorgegebener (theoriegeleiteter) Reihenfolge einzelne Variablen vs. Blöcke von Variablen Beurteilung der Parameter zusätzliche Varianzaufklärung durch einzelne Prädiktoren, gegeben aller bereits vorher ins Modell aufgenommener Prädiktoren von mehreren Prädiktoren gemeinsam aufgeklärte Varianz wird nur bei Beurteilung des ersten, diesen Varianzanteil erklärenden Prädiktors (bzw. Parameters der Prädiktoren) berücksichtigt potentielle Unterschätzung der Bedeutung später ins Modell aufgenommener Prädiktoren 16

9 Hierarchische (Sequentielle) Regression II Veranschaulichung der Hierarchischen (Sequentiellen) Regression bei Parameterbeurteilung berücksichtigte Anteile der aufgeklärten Varianz der einzelnen Prädiktoren (Reihenfolge der Aufnahme ins Modell: X 1, X 2, X 3 ) X 2 X 1 X3 Y 17 Hierarchische (Sequentielle) Regression III Modellbeurteilung Beurteilung des Gesamtmodells nach jeder Aufnahme eines Prädiktors (bzw. einer Gruppe von Prädiktoren) Frage: welche (Gruppen von) Prädiktoren verbessern signifikant die Varianzaufklärung des Modells (gegeben der steigenden Komplexität des Modells) Test mittels R 2 -Differenzentest Test der zusätzlich aufgeklärten Varianz im Modell gegen Null ( i ) yxx 1 2 yx = 1 yxx 1 2 yx i 1 R R R R entspricht der Differenz der aufgeklärten Varianz im eingeschränkten Modell (ohne den nächsten Prädiktor) vs. im uneingeschränkten Modell (mit Prädiktor) Yˆ ˆ i = a+ bx 1 1i vs. Yi = a+ bx 1 1i + bx 2 2i 18

10 Hierarchische (Sequentielle) Regression IV Modellbeurteilung (Fortsetzung) Nullhypothese: keine zusätzliche Varianzaufklärung bzw. Regressionskoeffizient des zusätzlichen Prädiktors gleich Null ( Ryxx Ryx i ) H : = 0 H 0: β 2 = Test Errechnen der F-verteilten Prüfgröße 2 2 ( Ryxx i R ) ( ) 1 2 yx i / k 1 1 k2 F = 2 (1 Ryxx i )/( N k1 1) Freiheitsgrade: df = k k df = N k 1 k1 k2 Anzahl der Prädiktoren im vollständigen Modell Anzahl der Prädiktoren im eingeschränkten Modell 19 Hierarchische (Sequentielle) Regression V Modellbeurteilung (Fortsetzung) Test (Fortsetzung) Entscheidung F < F H F F a,df 1,df2 0 H a,df 1,df2 1 20

11 Statistische (Schrittweise) Regression I Schätzprinzip Schätzung und Beurteilung der Regressionskoeffizienten (und damit der Varianzaufklärung) aller Prädiktoren durch schrittweise Aufnahme und Entfernung der Prädiktoren aus dem Modell Grundlage sind statistischen Kriterien (Varianzaufklärung) Beurteilung der Parameter zusätzliche Varianzaufklärung durch einzelne Prädiktoren, gegeben aller bereits vorher ins Modell aufgenommener Prädiktoren bzw. Verlust an aufgeklärter Varianz durch Entfernung einzelner Prädiktoren aus dem Modell potentielle Unterschätzung der Bedeutung einzelner Prädiktoren durch andere Prädiktoren im Modell keine inhaltliche Fundierung, ausschließlich induktives Vorgehen (explorativ) 21 Statistische (Schrittweise) Regression II Veranschaulichung der Statistischen (Schrittweisen) Regression bei Parameterbeurteilung berücksichtigte Anteile der aufgeklärten Varianz der einzelnen Prädiktoren (Vorwärts-Technik) X 2 X 1 X3 Y 22

12 Statistische (Schrittweise) Regression III Typen der Statistischen (Schrittweisen) Regression Aufnahme bzw. Löschen einzelner Prädiktoren mittels verschiedener Typen der Statistischen Regression Aufnahme einzelner Prädiktoren bei signifikanter Verbesserung der aufgeklärten Varianz durch einen Prädiktor Löschen durch nicht signifikante Verschlechterung der aufgeklärten Varianz durch einen Prädiktor Typen: Vorwärts (Foward Selection) Rückwärts (Backward Deletion) Schrittweise (Stepwise Regression) 23 Statistische (Schrittweise) Regression IV Vorwärts (Forward Selection) Anfangsmodell Modell ohne Prädiktoren Auswahl der statistisch relevanten Prädiktoren sukzessive Aufnahme einzelner Prädiktoren ins Modell, die Vorhersagekraft des Modells signifikant verbessern Vorgehen Auswahl des Prädiktors mit größter erklärter Varianz (größte SSR größter F-Wert) Test auf Signifikanz des Modells (mit diesem F-Wert) Auswahl weiterer Prädiktoren nach maximalem Zugewinn an erklärter Varianz, gegeben der bereits ins Modell aufgenommenen Prädiktoren Test der R 2 -Differenz gegen Null; Abbruchkriterium: vorbestimmter F-Wert, der gleichbedeutend mit keiner signifikanter Verbesserung des R 2 einmal ins Modell aufgenommene Prädiktoren bleiben im Modell 24

13 Statistische (Schrittweise) Regression V Rückwärts (Backward Deletion) Anfangsmodell Modell mit allen Prädiktoren Auswahl der statistisch relevanten Prädiktoren sukzessiver Ausschluss einzelner Prädiktoren aus Modell, ohne die sich Vorhersagekraft des Modells nicht signifikant verschlechtert Vorgehen Bestimmung der multiplen Regression mit allen k Prädiktoren, und aller multiplen Regressionen mit k-1 Prädiktoren Auswahl des Prädiktors mit kleinster R 2 - bzw. F-Wert-Verschlechterung Test auf Signifikanz der Modellverschlechterung (mit diesem F-Wert) Auswahl weiterer Prädiktoren nach minimalem Verlust an erklärter Varianz Test der R 2 -Differenz gegen Null; Abbruchkriterium: vorbestimmter F-Wert, der gleichbedeutend mit signifikanter Verschlechterung des R 2 einmal aus Modell ausgeschlossene Prädiktoren kommen nicht mehr ins Modell 25 Statistische (Schrittweise) Regression VI Schrittweise (Stepwise Regression) Kombination aus Vorwärts- und Rückwärts-Technik Anfangsmodell Modell ohne Prädiktoren Auswahl der statistisch relevanten Prädiktoren sukzessive Aufnahme einzelner Prädiktoren ins Modell, die Vorhersagekraft des Modells signifikant verbessern (Kriterium der Vorwärts-Technik) nach Aufnahme eines Prädiktors: Prüfung, ob Löschen einzelner Prädiktoren im Modell möglich ohne signifikante Verschlechterung der Vorhersagekraft (Kriterium der Rückwärts-Technik) schrittweises Aufnehmen/Löschen von Prädiktoren bis keine weitere Veränderung keine Aufnahme eines nicht im Modell berücksichtigten Prädiktors bewirkt eine signifikante R 2 -Verbesserung des Modells kein Löschen eines im Modell aufgenommenen Prädiktors möglich ohne signifikante Verschlechterung des R 2 im Modell 26

14 Praktische Hinweise I SPSS-Kurzanleitung Spezifikation der verschiedenen Techniken der multiplen Regression in SPSS Bestimmung der Kriterien zur Aufnahme und Löschung einzelner Prädiktoren Modellbewertung 27 Praktische Hinweise II Auswahl der Standard Multiplen Regression in SPSS 28

15 Praktische Hinweise III Auswahl der Hierarchischen (Sequentiellen) Regression in SPSS 29 Praktische Hinweise IV Auswahl der Statistischen (Schrittweisen) Regression in SPSS 30

16 Praktische Hinweise V Auswahl der statistischen Kriterien für Aufnahme und Löschen in SPSS 31 Praktische Hinweise VI Hinweise zur Interpretation der Ergebnisse Regressionsmodelle und Bewertung einzelner Prädiktoren mit denselben Daten teilweise sehr unterschiedlich, abhängig von gewählter Regressionstechnik Kriterien zur Aufnahme/Löschung einzelner Prädiktoren im Modell berücksichtigte Prädiktoren Alternative: Best-Subset-Modell vollständige Permutation aller Kombinationen von Prädiktoren Wahl des Modells mit der statistisch besten Vorhersagekraft Problem: mehrere, ähnlich gute Modelle mit verschiedenen Sets von Prädiktoren absolute Interpretation ausgewählter und nicht-ausgewählter Prädiktoren nicht möglich 32

17 Praktische Hinweise VI Hinweise zur Interpretation der Ergebnisse (Fortsetzung) zur Interpretation (zusätzlich zu Parameterschätzungen, z.b. der Schrittweisen Regression) Angabe der: Parameterschätzungen der Standard Multiplen Regression mit den ausgewählten Prädiktoren Parameterschätzungen der Einfachen Regression (z.b. in Form der Korrelationsmatrix) Einfluss der Stichprobengröße viele im Modell berücksichtigte Prädiktoren erfordern eine große Stichprobe (ca Personen pro Prädiktor) Explorativer Charakter der Schrittweisen Regression Hypothesengenerierung und prüfung nicht an derselben Stichprobe möglich Kreuzvalidierung erforderlich (neue Stichprobe vs. Subsamples) 33 Ausblick Multiple Regression Annahmen und Voraussetzungen der multiplen Regression Annahmen und Voraussetzungen Test der Annahmen und Voraussetzungen Varianzanalyse (ANOVA) 34