Multiple Regression. Ziel: Vorhersage der Werte einer Variable (Kriterium) bei Kenntnis der Werte von zwei oder mehr anderen Variablen (Prädiktoren)

Transkript

1 Multiple Regression 1 Was ist multiple lineare Regression? Ziel: Vorhersage der Werte einer Variable (Kriterium) bei Kenntnis der Werte von zwei oder mehr anderen Variablen (Prädiktoren) Annahme: Der Zusammenhang zwischen allen Variablen ist linear (die multiple Regression ist die direkte Anwendung des ALM) Ergebnis der Analyse: Geradengleichung bzw. Koeffizienten Gütemaße Signifikanztest 1

2 Notation y x 1, x,..., x J Regressand Regressor(en) AV Kriterium Kriteriumsvariable UV Prädiktor(en) Prädiktorvariable(n) Das DasKriteriumwird auf die Prädiktoren regrediert. Man führt eine Regression des Kriteriums auf die Prädiktoren durch. 3 Ziel und Vorgehensweise Einsatz der Regressionsanalyse: Zusammenhänge quantitativ beschreiben und erklären Werte der abhängigen Variable schätzen Vorgehensweise: Festlegung von Kriterium & Prädiktor mehrere Prädiktoren zusammen bilden ein sogenanntes Modell Shä Schätzung der Regressionsfunktion i auf der Basis empirischer Daten Ermittlung der Regressionsparameter Prüfung der Güte der geschätzten Funktion für uns das Hauptergebnis eher praktische Anwendung, für uns nicht so interessant macht SPSS für uns 4

3 Multiple Regression und ALM ALM: y = a + b1x1 + bx + b3x e konkreter Wert einer Person da der Fehler nicht bekannt ist, kann y nur geschätzt werden Multiple Regression: y ˆ k = b 0 + b1x1 + b x b J x J geschätzter Wert einer Person 5 Vorhersage des Kriteriums anhand eines Prädiktors ŷ = Schätzung des Kriteriums b 0 = Regressionskonstante b 1 = Regressionskoeffizient x = Prädiktor yˆ = b0 + b1x ŷ x bi = Δ ŷ Δ x 6 3

4 Was ist die Regressionskonstante b o? wenn man über eine Person gar nichts weiß und ein Kriterium schätzen soll, dann ist der Mittelwert M dieses Kriteriums von einervielzahl bekannterpersonen die besteschätzung dieser Mittelwert steckt in der Regressionskonstante M y kommt ein Prädiktor hinzu, verbessert sich die Vorhersage für die Person d.h., sie differenziert ausgehend vom Mittelwert der Schnittpunkt der Regressionsgerade entspricht dem Mittelwert und stellt die Regressionskonstante dar y M b 0 7 Was passiert bei mehr als einem Prädiktor? bei zwei Prädiktoren wird aus der Regressionsgerade eine Regressionsebene der Mittelpunkt der Ebene stellt wieder die Regressionskonstante dar die vertikalen Abstände aller Punkte von der Ebene sind die Residuen ˆ y = b 0 + b1x1 + b x 8 4

5 Was passiert bei mehr als einem Prädiktor? bei nur einem Prädiktor sind das unstandardisierte Regressionsgewicht b und das standardisierte β identisch, sie entsprechender Korrelation zwischen Prädiktor und Kriterium yˆ = b0 + b1x yˆ = β 0 + β 1x Kriterium bei mehreren Prädiktoren gilt das nur, wenn diese unkorreliert sind x 1 9 Unkorrelierte und korrelierte Prädiktoren unkorreliert Kriterium korreliert Kriterium x x 1 x 1 x jedes r² leistet seinen eigenen Beitrag zur Vorhersage von Y R² = r² 1 + r² jedes r² leistet nur zum Teil einen eigenen Beitrag zur Vorhersage von Y R² < r² 1 + r² 10 5

6 Was passiert bei mehr als einem Prädiktor? Prädiktoren sind so gut wie immer korreliert die Regressionsgewichte β geben dann den relativen Einfluss der PrädiktorenaufdasKriterium das an entscheidend ist ihre relative Größe das größte β symbolisiert den größten Einfluss β kann prinzipiell zwischen 1 und 1 schwanken (extremere Betas weisen auf Probleme mit dem Modell hin) Interpretation: ändert sich x um eine Standardabweichungseinheit, dann ändert sich y um β Standardabweichungseinheiten dasmodell wirdmit Hinzunahme weiterer Prädiktorenimmer immer besser, d.h., es kann immer mehr Varianz aufgeklärt werden (es sei denn, man hat Variablen ohne Vorhersagekraft in das Modell gegeben das bringt aber rechnerisch keine Nachteile) 11 Wie gut ist die Vorhersage? aus den Daten einer Stichprobe lässt sich ableiten, wie gut für nicht bekannte Personen eine Schätzung der Kriteriumsvariable gemacht werden kann das entspricht der Frage, wie gut sich die Vorhersagegüte des Regressionsmodells auf die Population verallgemeinern lässt Globale Gütemaße zur Prüfung der Regressionsfunktion: Bestimmtheitsmaße R und R² F Statistik Standardschätzfehler Maße zur Prüfung der Regressionskoeffizienten: Beta Wert t Wert Streudiagramme und Lowess Kurve 1 6

7 Multipler Korrelationskoeffizient R und multipler Determinationskoeffizient R² R: gemeinsame Korrelation zwischen den Prädiktoren und dem Kriterium R β β = 1r + 1 r +... R²: Anteil der durch die Prädiktoren gemeinsam erklärten Varianz R β β + 1 r 1 r = r +... wird meist als Hauptergebnis der Regression benutzt Optimum: alle tatsächlichen Werte liegen auf der Regressionsgeraden (bzw. ebene) R = R =1 13 Was steckt in der nicht aufgeklärten Varianz? bleibt nach der Regression noch unaufgeklärte Varianz übrig und das ist praktisch immer der Fall hat diese zwei Ursachen: Messfehler andere Prädiktoren, die man nicht erfasst hat diese werden zum Residuum zusammengefasst typischerweise liegt R² zwischen ca. 60 und 90% 14 7

8 Standardschätzfehler (wie bei bivariater Regression) Maß dafür, wie stark die vorhergesagten Werte im Durchschnitt von den tatsächlichen Werten abweichen. Optimum: alle tatsächlichen Werte liegen auf der Regressionsgerade (bzw. ebene) s e = 0. a) für standardisierte Werte s e = 1 R b) für Originalwerte s e = s y 1 R 15 F Statistik Signifikanztest der prüft, ob das geschätzte Modell auch über Stichprobe hinaus für die Grundgesamtheit Gültigkeit besitzt SS mult.regr. MS df SS mult. regr. = mult.regr. mult.regr yi y F = = i MSres. SS res. df res. SS res. = yi yi i df mult regr. = K df res. = N K

9 β Wert und t Test für β die Beta Werte allein liefern schon eine gut interpretierbare Information über die Größe des Einflusses darüber hinaus kann man prüfen, ob ein Beta nur durch Zufall fll zustande kam, oder ob es auch für die Population zu erwarten ist dafür teilt man jedes Beta durch seinen Standardfehler: β t = σ β t verteilt mit N K 1 df für jedes Beta kann auch ein Konfidenzintervall berechnet werden 17 Zwei Anwendungsgebiete der Regression praktische Anwendung: zur Bestimmung konkreter Werte für Y Beispiel: welche Umsatzsteigerung in Euro bringt es einem Verkaufsleiter, wenn er die Werbeausgaben b um x% erhöht? h diese Information steckt im unstandardisierten b außerdem wird die Regressionsgleichung benötigt Anwendung in der Forschung: der theoretische Zusammenhang ist von Interesse hiersind konkrete Vorhersagen unwichtig die Hauptinformationen stecken in den standardisierten Betas und dem R² die Regressionsgleichung ist nicht so wichtig 18 9

10 Voraussetzungen für die multiple Regression Zusammenhänge müssen linear sein Streudiagramme und Lowess Kurven begutachten wenn nötig Potenzleiter anwenden Modell ist möglichst vollständig: keine wichtigen Prädiktoren vergessen Daten sollten hinreichend multi normalverteilt sein Residuen sollten gleichverteilt sein (Homoskedastizität) Prädiktoren sollten nicht zu stark korrelieren (Multikolinearität) 19 Multinormalverteilung alle Variablen müssen in ihrer Kombination normalverteilt sein Beispiel: bivariate Normalverteilung 0 10

11 Multikolinearität bei Multikolinearität sind die Prädiktoren so stark korreliert, dass sie eigentlich dasselbe messen eine genaue Zuordnung von Beta Gewichten ist dann nicht mehr möglich Lösung: hoch korrelierte Prädiktoren zu Faktoren zusammenfassen (Faktorenanalyse) Kriterium x 1 x 1 Supressoreffekte treten auf, wenn Variablen in das Modell aufgenommen werden, die gar nicht mit dem Kriterium korrelieren, aber mit einem Prädiktor sie binden dann Varianz in diesem Prädiktor, die für die Vorhersage des Kriteriums ohnehin unnötig war das vergrößert scheinbar die aufgeklärte Varianz die Vorhersagekraft des Prädiktors wird künstlich erhöht 11

12 Hierarchische Regression bei der hierarchischen Regression werden die Prädiktoren in einer bestimmten Reihenfolge in das Modell aufgenommen diese kann man vorgeben oder SPSS überlassen der Sinn ist es, verschiedene Modelle miteinander zu vergleichen bei der schrittweisen Regression werden automatisch diejenigen Prädiktoren ins Modell aufgenommen, die signifikante Vorhersagekraft haben (alle anderen werden aus dem Modell entfernt) rechnerisch kommen aber alle Möglichkeiten zum selben Ergebnis! 3 Zusammenfassung Multiple Regression 4 1

13 Moderation und Mediation Moderation und Mediation sind Möglichkeiten zur Prüfung komplexerer Zusammenhänge zwischen Variablen sowie zur Entwicklung von Theorien sie beruhen auf der (multiplen) Regression Mediation: der Zusammenhang zwischen zwei Variablen ist durch eine dritte Variable vermittelt, d.h., der Zusammenhang kommt völlig oder teilweise durch diese Mediatorvariable zustande Moderation: Die Höhe des Zusammenhangs zwischen zwei Variablen verändert sich in Abhängigkeit der Ausprägung einer dritten Variable, der Moderatorvariable 5 Mediation der Zusammenhang zwischen IQ und Berufserfolg ist durch das Arbeitsgedächtnis vermittelt 6 13

14 Komplette und partielle Mediation 7 Moderation der Zusammenhang zwischen IQund Berufserfolg verändert sich je nach Jobkomplexität 8 14

15 Beispiel: Welche Ursachen hat Musikpräferenz? β =.18* Kommunikation β =.17* Selbstreflektion β =.31* Erregung β =.06 Emotion Musikpräferenz β =.003 Kultur β =.18* Bekanntheit R² =.66 *p <