Multiple Regressionsanalyse - Kurzabriss

Transkript

1 Multiple Regressionsanalyse - Kurzabriss Ziele: Schätzung eines Kriteriums aus einer Linearkombination von Prädiktoren Meist zu Screening-Untersuchungen, um den Einfluß von vermuteten Ursachenvariablen abzuschätzen In der Regel mit konkreten Variablen (Messgrößen) Allgemeine Schätzgleichung: X 0i = β 0 β X i β 2 X 2i β k X ki () hierin: X 0i Schätzung des Wertes der i-ten Person auf der Kriteriumsvariable X 0 Regressionsgewicht des j-ten Prädiktors Wert der i-ten Person auf der j-ten Prädiktorvariable β j X ji Beispiel: ABINote = β 0 β Rechentestwertβ 2 Sprachtestwertβ 3 Fleisstestwertβ 4 Ausdruckstestwert a) b) a = a 0 a X a 0 = = = - tanα a X Cov(X,) Var (X) Regression von Z auf X und Z Z= X0678 ^ = - e ^ p a 0 α X X X Abbildung : Veranschaulichung linearer Regression a) Bivariat: wird aus X vorhergesagt b) multivariat: Z wird aus X und vorhergesagt

2 0 Modellformulierung Definition einer Fehlerfunktion (Optimierungsfunktion) Schätzfehler: e i = X 0i X 0i (2) Optimierungskriterium: Wähle die Regressionsgewichte so, daß die Summe der Schätzfehlerquadrate minimal ist: n e 2 i = i= = n i= ( X 0i X 0i ) 2 min (3) n (X 0i (β 0 β X i β 2 X 2i β k X ki )) 2 min i= Man schreibt die multiple Regression id Regel standardisiert: Für den Schnittpunkt β 0 gilt: Weiterhin gibt ẑ 0i = b z i b 2 z 2i b k z ki (4) β 0 = X 0 (β X β 2 X 2 β k X k ) (5) b j = β j s (x j ) s (x 0 ) die Beziehung zwischen den Regressionskoeffizienten der standardisierten und der unstandardisierten Variablen an Beim Übergang zu z- standardisierten Variablen fällt die additive Konstante weg 02 Gang der Lösung Für den multivariaten Fall lautet der Modellansatz bei vorheriger z- Standardisierung aller k Variablen: (6) ẑ 0i = b z i b 2 z 2i b k z ki (7) Schreibt man die Gleichung nur für die Variablen, lautet sie: ẑ 0 = b z b 2 z 2 b k z k (8) 2

3 Die Regressionskoeffizienten b j erhält man aus der Bedingung n (z 0i ẑ 0i ) 2 min i= durch Einsetzen von (7), partielles Ableiten nach jedem Regressionskoeffizienten und anschließendes Nullsetzen, denn dann erhält man ein System von Normalgleichungen Dieses erhält man ebenso, wenn man (8) nacheinander mit jedem Prädiktor multipliziert und über Personen i summiert sowie durch die Anzahl n teilt Es ergeben sich nacheinander für j =,, k folgende Gleichungen: b z z n b 2 z z n 2 b k z z n k = z z n 0 b z2 z n b 2 z2 z n 2 b 0 z2 z n k = z2 z n 0 b z0 z n b 2 z0 z n 2 b k z0 z n 0 = z0 z n 0 die offenbar einfach auf das folgende Gleichungssystem hinauslaufen: b b 2 r 2 b k r k = r 0 b r 2 b 2 b k r 2k = r 20 b r 3 b 2 r 32 b k r 3k = r 3k (9) b r k b 2 r k2 b k = r k0 Rechts stehen hier die Kriteriumskorrelationen und links die Prädiktorinterkorrelationen Auf der Diagonalen des Gleichungssystems sthen die gesuchten Koeffizienten Das System hat genausoviel Zeilen wie Unbekannte (die Regressionsgewichte) es ist lösbar Man kann (9) als eine Matrixgleichung schreiben Wir schreiben Rb = r k0 (0) wobei boldface Symbole für Vektoren stehen Insbesondere ist: R b r k0 k k Matrix der Prädiktorinterkorrelationen gesuchter k Vektor der Regressionskoeffizienten k Vektor der Kriteriumskorrelationen Vormultiplizieren mit der Inversen der Prädiktor-Interkorrelationsmatrix gibt: R Rb = R r k0 b = R r k0 Die Lösung zeigt uns, daß nur die Inverse der Interkorrelationsmatrix der Prädiktoren gefunden werden muß, um das Problem der Bestimmung der Beta-Gewichte zu lösen 3

4 03 Der multiple Korrelationskoeffizient Für die multiple Regression läßt sich ebenfalls ein multipler Korrelationskoeffizient berechnen Er lautet: R 0 2 k = k b j r j0 () Was bedeutet dieser multiple Korrelationskoeffizient? Er erhält seine Bedeutung im Rahmen der Varianzzerlegung, die man für die multiple, wie auch für die bivariate Regression, folgendermassen anschreiben kann: j= = Erklärte Streuung Nicht Erklärte Streuung n ( ) 2 ( ) 2 n i= X0i X 0i = n n i= X0i X 0i n n i= (X 0i X ) 2 0i Wegen hat man = Erklärte Streuung Nicht Erklärte Streuung (2) R 2 = R 2 = R 2 = Erklärte Streuung ( ) 2 X0i X 0i n n i= n n i= (3) ( X0i X 0i ) 2 (4) Nicht Erklärte Streuung (5) Der multiple Korrelationskoeffizient kann genauso interpretiert werden wie der bivariate Produkt - Moment Korrelationskoeffizient Aber: Je mehr Prädiktoren, desto größer der Anteil an erklärter Streuung Je mehr Prädiktoren, desto ungünstiger für die Schätzeigenschaften des Modells (lernen wir später beim Thema Inferenzstatistik kennen) 4

5 04 Interpretation der Regressionskoeffizienten 04 Unabhängige Prädiktoren Die Schwierigkeit der Interpretation der Regressionsgewichte besteht in der Beurteilung des Einflusses der Interkorrelationen der Prädiktoren Für unkorrelierte Prädiktoren ist die Deutung einfach, da in diesem Fall R = R = I ist Dann wird der Vektor der Regressionskoeffizienten b = Ir k0 (6) b = r k0 (7) dh die beta- Gewichte sind gleich den Kriteriumskorrelationen Dies entspricht dem Fall einer Varianzzerlegung mit rein additiven Komponenten, dh es gibt keine Kovarianzterme Es ist dann R k = k rj0 2 (8) j= dh Erklärte Streuung = Erklärte Streuung () 042 Abhängige Prädiktoren Erklärte Streuung (2) Streuung k Erklärte Abhängigkeiten zwischen den Prädiktoren können prinzipiell in zweierlei Hinsicht untersucht werden: Bedeutet die Abhängigkeit Redundanz, dh messen die vielen Variablen Aspekte gemeinsam, so daß man prinzipiell weniger (latente) Variablen benötigt? ( unerwünschter Aspekt) 2 Erfassen die Abhängigkeiten Teile der ( Kontamination) der Variablen und wirken so optimierend auf die gesamte Schätzgleichung (Suppressionseffekt, erwünscht)? Zusammenhang mit der Partialkorrelation Partialkorrelationen geben die Korrelation zweier Variablen an, die vom Effekt anderer (spezifizierter) Variablen bereinigt wurden So gibt r 2 3 die Korrelation von X und X 2 bereinigt vom Effekt der Variablen X 3 Das Prinzip dabei ist, aus den Variablen X und X 2 den Vorhersageanteil zulasten von X 3 herauszuziehen (die Schätzwerte von den beobachteten Werten abzuziehen) und nunmehr die Korrelation der Residuen zu betrachten, dieses ist die reine Korrelation der Variablen X und X 2 5

6 Ähnliches kann durch eine geeignete Gewichtung von Variablen, die keine hohe Kriteriumskorrelation haben, in der Schätzgleichung erreicht werden (Suppressionseffkt) Für den Fall von nur 3 Variablen in der Schätzgleichung gibt es Ungleichungen, anhand deren man Suppressorvariablen identifizieren kann Für mehr Variablen ist dies aber nicht so einfach Als Faustregel für die Identifikation der Suppressorwirkung gilt wobei U j die sog Nützlichkeit der Variablen X j ist U j > r 2 j0, (9) U j = R 2 (j) meint den Betrag, um den die multiple Korrelation zunimmt, wenn Variable X j zusätzlich in die Gleichung aufgenommen wird Anhaltspunkte für die Rolle der Variablen in der Schätzgleichung bieten die Step-Methode, iterative Methoden und die Betrachtung der Partialkorrelationen Man kann Strukturkoeffizienten bilden, dessen Quadrat angibt, welchen Anteil eine Prädiktorvariable an der vorhergesagten Kriteriumsvarianz hat Weiter läßt sich zeigen: c j = r j0 R R 2 = r 2 0 r 2 0(2 ) r 2 0(3 2) r 2 0(4 32) (20) dh die aufgeklärte Varianz ist darstellbar über eine Reihe von Semipartialkorrelationen (nur der Prädiktor ist vom linearen Anteil der anderen Prädiktoren bereinigt), wobei jede neu hinzukommende Prädiktorvariable vom Effekt aller bisher berücksichtigten Variablen bereinigt ist Die Semipartialkorrelationen sind für die Interpretation wichtig, denn es gilt r 2 0(j 2 k) = V arianz(x j 2 k) Gesamtvarianz Die quadrierten Semipartialkorrelationen geben also den Anteil der Varianz eines von den anderen Prädiktoren residualisierten Prädiktors an der gesamten Kriteriumsvarianz (seinen dann eigenständigen Varianzbeitrag) an Für 3 Variablen berechnet sich die Semipartialkorrelation nach (X 0 Kriterium, X 2 von X befreit) r 0(2) = r 20 r 0 r 2 (2) r 2 2 Aus (20) folgt, dass die Nützlichkeit (9) eines Prädiktors j das Quadrat seiner Semipartialkorrelation ist, denn die Differenz r 2 0(j 2 k) = R 2 0 (2 k) R 2 0 (2 k j) (22) definiert ja die Nützlichkeit der Variablen X j nach (9) (Näheres hierzu s Bortz, 2005, Kap 3) 6