Das Lineare Regressionsmodell

Transkript

1 Das Lineare Regressionsmodell

2 Bivariates Regressionsmodell Verbrauch eines Pkw hängt vom Gewicht des Fahrzeugs ab Hypothese / Theorie: Je schwerer ein Auto, desto mehr wird es verbrauchen Annahme eines linearen Zusammenhangs Stichprobe von 74 Pkw zum Benzinverbrauch und Gewicht Coef. Std. Err. t P>t Gewicht Konstante

3 beobachteter Wert Residuum, Störgröße y i = ^ 0 + ^ 1x i + ^u i modellierter Wert obacht Notation! ein ^ bedeutet Schätzwert ; dieser muss nicht mit dem wahren (aber prinzipiell unbekannten) Wert in der Grundgesamtheit übereinstimmen (bedingter) Erwartungswert für y (bedingt! gegeben x i ) ^y i = ^ 0 + ^ 1x i ist synonym zu bedeutet: Residuum u i als Differenz zwischen ) beobachtetem Wert ) und Erwartungswert ^u i = y i ^y i 3

4 Zeile 4: Verbrauch (y i ) = 11,76 l/100km Gewicht (x i )= 1474,2 kg E(y i jx i = 1474; 2) = ^y i = 0 + 1x i = 1: : :2 = 12:57 4

5 y i = 11:76 versus ^y i = 12:57 beobachtet geschätzt Residuum 5

6 ^y = ^ 0 + ^ 1x y i u i u i ^y i E(Verbrauch Gewicht) Gewicht in kg Verbrauch in l/100 km Fitted values 6

7 Störgröße, Residuum Was verbrigt sich hinter u i? y i = ^ 0 + ^ 1x i + ^u i 1 misst den Effekt des Fahrzeuggewichts auf den Fahrzeugverbrauch Erwartungswert für Verbrauch gegeben Gewicht: E(y x) Störgröße ^u i = y i E(y i jx i ) fängt alle verbrauchsrelevanten Einflüsse auf, die nicht durch das Gewicht des Autos abgebildet werden Luftwiderstand (cw-wert) Übersetzung / Fahrweise Getriebart (Schaltung 7 Automatik) relevante Einflüsse müssen mit modelliert werden ) siehe später multivariates Regressionsmodell 7

8 Das OLS-Prinzip Wie findet man den linearen Zusammenhang mit dem besten Fit? also die Linie, die y à x am besten erklärt? bei der der (über alle Beobachtungen summierte) Fehler am geringsten ist? Finde die Linie, die die quadrierten Abweichungen minimiert! Kleinste Quadrate Regression! ordinary least-squares regression (OLS) y y u i u i u i u i x x 8

9 Das OLS-Prinzip Residuum für eine Beobachtung ^u i = y i ^y i ^u i = y i (^ 0 + ^ 1x) Summe der quadrierten Residuen (sum of squared residuals, SSR) SSR = nx ^u 2 i = i=1 nx i=1 h y i ( ^ 0 + ^ 1x)i 2! min! finde 0 und 1, so dass Summe der quadrierten Residuen minimiert wird 9

10 Das OLS-Prinzip Normalgleichungen für Konstante P i u2 ^ 0 = 2 nx (y i ^ 0 ^ 1x i ) = 0 i=1 für Steigungsparameter P i u2 ^ 1 = 2 nx (y i ^ 0 ^ 1x i )x i = 0 i=1 Lösen der Normalgleichungen nach und ergeben Schätzparameter, mit denen die Residuenquadratsumme RSS (die Summe der quaddrierten Abweichungen) minimiert wird 10

11 Das OLS-Prinzip Lösungen der Normalgleichungen ergeben ^ 0 = ¹y ^ 1¹x ¹y = ^ 0 + ^ 1¹x Regressionslinie geht immer durch den (Schwer-)Punkt (¹x; ¹y). sum gewicht verbrauch Variable Obs Mean Std. Dev. Min Max gewicht verbrauch

12 ¹x = 1369 kg ^y = ^ 0 + ^ 1x ¹y = 11:8 l Gewicht in kg Verbrauch in l/100 km Fitted values ¹y = ^ 0 + ^ 1¹x Regressionslinie geht immer durch den (Schwer-)Punkt (¹x; ¹y) 12

13 Das OLS-Prinzip Lösungen der Normalgleichungen ergeben P i ^ 1 = (y i ¹y)(x i ¹x) P i (x i ¹x) 2 = Cov(x; y) V ar(x) (Cov(x,y) war ein Maß für den Zusammenhang zwischen x und y) zum Vergleich: Korrelationskoeffizient 13

14 Modellgüte

15 Modellgüte R Gewicht in kg Regressionsgerade beschreibt den durchschnittlichen Zusammenhang individuellen Beobachtungen streuen um Regressionsgerade wie gut erklärt das Regressionsmodell / die Regressionsgerade die Daten? 15

16 5 verbrauch in l/100km Modellgüte R 2 Gesamtstreuung der abhängigen Variablen Gewicht in kg individuellen Beobachtungen streuen (zufällig) um ihren Mittelwert die Gesamtvariation in der abhängigen Variable wird bezeichnet als SST ( total sum of squares ) 16

17 Modellgüte R 2 Regressionsmodell kann einen Teil der Abweichung vom Mittelwert erklären vom Modell erklärte Variation ( explained sum of squares ) 17

18 Modellgüte R 2 aber ein Teil an Streuung von y verbleibt, der nicht vom Modell erklärt werden kann unerklärte Streuung /Residuenstreuung ( residual sum of squares ) 18

19 Jede Beobachtung kann geschrieben werden als geschätzter Wert + Abweichung (Residuum) Gesamte Streuung der Abhängigen Durch das Modell erklärt wird Durch das Modell nicht erklärt Je höher der Anteil der erklärten Streuung an der Gesamtstreuung... desto besser ist die Modellgüte 19

20 verbrauch in l/100km kann durch Regressiongerade erklärt werden. regress verbrauch gewicht Source SS df MS Number of obs = F( 1, 72) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = verbrauch Coef. Std. Err. t P> t [95% Conf. Interval] gewicht _cons etwa 73% der Variation in y Gewicht in kg 20

21 Multivariate Regression

22 Multivariate Regression Neuer Datensatz von 526 Personen person wage educ exper tenure female average hourly earnings (in US$) years of education years potential experience years with current employer =1 if female Frage: Wie ist der Zusammenhang zwischen Bildung (educ) und dem erzielten Stundenlohn (wage) Hypothese: Bildung wirkt sich positiv auf Lohn aus Annahme eines linearen Zusammenhangs 22

23 0 5 wage Coef. Std. Err. t P>t educ Konstante n= 526, R 2 = Interpretation? (jedes zusätzliche Schuljahr ) erhöht Stundenlohn um $) years of education 23

24 Multivariate Regression Modell erklärt ~16% der Variation in y d.h. Bildung erklärt 16% der Variation im Stundenlohn 84% bleiben unerklärt andere Einflüsse jenseits von Bildung nicht berücksichtigt... Loyalität: Jahre im Betrieb Berufserfahrung Talent für Beruf years of education average hourly earnings Fitted values alle relevanten, aber nicht modellierten Einflüsse, gehen in die Störgröße ein y i = ^ 0 + ^ 1 educ + ^u i 24

25 Multivariate Regression Linearer Zusammenhang besteht zwischen der abhängigen Variable y und K erklärenden Variablen y = 0 + 1x 1 + 2x 2 + ::: + Kx K dabei misst der Koeffizient j (j = 1,..., K) die marginale Änderung in y, wenn sich x j um eine Einheit ändert (ceteris paribus) 25

26 Multivariate Regression Folgendes lineare Modell educ: Bildung! Schuljahre exper: Berufserfahrung! Jahre im Beruf tenure: Loyalität! Jahre bei jetzigem Arbeitgeber Untersuchungsgegenstand Welchen Einfluss hat Bildung auf Stundenlohn? Was können Sie über Berufserfahrung sagen? je länger im Unternehmen, desto höher der Lohn? 26

27 Coef. Std. Err. t P>t educ exper tenure _cons n=526, R 2 = marginale Effekte erhöht sich Bildung um 1 Jahr ) Stundenlohn steigt (durchschnittlich) um 0.59 $ pro Stunde exper " um 1 Berufsjahr ) Stundenlohn " um 0.02 $ pro Stunde tenure " um 1 Jahr ) Stundenlohn " um 0.17 $ pro Stunde 27

28 Prognose Welchen Stundenlohn erwarten Sie für eine Person mit 10 Jahre Schulbildung 12 Jahren Berufserfahrung 3 Jahre Betriebszugehörigkeit? Wie würde sich der Stundenlohn ändern, wenn die Person ein weiters Jahr zur Schule gegangen wäre? 28

29 Source SS df MS Number of obs = 526 F( 3, 522) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = wage Coef. Std. Err. t P> t [95% Conf. Interval] educ exper tenure _cons Problem mit R 2 : Model Fit nimmt nahezu immer zu, wenn man erklärende Variablen hinzufügt Trade-Off zwischen zusätzlichem Erklärungsgüte und sparsamer Spezifikation (parsimony specification) 29

30 Modellgüte korrigiertes R 2 Source SS df MS Number of obs = 526 F( 3, 522) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = wage Coef. Std. Err. t P> t [95% Conf. Interval] educ exper tenure _cons korrigiertes R 2 : Bestrafung für zusätzliche Parameter adj:r 2 = 1 (1 R 2 ) n 1 n k 1 n = Anzahl Beobachtungen k = Anzahl erklärender Variablen ohne Konstante (1- R 2 ) ) nicht erklärte Streuung zusätzlicher Parameter ) k " ) Bruch wird größer ) nicht erklärte Streuung wird (etwas willkürlich) erhöht es gilt: adj. R 2 R 2 30