10. Grundlagen der linearen Regressionsanalyse 10.1 Formulierung linearer Regressionsmodelle

Transkript

1 10. Grudlage der lieare Regressiosaalyse 10.1 Formulierug liearer Regressiosmodelle Eifaches lieares Regressiosmodell: Das eifache lieare Regressiosmodell ist die simpelste Form eies ökoometrische Modells ud utersucht lediglich de Zusammehag zwische zwei Variable, d.h. de Effekt eier Variable auf eie adere Variable. Regressiosgleichug: y = β 0+ β1x + u Uterstellte Beziehug i der Regressio: X Y Zur Termiologie: y x u β Abhägige Variable Erklärede Variable Störterm Regressiosparameter Zu erklärede Variable Uabhägige Variable Fehlerterm β 0 : Kostate (Achseabschitt) Edogee Variable Exogee Variable β 1 : Steigugsparameter Regressad Regressor 1

2 Der Steigugsparameter β 1 beschreibt de lieare Zusammehag zwische x ud y, falls alle Faktore i u kostat gehalte werde: Δy = β1δx falls u = 0 Problem: Es gibt viele weitere Faktore, die eie Effekt auf y habe köe, so dass es zu Probleme komme ka, we ur das restriktive Modell betrachtet wird. Deshalb: Der Störterm u ud die erklärede Variable x dürfe icht miteiader i Beziehug stehe, wegleich die Ukorreliertheit bei der Betrachtug des Korrelatioskoeffiziete icht ausreiched ist. Geerell ist aber scho die Aahme der Ukorreliertheit zwische der erklärede Variable x ud de ubeobachtbare Eiflussfaktore im Störterm u urealistisch, so dass die Gleichug i der Regel verletzt ist. Aus diesem Grud sollte weitere (d.h. sämtliche relevate) erklärede Variable i das lieare Regressiosmodell aufgeomme werde.

3 Eifachste Form eies multiple lieare Regressiosmodells (mit zwei erklärede Variable): y = β 0+ β1x 1+ βx + u Allgemeie Form eies multiple lieare Regressiosmodells (mit k erklärede Variable): y = β 0+ β1x 1+ βx + β3x 3+ + βk-1x k-1+ βkx k+ u Dabei gilt: x 1, x, x 3,, x k-1, x k : Erklärede Variable β 0 : Kostate β 1 : Dieser Parameter misst de Effekt eier Veräderug vo x 1 auf y, falls alle adere beobachtete ud ubeobachtete Faktore kostat sid β : Dieser Parameter misst de Effekt eier Veräderug vo x auf y, falls alle adere beobachtete ud ubeobachtete Faktore kostat sid : β k : Dieser Parameter misst de Effekt eier Veräderug vo x k auf y, falls alle adere beobachtete ud ubeobachtete Faktore kostat sid u: Störterm 3

4 10. Schätzug der ubekate Parameter mit der OLS-Methode Für die weitere Aalyse liearer Regressiosmodelle beötigt ma eie Stichprobe vom Umfag aus der Grudgesamtheit. Eifaches lieares Regressiosmodell: {(x i, y i ), i = 1,, } Multiples lieares Regressiosmodell mit k erklärede Variable: {(x i1, x i,, x ik, y i ), i = 1,, } Uter Eibeziehug der Beobachtuge i = 1,, ergebe sich folgede lieare Regressiosmodelle: y = β + β x + u i 0 1 i i y = β + β x + β x + + β x + u i 0 1 i1 i k ik i Dabei ist z.b. x ik der Wert der erklärede Variable k bei Beobachtug i. Wesetliche Aufgabe der Regressiosaalyse: Schätzug der ubekate Regressiosparameter β 0, β 1, β, 4

5 Optimierugsproblem bei der Methode der kleiste Quadrate ( OLS, ordiary least squares ) im eifache lieare Regressiosmodell: b, b 0 1 mi (y - b - b x ) i 0 1 i Daraus folge die Bediguge erster Ordug für die beide geschätzte Regressiosparameter: (y - βˆ - βˆ x ) = 0 i 0 1 i x (y - βˆ - βˆ x ) = 0 i i 0 1 i Daraus folge die OLS-Schätzer für die beide ubekate Parameter: i 1 i β ˆ = y - βˆ x = y - βˆ x ˆβ = 1 (x -x)(y -y) i (x -x) i i 5

6 Optimierugsproblem bei der Methode der kleiste Quadrate im multiple lieare Regressiosmodell: Daraus folge die Bediguge erster Ordug für die k+1 geschätzte Regressiosparameter: mi (y - b - b x - b x - - b x ) b 0, b 1,... i 0 1 i1 i k ik (y - βˆ - βˆ x - βˆ x - - βˆ x ) = 0 i 0 1 i1 i k ik x (y - βˆ - βˆ x - βˆ x - - βˆ x ) = 0 i1 i 0 1 i1 i k ik x (y - βˆ - βˆ x - βˆ x - - βˆ x ) = 0 ik i 0 1 i1 i k ik OLS-Regressioswerte ud OLS-Schätzfuktio: ŷ = β ˆ + βˆ x + βˆ x + + βˆ x für i = 1,, i 0 1 i1 i k ik ŷ = β ˆ + βˆ x + βˆ x + + βˆ x k k 6

7 Iterpretatio der geschätzte Parameter i multiple lieare Regressiosmodelle: ŷ = β ˆ + βˆ x + βˆ x + + βˆ x k k ŷ = βˆ x + βˆ x + + βˆ x 1 1 k k Falls die erklärede Variable x, x 3, x 4,, x k kostat gehalte werde, folgt: ŷ = βˆ x 1 1 Der geschätzte Parameter für die erklärede Variable x 1 gibt somit i diesem Fall die Veräderug des Regressioswertes a, falls x 1 um eie Eiheit steigt. Falls x 1, x, x 3,, x k-1 kostat gehalte werde, ergibt sich: ŷ = βˆ x Der geschätzte Parameter für die erklärede Variable x k gibt somit i diesem Fall die Veräderug des Regressioswertes a, falls x k um eie Eiheit steigt. Die geschätzte Parameter köe somit als geschätzte partielle Effekte iterpretiert werde, d.h. bei der Schätzug des Effektes eier Variable wird für die adere erklärede Variable kotrolliert. Dies ist der große Vorteil der Regressiosaalyse (bzw. allgemei ökoometrischer Aalyse), d.h. es ka eie ceteris paribus Betrachtug vorgeomme werde, ohe dass ei etsprechedes kotrolliertes Experimet durchgeführt werde muss. 7

8 Beispiel: Erklärug vo College-Note Mit Hilfe eies lieare Regressiosmodells soll der Effekt der durchschittliche Puktzahl i der Highschool (hsgpa) ud der Puktzahl im College-Aufahmetest (ACT) auf die durchschittliche College-Puktzahl (colgpa) utersucht werde: colgpa = β + β hsgpa + β ACT + u 0 1 Dabei wurde mit Hilfe eier Stichprobe vo = 141 Studierede folgede OLS-Regressiosfuktio geschätzt: ˆ colgpa = 1,9 + 0,453hsGPA + 0,0094ACT Iterpretatio: Die geschätzte Kostate ka icht sivoll iterpretiert werde, da hier ACT ud hsgpa realitätsfer mit ull gleichgesetzt werde Geschätzter positiver Eifluss der Highschool-Note auf die College-Note: Falls ACT kostat gehalte wird, führt eie um eie Pukt höhere Highschool-Note zu eier geschätzte Erhöhug der College-Puktzahl um 0,453 Pukte Dagege hat die Puktzahl im College-Aufahmetest eie deutlich gerigere geschätzte Effekt, ceteris paribus 8

9 Bestimmtheitsmaß (Determiatioskoeffiziet): Ateil der Variatio der abhägige Variable y i, der durch die OLS-Regressiosfuktio erklärt wird i i (y ˆ i- y) (yi- y) R = Eigeschafte des Bestimmtheitsmaßes: 0 R 1 (y - y)(yˆ - y) R sikt iemals, we eie weitere (möglicherweise irrelevate) erklärede Variable hizugefügt wird Aus diesem Grud ist R ei schlechtes Maß zur Beurteilug der Güte eies lieare Regressiosmodells 9

10 10.3 Erwartugswert ud Variaz vo OLS-Schätzer Zu beachte ist, dass sich statistische Eigeschafte (d.h. Erwartugswert ud Variaz) vo OLS-Schätzer icht auf eie bestimmte Stichprobe, soder auf wiederholte Zufallsstichprobe aus der Grudgesamtheit beziehe Uter bestimmte Aahme (z.b. Liearität i de Parameter, keie perfekte Kolliearität) sid alle mit der OLS-Methode geschätzte Parameter erwartugstreu, d.h. der Erwartugswert der Schätzer ist gleich de ubekate Regressiosparameter: E(β ˆ ) = β für = 0, 1,, k Mit weitere Aahme (isbesodere mit der Aahme der Homoskedasizität, d.h. eier kostate bedigte Variaz des Fehlerterms u) ergibt sich für die Variaz der mit OLS geschätzte Steigugsparameter i lieare Regressiosmodelle: Var(β ˆ ) = σ i (1-R ) (x -x ) für = 1,, k Dabei stellt R das Bestimmtheitsmaß bei eier Regressio vo x auf alle adere erklärede Variable (eischließlich eier Kostate) dar. 10

11 Uter verschiedee Aahme sid die OLS-Schätzer die beste lieare uverzerrte Schätzer der Regressiosparameter i lieare Regressiosmodelle ( BLUE, best liear ubiased estimator ). Bestadteile vo BLUE: Uverzerrt bedeutet, dass der Schätzer erwartugstreu ist. Liear bedeutet, dass der Schätzer eie lieare Fuktio der Date ud der abhägige Variable darstellt. Beste bedeutet, dass der Schätzer die gerigste Variaz besitzt. OLS-Schätzer habe also i der Klasse aller lieare ud uverzerrte Schätzer die gerigste Variaz ud sid somit effiziet. Erwartugstreue Schätzug der Variaz σ des Fehlerterms u als Grudlage für die Schätzug der Variaz der mit OLS geschätzte Regressiosparameter: 1 u ˆi -k-1 σ ˆ = Der etsprechede (zwar kosistete, aber icht erwartugstreue) Schätzer für die Stadardabweichug σ des Fehlerterms u lautet da: 1 σ ˆ = σ ˆ = ˆ u i -k-1 11

12 10.4 Tests i lieare Regressiosmodelle Für de folgede Test wird ageomme, dass ei ormalverteilter Störterm vorliegt (wegleich eie vo der Normalverteilug abweichede Verteilug des Störterms im Hiblick auf die Durchführug vo statistische Tests bei große Stichprobeumfäge kei Problem darstellt). I diesem Fall sid auch die mit OLS geschätzte Steigugsparameter i lieare Regressiosmodelle ormalverteilt, d.h. es gilt ( = 1,, k): β ˆ ~ N[β ; Var(β ˆ )] bzw. β ˆ ~ N β ; (1-R ) (xi-x ) σ Damit ergibt sich: βˆ -β βˆ -β Var(β ˆ ) σ i (1-R ) (x -x ) ~ N(0; 1) 1

13 Allerdigs sid die Variaze ud Stadardabweichuge der mit OLS geschätzte Steigugsparameter i lieare Regressiosmodelle i der Regel icht bekat ud müsse deshalb geschätzt werde. Dabei ergibt sich: βˆ -β βˆ -β Var(β ˆ ˆ ) ˆσ i ~ t Dabei ist k+1 die Azahl der ubekate Regressiosparameter. Die t-verteilug mit -k-1 Freiheitsgrade ergibt sich gegeüber der Stadardormalverteilug durch die Eibeziehug der Schätzug σ der Stadardabweichug σ des Störterms u. Die wichtigste zu testede Nullhypothese i empirische Aweduge lautet: H 0: β = 0 für = 1,, k (1-R ) (x -x ) Diese Nullhypothese über de Steigugsparameter β impliziert, dass die erklärede Variable x keie partielle Effekt auf die abhägige Variable y hat. Die Alterativhypothese lautet: H 1: β 0 für = 1,, k -k-1 13

14 Als Prüfgröße wird hierzu folgede t-statistik (t-wert) betrachtet, die die geschätzte Stadardabweichug des geschätzte Parameters eibezieht: t = t = ˆβ ˆβ Var(β ˆ ˆ ) Bei Gültigkeit der Nullhypothese ist diese Prüfgröße t-verteilt mit -k-1 Freiheitsgrade. Die Nullhypothese wird somit bei eiem Sigifikaziveau vo α verworfe, falls gilt: t > t β ˆ -k-1;1-α/ We z.b. die Azahl der Freiheitsgrade -k-1 = 5 ist, gilt bei eiem Sigifikaziveau vo 5% für das Quatil aus der t-verteilug mit 5 Freiheitsgrade t 5;0,975 =,060. We i diesem Fall der Absolutwert der t-statistik größer als,060 ist, ist der etsprechede geschätzte Regressiosparameter zu diesem Sigifikaziveau vo ull verschiede. Damit hat die etsprechede erklärede Variable eie (statistisch) sigifikate Effekt auf die abhägige Variable. Mit eier Zuahme der Azahl a Freiheitsgrade ähert sich die t-verteilug der Stadardormalverteilug a, so dass ma i diesem Fall zur Ermittlug der Schrakewerte auch die Quatile der Stadardormalverteilug verwede ka (z.b. für -k-1 > 10). 14

15 Beispiel: Erklärug vo College-Note Mit Hilfe eies lieare Regressiosmodells soll der Effekt der durchschittliche Puktzahl i der Highschool (hsgpa), der Puktzahl im College-Aufahmetest (ACT) ud der durchschittliche Azahl verpasster Vorlesuge pro Woche (skipped) auf die durchschittliche College-Puktzahl (colgpa) utersucht werde. Dabei wurde folgede OLS-Regressiosfuktio geschätzt: ˆ colgpa = 1,39 + 0,41hsGPA + 0,015ACT - 0,083skipped (0,33) (0,094) (0,011) (0,06) = 141, R = 0,34 Bei eiem 5%-Sigifikaziveau ergibt sich für das Quatil aus der t-verteilug mit -k-1 = = 137 Freiheitsgrade (bzw. das Quatil aus der Stadardormalverteilug) t 137;0,975 = 1,96. Bei eiem 1%-Sigifikaziveau ergibt sich ei Wert vo,575. Die t-werte betrage für hsgpa 4,38, für ACT 1,36 ud für skipped -3,19. Damit hat hsgpa eie (statistisch) sigifikat positive Effekt, skipped eie (statistisch) sigifikat egative Effekt ud ACT keie (statistisch) sigifikate Effekt auf colgpa. 15

16 Beispiel: Erklärug vo Ausschussrate eies Uterehmes Mit Hilfe eies lieare Regressiosmodells soll der Effekt der ährliche Traiigsstude pro Beschäftigte (hrsemp), des Logarithmus der ährliche Umsätze i Dollar (logsales) ud des Logarithmus der Azahl der Beschäftigte (logemploy) auf de Logarithmus der Azahl vo Ausschussteile pro 100 produzierte Stücke (logscrap) utersucht werde. Dabei wurde folgede OLS- Regressiosfuktio geschätzt ( = 9 Uterehme, R = 0,6): ˆ logscrap = 1,46-0,09hrsemp - 0,96logsales + 0,761logemploy (5,69) (0,03) (0,453) (0,407) Iterpretatio des Effektes vo Weiterbildug: Eie Erhöhug der ährliche Traiigsstude pro Beschäftigte hrsemp um z.b. füf Stude führt zu eier geschätzte Sekug vo logscrap um 0,09 5 = 0,145. Dies etspricht eier Sekug vo 14,5% ud ist damit icht trivial. Allerdigs ergibt sich bei hrsemp ei t-wert vo -0,09/0,03 = -1,6, so dass auch bei eiem Sigifikaziveau vo 10% keie statistische Sigifikaz vorliegt 16

17 Beispiel: Erklärug vo Geburtsgewichte Mit Hilfe eies lieare Regressiosmodells soll der Effekt der Azahl der vo der Mutter währed der Schwagerschaft täglich gerauchte Zigarette, des ährliche Familieeikommes (i 1000 Dollar), der Ausbildugszeit des Vaters (i Jahre), der Ausbildugszeit der Mutter (i Jahre), ud des Zigarettepreises (i Dollar) auf das Geburtsgewicht des Kides (i Uze = 8,35 Gramm) utersucht werde. Die OLS-Schätzug hat dabei zu folgede Ergebisse geführt ( = 1388 Geburte, R = 0,034): Abhägige Variable: Geburtsgewicht Erklärede Variable Parameterschätzwert t-statistik Azahl gerauchte Zigarette -0,593-5,36 Familieeikomme 0,051 1,39 Ausbildugszeit Vater 0,475 1,68 Ausbildugszeit Mutter -0,435-1,36 Zigarettepreis 0,068 1,1 Kostate 109,54 13,90 Iterpretiere Sie die Schätzergebisse! 17