Statistik II Übung 1: Einfache lineare Regression

Transkript

1 Statistik II Übung 1: Einfache lineare Regression Diese Übung beschäftigt sich mit dem Zusammenhang zwischen dem Lohneinkommen von sozial benachteiligten Individuen (16-24 Jahre alt) und der Anzahl der unter 6-jährigen Kinder, die im selben Haushalt wie die Individuen leben. Verwenden Sie dazu den Datensatz Job Corps data.sav. Die abhängige Variable earny3 gibt das wöchentliche Lohneinkommen (in US Dollar) an, die unabhängige Variable kidsunder6yr3 die Anzahl der unter 6-jährigen Kinder im Haushalt. Bitte bearbeiten Sie Aufgaben 1-5 in Gruppen von bis zu 4 Studierenden (vergessen Sie nicht die Namen!) und reichen Sie die Lösungen VOR der 1. PC Übung ein. 1. Argumentieren Sie, warum das Vorhandensein kleiner Kinder überhaupt einen Einfluss auf Lohneinkommen (und Erwerbsleben) haben könnte. (Hinweis: es gibt hier keine strikt richtigen oder falschen Antworten.) Eltern oder ältere Geschwister könnten entweder weniger arbeiten, um Kinder zu beaufsichtigen, oder mehr, um mehr Einkommen für den (grösseren) Haushalt zu erzielen. 2. Generieren Sie deskriptive Statistiken (Mittelwert, Standardabweichung) für earny3 und kidsunder6yr3 und kommentieren Sie diese kurz. Analysieren> Deskriptive Statistiken> Deskriptive Statistik Deskriptive Statistik N Minimum Maximum Mittelwert Standardabweic hung earny kidsunder6yr Gültige Werte (Listenweise) Untersuchen Sie den Zusammenhang zwischen earny3 und kidsunder6yr3 visuell anhand eines Streudiagramms (mit earny3 auf der Y-Achse und kidsunder6yr3 auf der X-Achse). Welchen Zusammenhang können Sie erkennen? Grafik>Diagramerstellung > Streu-/Punktdiagram > Simple Scatter > Y Axis: earny3 > X Axis: kidsunder6yr3 1

2 4. Fügen Sie eine lineare Regressionslinie zu Ihrem Streudiagramm hinzu und kommentieren Sie diese kurz. Doppelklicken mit der linken Maustaste auf das Grafikfeld, um den Diagrammeditor zu öffnen. Wählen das passende Symbol für die Regressionsgerade. Schliessen Sie das Fenster des Diagrammeditors, die Regressionsgerade erscheint in der Grafik. 5. Regressieren Sie earny3 (linear) auf kidsunder6yr3 und interpretieren Sie die Regressionskoeffizienten. 2

3 Analysieren > Regression > Linear >Abhängige Variable : earny3 > Unabhängige Variable: kidsunder6yr3 Koeffizienten a Nicht standardisierte Koeffizienten Standardisierte Koeffizienten Regressionskoe Modell ffizientb Standardfehler Beta T Sig. 1 (Konstante) kidsunder6yr a. Abhängige Variable: earny3 6. Erklären Sie das Konzept Unverzerrtheit Im Durchschnitt trifft ein Schätzer den wahren Wert: E( ˆ ) 7. Diskutieren Sie, unter welchen Annahmen der Regressionskoeffizient von kidsunder6yr3 ein unverzerrter Schätzer des kausalen Effekts der Anzahl der unter 6-jährigen Kinder auf das wöchentliche Lohneinkommen ist (und nicht nur eine Korrelation widerspiegelt). Sind diese Annahmen realistischerweise erfüllt? Annahme 1: lineares Modell (konstanter Effekt von Anzahl der Kinder auf Lohneinkommen, egal wie hoch die Anzahl der Kinder ist); Annahme 2: zufällige Stichprobe (repräsentativ für die Grundgesamtheit); Annahme 3: E(u x)=0 - Exogenität: Es ist nicht realistisch, dass Exogenität erfüllt ist (die Entscheidung von Kindern ist nicht zufällig und Faktoren die Kinderentscheidung beeinflussen, können auch Arbeitsentscheidung beeinflussen, zb berufliche Perspektiven, Motivation, Präferenz für Familie oder Arbeit ); Annahme 4: Variation in x, ist in diesem Fall vorhanden (Anzahl der Kinder nimmt mehrere Werte an in unserer Stichprobe). 8. Erklären Sie das Konzept von Effizienz Schätzer hat kleinstmögliche Varianz/ kleinstmöglichen Standardfehler unter allen Schätzern. 9. Inwiefern hängt die Stichprobenvarianz des OLS Schätzers von der Varianz des Fehlerterms und der erklärenden Variable ab? Stichprobenvarianz steigt mit Varianz des Fehlerterms und sinkt mit Varianz der erklärenden Variablen. 10. Interpretieren Sie die p-werte hinsichtlich statistischer Signifikanz. Inwiefern hängen die p- Werte mit dem Standardfehler des Schätzers zusammen? Grosser Standardfehler => viel Unsicherheit => grosser p-wert 11. Was versteht man unter dem R 2 und was sagt es aus? Kommentieren Sie das R 2 der Regression aus Aufgabe 5. 3

4 Das R2 ist ein Mass dafür, wie gut die unabhängige Variable x die abhängige Variable y erklärt: Anteil der Stichprobenvariation in y der durch x erklärt wird. Model Summary Model R R Square Adjusted R Square Std. Error of the Estimate a a. Predictors: (Constant), kidsunder6yr3 Das R 2 (0.4%) ist in diesem Fall gering (x hat einen geringen Erklärungsgehalt für y) 12. Was würde ein R 2 von 1 bedeuten, was ein R 2 von 0? 1: x erklärt y perfekt; 0: x erklärt y überhaupt nicht 13. Was versteht man unter den Residuen in einer Regressionsanalyse? Geben Sie eine intuitive Erklärung. Jener Teil von y der nicht von x erklärt wird. Abweichungen vom Mittelwert von y für ein bestimmtes Niveau von x. 14. Stellen Sie die Residuen (auf der Y-Achse) und die vorhergesagten Werte von earny3 (auf der X-Achse) grafisch dar. Kommentieren Sie die Grafik hinsichtlich Homoskedastizität. Was würde eine Verletzung der Homoskedastizität für unsere lineare Regression implizieren? Analysieren > Regression > Linear >Abhängige Variable : earny3 > Unabhängige Variable: kidsunder6yr3 > Diagramme > Y: ZRESID > X: ZPRED > Weiter> OK wobei ZRESID standardisierte Residuen (regression standardized residuals) sind (wobei ein Residuum wie folgt definiert ist: û = y ŷ) und ZPRED standardisierte vorhergesagte Werte (standardized predicted values) von y, d.h. ŷ, sind. 4

5 15. Überprüfen Sie die Normalverteilung der Residuen anhand eines Histogramms und eines Normalverteilungsdiagramms (normal probability plot). Analysieren > Regression > Linear >Abhängige Variable : earny3 > Unabhängige Variable: kidsunder6yr3 > Diagramme > Y: ZRESID; X: ZPRED; > Histogram > Normalverteilungsdiagramm > Weiter> OK 5

6 Die dicke Linie des Probability-Probability-Plots (P-P-Plot) vergleicht zwei kumulative Verteilungsfunktionen: die empirische Verteilung der Residuen (d.h. deren Verteilung in der Stichprobe) und die Normalverteilung. Die (dünne) 45-Grad-Linie entspricht einer perfekten Übereinstimmung der empirische Verteilung der Residuen und der Normalverteilung. Falls die dicke Linie oberhalb (unterhalb) der 45-Grad-Linie liegt, ist die kumulative Wahrscheinlichkeit der empirischen Verteilung niedriger (höher) als jene der Normalverteilung für einen bestimmten Wert der Residuen. Bspw. bei jenem Wert der Residuen, der 15% der kumulativen Normalverteilung entspricht, beobachten wir eine empirische Wahrscheinlichkeit von Was ergibt die Summe der geschätzten Residuen und warum. Ergibt 0, weil Regressionsgerade so gelegt wird, dass sich die Abweichungen genau aufheben (wird durch Minimierung der quadrierten Abweichungen erreicht) 17. Regressieren Sie earny3 (linear) auf kidsunder6yr3 in getrennten Stichproben für Frauen und Männer und interpretieren Sie die Regressionskoeffizienten. Daten > Fälle auswählen > Falls Bedingung trifft > Falls > female > =1 (oder female=0) > Weiter > ok Analysieren > Regression > Linear >Abhängige Variable : earny3 > Unabhängige Variable: kidsunder6yr3 Female=0 Modellzusammenfassung Modell R R-Quadrat Korrigiertes R- Quadrat Standardfehler des Schätzers a a. Einflußvariablen : (Konstante), kidsunder6yr3 6

7 Koeffizienten a Nicht standardisierte Koeffizienten Standardisierte Koeffizienten Regressionskoe Modell ffizientb Standardfehler Beta T Sig. 1 (Konstante) kidsunder6yr a. Abhängige Variable: earny3 Female=1 Modellzusammenfassung Modell R R-Quadrat Korrigiertes R- Quadrat Standardfehler des Schätzers a a. Einflußvariablen : (Konstante), kidsunder6yr3 Koeffizienten a Nicht standardisierte Koeffizienten Standardisierte Koeffizienten Regressionskoe Modell ffizientb Standardfehler Beta T Sig. 1 (Konstante) kidsunder6yr a. Abhängige Variable: earny3 Aus der Regressionsanalyse schliessen wir, dass die Anzahl der Kinder unterschiedliche Zusammenhänge mit dem Lohn von Frauen und Männern aufweist. Bei Frauen geht das wöchentliche Lohneinkommen mit einem zusätzlichen Kind um ungefähr 16 Dollar zurück. Der geschätzte Koeffizient ist statistisch signifikant auf dem 1% Niveau. Bei Männern ist der Zusammenhang zwischen der Anzahl der Kinder und dem wöchentlichen Lohneinkommen positiv. Pro zusätzliches Kind steigt das durchschnittliche wöchentliche Lohneinkommen von Männern um ungefähr 19 Dollar. Der geschätzte Koeffizient ist statistisch signifikant auf dem 1% Niveau. Die Ergebnisse könnten durch eine traditionelle Rollenverteilung in der Familie begründet sein: Während Frauen mit mehr Kindern ihren Beschäftigungsgrad reduzieren könnten, um sich verstärkt der Kindererziehung zu widmen, könnten Männer mit mehr Kindern mehr arbeiten, um die Familie finanzieren zu können. 7

8 18. Berechnen Sie β 0 und β 1in der folgenden Stichprobe. Zeigen Sie jeden einzelnen Berchnungsschritt: y x y = 1 N x = 1 N N y i i=1 = N i=1 x i = = 9 3 = 3 = 18 3 = 6 1 β 1 = N 1 N i=1 (x i x )(y i y ) 1 N 1 N i=1(x x )2 = = N i=1 (x i x )(y i y ) (x x ) 2 N i=1 (3 3)(7 6) + (1 3)(2 6) + (5 3)(9 6) (3 3) 2 + (1 3) 2 + (5 3) 2 = 0 + ( 2)( 4) ( 2) = = 14 8 = 1.75 β 0 = y β 1x = = 0.75 Die geschätzte Regressionsgleichung: y i = x i 8