Vorlesung: Statistik II für Wirtschaftswissenschaft

Transkript

1 Vorlesung: Statistik II für Wirtschaftswissenschaft Prof. Dr. Helmut Küchenhoff Institut für Statistik, LMU München Sommersemester 2017

2 6 Genzwertsätze Einführung 1 Wahrscheinlichkeit: Definition und Interpretation 2 Elementare Wahrscheinlichkeitsrechnung 3 Zufallsgrößen 4 Spezielle Zufallsgrößen 7 Statistische Inferenz: Punktschätzer 8 Statistische Inferenz: Konfidenzintervalle 9 Statistische Inferenz: Statistische Tests 10 Spezielle statistische Tests 11 Lineare Regression 5 Mehrdimensionale Zufallsvariablen

3 Lineare Regressionsmodelle Deskriptive Statistik: Gegeben Datenpunkte (Y i, X i ) schätze die beste Gerade Y i = β 0 + β 1 X i, i = 1,..., n. (mit der Methode der kleinsten Quadrate) Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 367 / 394

4 Statistisches Modell Linearer Zusammenhang Im Folgenden: Probabilistische Modelle in Analogie zu den deskriptiven Modellen aus Statistik I Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 368 / 394

5 Lineare Einfachregression Zunächst Modelle mit nur einer unabhängigen Variable. Statistische Sichtweise: Modell y i = β 0 + β 1 x i + ε i β 1 Wirkung der Änderung von X i um eine Einheit auf Y gestört durch zufällige Fehler ε i Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 369 / 394

6 Modellannahmen Beobachtung von Datenpaaren (X i, Y i ), i = 1,..., n mit Y i = β 0 + β 1 X i + ε i, wobei sich die Annahmen auf den zufälligen Störterm beziehen: E(ε i ) = 0 Var(ε i ) = σ 2 für alle i gleich ε i1, ε i2 stochastisch unabhängig für i 1 i 2 ε i N(0, σ 2 ) (zusätzlich, bei großen Stichproben nicht erforderlich) Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 370 / 394

7 Lineare Einfachregression β 0 + β 1 x 2 β 0 + β 1 x 1 x 1 x 2 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 371 / 394

8 Schätzung der Parameter Die Schätzwerte werden üblicherweise mit ˆβ 0, ˆβ 1 und ˆσ 2 bezeichnet. In der eben beschriebenen Situation gilt: Die (Maximum Likelihood) Schätzer entsprechen den KQ-Schätzer aus Statistik 1 ˆβ 1 = (Xi X )(Y i Ȳ ) n i=1 (X i X ) 2, ˆβ 0 = Ȳ ˆβ 1 X, ˆσ 2 = 1 n n 2 i=1 ˆε 2 i mit den Residuen ˆε i = Y i ˆβ 0 ˆβ 1 X i. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 372 / 394

9 Konstruktion von Testgrößen Mit gilt und analog mit gilt ˆσ ˆβ0 := n ˆσ i=1 X i 2 n n i=1 (X i X ) 2 ˆβ 0 β 0 t (n 2) ˆσ ˆβ0 ˆσ ˆσ ˆβ1 := n i=1 (X i X ) 2 ˆβ 1 β 1 ˆσ ˆβ1 t (n 2). Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 373 / 394

10 Konfidenzintervalle ˆβ 0 und ˆβ 1 sind die KQ-Schätzer aus Statistik I. Unter Normalverteilung fällt hier das ML- mit dem KQ-Prinzip zusammen. Man kann unmittelbar Tests und Konfidenzintervalle ermitteln (völlig analog zum Vorgehen, das bei den t- Tests verwendet wurde Konfidenzintervalle zum Sicherheitsgrad γ: für β 0 : für β 1 : [ ˆβ 0 ± ˆσ ˆβ0 t (n 2) 1+γ ] 2 [ ˆβ 1 ± ˆσ ˆβ1 t (n 2) 1+γ ] 2 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 374 / 394

11 Tests für die Parameter des Modells Mit der Teststatistik ergibt sich T β 1 = ˆβ 1 β 1 ˆσ ˆβ1 Hypothesen kritische Region I. H 0 : β 1 β1 gegen β 1 > β1 T t (n 2) 1 α II. H 0 : β 1 β1 gegen β 1 < β1 T t (n 2) 1 α III. H 0 : β 1 = β1 gegen β 1 β1 T t (n 2) 1 α 2 (analog für ˆβ 0 ). Von besonderem Interesse ist der Fall β1 = 0 (Steigung gleich 0): Hiermit kann man überprüfen, ob die X 1,..., X n einen signifikanten Einfluss hat oder nicht. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 375 / 394

12 Beispiel : Mietspiegel Call: lm(formula = nmqm wfl, data = mietsp2015) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e 16 wfl < Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 376 / 394

13 Multiples Regressionsmodell Beispiel: Mietspiegel y i = β 0 + β 1 x 1i + β 2 x 2i + ε i mit X 1 = { 1 Gute Lage 0 schlechte Lage X 2 = Wohnfläche Y = Miete Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 377 / 394

14 Multiples Regressionsmodell: Interpretation Geschätzte Regressionsgerade für gute Lage ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i Geschätzte Regressionsgerade für die schlechte Lage : ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i = ˆβ 0 + ˆβ 2 x 2i Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 378 / 394

15 Grundidee (ANCOVA) y } ˆβ 2 ˆβ 1 { ˆβ 0 { x 2 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 379 / 394

16 Mehr als 2 Gruppen Lösungsansatz Hier ist eine direkte Lösung nicht sinnvoll. Grundidee: aus einem nominalen Regressor mit k Merkmalsausprägungen k 1 neue Regressoren (Dummys) gebildet werden. Eine Merkmalsausprägung des ursprünglichen Regressors wird zur Referenzkategorie. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 380 / 394

17 Nominale Regressoren Dummykodierung Nach Wahl der Referenzkategorie j {1,..., k} ergeben sich die Dummys X i, i = 1,..., k und i j mit folgenden Werten: { 1 falls Kategorie i vorliegt, x i = 0 sonst. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 381 / 394

18 Nominale Regressoren Beispiel Gegeben seien folgende Daten: lfd Nr. Alter Studienfach 1 19 BWL 2 22 Sonstige 3 20 VWL... Mit der Kodierung BWL = 1, VWL = 2, Sonstige = 3 erhalten wir bei Wahl der Referenzkategorie = 3 (Sonstige) zwei Dummys X 1 (für BWL) und X 2 (für VWL) gemäß folgendem Schema: Ausprägung Wert von von X X 1 X 2 1 BWL VWL Sonstige 0 0 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 382 / 394

19 Multiples Regressionsmodell Y i abhängige Variable X i1 X i2. X ip unabhängige Variablen metrisch/quasistetig metrische/quasistetige oder dichotome (0/1) Variablen (kategoriale Variablen mit mehr Kategorien Dummy-Kodierung) Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 383 / 394

20 Multiple lineare Regression Analoger Modellierungsansatz, aber mit mehreren erklärenden Variablen: Y i = β 0 + β 1 X i1 + β 2 X i β p X ip + ε i Schätzung von β 0, β 1,..., β p und σ 2 sinnvollerweise über Matrixrechnung bzw. Software. Aus dem R-Output sind ˆβ 0, ˆβ 1,..., ˆβ p sowie ˆσ ˆβ 0, ˆσ ˆβ 1,..., ˆσ ˆβ p ablesbar. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 384 / 394

21 Schätzung im multiplen Modell Darstellung in Matrix-Form KQ- Methode und Maximum-Likelihood - Methode stimmen überein Berechnung effizient mit Matrix-Kalkül Zu den Parametern können jeweils die Standardfehler geschätzt werden. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 385 / 394

22 Multiple lineare Regression Es gilt für jedes j = 0,..., p ˆβ j β j ˆσ ˆβ j t (n p 1) und man erhält wieder Konfidenzintervalle für β j : sowie entsprechende Tests. [ ˆβ j ± ˆσ ˆβ j t (n p 1) 1+γ ] 2 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 386 / 394

23 Multiple lineare Regression: Tests Von besonderem Interesse ist wieder der Test H 0 : β j = 0, H 1 : β j 0. Der zugehörige p-wert findet sich im Ausdruck (Vorsicht mit Problematik des multiplen Testens!). Man kann auch simultan testen, z.b. β 1 = β 2 =... = β p = 0. Dies führt zu einem sogenannten F-Test ( Software). Sind alle X ij 0/1-wertig, so erhält man eine sogenannte Varianzanalyse, was dem Vergleich von mehreren Mittelwerten entspricht. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 387 / 394

24 Varianzanalyse (Analysis of Variance, ANOVA) Vor allem in der angewandten Literatur, etwa in der Psychologie, wird die Varianzanalyse unabhängig vom Regressionsmodell entwickelt. Ziel: Mittelwertvergleiche in mehreren Gruppen, häufig in (quasi-) experimentellen Situationen. Verallgemeinerung des t-tests. Dort nur zwei Gruppen. Hier nur einfaktorielle Varianzanalyse (Eine Gruppierungsvariable). Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 388 / 394

25 Varianzanalyse: Beispiel Einstellung zu Atomkraft anhand eines Scores, nachdem ein Film gezeigt wurde. 3 Gruppen ( Faktorstufen ): Pro-Atomkraft-Film Contra-Atomkraft-Film ausgewogener Film Varianzanalyse: Vergleich der Variabilität in und zwischen den Gruppen Beobachtungen: Y ij j = 1,..., J i = 1,..., n j Faktorstufen Personenindex in der j-ten Faktorstufe Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 389 / 394

26 Modellformulierung Modell (Referenzcodierung): Y ij = µ J + β j + ε ij j = 1,..., J, i = 1,..., n j, mit µ J Mittelwert der Referenz β j Effekt der Kategorie j im Vergleich zur Referenz J ε ij zufällige Störgröße ε ij N(0, σ 2 ), ε 11, ε 12,..., ε JnJ unabhängig. Testproblem: H 0 : β 1 = β 2 =... β j 1 = 0 gegen H 1 : β j 0 für mindestens ein j Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 390 / 394

27 Streuungszerlegung Mittelwerte: Ȳ Ȳ j Gesamtmittelwert in der Stichprobe Mittelwert in der j-ten Faktorstufe Es gilt (vgl. Statistik I) die Streuungszerlegung: n J j n J J (Y ij Ȳ ) 2 = n j (Ȳ j Ȳ ) 2 }{{} + j (Y ij Ȳ j) 2 j=1 j=1 i=1 }{{} = SQE Variabilität der Gruppen = SQR Variabilität in den Gruppen j=1 j=1 Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 391 / 394

28 F-Test Die Testgröße F = SQE/(J 1) SQR/(n J) ist geeignet zum Testen der Hypothesen gegen H 0 : β 1 = β 2 =... β j 1 = 0 H 1 : β j 0 für mindestens ein j Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 392 / 394

29 Testprozedur Kritische Region: große Werten von F Also H 0 ablehnen, falls T > F 1 α (J 1, n J), mit dem entsprechenden (1 α)-quantil der F -Verteilung mit (J 1) und (n J) Freiheitsgraden. (Je größer die Variabilität zwischen den Gruppen im Vergleich zu der Variabilität in den Gruppen, desto unplausibler ist die Nullhypothese, dass alle Gruppenmittelwerte gleich sind.) Bei Ablehnung des globalen Tests ist dann oft von Interesse, welche Gruppen sich unterscheiden. Testen spezifischer Hypothesen über die Effekte β j. Dabei tritt allerdings die Problematik des multiplen Testens auf. Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 393 / 394

30 Zusammenfassung Testen von Regressionsmodellen wesentliches Werkzeug Gleichzeitige Berücksichtigung vieler Einflüsse möglich Viel Möglichkeiten zum Testen (F-Tests) Regressionsmodell Ausgangspunkt für viele neue Verfahren (Big Data, Algorithmen, KI) Statistik 2 Sommersemester 2017 Helmut Küchenhoff (Institut für Statistik, LMU) 394 / 394