Statistik. R. Frühwirth. Statistik. VO Februar R. Frühwirth Statistik 1/536

Transkript

1 VO Februar /536

2 Übersicht über die Vorlesung Teil 1: Deskriptive Teil 2: Wahrscheinlichkeitsrechnung Teil 3: Zufallsvariable Teil 4: Parameterschätzung 2/536

3 Übersicht über die Vorlesung Teil 5: Testen von Hypothesen Teil 6: Regressionsanalyse Teil 7: Simulation von Experimenten 3/536

4 Teil 6 Regressionsanalyse 458/536

5 Übersicht Teil /536

6 Abschnitt 20: /536

7 Regressionsanalyse untersucht die Abhängigkeit der Beobachtungen von diversen Variablen. Einflussvariable (unabhängige Variable) x = (x 1,..., x r ). Ergebnisvariable (abhängige Variable) Y. Regressionsmodell: Y = f(β, x) + ε mit Regressionskoeffizienten β und Fehlerterm ε. Ziel ist die Schätzung von β anhand von Beobachtungen Y 1,..., Y n. Eine Einflussvariable: einfache Regression; Mehrere Einflussvariable: mehrfache (multiple) Regression. 461/536

8 Abschnitt 21: /536

9 Unterabschnitt: /536

10 Das einfachste Regressionsmodell ist eine Gerade: Y = α + βx + ε, E[ε] = 0, var[ε] = σ 2 Es seien nun Y 1,..., Y n die Ergebnisse für die Werte x 1,..., x n der Einflussvariablen x. Die Schätzung von α und β kann nach dem Prinzip der kleinsten Fehlerquadrate erfolgen. Die folgende Zielfunktion wird minimiert: SS = n (Y i α βx i ) 2 i=1 Gradient von SS: SS n α = 2 (Y i α βx i ), i=1 SS β n = 2 x i (Y i α βx i ) i=1 464/536

11 Nullsetzen des Gradienten gibt die Normalgleichungen: n Y i = nα + β i=1 n i=1 n n x i Y i = α x i + β x i n i=1 i=1 i=1 Die geschätzten Regressionskoeffizienten lauten: x 2 i ˆβ = n i=1 x iy i x n i=1 Y i n i=1 x2 i n x2 ˆα = Y ˆβ x Es gilt E[ˆα] = α und E[ ˆβ] = β. 465/536

12 Die Varianz des Fehlerterms wird erwartungstreu geschätzt durch: ˆσ 2 = 1 n ri 2 n 2 mit r i = Y i Ŷi, i=1 Ŷ i = ˆα + ˆβx i Kovarianzmatrix der geschätzten Regressionkoeffizienten: x 2 i Cov[ˆα, ˆβ] n ( xi x 2 = σ 2 i n x2 ) n ( x 2 i n x2 ) xi n ( 1 x 2 i n x2 ) x 2 i n x 2 466/536

13 Unterabschnitt: /536

14 Satz Ist β = 0, hängt das Ergebnis überhaupt nicht von den Einflussvariablen ab. Ein Test der Nullhypothese H 0 : β = 0 gegen H 1 : β 0 beruht auf dem folgenden Satz. Ist ε normalverteilt, so sind ˆα α ˆσˆα, ˆβ β ˆσ ˆβ t-verteilt mit n 2 Freiheitsgraden, wobei ˆσ 2ˆα = ˆσ 2 x 2 i n ( x 2 i n x2 ), ˆσ 2 ˆσ2ˆβ = x 2 i n x 2 468/536

15 Die Nullhypothese H 0 : β = 0 wird abgelehnt, wenn die Testgröße T = ˆβ ˆσ ˆβ relativ klein oder relativ groß ist, also wenn ˆβ ˆσ ˆβ > t n 2 1 α/2 wo t n 2 p das Quantil der t-verteilung mit n 2 Freiheitsgraden zum Niveau p ist. Ein analoger Test kann für die Nullhypothese H 0 : α = 0 durchgeführt werden. 469/536

16 Die symmetrischen Konfidenzintervalle mit 95% Sicherheit lauten: ˆα ± ˆσˆα t n 2 1 α/2, ˆβ ± ˆσ ˆβ t n 2 1 α/2 Für n > 30 können die Quantile der t-verteilung durch Quantile der Standardnormalverteilung ersetzt werden. Es soll nun das Ergebnis Y 0 = Y (x 0 ) für einen bestimmten Wert x 0 der Einflussvariablen x prognostiziert werden. Der Erwartungswert von Y 0 ist E[Y 0 ] = ˆα + ˆβx 0 Die Varianz von E[Y 0 ] ergibt sich mittels Fehlerfortpflanzung: [ 1 var[e[y 0 ]] = σ 2 n + ( x x 0) 2 ] x 2 i n x 2 470/536

17 Da Y 0 um seinen Erwartungswert mit Varianz σ 2 streut, ergibt sich: var[y 0 ] = σ 2 [ n + 1 n + ( x x 0) 2 ] x 2 i n x 2 Das symmetrische Prognoseintervall für Y 0 mit Sicherheit α ist daher gleich: ˆα + ˆβx 0 ± t n 2 1 α/2ˆσ n ( x x 0) 2 n x 2 i n x 2 471/536

18 Die Angemessenheit des Modells kann durch Untersuchung der studentisierten Residuen (Restfehler) überprüft werden. Das Residuum r k hat die Varianz [ var[r k ] = σ n (x k x) 2 ] x 2 i n x 2 Das studentisierte Residuum ist dann r k = r k ˆσ 1 1 n (x k x) 2 x 2 i n x 2 Es hat Erwartung 0 und Varianz /536

19 y r x x Regressionsgerade und studentisierte Residuen 473/536

20 y x r x Regressionsgerade und studentisierte Residuen 474/536

21 Unterabschnitt: /536

22 Als LS-Schätzer ist die Regressionsgerade nicht robust, d.h. empfindlich gegen Ausreißer Data Outlier LS w/o outlier LS with outlier y y x mit Ausreißern x 476/536

23 LMS (Least Median of Squares): Anstatt der Summe der Fehlerquadrate wird der Median der Fehlerquadrate minimiert. Exact fit property : Die LMS-Gerade geht durch zwei Datenpunkte. Berechnung kombinatorisch. LTS (Least Trimmed Squares): Es wird die Summe einer festen Anzahl h n von Fehlerquadraten minimiert. Berechnung iterativ (FAST-LTS). Beide Methoden gehen auf P. Rousseeuw zurück. 477/536

24 y x y Data Outlier LS w/o outlier LS with outlier LMS LTS (75%) mit Ausreißern x 478/536

25 Unterabschnitt: /536

26 Ist der Zusammenhang zwischen x und Y nicht annähernd linear, kann man versuchen, ein Polynom anzupassen. Das Modell lautet dann: Y = β 0 +β 1 x+β 2 x 2 + +β r x r +ε, E[ε] = 0, var[ε] = σ 2 Es seien wieder Y 1,..., Y n die Ergebnisse für die Werte x 1,..., x n der Einflussvariablen x. In Matrix-Vektor-Schreibweise: mit Y = Xβ + ε 1 x 1 x 2 1 x r 1 1 x 2 x 2 2 x r 2 X = x n x 2 n x r n 480/536

27 Die folgende Zielfunktion wird minimiert: Gradient von SS: SS = (Y Xβ) T (Y Xβ) SS β = 2XT (Y Xβ) Nullsetzen des Gradienten gibt die Normalgleichungen: X T Y = X T Xβ Die Lösung lautet: ˆβ = ( X T X ) 1 X T Y 481/536

28 Die Varianz des Fehlerterms wird erwartungstreu geschätzt durch: ˆσ 2 1 n = ri 2 n r 1 mit r = Y Ŷ, i=1 Ŷ = X ˆβ Kovarianzmatrix der geschätzten Regressionkoeffizienten: Cov[ ˆβ] = σ 2 ( X T X ) 1 Kovarianzmatrix der Residuen r: Cov[ ˆβ] = σ 2 [ I X ( X T X ) 1 X T] 482/536

29 y r x x Regressionsparabel und studentisierte Residuen 483/536

30 Abschnitt 22: /536

31 Unterabschnitt: /536

32 Hängt das Ergebnis Y von mehreren Einflussvariablen ab, lautet das einfachste lineare Regressionmodell: Y = β 0 +β 1 x 1 +β 2 x 1 + +β r x r +ε, E[ε] = 0, var[ε] = σ 2 Es seien wieder Y 1,..., Y n die Ergebnisse für n Werte x 1,..., x n der Einflussvariablen x = (x 1,..., x r ). In Matrix-Vektor-Schreibweise: Y = Xβ + ε mit 1 x 1,1 x 1,2 x 1,r 1 x 2,1 x 2,2 x 2,r X = x n,1 x n,2 x n,r 486/536

33 Unterabschnitt: /536

34 Die folgende Zielfunktion wird minimiert: Gradient von SS: SS = (Y Xβ) T (Y Xβ) SS β = 2XT (Y Xβ) Nullsetzen des Gradienten gibt die Normalgleichungen: X T Y = X T Xβ Die Lösung lautet: ˆβ = ( X T X ) 1 X T Y 488/536

35 Die Varianz des Fehlerterms wird erwartungstreu geschätzt durch: ˆσ 2 1 n = ri 2 n r 1 mit r = Y Ŷ, i=1 Ŷ = X ˆβ Kovarianzmatrix der geschätzten Regressionkoeffizienten: Cov[ ˆβ] = σ 2 ( X T X ) 1 Kovarianzmatrix der Residuen r: Cov[ ˆβ] = σ 2 [ I X ( X T X ) 1 X T] 489/536

36 Satz Ist β k = 0, hängt das Ergebnis überhaupt nicht von den Einflussvariablen x k ab. Ein Test der Nullhypothese H 0 : β k = 0 gegen H 1 : β k 0 beruht auf dem folgenden Satz. Ist ε normalverteilt, so ist ˆβ k β k ˆσ ˆβk t-verteilt mit n r 1 Freiheitsgraden, wobei ˆσ 2ˆβk Diagonalelement der geschätzten Kovarianzmatrix das k-te ˆσ 2 ( X T X ) 1 ist. 490/536

37 Die Nullhypothese H 0 : β k = 0 wird abgelehnt, wenn die Testgröße T = ˆβ k ˆσ ˆβk relativ klein oder relativ groß ist, also wenn ˆβ k ˆσ ˆβk > t n r 1 1 α/2 wo t n 2 p das Quantil der t-verteilung mit n 2 Freiheitsgraden zum Niveau p ist. Das symmetrische Konfidenzintervall für β k mit 95% Sicherheit lautet: ˆβ k ± ˆσ ˆβk t n r 1 1 α/2 491/536

38 Es soll nun das Ergebnis Y 0 = Y (x 0 ) für einen bestimmten Wert x 0 = (x 01,..., x 0r ) der Einflussvariablen prognostiziert werden. Wir erweitern x 0 um den Wert 1: x + = (1, x 01,..., x 0r ). Der Erwartungswert von Y 0 ist dann E[Y 0 ] = x + ˆβ Die Varianz von E[Y 0 ] ergibt sich mittels Fehlerfortpflanzung: var[e[y 0 ]] = σ 2 x + ( X T X ) 1 x + T 492/536

39 Da Y 0 um seinen Erwartungswert mit Varianz σ 2 streut, ergibt sich: var[e[y 0 ]] = σ 2 [ 1 + x + ( X T X ) 1 x + T ] Das symmetrische Prognoseintervall für Y 0 mit Sicherheit α ist daher gleich: x + ˆβ ± t n k 1 1 α/2 ˆσ 1 + x + (X T X) 1 x T + 493/536

40 Unterabschnitt: /536

41 Im allgemeinen Fall können die Fehlerterme eine beliebige Kovarianzmatrix haben: Y = Xβ + ε, Ist V bekannt, lautet die Zielfunktion: Cov[ε] = V SS = (Y Xβ) T G(Y Xβ), Gradient von SS: SS β = 2XT G(Y Xβ) G = V 1 Nullsetzen des Gradienten gibt die Normalgleichungen: X T GY = X T GXβ Die Lösung lautet: ˆβ = ( X T GX ) 1 X T GY 495/536

42 Kovarianzmatrix der geschätzten Regressionkoeffizienten: Cov[ ˆβ] = σ 2 ( X T GX ) 1 Kovarianzmatrix der Residuen r: Cov[ ˆβ] = σ 2 [ I X ( X T GX ) 1 X T] Tests und können entsprechend modifizert werden. 496/536

43 Unterabschnitt: /536

44 In der Praxis ist die Abhängigkeit der Ergebnisse von den Regressionskoeffizienten oft nichtlinear: Y = h(β) + ε, Ist V bekannt, lautet die Zielfunktion: Cov[ε] = V SS = [Y h(β)] T G[Y h(β)], G = V 1 SS kann mit dem Gauß-Newton-Verfahren minimiert werden. Dazu wird h an einer Stelle β 0 linearisiert: h(β) h(β 0 ) + H(β β 0 ) = c + Hβ, H = h β β0 498/536

45 Die Schätzung von β lautet: ˆβ = ( H T GH ) 1 H T G(Y c) h wird neuerlich an der Stelle β 1 = ˆβ linearisiert. Das Verfahren wird iteriert, bis die Schätzung sich nicht mehr wesentlich ändert. Viele andere Methoden zur Minimierung von SS verfügbar. 499/536