Vorlesung: Lineare Modelle

Transkript

1 Vorlesung: Lineare Modelle Prof Dr Helmut Küchenhoff Institut für Statistik, LMU München SoSe 2014

2 5 Metrische Einflußgrößen: Polynomiale Regression, Trigonometrische Polynome, Regressionssplines, Transformationen 6 Modelldiagnose 7 Variablenselektion 0 Das allgemeine lineare Modell: Gewichtete KQ-Methode, Autokorrelierte und heteroskedastische Störterme 0 Das logistische Regressionsmodell 10 Das gemischte lineare Regressionsmodell ( Linear mixed Model )

3 Das allgemeine lineare Modell Das lineare Modell mit heteroskedastischen Störgrößen ist gegeben durch: Y = X β + ε (81) ε N(0, σ 2 V ) (82) V = diag(v 1, v 2,, v n ) (83) V bekannte Matrix zur Beschreibung der Varianzstruktur Gewichtsmatrix: W = V 1/2 = diag (v 1/2 1, v 1/2 2,, v 1/2 n ) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 176 / 236

4 Der gewichtete KQ-Schätzer ˆβ W := (X V 1 X ) 1 X V 1 Y (84) ˆσ 2 = (ˆε V 1ˆε)/(n p ) (85) ˆβ W ist ML-Schätzer und minimiert die gewichtete Residuenquadratsumme (Y X β) V 1 (Y X β) (86) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 177 / 236

5 Herleitung durch Transformation Das Modell (81)-(83) lässt sich in ein gewöhnliches lineares Modell transformieren: Y := WY (87) X := WX (88) ε := W ε (89) Dann gilt: Y = X β + ε (810) ε N(0, σ 2 I ) (811) ˆβ W ist KQ-Schätzer im transformierten Modell Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 178 / 236

6 Verallgemeinerte KQ-Methode Das lineare Modell mit allgemeiner Varianzstruktur ist gegeben durch: Y = X β + ε (812) ε N(0, σ 2 V ) (813) V R n n : beliebige bekannte Kovarianzmatrix mit vollem Rang Dann gibt es eine invertierbare Matrix T mit TT = V, W = T 1 Gewichtsmatrix Der verallgemeinerte KQ-Schätzer ist gegeben durch: ˆβ W := (X V 1 X ) 1 X V 1 Y (814) ˆσ 2 = (ˆε V 1ˆε)/(n p ) (815) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 179 / 236

7 Das Modell (812)-(813) lässt sich wie oben in ein gewöhnliches lineares Modell transformieren: Y := WY (816) X := WX (817) ε := W ε (818) Dann gilt: Y = X β + ε (819) ε N(0, σ 2 I ) (820) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 180 / 236

8 Eigenschaften des verallgemeinerten KQ-Schätzers Gegeben sei das Modell (812) bis (813) Dann gilt: E( ˆβ W ) = β (821) V ( ˆβ W ) = σ 2 (X V 1 X ) 1 (822) Alle Testverfahren und Quadratsummenzerlegungen lassen sich im Modell Y = X β + ε betrachten und damit auf den Fall homogener Varianzen zurückführen Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 181 / 236

9 Allgemeines Gauss-Markov-Theorem Sei das Modell Y = X β + ε, rg X = p E(ε) = 0 V (ε) = σ 2 V gegeben Dann ist ˆβ W unter den erwartungstreuen linearen Schätzern derjenige mit der kleinsten Varianz: ˆβ W ist BLUE-Schätzer (best linear unbiased estimator) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 182 / 236

10 Beispiele für Varianzstrukturen AR(1) (allgemeine Zeitreihenstruktur) Longitudinale Daten (Mehrdimensionale Zeitreihen) Blockdiagonale Struktur Symmetrische Struktur (gemischte Modelle) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 183 / 236

11 Weitere Schätzstrategien Im Allgemeinen müssen die Parameter der Varianzstruktur geschätzt werden Dazu gibt es verschiedene Verfahren: ML REML (Restricted Maximum Likelihood) Robuste Varianzschätzung mit Working correlation Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 184 / 236

12 ML und REML-Schätzung I Sei das Modell Y = X β + ε, rg X = p E(ε) = 0 V (ε) = σ 2 V (ϑ) gegeben Der Parameter(vektor) ϑ ist zu schätzen Als Log-Likelihood ergibt sich (von additiven Konstanten abgesehen): l(β, ϑ) = 1 2 ( ln V (ϑ) + (Y X β) V 1 (ϑ)(y X β) ) (823) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 185 / 236

13 ML und REML-Schätzung II Ist ϑ bekannt, so ist der MLE von β bedingt auf ϑ (gewichteter KQ-Schätzer:) ˆβ(ϑ) = ( X V (ϑ) 1 X ) 1X V 1 (ϑ)y (824) Einsetzen liefert die Profil-Log-Likelihood: l(ϑ) = 1 2 ( ln V (ϑ) + (Y X β(ϑ)) V 1 (ϑ)(y X β(ϑ)) ) (825) Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 186 / 236

14 ML und REML-Schätzer Maximieren von (1022) bezüglich ϑ liefert ML-Schätzer Da dieser nicht erwartungstreu ist, verwendet man häufig den sogenannten restringierten ML-Schätzer: Dieser maximiert L R (ϑ) = l(ϑ) 1 2 ln X V (ϑ) 1 X (826) Im einfachen linearen Modell entspricht der REML-Schätzer dem erwartungstreuen Schätzer von σ 2 Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 187 / 236

15 Inferenz bezüglich von β Es gilt: ˆβ(ϑ) einer multivariaten Normalverteilung mit Erwartungswert β und Kovarianzmatrix var(ˆβ) = (X V 1 X ) 1 (827) Da V unbekannt ist, wird es durch den (RE)ML-Schätzer V ( ˆϑ) ersetzt Zur Konstruktion von Konfidenzintervallen und entsprechenden Tests nimmt man an, dass β asymptotisch normalverteilt ist Für spezielle Modelle ist dies bewiesen, aber eine allgemeingültige asymptotische Normalverteilungsaussage ist nicht nachgewiesen Da die Varianzmatrix V nur geschätzt wird, werden in der Praxis deshalb häufig approximative t-tests und entsprechende Konfidenzintervalle benutzt, die die Verteilung von ( ˆβ j β j )/ se( ˆ ˆβ j ) durch eine t-verteilung approximieren und die zugehörigen Freiheitsgrade geeignet schätzen Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 188 / 236

16 Beispiele Wildzeitreihen: Varianzstruktur: Unabhängigkeit der Einzelzeitreihen, aber AR(1)-Struktur für jede einzelne Zeitreihe Schuldaten mit Korrelation innerhalb einer Klasse Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 189 / 236

17 Korrelationsmatrix Wilddaten 1 ρ ρ 2 ρ k ρ ρ 2 ρ k ρ 1 ρ ρ 2 ρ k 1 ρ 2 1 ρ k Lineare Modelle SoSe 2014 Helmut Küchenhoff (Institut für Statistik, LMU) 190 / 236