y = b 0 + b 1 x 1 x 1 ε 1. ε n b + b 1 1 x n 2) Hat die Größe x einen Einfluss auf y, d.h. gilt die Hypothese: H : b 1 = 0

Transkript

1 8 Lineare Modelle In diesem Abschnitt betrachten wir eine spezielle Klasse von statistischen Modellen, in denen die Parameter linear auftauchen Wir beginnen mit zwei Beispielen Beispiel 8 (lineare Regression) wir nehmen an, dass ein physikalischer/biologischer Zusammenhang zwischen einer Größe y und einer Größe x durch die Gleichung y = b 0 + b x beschrieben werden kann Dabei sind b 0, b unbekannte Parameter, die aus n Beobachtungen geschätzt werden sollen Für diese Beobachtungen nehmen wir an, dass sie Realisationen von Zufallsvariablen Y j = b 0 + b x j + ε j, sind, wobei ε,, ε n unabhängig, identisch verteilte Zufallsvariable mit E[ε j ] = 0, V (ε j ) = σ 2 > 0 bezeichnen Fasst man die Größen Y, Y n in einem Vektor zusammen, so erhält man Y = Y Y n = x x n X [ b 0 b b ] + ε ε n ε = Xb + ε, wobei ε = (ε,, ε n ) T den Vektor der Versuchsfehler bezeichnet Typische Fragen in einem solchen linearen Regressionsmodell sind ) Wie groß sind b 0 bzw b? 2) Hat die Größe x einen Einfluss auf y, dh gilt die Hypothese: H : b = 0 3) Gilt die HypotheseH : b 0 = 0 Wichtige Anwendungen des linearen Regressionsmodells findet man ua in der Biologie, Physik und Ökonomie Beispiel 82 (einfaktorielle Varianzanalyse) In einem Experiment soll der Einfluss verschiedener Futtersorten auf die Gewichtszunahme von Versuchstieren untersucht werden Dazu werden n Versuchstiere auf a Gruppen verteilt In jeder dieser Gruppen werden dann n i (i =,, a) Tiere mit der Futtersorte i gefüttert Als statistisches Modell für diesen Versuch verwendet man oft das Modell der einfaktoriellen Varianzanalyse, dh Y ij = µ i + ε ij i =,, a (Futtersorten) Gewichtszunahme Einfluss Messfehler j =,, n i (Anzahl der Tiere in Gruppe i ) des j-ten Tiers der Sorte i in Gruppe i

2 Fasst man die Daten Y,, Y n (n = n + + n a ) in einem Vektor zusammen, so erhält man die Darstellung Y ε Y n n µ Y Y := 2 = n2 0 ε n 0 + =: Xb + ε µ Y a a na ε a b X ε ana Y ana ε Wichtige Fragen in diesem Modell sind: () Wie groß ist der Einfluss von Futtersorte i auf die Gewichtszunahme der Tiere, dh wie groß sind die µ i? (2) Besteht ein Unterschied zwischen den Futtersorten bzgl der Gewichtszunahme der Versuchstiere, dh gilt die Hypothese: H : µ = = µ a? (3) Wie groß ist der Unterschied zwischen Futtersorte und 2, dh gilt die Hypothese H : µ = µ 2? (4) Wie groß ist max a i= µ i? Definition 83 Es sei X R n k, b R k (n k), ε = (ε,, ε n ) T eine n dim Zufallsvariable so, dass mit Z N (0, σ 2 I n ) gilt: ( ) E[ε η i ε η 4 i 4 ] = E[Z η i Z η 4 i 4 ] i,, i 4 {,, n} η,, η 4 {0,, 4} mit 4 j= η j 4 [dh die Momente von ε bis zur Ordnung 4 stimmen mit den Momenten einer N (0, σ 2 I n ) Verteilung überein] Das Modell () Y = Xb + ε heißt lineares Modell mit Momentenannahme (LMM) Die Matrix X heißt Designmatrix Gilt zusätzlich ε N (0, σ 2 I n ), so heißt das Modell () lineares Modell mit Normalverteilungsannahme (L Bemerkung: Bezeichnet r = Rang(X) den Rang der Matrix X, R(X) = {Xb b R k } R n 2

3 das Bild von X (r dim UVR von R n ), so ist eine naheliegende Schätzung für Xb die orthogonal Projektion P 0 Y von Y auf R(X) Als Schätzer für den Parameter b verwendet man dann jeden Wert ˆb, der die Gleichung P 0 Y = Xˆb erfüllt Es stellt sich nun die Frage, wie man die orthogonale Projektion auf R(X) berechnet Definition 84 Für eine Matrix A R m n heißt die Matrix G R n m eine verallgemeinerte Inverse von A genau dann, wenn gilt Mit AGA = A A := {G R n m AGA = A} wird die Menge aller verallgemeierten Inversen der Matrix A bezeichnet Man schreibt in einer Formel A statt G, falls diese Formel von der Wahl G A unabhängig ist (zb AA A = A) Lemma 85 (range inclusion) Es sei X R n k, V R n s, dann gilt () ( ) R(X) R(V ) V V X = X (2) gilt ( ) und V 0 (s = n), so folgt a) X T V X 0 b) R(X T ) = R(X T V X) Lemma 86 Im linearen Modell () werden die orthogonalen Projektionen auf die Untervektorräume R(X) und auf das orthogonale Komplement durch die Matrizen beschrieben R(X) := {z R n z T x = 0 x R(X)} P 0 = X(X T X) X T und R = I n P 0 = I n X(X T X) X T Bemerkung 87 Man beachte: (Übung): P 0 ist orthogonale Projektion P 2 0 = P 0 idempotent und P T 0 = P 0 Einen naheliegenden Schätzer für die Größen Xb und σ 2 im linearen Modell () erhält man dann durch P 0 Y = X(X T X) X T Y ˆσ 2 = n r RY 2 = n r Y T RY = n r Y T (I n X(X T X) X T )Y 3

4 wobei die Mastrix R durch R = I n X(X T X) X T definiert ist Man beachte außerdem: (Übung) ˆσ 2 = Y Xˆb 2 /(n r) = (Y Xˆb) T (Y Xˆb)/(n r) Lemma 88 Es bezeichne Y eine n-dimensionale Zufallsvariable mit E[Y ] = µ, Var(Y ) = V > 0, A R n n, dann gilt () E[Y T AY ] = µ T Aµ + Spur (AV) (2) Hat Y Momente bis zur Ordnung 4 wie eine N (µ, V ) Verteilung [vgl die Darstellung ( ) in Definition 83], so gilt (a) Cov(Y, Y T AY ) = 2V Aµ (b) Ist zusätzlich µ = 0 und ist B R n n eine weitere Matrix, so gilt Cov (Y T AY, Y T BY ) = 2 Spur (AV BV ) Folgerung 89 In dem linearen Modell () gilt mit den Bezeichnungen aus Lemma 86 E[P 0 Y ] = Xb Damit erhält man für µ = Xb mit Lemma 85 µ T Rµ = 0, und es ergibt sich E[ˆσ 2 ] = σ2 n r Spur(I n X(X T X) T ) = σ 2 Für die letzte Identität haben wir die Eigenschaft benutzt, dass eine Projektion als Eigenwerte nur die Zahlen 0 oder besitzt Da die Summe der Eigenwerte der Matrix P gleich der Spur ist, erhält man Spur (P ) = r(p ) Man beachte, dass die Schätzer P 0 Y und ˆσ 2 erwartungstreue Schätzer für die Parameter Xb und σ 2 sind Für r < k ist die Lösung ˆb der Gleichung ( ) Xˆb = P 0 Y = X(X T X) X T Y nicht eindeutig bestimmt Falls k = r gilt, so erhält man mit Lemma 85 (X T X) = (X T X) und damit ist die Gleichung ( ) äquivalent zu (X T X)ˆb = X T Y Diese Gleichungen heißen Normalgleichungen Als Lösung erhält man mit ˆb = (X T X) X T Y einen Schätzer für b Wegen ist dieser Schätzer auch erwartungstreu E[ˆb] = (X T X) X T Xb = b 4

5 Satz 80 (Gauß-Markov) Im linearen Modell mit Momentenannahme und r = r(x) = k gilt: () Die Schätzer ˆb = (X T X) X T Y und ˆσ 2 = n k Y T (I n X(X T X) X T )Y sind erwartungstreue Schätzer für die Parameter b und σ 2 Die Schätzer ˆb und ˆσ 2 sind unkorreliert (2) ˆb ist bester linearer e-treuer Schätzer für b, dh b = LY, E[ b] = b Var( b) Var(ˆb) = σ 2 (X T X) (BLUE best linear unbiased estimator) (3) ˆσ 2 ist bester quadratischer erwartungstreuer Schätzer für σ 2, dh für alle quadratischen Schätzer der Form σ 2 = Y T AY mit E[ σ 2 ] = σ 2 gilt Var( σ 2 ) Var(ˆσ 2 ) Lemma 8 Sei Y N n (0, V ) eine n-dimensionale Zufallsvariable () Für Matrizen A R p n, B R q n gilt AY, BY stochastisch unabhängig AV B T = 0 (2) Für Matrizen A R p n, B R n n gilt: Ist B Projektion, dann sind die Zufallsvariablen Y T BY und AY stochastisch unabhängig, falls AV B = 0 gilt Satz 82 Im linearen Modell mit Normalverteilungsannahme und r(x) = k ist (ˆb, ˆσ 2 ) bester (bzgl der Loewner Ordnung der Covarianzmatrizen) erwartungstreuer Schätzer für den Parameter (b, σ 2 ) Außerdem sind die Schätzer ˆb, ˆσ 2 stochastisch unabhängig Beispiel 83 (lineare Regression) Wir betrachten das Modell aus Beispiel 8 Y j = b 0 + b t j + ε j j =,, n E[ε j ] = 0 E[ε 2 j] = σ 2 > 0 In diesem Modell gilt X = b = ( t t n ( ) b 0 b 5 ) T

6 Mit den Bezeichnungen t = n n j= t j und t 2 = n n j= t2 j gilt dann ( ) X T t X = n t t 2 Diese Matrix ist genau dann invertierbar, wenn nicht alle t j Determinante der Matrix X T X erhält man gleich sind, denn für die X T X = n n (t j t) 2 Es ergibt sich damit für die Größen im Satz von Gauß-Markov ( n ) X T j= Y = Y j n j= t jy j (X T X) = ( ) t 2 t n j= (t j t) 2 t Für den Schätzer des Parameters b = (b 0, b ) T in Satz 80 erhält man schließlich ( ) ˆb0 ˆb = ˆb mit ˆb0 = Ȳ ˆb t n j= b = (t j t)(y j Ȳ ) n j= (t j t) 2 Nach Satz 80 ist ˆb bester linearer erwartungstreuer Schätzer für den Parameter b und die Statistik ˆσ 2 = n 2 n (Y j ˆb 0 ˆb t j ) 2 ist bester quadratischer erwartungstreuer Schätzer für σ 2 j= Bemerkung 84 Oft is man nicht direkt an dem Parameter b sondern an Linearkombinationen K T b mit K R k s interessiert (man denke im Beispiel 83 an die Schätzung der Steigung b ) Ein naheliegender Schätzer in diesem Fall ist die Statistik K Tˆb = K T (X T X) X T Y (falls r(x) = k gilt) Für die Eindeutigkeit dieses Schätzers ist die Annahme r(x) = k nicht nötig Es reicht hier, die Voraussetzung R(K) R(X T ) zu fordern Dann gilt nämlich mit Lemma 6

7 85, dass der Schätzer K T (X T X) X T Y unabhängig von der Wahl der verallgemeinerten Inversen der Matrix X T X ist und E[K T (X T X) X T Y ] = K T b gilt Damit ist dieser Schätzer erwartungstreu für K T b Definition 85 Für eine Matrix K R k s mit r(k) = s heißt der Parameter K T b im linearen Modell () schätzbar : R(K) R(X T ) Satz 86 Unter den obigen Annahmen gilt: (a) Im linearen Modell mit Momentenannahme ist K Tˆb := K T (X T X) X T Y bester linearer erwartungstreuer Schätzer für den Parameter K T b mit Varianz σ 2 K T (X T X) K R s s (b) Im linearen Modell mit Normalverteilungsannahme hat der Schätzer K Tˆb gleichmäßig kleinste Kovarianzmatrix unter allen erwartungstreuen Schätzern für den Parameter K T b Beispiel 87 (Fortsetzung des Beispiels 83) Für die Matrix K = ( 0) erhält man K T b = b 0 Wählt man alle Beobachtungen im Nullpunkt so, erhält man für die Matrix X, ( ) T X = 0 0 Der Parameter b 0 is schätzbar, wegen R(K) R(X T ) und wegen Lemma 85 ist die Matrix K T (X T X) X T Y unabhängig von der Wahl der verallgemeinerten Inversen Wegen ( ) ( ) X T n 0 X = G = 0 (X T X) 0 0 n 0 0 erhält man K Tˆb = K T (X T X) X T Y = Ȳn als gleichmäßig bester erwartungstreuer Schätzer für den Achsenabschnitt b 0 Satz 88 Es sei Y N n (µ, σ 2 I n ) eine n-dimensionale Zufallsvariable P R n n eine Matrix mit P T = P, r(p ) = r Dann gilt: P ist orthogonale Projektion (dh P 2 = P ) genau dann, wenn gilt Q = (Y µ)t P (Y µ) σ 2 X 2 r Bemerkung 89 Wir stellen in dieser Bemerkung einige weitere Beispiele für die Verteilung von quadratischen Formen zusammen: 7

8 () Es sei Y N n (µ, σ 2 I n ), P T = P, P 2 = P, r = r(p ) = Spur(P ), dann gilt σ 2 Y T P Y X 2 r,δ 2 mit δ 2 = (µ T P µ)/σ 2 (2) Es sei Y N n (µ, V ); V > 0; A R n n ; A T = A, r = r(a), dann gilt (a) (Y µ) T A(Y µ) Xr 2 AV A = A (b) AV A = A Y T AY X 2 r(a),δ mit δ 2 = µ T Aµ 2 (3) Es sei X N n (µ, V ), µ R(V ), V 0 und G V eine verallgemeinerte Inverse von V mit G T = G und GV G = G (z B die Moore-Penrose Inverse), dann gilt mit δ 2 = µ T Gµ X T GX X 2 r(v ),δ 2 Lemma 820 Im linearen Modell mit Normalverteilungsannahme und R(K) R(X T ) gilt: K Tˆb := K T (X T X) X T Y N s (K T b, σ 2 K T (X T X) K) n r σ 2 ˆσ 2 = σ 2 Y T (I n X(X T X) X T )Y X 2 n r, wobei r = r(x) den Rang der Matrix X bezeichnet Beispiel 82 Wir benutzen nun diese Resultate, um ein Konfidenzellipsoid für den Parameter K T b zu bestimmen, falls R(K) R(X T ) gilt Wegen Lemma 820 erhält man Daher ergibt sich aus Lemma 89(3) d = K Tˆb K T b N (0, σ 2 (K T (X T X) K)) H = d T (K T (X T X) K) d σ 2 X 2 t mit t = r(k), und man erhält aus der Definition der F -Verteilung t H/σ2 ˆσ 2 /σ 2 D X 2 t r X F 2 t,n r n r n r Dabei erhält man die Unabhängigkeit des Zählers und Nenners aus Lemma 8 und der Identität Damit ergibt sich aus der Identität (K T (X T X) X T )(I n X(X T X) X T ) = 0 P [(K Tˆb K T b) T (K T (X T X) K) (K Tˆb K T b) tˆσ 2 F t,n r, α ) = α ein Konfidenzellipsoid für K T b Man beachte: Die Matrix K(K T (X T X) K) K T ist unabhängig von der Wahl der verallgemeinerten Inversen (wegen Lemma 85) Falls zusätzlich t = r(k) = s gilt, so erhält man mit Teil b aus Lemma 85, dass die Inverse der Matrix K T (X T X) K existiert 8