5 Optimale erwartungstreue Schätzer

Transkript

1 33 5 Optimale erwartungstreue Schätzer 5.1 Definition Seien X 1,..., X n reelle Zufallsvariablen, T T (X 1,..., X n ) reellwertige Statistik. T heißt linear : c 1,..., c n R mit T n c j X j 5.2 Satz Seien X 1,..., X n X, EX 2 <, µ : EX, σ 2 : Var(X), (µ, σ 2 ) unbekannt. Es sei T ein beliebiger linearer erwartungstreuer Schätzer für µ. Dann gilt: Var(T ) Var( X n ) σ2 n Sei T n c j X j. T erwartungstreu Var(T ) σ 2 n c 2 j (Cauchy-Schwarz) T X n. µ E(T ) µ c j 1 c j 1 2 } {{ } 1 c 2 j 1 n c j c 2 j 1 2 n c 2 j 1 n c j 1 n j

2 34 5 OPTIMALE ERWARTUNGSTREUE SCHÄTZER 5.3 Situation Sei (X, B, {P ϑ : ϑ Θ}), Θ R k, ein statistischer Raum. X 1,..., X n P ϑ. g(ϑ) interessierener Parameter. Sei g : Θ R Funktional U g {T T : X n R messbar, E ϑ T g(ϑ) ϑ Θ, E ϑ T 2 < ϑ Θ} ie Menge aller erwartungstreuen Schätzer für g(ϑ) mit enlicher Varianz. Annahme: U g Sei m(ϑ) : inf{var ϑ (T ) : T U g } 5.4 Definition Ein T 0 U g mit Var ϑ (T 0 ) m(ϑ) ϑ Θ heißt UMVUE. (Uniformly Minimum Variance Unbiase Estimator) 5.5 Satz Falls T 1 un T 2 UMVUE, so gilt P ϑ (T 1 T 2 ) 1 ϑ Θ U g ist konvex,.h. Seien T 1, T 2 UMVUE. 1 2 (T 1 + T 2 ) U g S, T U g λs + (1 λ)t U g λ [0, 1] Var ϑ ( 1 2 (T 1 + T 2 )) Var ϑ (T 1 )( m(ϑ) Var ϑ (T 2 )) 1 4 (Var ϑ(t 1 )+Var ϑ (T 2 )+2 Cov ϑ (T 1,T 2 )) Var ϑ (T 1 ) Cov ϑ (T 1, T 2 ) CSU Var ϑ (T 1 ) Var ϑ (T 2 ) Var ϑ (T 1 )

3 5.6 Definition un Satz 35 Var ϑ (T 1 ) Cov ϑ (T 1, T 2 ) Var ϑ (T 1 T 2 ) Var ϑ (T 1 ) + Var ϑ (T 2 ) 2 Cov ϑ (T 1, T 2 ) 0 P ϑ (T 1 T 2 ) 1. E ϑ (T 1 T 2 ) Definition un Satz Sei S n : {π (π(1),..., π(n)) : π Permutation von {1,..., n}} Für Statistik T : X n R sei T π (X 1,..., X n ) T (X π(1),..., X π(n) ). In er Situation von 5.3 heißt T (im wesentlichen) symmetrisch : P ϑ (T π T ) 1 ϑ Θ π S n T 0 U g UMVUE T symmetrisch. Sei π S n, ϑ Θ beliebig. Wegen X 1,..., X n P ϑ folgt T0 π T 0 unter P ϑ E ϑ (T π 0 ) E ϑ(t 0 ) g(ϑ) Var ϑ (T π 0 ) Var ϑ(t 0 ) m(ϑ) Satz 5.5 P ϑ (T π 0 T 0) 1. } T0 π U g, UMVUE 5.7 Reguläre Verteilungsklassen Situation: Sei (X, B, {P ϑ : ϑ Θ) statistischer Raum mit (X, B) (R n, B n ), Θ R k, Θ offen. X (X 1,..., X n ) Zufallsvektor mit Verteilung P ϑ (ϑ Θ), P ϑ besitze Dichte f(x, ϑ) bezüglich µ, abei sei µ entweer as Lebesgue-Maß oer as Zählmaß auf einer abzählbaren Teilmenge es R n. T : R n R s sei Statistik mit E ϑ T 2 <, Kovarianzmatrix 15 von T: 16 Var ϑ (T ) : E ϑ [(T E ϑ T )(T E ϑ T ) T ] 15 Schreibweise für Kovarianzmatrix hier nicht Cov ϑ, sonern Var ϑ. Beachte azu ie Fälle s 1 un s > 1! 16 Bei Vektoren manchmal Schreibweise x für x T.

4 36 5 OPTIMALE ERWARTUNGSTREUE SCHÄTZER Folgene Regularitätsbeingungen sollen gelten: a) x X existiert ϑ j f(x, ϑ) un ist stetig. (j 1,..., k) b) ϑ f(x, ϑ)µ(x) f(x, ϑ)µ(x) ϑ wobei hier ϑ : ( ϑ 1,..., ϑ k ) T. Der k-imensionale Zufallsvektor heißt Score-Vektor. Die k k-matrix I n (ϑ) : E ϑ [U n (ϑ) U n (ϑ) T ] U n (ϑ) : ϑ log f(x, ϑ) ϑf(x, ϑ) f(x, ϑ) ( [ E ϑ log f(x, ϑ) ]) log f(x, ϑ) ϑ i ϑ j i,,...,k heißt Fisher-Informationsmatrix (von f an er Stelle ϑ): c) I n (ϑ) existiert un ist positiv efinit. Eine Verteilungsklasse {P ϑ : ϑ Θ}, ie ie Beingungen (a)-(c) erfüllt, heißt regulär. 5.8 Lemma In er Situation von 5.7 gilt: E ϑ U n (ϑ) 0 ϑ Θ un somit I n (ϑ) Var ϑ (U n (ϑ)), ϑ Θ,.h. ie Fisher-Informationsmatrix ist Kovarianzmatrix es Score-Vektors. E ϑ U n (ϑ) ( ) ϑ f(x, ϑ) f(x, ϑ) (b) f(x, ϑ)µ(x) ϑ f(x, ϑ)µ(x) } {{ } 1 0 ( ): Integration bezüglich P ϑ ; P ϑ hat aber Dichte f(x, ϑ) bezüglich µ

5 5.9 Bemerkung Bemerkung Gelegentlich weren ie weiteren Voraussetzungen ) x X existiert 2 ϑ i ϑ j f(x, ϑ) un ist stetig. (i, j 1,..., k) e) 2 ϑ i ϑ j f(x, ϑ)µ(x) 2 ϑ i ϑ j f(x, ϑ)µ(x) i, j 1,..., k benötigt. Wir führen noch ie folgenen Notationen ein: ( ) 2 W n (ϑ) : log f(x, ϑ) ϑ i ϑ j 1 i,j k : 2 log f(x, ϑ) ϑϑt 5.10 Lemma Unter () un (e) gilt: I n (ϑ) E ϑ W n (ϑ) Wegen folgt E ϑ (W n (ϑ)) 2 ϑ i ϑ j log f 2 2 ϑ i ϑ j f f ( ϑ i f)( ϑ j f) f 2 log f(x, ϑ) f(x, ϑ)µ(x) ϑϑt ( 2 ) f(x, ϑ)µ(x) ϑ i ϑ j i,j 0 nach (e) [vgl. 5.7] ( ) log f(x, ϑ) log f(x, ϑ) f(x, ϑ)µ(x) ϑ i ϑ j i,j E ϑ [U n (ϑ)u n n(ϑ) T ] I n (ϑ)

6 38 5 OPTIMALE ERWARTUNGSTREUE SCHÄTZER 5.11 Reguläre Statistiken (Schätzer) In er Situation von 5.7 heißt eine Statistik T : R n R s regulär, falls gilt: f) Die Funktion Θ ϑ E ϑ T R s ist stetig ifferenzierbar. g) Differenziation un Integration können vertauscht weren: T (x)f(x, ϑ)µ(x) T (x) f(x, ϑ)µ(x) j 1,..., k ϑ j ϑ j Mit C n (ϑ) : wir Beingung (g) zu Wegen E ϑ [U n (ϑ)] 0 folgt ϑ 1 E ϑ T ϑ 1 E ϑ T s. ϑ k E ϑ T 1 ϑ k E ϑ T s C n (ϑ) E ϑ [U n (ϑ)t T ] k s C n (ϑ) E ϑ [U n (ϑ)(t E ϑ T ) T ] ϑ E ϑt T 5.12 Strukturlemma Vorbemerkung: Seien A,B n n-matrizen. A B : A B positiv semiefinit 17 ( x T Ax x T Bx x R n ) ( efiniert Loewner-Halbornung) Es seien T : R n R s eine Statistik, P ϑ Verteilung auf B n, V (ϑ) ein k-imensionaler Zufallsvektor mit E ϑ V (ϑ) 0 un positiv efiniter Kovarianzmatrix J(ϑ) E ϑ [V (ϑ) V (ϑ) T ] Definiert man (k s-matrix), so gilt 18 : D(ϑ) : E ϑ [V (ϑ) (T E ϑ T ) T ] Var ϑ (T ) D T (ϑ) J 1 (ϑ) D(ϑ) 17 A B 0 18 Var ϑ (T ) ist Kovarianzmatrix, a T vektorwertig; im Folgenen wir iese Schreibweise bei (Zufalls-)Vektoren meistens angewant (...)

7 5.12 Strukturlemma 39 gilt genau ann, wenn T E ϑt + D T (ϑ) J 1 (ϑ) V (ϑ) P ϑ -f.s. Für jeen Zufallsvektor Y k 1 gilt: (i) E[Y Y T ] 0 (ii) E[Y Y T ] 0 Y 0 P-f.s. [zu (i): zu (ii): a R k : a T E[Y Y T ]a E[a T Y Y T a] E[(a T Y ) 2 ] 0 EY Y T 0 j : EY 2 j 0 Y 0 P-f.s. ] Setze Y : T E ϑ T D T (ϑ) J 1 (ϑ) V (ϑ). Dann gilt: 0 (i) E ϑ [Y Y T ] ( ) E ϑ [(T E ϑ T )(T E ϑ T ) T ] E ϑ [(T E ϑ T )V T (ϑ)] J 1 (ϑ)d(ϑ) D T (ϑ) D T (ϑ)j 1 (ϑ) E ϑ [V (ϑ)(t E ϑ T ) T ] D(ϑ) +D T (ϑ)j 1 (ϑ) E ϑ [V (ϑ) V T (ϑ)] J 1 (ϑ)d(ϑ) J(ϑ) Var ϑ (T ) D T (ϑ)j 1 (ϑ)d(ϑ) ( ): Beachte: J symmetrisch, J E ϑ [ ], D E ϑ [ ]. [Y (T E ϑ T ) (D T (ϑ) J 1 (ϑ) V (ϑ))] (ii) Y 0 P-f.s.

8 40 5 OPTIMALE ERWARTUNGSTREUE SCHÄTZER 5.13 Satz (Cramér-Rao-Ungleichung) Es seien {P ϑ : ϑ Θ} reguläre Verteilungsklasse un T : R n R s reguläre Statistik. Dann gilt: (1) Var ϑ (T ) ( ϑ E ϑt T ) T In 1 (ϑ) ( ϑ E ϑt T ) (ϑ Θ) in (1) gilt T E ϑt + ( ϑ E ϑt T ) T In 1 (ϑ) U n (ϑ) 5.12 mit V (ϑ) : U n (ϑ), E ϑ U n (ϑ) 0 (Lemma 5.8), J(ϑ) I n (ϑ), D(ϑ) E ϑ [U n (ϑ)(t E ϑ T ) T ] C n (ϑ) ϑ E ϑt T (5.11) Bemerkungen a) Ist T erwartungstreu für g(ϑ), so gilt E ϑ T g(ϑ) ϑ Θ rechte Seite von 5.13(1) ist nicht von T abhängig. b) Falls k s un T erwartungstreu für ϑ, so gilt E ϑ T ϑ ϑ Θ un somit ϑ E ϑt T I k Var ϑ T In 1 (ϑ) T ϑ + I 1 n (ϑ) log f(x, ϑ) ϑ P ϑ f.s. c) Falls X (X 1,..., X n ) un X 1,..., X n f 1 (ξ, ϑ), so gilt: f(x, ϑ) n f 1 (x j, ϑ) U n (ϑ) ϑ log f 1 (X j, ϑ) ϑ log f 1(X j, ϑ) mit E ϑ ( )0

9 5.15 Beispiel 41 I n (ϑ) E ϑ [U n (ϑ)un T (ϑ)] E ϑ [ ϑ log f 1(X i, ϑ) ϑ log f 1(X j, ϑ) T ] i1 0 für i j n E ϑ [ ϑ log f 1(X 1, ϑ) ϑ log f 1(X 1, ϑ)t ] :I 1 (ϑ) n I 1 (ϑ) Schranke in 5.13(1) geht mit 1 n gegen 0. ) Ist Θ R 1, T : R 1 R 1, γ(ϑ) : E ϑ (T ), ϑ Θ, X 1,..., X n f 1 (ξ, ϑ) wie in (c), so folgt: Var ϑ (T ) (γ (ϑ)) 2 n I 1 (ϑ), ϑ Θ e) T heißt CR-effizient, falls in 5.13(1) Gleichheitszeichen gilt. Achtung: CR-effizienzierter Schätzer muss nicht existieren Beispiel X 1,..., X n Bin(1, ϑ), ϑ Θ (0, 1), µ Zählmaß auf {0, 1} n. f 1 (ξ, ϑ) ϑ ξ (1 ϑ) 1 ξ, ξ {0, 1} f(x, ϑ) n f 1 (x j, ϑ) ϑ j x j (1 ϑ) n j x j, x A log f(x, ϑ) j x j log ϑ + (n j x j ) log(1 ϑ) j log f(x, ϑ) x j ϑ ϑ n j x j 1 ϑ j x j nϑ ϑ(1 ϑ) I n (ϑ) E ϑ [( ϑ log f(x, ϑ))2 ] 1 ϑ 2 (1 ϑ) 2 E ϑ[( 1 ϑ(1 ϑ) X j Bin(n,ϑ) nϑ) 2 ] } {{ } nϑ(1 ϑ)

10 42 5 OPTIMALE ERWARTUNGSTREUE SCHÄTZER [Erwartungswert von Bin(n, ϑ) nϑ, also ist in er vorletzten Zeile ie Varianz von Bin(n, ϑ) gesucht.] (1) Raten Sei T (x) : 1 n n x j. T erwatungstreu 5.14() E ϑ T ϑ T ist UMVUE 1 ϑ(1 ϑ) Var ϑ T I n (ϑ) n 1 n Var ϑ(x 1 ) 1 n ϑ(1 ϑ) (2) Konstruktion nach 5.13 urchführen n T (X) 5.14(b) ϑ(1 ϑ) ϑ + X j nϑ n ϑ(1 ϑ) X n } {{ } I n(ϑ) 1 log f(x,ϑ) ϑ