Parameterschätzung. Kapitel 14. Modell Es sei {P θ θ Θ}, Θ R m eine Familie von Verteilungen auf χ (sog. Stichprobenraum),

Größe: px

Ab Seite anzeigen:

Download "Parameterschätzung. Kapitel 14. Modell Es sei {P θ θ Θ}, Θ R m eine Familie von Verteilungen auf χ (sog. Stichprobenraum),"

Theresa Rothbauer
vor 6 Jahren
Abrufe

1 Kapitel 14 Parameterschätzung Modell Es sei {P θ θ Θ}, Θ R m eine Familie von Verteilungen auf χ (sog. Stichprobenraum), = ( 1,..., n ) sei eine Realisierung der Zufallsstichprobe X = (X 1,..., X n ) zu einer Verteilung P {P θ θ Θ}, wobei der wahre Parameter θ unbekannt ist. Problem Schätze unbekanntes θ aus der konkreten Realisierung von X. Definition 14.1 Seien X 1,..., X n unabhängig und identisch verteilte Zufallsvariablen mit Verteilung P. Dann heißt der Zufallsvektor (X 1,..., X n ) Zufallsstichprobe zur Verteilung P. Eine Realisierung ( 1,..., n ) von (X 1,..., X n ) nennt man Stichprobe. Beispiel 14.1 Gegeben sei ein Würfel, den wir n-mal werfen dürfen. Aus der Beobachtung ist die Wahrscheinlichkeit zu schätzen eine 6 zu würfeln. Modell: χ = {0, 1}: 0 ˆ= keine 6 gewürftelt, 1 ˆ= 6 gewürfelt. P θ = B(1, θ), Θ = [0, 1] Definition 14.2 Eine messbare Abbildug T : χ n Θ, Θ Θ, heißt Schätzer für θ. Beispiel 14.2 a) Die Statistik X = 1 n (X 1 + +X n ) heißt Stichprobenmittel b) Die Statistik S 2 = 1 n 1 i=1 (X i X) 2 heißt Stichprobenvarianz Beispiel 14.3 (Schätzung eines Fischbestandes) Teich enthält unbekannte Zahl N = θ von Fischen r Fische werden gefangen, (rot) markiert und wieder ausgesetzt. In einem zweiten Zug werden m Fische gefangen davon seien markiert. Wie groß ist N? Modell 67

2 68 KAPITEL 14. PARAMETERSCHÄTZUNG Urne mit N = θ Kugeln, r rot, N r =: s schwarz m Kugeln werden ohne Zurücklegen gezogen. Die Zufallsvariable X beschreibe die Anzalh der roten unter den gezogenen Kugeln. Also χ = N 0, P θ Hypergeom.(θ, r, m), Θ = N. Beachte: n = Maimum-Likelihood-Methode Idee: Wir wählen für θ den Wert, unter dem die Wahrscheinlichkeit, dass die konkrete Stichprobe vorliegt maimiert wird. Im folgenden sei P θ diskret mit Zähldichte p(; θ) oder stetig mit Dichte f(; θ) Definition 14.3 Gegeben sei eine Stichprobe = ( 1,..., n ). Dann heißt die Funktion L (θ) := f( 1 ; θ) f( n ; θ) bzw. L (θ) := p( 1 ; θ) p( n ; θ) }{{} P θ (X 1,...,X n)=( 1,..., n) die Likelihood-Funktion der Stichprobe. Eine Funktion ˆθ ML () heißt Maimum-Likelihood Schätzer (MLS), falls Bemerkung 14.1 L (ˆθ ML ()) = sup L (θ) θ Θ a) Ist P θ diskret, so gilt: L X (θ) = p( 1 ; θ) p( n ; θ) = P θ (X 1 = 1 ) P θ (X n = n ) X unabhängig = P θ (X = ) b) Der MLS ˆθ ML () ist nicht immer eindeutig. Beispiel 14.4 (vgl. Beispiel 14.3) n = 1 Likelihood-Funktion: L (θ) = ( r θ r ) )( k ( θ k) Für welches θ ist L (θ) maimal? Betrachte: ( r θ r )( θ 1 ) L (θ) )( L (θ 1) = m m (θ r)(θ m) ( θ )( r θ 1 r ) = m )( θ(θ r m + ) m L (θ) > L (θ 1) (θ r)(θ m) > θ(θ r m + ) mr > θ θ < mr Also ist L (θ) maimal für ˆθ() = mr ˆθ() ist eindeutig, falls mr Falls mr N N sind ˆθ 1 () = mr und ˆθ 2 () = mr 1 MLS

3 14.2. MOMENTENMETHODE 69 Beispiel 14.5 (Schätzung einer Erfolgswahrscheinlichkeit) Aus n Bernoulli-Eperimenten liegen Erfolge vor, gesucht ist die Erfolgswahrscheinlichkeit: Modell: χ = N, n = 1, P θ = B(m, θ), Θ = (0, 1). Likelihood-Funktion: L (θ) = ( ) m θ (1 θ) m, θ [0, 1] Statt L (θ) ist es oft einfacher, log(l (θ)) zu maimieren, die sogenannte Log- Likelihoodfunktion ( ) m log(l (θ)) = log + log θ + (m ) log(1 θ) θ log(l (θ)) = (m ) = 0 θ = θ 1 θ m θ ist tatsächlich Maimum-Stelle, dass heißt ˆθ ML () = m 14.2 Momentenmethode Idee: Die ersten Momente von P θ sollten mit den empirischen Momenten übereinstimmen. Aus diesen Gleichungssystemen bestimmen wir den Schätzer. Es sei X P θ. Dann ist das k-te Moment µ k = µ k (θ) = E θ X k, k = 1, 2,... Wir betrachten nun die empirischen Momente zur Stichprobe = ( 1,..., n ). n k := 1 n i=1 k i Es soll nun gelten: µ k (θ) = k k = 1, 2,..., m. Aufgelöst nach θ ergibt sich dann der Momentenschätzer ˆθMM () Θ. Beispiel 14.6 P θ = N(µ, σ 2 ), θ = (µ, σ 2 ), m = 2 (1) µ 1 = µ = E θ X = = 1 n i=1 i (2) µ 2 = E θ X 2 = Var θ (X) + (E θ X) 2 = σ 2 + µ 2 = 1 n i=1 2 i Aus (1) folgt: ˆµ() = 1 n i=1 i = Aus (2) folgt: ˆσ 2 () = 1 n i=1 2 i ()2 = 1 n i=1 ( i ) 2

4 70 KAPITEL 14. PARAMETERSCHÄTZUNG 14.3 Wünschenswerte Eigenschaften von Punktschätzern Im folgenden sei X = (X 1,..., X n ) eine Zufallsstichprobe zur Verteilung P θ und T : χ Θ ein Schätzer von θ. Mit E θ bezeichnen wir den Erwartungswert bezüglich P θ. Definition 14.4 a) Der Schätzer T heißt erwartungstreu (unbiased), falls E θ T (X 1,..., X n ) = θ θ Θ b) b T (θ):= E θ T (X 1,..., X n ) θ heißt Verzerrung (Bias) des Schätzers T. Ein erwartungstreuer Schätzer ist unverzerrt. Beispiel 14.7 (vgl. Bsp.14.6) T () = = 1 n ( i=1 i ist ein erwartungstreuer Schätzer für θ = E θ X i, denn E θ (T (X)) = E 1 θ n i=1 X i) = 1 n i=1 E θx i = θ Ein erwartungstreuer Schätzer für θ = Var θ (X i ) ist [S 2 () = 1 n 1 i=1 ( i ) 2 Definition 14.5 Sei T ein Schätzer für θ Dann heißt MSE(T) := E θ [(T (X 1,..., X n ) θ) 2 ] (mittlerer) quadratischer Fehler ( mean-squared-error ) Beispiel 14.8 Sei P θ = U(0, θ), Θ = R, χ = R + und X = (X 1,..., X n ) eine Zufallsstichprobe zur Verteilung U(0, θ) Momentenmethode: = E θ X i = θ 2 ˆθ MM = 2 Maimum-Likelihood-Methode: { 1 f(, θ) = θ, 0 θ 0, sonst L (θ) = L (1,..., n)(θ) = f( 1 ; θ) f( n ; θ) = Maimiere L (θ) in θ: ˆθ ML () = ma( 1,..., n ) Welcher Schätzer ist besser? { 1 θ, n 0, sonst 0 1,..., n θ E θ [ˆθ MM (X)] = 2E θ X = θ, also ist ˆθ MM erwartungstreu Verteilungsfunktion von ˆθ ML (X) ist F θ () = P θ (ma(x 1,..., X n ) ) = P θ (X 1,..., X n )

5 14.3. WÜNSCHENSWERTE EIGENSCHAFTEN 71 ( ) n = P θ (X 1 ) P θ (X n ) =,falls 0 θ θ Also Dichte von ˆθ ML (X): { n () = θ ( θ )n 1, falls 0 θ fˆθml 0, sonst und E θ [ˆθ ML (X)] = also nicht erwartungstreu. Aber: θ 0 fˆθml () d = MSE(ˆθ MM (X)) = E θ ( [2 1 n θ 0 ( ) n n n d = θ n + 1 θ ) n X i θ] 2 i=1 MSE(ˆθ ML (X)) = E θ ([ma(x 1,..., X n ) θ] 2 ) = MSE(ˆθ MM (X)) MSE(ˆθ ML (X)) = 2 n 3 (n + 2)(n + 1) Bei großem n ist MSE(ˆθ ML (X)) kleiner als MSE(ˆθ MM (X)). Bemerkung 14.2 Falls T erwartungstreu ist, gilt MSE(T ) = Var θ (T ) = θ2 3n 2θ 2 (n + 2)(n + 1) relative Effizienz Für Var θ (T ) kann man die folgende untere Abschätzung angeben. Satz 14.1 (Ungleichung von Rao-Cramér) Sei X = (X 1,..., X n ) eine Zufallsstichprobe zur Verteilung P θ. T sei ein Schätzer für θ. Dann gilt: Var θ (T (X)) (1 + θ b T (θ)) 2 E θ [( θ log L X(θ)) 2 ] Bemerkung 14.3 (i) I(θ) := E θ [( θ log L X(θ)) 2 ] heißt Fisher-Information (ii) Ist T erwartungstreu, so ist b T (θ) = 0 und Var θ (T (X)) 1 I(θ) Beweis Wir nehmen an, dass L (θ) > 0 χ n θ Θ, Θ sei ein offenes Intervall in R und P θ sei diskret. Es gilt: Weiter gilt: θ log L (θ) = L (θ) L (θ)

6 72 KAPITEL 14. PARAMETERSCHÄTZUNG (1) χ n L (θ) = χ n P θ(x = ) = 1 (2) θ + b T (θ) = E θ T (X) = χ n T () L (θ) Wir differenzieren (1) und (2) nach θ, und nehmen an, dass wir θ und vertauschen könne. (1 ) (2 ) 0 = χ n L (θ) = χ n [ ] θ log(l (θ)) L (θ) = E θ θ log L X(θ) 1 + b T (θ) = χ n T ()L (θ) χ n T () θ log(l (θ)) L (θ) = E θ [ ] T (X) θ log L X(θ) (2 ) - (1 )E θ T (X) 1 + b T (θ) = E θ [(T (X) E θ T (X)) θ log L X(θ)] Mit der Ungleichung von Cauchy-Schwarz folgt: ( 1 + b T (θ) ) ( 2 = E θ [(T (X) E θ T (X)) ) 2 θ log L X(θ)] E θ [(T (X) E θ T (X)) 2 ] E θ [ θ log L X(θ) 2 ] = Var θ T I(θ)

Ähnliche Dokumente

Stochastische Eingangsprüfung, 17.05.2008

Stochastische Eingangsprüfung, 17.5.8 Wir gehen stets von einem Wahrscheinlichkeitsraum (Ω, A, P) aus. Aufgabe 1 ( Punkte) Sei X : Ω [, ) eine integrierbare Zufallsvariable mit XdP = 1. Sei Q : A R, Q(A)