Statistische Modelle und Parameterschätzung

Transkript

1 Kapitel 2 Statistische Modelle ud Parameterschätzug 2. Statistisches Modell Die bisher betrachtete Modellierug eies Zufallsexperimetes erforderte isbesodere die Festlegug eier W-Verteilug. Oft besteht aber gerade über diese Festlegug Usicherheit. Eie statistische Modellierug eies Zufallsexperimets berücksichtigt eie Usicherheit über die wahre Verteilug zumidest ierhalb eies gewisse Rahmes: Es werde eiige Parameter i das Verteilugsmodell aufgeomme, dere Werte offe gelasse werde, also ubekat sid. Als Aufgabe stellt sich da: Auf Grud vo Beobachtugsdate sid (sivolle Parameterschätzuge zu kostruiere. Beispiele (für statistische Modelle : (a (Beroulli-Modell Ei 0--Experimet wird -mal uabhägig durchgeführt; dabei ist die Wahrscheilichkeit für im Eizelexperimet ubekat. Modell: uabhägige 0--wertige Zufallsvariable X,..., X mit X i Bi(, p für alle i =,...,, wobei p ( 0, der Parameter ist. Kurz: X,..., X u.i.v. Bi(, p, p ( 0, der Parameter. (b (Biomial-Modell Als Ergebis des Zufallsexperimets vo obe wird jetzt ur die Azahl der i de Eizelexperimete erzielte e otiert. Modell: Eie biomial-(, p-verteilte Zufallsvariable, wobei p ( 0, der Parameter ist. Kurz: X Bi(, p, p ( 0, der Parameter. (c (Normalverteilugsmodell Die Füllmege vo maschielle Flascheabfülluge werde gemesse. Modell: uabhägige idetisch ormalverteilte Zufallsvariable X,..., X, wobei die Parameter µ ud σ der Normalverteilug ubekat sid, µ R ud σ ( 0,. Kurz: X,..., X u.i.v. N(µ, σ, µ R ud σ ( 0, die Parameter. I allgemeie Erörteruge wolle wir de oder die Parameter des statistische Modells mit ϑ bezeiche, wobei im Fall mehrerer (reeller Parameter diese im mehrdimesioale Vektor ϑ Θ zusammegefasst sid. I obige Beispiele: (a, (b : ϑ = p ( 0, ; (c : ϑ = (µ, σ R ( 0,. 2

2 Kapitel 2: Statistische Modelle ud Parameterschätzug 3 Statistische Stadard-Modelle: (I Modell mit eier Zufallsvariable: X : Ω M eie Zufallsvariable; eie Familie vo mögliche Verteiluge der Zufallsvariable X ist gegebe : (P ϑ,x ϑ Θ (W-Verteiluge auf M. (II Modell mit u.i.v. Zufallsvariable: Kurz: X P ϑ,x, ϑ Θ der Parameter. X i : Ω M, i =,...,, uabhägige ud idetisch verteilte Zufallsvariable: X,..., X uabhägig ud P ϑ,x = P ϑ,x2 =... = P ϑ,x = P ϑ,x, kurz: X,..., X u.i.v. P ϑ,x, ϑ Θ der Parameter. wobei wie i (I eie Familie (P ϑ,x ϑ Θ vo mögliche Verteiluge auf M gegebe ist. Amerkug: Der w-theoretische Begriff der Verteilug eier Zufallsvariable verlagt: Auf Ω ist ebefalls eie Familie vo W-Verteiluge vorhade: (P ϑ ϑ Θ ; diese wie auch die Mege Ω wird aber ie spezifiziert; zu spezifiziere sid M ud die Verteilugsfamilie (P ϑ,x ϑ Θ auf M. Bemerkug: Wir werde fast ausschließlich Modelle mit reelle Zufallsvariable betrachte, d.h. M R. 2.2 Maximum-Likelihood-Schätzug Likelihood-Fuktio für Stadard-Modelle (I Modell mit eier Zufallsvariable: X P ϑ,x, ϑ Θ der Parameter. (a Diskrete Verteiluge: M ist edlich oder abzählbar-uedlich. Die Likelihood-Fuktio zu eiem Wert x M ist die Fuktio L x : Θ [ 0, ], L x (ϑ = P ϑ,x (x. (b Stetige Verteiluge: M R ei Itervall, jede Verteilug P ϑ,x hat eie Dichtefuktio f ϑ. Die Likelihood-Fuktio zu eiem Wert x M ist die Fuktio L x : Θ [ 0,, L x (ϑ = f ϑ (x. (II Modell mit u.i.v. Zufallsvariable: X,..., X u.i.v. P ϑ,x, ϑ Θ der Parameter. (a Diskrete Verteiluge: M ist edlich oder abzählbar-uedlich. Die Likelihood-Fuktio zu Werte x,..., x M ist die Fuktio L x,...,x : Θ [ 0, ], L x,...,x (ϑ = P ϑ,x (x i. (b Stetige Verteiluge: M R ei Itervall, jede Verteilug P ϑ,x hat eie Dichtefuktio f ϑ. Die Likelihood-Fuktio zu Werte x,..., x M ist die Fuktio L x,...,x : Θ [ 0,, L x,...,x (ϑ = f ϑ (x i. Amerkug: Der Kürze halber schreube wir statt L x (ϑ bzw L x,...,x (ϑ oft eifach L(ϑ.

3 Kapitel 2: Statistische Modelle ud Parameterschätzug 4 Maximum-Likelihood-Schätzug (für de Parameter ϑ des Modells I eiem Modell (I : Eie Maximum-Likelihood-Schätzug für ϑ auf Grud eies Wertes x M ist ei Parameterwert ϑ = ϑ(x Θ, der die Likelihood-Fuktio zu x maximiert: L x ( ϑ = max ϑ Θ L x(ϑ. I eiem Modell (II : Eie Maximum-Likelihood-Schätzug für ϑ auf Grud vo Werte x,..., x M ist ei Parameterwert ϑ = ϑ(x,..., x Θ, der die Likelihood-Fuktio zu x,..., x maximiert: L x,...,x ( ϑ = max ϑ Θ L x,...,x (ϑ. Bemerkug: Log-Likelihood-Fuktio Alle Werte eier Likelihood-Fuktio L(ϑ sid offebar 0. We die Likelihood-Fuktio strikt positiv ist, also L(ϑ > 0 für alle ϑ Θ, da köe wir auch die logarithmierte Likelihood-Fuktio bilde, die sog. Log-Likelihood-Fuktio, l(ϑ = l L(ϑ, ϑ Θ. Da habe die beide Probleme L(ϑ max! ϑ Θ ud l(ϑ max ϑ Θ dieselbe Optimallösuge für ϑ, so dass eie Maximum-Likelihood-Schätzug auch als Maximumstelle der Log-Likelihood-Fuktio bestimmt werde ka. Beispiele (für ML-Schätzuge : (a (Beroulli-Modell X,..., X u.i.v. Bi(, p, p ( 0, der Parameter. Likelihood-Fuktio ud Log-Likelihood-Fuktio zu Werte x,..., x {0, } : L(p = p P x i ( p P x i, l(p = es resultiert die ML-Schätzug: p = x = Amerkug: Da die Werte x i i {0, } sid, gilt: ( x i l(p + ( x i l( p ; x i. x i = (absolute Häufigkeit vo i x,..., x, x = relative Häufigkeit vo i x,..., x. (b (Biomial-Modell X Bi(, p, p ( 0, der Parameter. Likelihood-Fuktio ud Log-Likelihood-Fuktio zu eiem Wert x {0,,..., } : ( ( L(p = p x ( p x, l(p = l + x l(p + ( x l( p ; x x es resultiert die ML-Schätzug: p = x/.

4 Kapitel 2: Statistische Modelle ud Parameterschätzug 5 (c (Normalverteilugsmodell X,..., X u.i.v. N(µ, σ, ( 2, µ R ud σ ( 0, die Parameter. Likelihood-Fuktio ud Log-Likelihood-Fuktio zu Werte x,..., x R : L(µ, σ = ( σ 2π exp [ xi µ ] 2, 2 σ l(µ, σ = 2 es resultiert die ML-Schätzug: l(2π l(σ 2σ 2 µ = x, σ = (x i µ 2 ; (x i x 2. (d (Expoetialverteilugsmodell X,..., X u.i.v. Exp(λ, λ ( 0, der Parameter. Likelihood-Fuktio ud Log-Likelihood-Fuktio zu Werte x,..., x ( 0, : es resultiert die ML-Schätzug: λ = /x. L(λ = λ exp ( λx i = λ exp ( λ x i, l(λ = l(λ λ x i ; 2.3 Statistische Eigeschafte vo Schätzer Statistische Eigeschafte eier Parameterschätzug (z.b. ML-Schätzug beziehe sich stets auf das globale Verhalte der Schätzug über alle mögliche Werte x bzw. x,..., x der Zufallsvariable des Modells. Wir spreche daher vo eiem Schätzer oder eier Schätzfuktio, womit die Schätzug als Fuktio der Zufallsvariable gemeit ist. Wir beschräke us hier auf Schätzer für reelle Parameter eies statistische Modells, z.b. für eie Kompoete (etwa µ des mehrdimesioale Modellparameters ϑ (etwa ϑ = (µ, σ. Allgemei: Bezeiche γ = γ(ϑ eie zu schätzede reelle Parameter eies statistische Modells. Schätzer für eie reelle Parameter Uter eiem Schätzer γ für eie reelle Parameter γ = γ(ϑ eies statistische Modells versteht ma eie reelle Fuktio der Zufallsvariable des Modells: (I Im Modell mit eier Zufallsvariable X : Ω M heißt das: γ = g(x, wobei g : M R ; (II im Modell mit u.i.v. Zufallsvariable X i : Ω M (i =,..., heißt das: γ = g(x,..., X, wobei g : M R. Amerkuge:. Ei Schätzer ist isbesodere eie reelle Zufallsvariable. 2. We i (I die Zufallsvariable X de Wert x liefert, da liefert der Schätzer γ = g(x die Schätzug g(x für γ. Aalog i (II.

5 Kapitel 2: Statistische Modelle ud Parameterschätzug 6 Beispiele: Schätzer für reelle Parameter aus ML-Schätzuge ; ( ML-Schätzer reeller Parameter (a (Beroulli-Modell X,..., X u.i.v. Bi(, p, p ( 0, der Parameter. Der ML-Schätzer für p ist p = X = X i ; hier also: p = g(x,..., X mit der Fuktio g : {0, } R, g(x,..., x = x = x i. (b (Biomial-Modell X Bi(, p, p ( 0, der Parameter. Der ML-Schätzer für p ist p = X/ ; hier also: p = g(x mit der Fuktio g : {0,,..., } R, g(x = x/. (c (Normalverteilugsmodell X,..., X u.i.v. N(µ, σ, ( 2, µ R ud σ ( 0, die Parameter. Der ML-Schätzer für µ ist µ = X ; hier also: µ = g(x,..., X mit der Fuktio g : R R, g(x,..., x = x. Der ML-Schätzer für σ 2 ist σ 2 = (X i X 2 ; hier also: σ 2 = g(x,..., X mit g : R R, g(x,..., x = (x i x 2. Der ML-Schätzer für σ ist σ = (X i X 2. (d (Expoetialverteilugsmodell X,..., X u.i.v. Exp(λ, λ ( 0, der Parameter. Der ML-Schätzer für λ ist λ = /X ; hier also: λ = g(x,..., X mit g : (0, R, g(x,..., x = /x. Der ML-Schätzer für µ = /λ ist µ = X. Da ei Schätzer γ isbesodere eie reelle Zufallsvariable ist, köe wir Erwartugswert ud Variaz ud adere Kegröße vo γ betrachte. Allerdigs ist zu berücksichtige: Diese Größe häge i.a. vom Parameter ϑ des Modells ab, da γ = g(x bzw. γ = g(x,..., X, ud die Verteiluge der Zufallsvariable häge vom Parameter ϑ ab. Wir brige dies zum Ausdruck durch Schreibweise wie E ϑ ( γ, Var ϑ ( γ. Bias ud Erwartugstreue (Ubiasedess Für eie Schätzer γ für eie reelle Parameter γ = γ(ϑ heißt B ( γ ; ϑ = E ϑ ( γ γ(ϑ der Bias (die Verzerrug oder geauer: die Bias-Fuktio (als Fuktio vo ϑ. Der Schätzer γ heißt erwartugstreu (oder uverzerrt, egl. ubiased, we gilt: B ( γ ; ϑ = 0 für alle ϑ Θ, oder äquivalet formuliert: E ϑ ( γ = γ(ϑ für alle ϑ Θ.

6 Kapitel 2: Statistische Modelle ud Parameterschätzug 7 Beispiele: (a Im (Beroulli-Modell: p = X ist ei erwartugstreuer Schätzer für p. (b Im Biomial-Modell: p = X/ ist ei erwartugstreuer Schätzer für p. (c Im Normalverteilugsmodell: µ = X ist ei erwartugstreuer Schätzer für µ ; der Bias des Schätzers σ 2 = (X i X 2 für de Parameter σ 2 ist B ( σ 2 ; µ, σ = σ 2 /. ei erwartugstreuer Schätzer für σ 2 ist s 2 = (X i X 2. (d Im Expoetialverteilugsmodell: µ = X ist ei erwartugstreuer schätzer für µ = /λ. Allgemeieres Resultat: Sei ei Modell mit u.i.v. Zufallsvariable gegebe: X,..., X u.i.v. P ϑ,x, ϑ Θ. Ei erwartugstreuer Schätzer für de Parameter µ = µ(ϑ = E ϑ (X (Erwartugswert ist µ = X. Ei erwartugstreuer Schätzer für de Parameter σ 2 = σ 2 (ϑ = Var ϑ (X (Variaz ist s 2 = (X i X 2. Effiziez-Vergleich vo erwartugstreue Schätzer (i Seie γ [] ud γ [2] zwei erwartugstreue Schätzer für γ = γ(ϑ. Der Schätzer γ [] heißt effizieter als der Schätzer γ [2], we Var ϑ ( γ [] Var ϑ ( γ [2] für alle ϑ Θ. (ii Ei erwartugstreuer Schätzer γ für γ heißt effizietester erwartugstreuer Schätzer (oder egl.: UMVUE = Uiformly Miimum Variace Ubiased Estimator, we γ effizieter als jeder adere erwartugstreue Schätzer γ für γ ist. Bemerkug: Effizieteste erwartugstreue Schätzer existiere i viele Fälle (a Im Beroulli-Modell: p = X ist UMVUE für p. (b Im Biomial-Modell: p = X/ ist UMVUE für p. (c Im Normalverteilugsmodell: µ = X ist UMVUE für µ ; s 2 ist UMVUE für σ 2. (d Im Expoetialverteilugsmodell: µ = X ist UMVUE für µ = /λ. Auch Schätzer, die icht erwartugstreu sid, köe durchaus effiziet sei ud bisweile sogar effizieter als ei UMVUE. Zur Beurteilug der Effiziez auch icht-erwartugstreuer Schätzer ist der Mea Squared Error (der mittlere quadrierte Fehler geeiget. Mea Squared Error (MSE eies Schätzers Für eie Schätzer γ für eie reelle Parameter γ = γ(ϑ heißt MSE ( γ ; ϑ = E ϑ ( [ γ γ(ϑ ] 2 der Mea-Squared Error (MSE oder geauer: die MSE-Fuktio (als Fuktio vo ϑ. Zwische MSE, Variaz ud Bias des Schätzers γ besteht der folgede Zusammmehag: MSE ( γ ; ϑ = Var ϑ ( γ + [ B( γ ; ϑ ] 2.

7 Kapitel 2: Statistische Modelle ud Parameterschätzug Ausblick: Adere statistische Modelle Zwei-Stichprobe-Modelle: Zufallsvariable: X i : Ω M, i =,...,, ud Y j : Ω M, j =,..., 2, X,..., X, Y,..., Y 2 sid uabhägig, X,..., X u.i.v. P ϑ,x ud Y,..., Y 2 u.i.v. P ϑ,y, ϑ Θ der Parameter, wobei eie Familie ( P ϑ,x, P ϑ,y ϑ Θ vo Paare möglicher Verteiluge gegebe ist. Beispiel: Zwei-Stichprobe-Normalverteilugsmodell mit gleicher Variaz X,..., X u.i.v. N(µ, σ ud Y,..., Y 2 u.i.v. N(µ 2, σ, ϑ = (µ, µ 2, σ R 2 ( 0, der Parameter. Als Likelihood-Fuktio zu gegebee Werte x,..., x, y,..., y 2 L(µ, µ 2, σ = ( ( 2 f µ,σ(x i f µ2,σ(y j, defiiert ma: wobei mit f µ,σ die Dichtefuktio vo N(µ, σ bezeichet sei. Ma erhält die Log-Likelihood-Fuktio: ( l(µ, µ 2, σ = l(2π ( + 2 l(σ (x 2σ 2 i µ (y j µ 2 2. Als ML-Schätzug ergibt sich : µ = x = x i, µ 2 = y = 2 y j, σ = 2 ( + 2 (x i x (y j y 2. Im Rahme der statistische Theorie der Schätzer erweise sich die Schätzer µ = X ud µ 2 = Y als erwartugstreu für µ bzw. für µ 2, ud der Schätzer ( s 2 = (X i X (Y j Y 2 als erwartugstreu für σ 2 (sofer Etspreched lasse sich k-stichprobe-modelle betrachte (k 2. Eie weitere sehr wichtige Klasse statistischer Modelle sid die (lieare Regressiosmodelle, die i Kapitel 5 behadelt werde.