1. Einführung. 1 A (T (x 1,..., x n )) P θ (dx 1 )... P θ (dx n ) X. P θ {T n (X 1,..., X n ) A} =

Transkript

1 . Eiführug Bezeichuge: Der durch die Zufallsgröße X defiierte Wahrscheilichkeitsraum [X, B, P X ] heißt auch die Grudgesamtheit X. B ist die σ-algebra der Borelmege aus X. Vielfach wird die Grudgesamtheit auch mit eier Zufallsgröße X idetifiziert, die die Verteilug (iduziertes Wahrscheilichkeitsmaß) P X besitzt. X sei ei vollstädiger separabler metrischer Raum. häufigste Awedugsfälle: X = R, N, R m, N m Ei statistischer Raum ist ei Tripel [X, B, Q] wobei B die σ-algebra der Borelmege aus X ud Q = (Q θ ) θ Θ eie Familie vo Wahrscheilichkeitsverteiluge auf X = X... X ist. [X, B ] heißt Stichproberaum ud Θ die Parametermege. Grudgesamtheit ist die Gesamtheit aller mögliche Beobachtuge mit Wahrscheilichkeitsverteilug P X. Als Iformatiosquelle bei statistische Utersuchuge diet die mathematische Stichprobe vom Umfag aus der Grudgesamtheit X: Zufälliger Vektor (X,..., X ) vo uabhägige idetisch wie X verteilte Zufallsgröße. Jede Realisierug (x,..., x ) der mathematische Stichprobe ist eie kokrete Stichprobe. X i X, (X,..., X ) X, X i hat Verteilug P X Verallgemeierug auf Vektore: Grudgesamtheit X mit Wahrscheilichkeitsraum [R m, B m, P X ], Stichprobe (X,..., X ) vo uabhägige idetisch wie X verteilte Zufallsvektore. P = (P θ ) θ Θ Familie vo Wahrscheilichkeitsverteiluge auf X, Q θ = P θ... P θ für alle θ Θ Schreibweise P θ Wahrscheilichkeitsmaß bei Zugrudelege der Verteilug P θ der X i P θ {T (X,..., X ) A} = A (T (x,..., x )) P θ (dx )... P θ (dx ) X }{{} E θ g(t (X,..., X ) A) = g(t (x,..., x )) P θ (dx )... P θ (dx ) X }{{} A (.) Idikatorfuktio des Ereigisses A, A (x) = x A, A (x) = 0 x / A Nu P X P, P X = P θ0. Das bedeutet, dass θ 0 der wahre Parameter ist, d.h. der Parameter der zu Grude liegede Verteilug P θ0. Ziel i der Statistik: Iformatioe über θ 0 bekomme Hauptaufgabe der mathematische Statistik: Schätze vo Kegröße der Verteilug der Grudgesamtheit, Teste vo Hypothese, Kofidezitervalle agebe. Ist Θ R d, da spricht ma vo eiem parametrische Problem, aderefalls vo

2 eiem ichtparamterische. A A Ereigis, Zufallsgröße I(A): I(A) = { für ω A, 0 für ω / A. Puktschätzer Bezeichug: Die messbare Abbildug T : [X, B ] [Θ, G] heißt Puktschätzug, Schätzer oder Statistik. G ist die σ-algebra der Borelmege vo Θ. Die Realisierug ˆγ(ω) = ˆγ (ω) = T (X (ω),..., X (ω)) heißt ei Schätzwert für eie Parameter γ 0. ˆγ Schätzer für γ = g(θ), g messbare Fkt. Defiitio: Ei Schätzer ˆγ für γ heißt erwartugstreu, we E θ (ˆγ ) = γ, er heißt asymptotisch erwartugstreu, we er heißt stark bzw. schwach kosistet, falls lim E θ(ˆγ ) = γ, ˆγ γ P θ f.s. bzw. ˆγ P θ γ. Verlustfuktio L : Θ Θ R, L(θ, t) 0 (θ, t Θ), L(θ, g(θ)) = 0 Risiko R(θ, ˆγ) = E θ L(θ, ˆγ) = L(θ, T (x,..., x )) P θ (dx )... P θ (dx ) X }{{} Mittlerer quadratischer Fehler E (ˆγ γ) 2 = E (ˆγ Eˆγ ) 2 + E (Eˆγ γ) 2 + 2E (ˆγ Eˆγ ) (Eˆγ γ) = Var ˆγ + (Eˆγ γ) = Var ˆγ + B(ˆγ ) 2 B(ˆγ ) = Eˆγ γ heißt Verzerrug. Mittlerer absoluter Fehler E ˆγ γ 2

3 falls Defiitio: Ei Schätzer ˆγ heißt Miimax-Schätzer i der Klasse Γ vo Schätzfuktioe, sup R(θ, ˆγ ) = if θ Θ sup ˆγ Γ θ Θ R(θ, ˆγ). Defiitio: Es seie ˆθ ud ˆγ zwei Schätzer für γ. Da heißt ˆγ wirksamer als ˆθ, falls R(θ, ˆγ ) < R(θ, ˆθ ). η = R(θ, ˆθ ) R(θ, ˆγ ) ist die relative Wirksamkeit vo ˆγ bezüglich ˆθ. Defiitio: Seie T, T : X Θ zwei erwartugstreue Schätzer für θ. Da heißt T gleichmäßig wirksamer als T, falls Var θ T (X,..., X ) Var θ T (X,..., X ) für alle θ Θ. Gilt diese Ugleichug für alle erwartugstreue Schätzer T, da heißt der Schätzer T effektiv. Empirische Momete Stichprobe X,..., X, EX i = µ, Var(X i ) = σ 2 Stichprobemittel - Schätzer für µ X = X i E X = EX i = µ Var X = 2 Var ( X i ) X ist schwach kosistet bzw. stark kosistet. erwartugstreu = Var X 2 i = σ2 Stichprobevariaz - empirische Variaz - Schätzer für σ 2 S 2 = ( ( Xi X ) ) 2 = Xi 2 X 2 3

4 empirische Schiefe empirischer Exzess δ = ˆµ 3, ˆµ S 3 3 = ( Xi X ) 3 η = ˆµ 4 S 4 3, ˆµ 4 = ( Xi X ) 4 Schätzer für γ = Eg(X) ist ˆγ = g(x i ), wobei g : R R eie messbare Fuktio ist. Spezialfälle: X, X2 i Satz: a) Uter der Voraussetzug E g(x) < + ist ˆγ ei erwartugstreuer ud stark kosisteter Schätzer für γ. b) Es sei Eg 2 (X) < +. Da gilt: (ˆγ γ) D N (0, σ 2 ), σ 2 = Var(g(X)). Empirische Momete - multivariate Verallgemeierug Gegebe sei die Stichprobe (X,..., X ) uabhägiger Zufallsvektore X i = (X i,..., X im ) R m aus der Grudgesamtheit X mit Erwartugswert µ R m ud Kovariazmatrix Σ R m,m. EX i = µ, cov(x i ) = Σ = (cov(x ij, X ik )) j,k=...m Mittelwertvektor X - Schätzer für µ: X = X i X i2... X im = X X 2... X m empirische Kovariazmatrix S = (S ij ) i,j=...m mit S ij = (X ki X i )(X kj X j ) (i, j =... m) k= 4

5 S = k= (X k X)(X k X) = ( ) X k Xk X X k= S ij ist Schätzer für cov(x i, X j ), S ist Schätzer für Σ Die Delta-Methode X,..., X uabhägige, idetisch verteilte Zufallsgröße (Zufallsvektore) aus R m mit µ = EX i, Σ = cov(x i ), Schätzfuktio: T = g( X ), X = j= X j Schätzer für θ = g(µ). g(x) = ( x i g(x))...m R m Satz: Ageomme, Σ existiere, g existiere i eier Umgebug vo µ ud sei dort stetig, g(µ) 0. = (T θ) D N (0, σ 2 ), σ 2 := g(µ) T Σ g(µ)). Gilt zudem E X ij 2τ+δ < + für j =... m, ud ei δ > 0 sowie g(t) g(µ) C t µ τ, so ergibt sich: E (T ) θ, Var(T ) σ 2. Beweis: ur zur erste Aussage. Taylor-Etwicklug T θ = g(µ) T ( X µ) + R () mit ξ = µ + ψ ( X µ ), ψ (0, ), R = ( g(ξ ) g(µ)) T ( X µ) X µ f.s., ξ µ X µ 0 f.s. g(ξ ) g(µ) f.s. 5

6 Sei ε, η > 0. Nu R = ( g(ξ ) g(µ)) T ( X µ) g(ξ ) g(µ) X µ }{{}}{{} Y Z E X m µ 2 = Var( X ij ) j= = m j= Var(X ij ) = Spur(Σ) P { R > η } P {Y Z > η, Y > ε} + P {Y Z > η, Y ε} P {Y > ε} + P {Z > η/ε} o() + ε η EZ2 Für ε 0 bekomme wir R P 0. Zetraler Grezwertsatz g(µ) T ( X µ) = /2 Z i D N (0, g(µ) T Σ g(µ)) mit Z i = g(µ) T ( X i µ) uabhägig, de EZ i = 0, Var(Z i ) = g(µ) T cov(x i ) g(µ) = g(µ) T Σ g(µ) Mit () ergibt sich die erste Aussage des Satzes. 2. Empirische Verteilugsfuktioe ud Aweduge F (x) = P{X < x}. Mit Hilfe der Stichprobe X,..., X soll F (x) ageähert werde, F ist Verteilugsfuktio vo X i. Defiitio: Die Fuktio F (x) = #{X i x, i } 6

7 = heißt empirische Verteilugsfuktio. Variatiosreihe X (), X (2),..., X () mit I(X i x) X () X (2)... X (). F (x) = m für X (m) x X (m+), m = 0..., X (0) =, X (+) = + Satz: Es gilt: F (x) bi(, F (x)), EF (x) = F (x) Var F (x) = F (x) ( F (x)) x R Satz: Es gilt: (F (x) F (x)) D N (0, F (x)( F (x))) Beweis: Awedug des zetrale Grezwertsatzes. Kolmogorov-Statistik: D := sup F (x) F (x) x R D größtmögliche Differez zwische F ud F. Verallgemeierte Iverse der Verteilugsfuktio - Quatilfuktio Ψ(y) = F (y) = if{x R : F (x) y} defiiert eie Iverse auch für Verteilugsfuktioe, die icht wotwedig stetig bzw. mooto wachsed sid. G[a, b] gleichmäßig stetige Verteilug auf [a, b]. Satz: Die Verteilug vo D hägt icht vo F ab, we F stetig ist. Satz: Hauptsatz der Mathematische Statistik (vo Gliveko 940), Satz vo Gliveko- Catelli 7

8 Es gilt: gleichmäßige Kovergez D 0 f.s. ( ), d.h. { } P lim D = 0 =. Satz: Ist F stetig, da gilt: lim P { D x } = K(x), wobei 2 ( ) i e 2i2 x 2 für x > 0 K(x) = 0 für x 0 Kolmogorov-Test F 0 vorgegebee stetige Verteilugsfuktio, Sigifikaziveau α ) H 0 : F (x) = F 0 (x) x 2) Testgröße T = D = sup F (x) F 0 (x) x R 3) H 0 wird abgeleht, falls D > K, α, aderefalls wird H 0 icht abgeleht. K, α aus Tabelle etehme Für großes ka statt K, α der Wert κ, α = /2 x α verwedet werde, wobei x α das Quatil der Kolmogorov-Verteilug ist: K(x α ) = α. Cramér-vo Mises-Familie vo Teststatistike Q = + (F (x) F 0 (x)) 2 ψ(f 0 (x)) df 0 (x) ψ ist wählbar. Diese Statistike besitze für jedes F die gleiche Verteilug (Ivariaz). ψ(t) = Cramér-vo Mises-Statistik W 2 W 2 = ( Z (i) 2i ) Trasformatio Z i = F 0 (X i ) ψ(t) = (t( t)) Aderso-Darlig-Statistik A 2 A 2 = ( (2i ) l Z(i) + (2 + 2i) l ( )) Z (i) 8

9 Zweistichprobesituatio: erste Stichprobe: X,..., X, X i hat Verteilugsfuktio F stetig, F Verteilugsfuktio zweite Stichprobe: Y,..., Y 2, Y i hat Verteilugsfuktio G stetig, G 2 Verteilugsfuktio empirische empirische Satz: Sid F ud G stetig, da gilt: lim, 2 { } P sup F (x) G 2 (x) x = K(x), wobei = 2. x R + 2 Kolmogorov-Smirov-Test Sigifikaziveau α ) H 0 : F (x) = G(x) x 2) Testgröße T = sup F (x) G 2 (x) x R 3) H 0 wird abgeleht, falls T > κ, α, κ, α = /2 x α, x α Quatil der Kolmogorov- Verteilug. Gegebe Das Kozept der gleichmäßige Kovergez Φ (x) = g(x i, x), Φ(x) = Eg(X i, x). Satz: Sei C R d eie kompakte Mege. Außerdem gibt es eie Fuktio h : X (0, + ) so, dass lim sup g(t, x) g(t, y) y x t X h(t) = 0 für alle x C ud Eh(X) < +. () = sup Φ (x) Φ(x) 0 f.s. x C Gibt es eie Fuktio h ud für jedes x C ei ε > 0, so dass sup x ( x ε, x+ε) g(t, x) x h(t) t X, 9

10 da ist () erfüllt. Kovergez empirischer Quatile α-quatil: Umkehrfuktio der Verteilugsfuktio q α = F (α) α = F (q α ) falls F eieideutig Verallgemeierug: q α = 2 ( F (α) + F (α + 0) ) empirisches α-quatil: ˆq α, = 2 ( F (α) + F (α + 0) ) = { X (m) falls α / Z X 2 (α) + X 2 (α+) falls α Z, wobei sich m durch die Rudug vo α auf die ächstgrößere gaze Zahl ergibt. Empirischer Media ˆq 0.5 Schätzer für Media. = F (ˆq α, ) α, F (m) α m < ˆq α, Satz: Uter der Voraussetzug F (t) > α für t > q α ist das empirische Quatil ˆq α, kosistet, d.h. ˆq α, q α für f.s. Satz: X habe eie Dichte f, die im Pukt q α stetig ud positiv sei.= (ˆqα, q α ) D α( α) N (0, f 2 (q α ) ) 3. Verteilugsklasse Domiierte Verteilugsklasse Familie (P θ ) θ Θ vo Wahrscheilichkeitsmaße auf (X, B) Q θ = P θ... P θ 0

11 Defiitio: Eie Familie (P θ ) θ Θ vo Wahrscheilichkeitsmaße auf (X, B) heißt domiiert durch ei σ-edliche Maß µ, we P θ µ für alle θ Θ, d.h. für jede Mege A mit µ(a) = 0 gilt P θ (A) = 0. Defiitio: Uter eier Likelihood-Fuktio versteht ma die Rado-Nikodym-Ableitug vo Q θ bez. µ: L(x θ) = dq θ dµ (x) x X. Expoetialfamilie Defiitio: Eie Klasse P = {P θ : θ Θ} vo (iduzierte) Wahrscheilichkeitsmaße auf [X, B] heißt k-parametrische Expoetialfamilie, falls P vo dem Maß µ domiiert wird ud für jedes θ Θ die Rado-Nikodym-Dichte f θ (x) = dp θ dµ { k } = C(θ) exp ξ i (θ)t i (x) h(x) µ f.ü. besitzt. C, ξ,..., ξ k, T,..., T k, h sid dabei messbare Fuktioe. Die Fuktioe, ξ,..., ξ k sid liear uabhägig., T,..., T k sid auf dem Komplemet jeder µ-nullmege aus B liear uabhägig. Kaoische Darstellug vo Expoetialfamilie { k } γ = (γ,..., γ k ) T Θ f γ (x) = ζ(γ) exp γ i T i (x) h(x) µ f.ü. (*) Satz: Sei f γ etspreched Formel (*), X besitze die µ-dichte f γ ach (*). Da ist f γ beliebig oft bez. γ differezierbar. Außerdem gilt: E γ T i (X) = γ i l ζ(γ), cov γ (T i (X), T j (X)) = 2 γ i γ j l ζ(γ).