Mathematische Statistik Gliederung zur Vorlesung im Wintersemester 2006/07

Transkript

1 Mathematische Statistik Gliederung zur Vorlesung im Wintersemester 26/7 Markus Reiß Universität Heidelberg VORLÄUFIGE FASSUNG: 9. Februar 27 Inhaltsverzeichnis 1 Einführende Beispiele 1 2 Entscheidungstheorie Formalisierung eines statistischen Problems Minimax- und Bayes-Ansatz Das Stein-Phänomen Ergänzungen Dominierte Experimente und Suffizienz Dominierte Experimente Exponentialfamilien Suffizienz Testtheorie Neyman-Pearson-Theorie Bedingte Tests Tests im Normalverteilungsmodell Schätztheorie Momentenschätzer Maximum-Likelihood- und M-Schätzer Effizienz Nichtparametrische Dichteschätzung I

2 1 Einführende Beispiele Modellierung Modelldiagnostik (QQ-Plot, Boxplot, empirische Korrelation) Median, Mittelwert, Ausreißer Konfidenzintervall Hypothesentest Klassifikation Vorhersage 2 Entscheidungstheorie 2.1 Formalisierung eines statistischen Problems 2.1 Definition. Ein Messraum (X, F ) versehen mit einer Familie (P ϑ ) ϑ Θ von Wahrscheinlichkeitsmaßen, Θ beliebige Parametermenge, heißt statistisches Experiment. Jede (F, S )-messbare Funktion Y : X S heißt Beobachtung oder Statistik mit Werten in (S, S ) und induziert das statistische Experiment (S, S, (P Y ϑ ) ϑ Θ). Sind die Beobachtungen Y 1,..., Y n für jedes P ϑ unabhängig und identisch verteilt, so nennt man Y 1,..., Y n eine mathematische Stichprobe. 2.2 Definition. Es sei (X, F, (P ϑ ) ϑ Θ ) ein statistisches Experiment. Eine Entscheidungsregel ist eine messbare Abbildung ρ : X A, wobei der Messraum (A, A ) der sogenannte Aktionsraum ist. Jede Funktion l : Θ A [, ) =: R +, die messbar im zweiten Argument ist, heißt Verlustfunktion. Das Risiko einer Entscheidungsregel ρ bei Vorliegen des Parameters ϑ Θ ist R(ϑ, ρ) := E ϑ [l(ϑ, ρ)] = l(ϑ, ρ(x)) P ϑ (dx). 2.3 Definition. Die Entscheidungsregel ρ heißt besser als eine Entscheidungsregel ρ, falls R(ϑ, ρ) R(ϑ, ρ ) für alle ϑ Θ gilt und falls ein ϑ Θ mit R(ϑ, ρ) < R(ϑ, ρ ) existiert. Eine Entscheidungsregel heißt zulässig, wenn es keine bessere Entscheidungsregel gibt. 2.2 Minimax- und Bayes-Ansatz 2.4 Definition. Eine Entscheidungsregel ρ heißt minimax, falls sup R(ϑ, ρ) = inf sup R(ϑ, ρ ), ϑ Θ ρ ϑ Θ wobei sich das Infimum über alle Entscheidungsregeln ρ erstreckt. X 1

3 2.5 Definition. Der Parameterraum Θ trage die σ-algebra F Θ, die Verlustfunktion l sei produktmessbar und ϑ P ϑ (B) sei messbar für alle B F. Die a priori-verteilung π des Parameters ϑ ist gegeben durch ein Wahrscheinlichkeitsmaß auf (Θ, F Θ ). Das zu π assoziierte Bayesrisiko einer Entscheidungsregel ρ ist R π (ρ) := E π [R(ϑ, ρ)] = R(ϑ, ρ) π(dϑ) = l(ϑ, ρ(x)) P ϑ (dx) π(dϑ). Θ ρ heißt Bayesregel oder Bayes-optimal (bezüglich π), falls Θ R π (ρ) = inf ρ R π (ρ ) gilt, wobei sich das Infimum über alle Entscheidungsregeln ρ erstreckt. 2.6 Satz. Es liege die Situation aus der vorangegangenen Definition vor. (a) Für jede Entscheidungsregel ρ gilt sup ϑ Θ X R(ϑ, ρ) = sup R π (ρ), π wobei sich das zweite Supremum über alle a priori-verteilungen π erstreckt. Insbesondere ist das Risiko einer Bayesregel stets kleiner oder gleich dem Minimaxrisiko. (b) Für eine Minimaxregel ρ gilt sup π R π (ρ) = inf ρ sup π R π (ρ ). 2.7 Definition. Definiere Ω := X Θ und P auf (Ω, F F Θ ) gemäß P(dx, dϑ) = P ϑ (dx)π(dϑ) (gemeinsame Verteilung von Beobachtung und Parameter). Bezeichne mit X und ϑ die Koordinatenprojektionen von Ω auf X bzw. Θ. 2.8 Satz. Eine Regel ρ ist Bayes-optimal, falls für P-f.a. x X gilt ρ(x) = argmin a A E P[l( ϑ, a) X = x]. 2.9 Korollar. Für Θ R, A = R und quadratisches Risiko (d.h. l(ϑ, a) = (a ϑ) 2 ) ist die bedingte Erwartung ˆϑ π := E P[ ϑ X = x] Bayes-optimaler Schätzer von ϑ bezüglich der a priori-verteilung π. 2.1 Definition. Es sei X eine (S, S )-wertige Zufallsvariable auf (Ω, F, P). Eine Abbildung K : S F [, 1] heißt reguläre bedingte Wahrscheinlichkeit oder Markovkern bezüglich X, falls (a) A K(x, A) ist Wahrscheinlichkeitsmaß für alle x S; (b) x K(x, A) ist messbar für alle A F ; (c) K(X, A) = P(A X) := E[1 A X] P-f.s. für alle A F. 2

4 2.11 Satz. Es sei (Ω, d) ein vollständiger, separabler Raum mit Metrik d und Borel-σ-Algebra F (polnischer Raum). Für jede Zufallsvariable X auf (Ω, F, P) existiert eine reguläre bedingte Wahrscheinlichkeit K bezüglich X. K ist P-f.s. eindeutig bestimmt, d.h. für eine zweite solche reguläre bedingte Wahrscheinlichkeit K gilt P( A F : K(X, A) = K (X, A)) = Definition. Die Verteilung von ϑ unter der regulären bedingten Wahrscheinlichkeit P( X = x) von P heißt a posteriori-verteilung des Parameters gegeben die Beobachtung X = x Satz. Für jede Entscheidungsregel ρ gilt: (a) Ist ρ minimax und eindeutig in dem Sinn, dass jede andere Minimax-Regel die gleiche Risikofunktion besitzt, so ist ρ zulässig. (b) Ist ρ zulässig mit konstanter Risikofunktion, so ist ρ minimax. (c) Ist ρ eine Bayesregel (bzgl. π) und eindeutig in dem Sinn, dass jede andere Bayesregel (bzgl. π) die gleiche Risikofunktion besitzt, so ist ρ zulässig. (d) Die Parametermenge Θ bilde einen metrischen Raum mit Borel-σ-Algebra F Θ. Ist ρ eine Bayesregel (bzgl. π), so ist ρ zulässig, falls (i) R π (ρ) < ; (ii) für jede nichtleere offene Menge U in Θ gilt π(u) > ; (iii) für jede Regel ρ ist ϑ R(ϑ, ρ ) stetig Korollar. Es sei X 1,..., X n eine N(µ, 1)-verteilte mathematische Stichprobe mit µ R unbekannt. Bezüglich quadratischem Risiko ist das arithmetische Mittel X = 1 n n i=1 X i zulässig und minimax als Schätzer von µ Definition. Eine Verteilung π auf (Θ, F Θ ) heißt ungünstigste a priori-verteilung zu einer gegebenen Verlustfunktion, falls inf ρ R π(ρ) = sup inf R π (ρ). π ρ 2.16 Lemma. Gilt R π (ρ π ) = sup ϑ Θ R(ϑ, ρ π ) für eine a priori-verteilung π und ihre zugehörige Bayesregel ρ π, so folgt die Sattelpunktseigenschaft π ρ : R π (ρ π ) R π (ρ π ) R π (ρ ). Weiterhin ist ρ π minimax und π ungünstigste a priori-verteilung. 2.3 Das Stein-Phänomen 2.17 Lemma. Es sei f : R d R eine Funktion, die Lebesgue-f.ü. absolut stetig in jeder Koordinate ist. Dann gilt für Y N(µ, σ 2 E d ) mit µ R d, σ >, E d = diag(1,..., 1) R d d und für alle i = 1,..., d sofern E[ f x i (Y ) ] <. E[(µ i Y i )f(y )] = σ 2 E[ f x i (Y )], 3

5 2.18 Satz. Es sei d 3 und Y 1,..., Y n eine N(µ, E d )-verteilte mathematische Stichprobe mit µ R d unbekannt. Dann gilt für den James-Stein-Schätzer ( ˆµ JS := 1 d 2 )Ȳ n Ȳ 2 mit Ȳ := 1 n n i=1 Y i, dass E µ [ ˆµ JS µ 2 ] = d n E µ [ (d 2) 2 n 2 Ȳ 2 ] < d n = E µ[ Ȳ µ 2 ]. Insbesondere ist Ȳ bei quadratischem Risiko kein zulässiger Schätzer von µ im Fall d 3! 2.19 Satz. Es sei d 3 und Y 1,..., Y n eine N(µ, E d )-verteilte mathematische Stichprobe mit µ R d unbekannt. Dann ist der James-Stein-Schätzer mit positivem Gewicht ( ˆµ JS+ := 1 d 2 Ȳ, x + := max(x, ) n Ȳ )+ 2 bei quadratischem Risiko besser als der James-Stein-Schätzer ˆµ JS. 2.4 Ergänzungen 2.2 Definition. Zu vorgegebener Verlustfunktion l heißt eine Entscheidungsregel ρ unverzerrt, falls ϑ, ϑ Θ : E ϑ [l(ϑ, ρ)] E ϑ [l(ϑ, ρ)] =: R(ϑ, ρ) Lemma. Es seien g : Θ A R und l(ϑ, ρ) = (ρ g(ϑ)) 2 der quadratische Verlust. Dann ist eine Entscheidungsregel (ein Schätzer von g(ϑ)) ĝ : X A mit E ϑ [ĝ 2 ] < und E ϑ [ĝ] g(θ) für alle ϑ Θ genau dann unverzerrt, wenn sie erwartungstreu ist, d.h. E ϑ [ĝ] = g(ϑ) für alle ϑ Θ gilt Lemma. Es sei Θ = Θ Θ 1, A = [, 1]. Für den Verlust l(ϑ, a) = l a1 Θ (ϑ) + l 1 (1 a)1 Θ1 (ϑ) ist eine Entscheidungsregel ρ (ein randomisierter Test von H : ϑ Θ gegen H 1 : ϑ Θ 1 ) genau dann unverzerrt, wenn sie zum Niveau α := l 1 l +l 1 unverfälscht ist, d.h. ϑ Θ : E ϑ [ρ] α, ϑ Θ 1 : E ϑ [ρ] α Definition. Ein Entscheidungskern oder randomisierte Entscheidungsregel ρ : X A [, 1] ist eine reguläre bedingte Wahrscheinlichkeit auf dem Aktionsraum (A, A ) mit der Interpretation, dass bei Vorliegen der Beobachtung x gemäß ρ(x, ) eine Entscheidung zufällig ausgewählt wird. Das zugehörige Risiko ist [ ] R(ϑ, ρ) := E ϑ l(ϑ, a) ρ(da) = l(ϑ, a)ρ(x, da) P ϑ (dx). A X A 2.24 Lemma. Es sei A R d konvex sowie l(ϑ, a) eine im zweiten Argument konvexe Verlustfunktion. Dann gibt es zu jeder randomisierten Entscheidungsregel eine deterministische Entscheidungsregel, deren Risiko nicht größer ist. 4

6 3 Dominierte Experimente und Suffizienz 3.1 Dominierte Experimente 3.1 Definition. Ein statistisches Experiment (X, F, (P ϑ ) ϑ Θ ) heißt dominiert (von µ), falls es ein σ-endliches Maß µ auf F gibt, so dass P ϑ absolutstetig bezüglich µ ist (P ϑ µ) für alle ϑ Θ. Die durch ϑ parametrisierte Radon- Nikodym-Dichte L(ϑ, x) := d P ϑ (x), ϑ Θ, x X, dµ heißt auch Likelihoodfunktion, wobei diese meist als durch x parametrisierte Funktion in ϑ aufgefasst wird. 3.2 Satz. Es sei (X, F, (P ϑ ) ϑ Θ ) ein dominiertes Experiment. Dann gibt es ein Wahrscheinlichkeitsmaß Q der Form Q = i=1 c i P ϑi mit c i, i c i = 1, ϑ i Θ, so dass P ϑ Q für alle ϑ Θ gilt. 3.3 Satz. Es sei (X, F, (P ϑ ) ϑ Θ ) ein dominiertes Experiment mit produktmessbarer Likelihoodfunktion L(ϑ, x). Zu vorgegebener a priori-verteilung π hat die a posteriori-verteilung von ϑ gegeben X = x folgende Dichte bezüglich π: Z π x (ϑ) = L(ϑ, x) Θ L(ϑ, x) π(dϑ ) 1 { R L(ϑ,x)π(dϑ )>}, ϑ Θ (Bayesformel). 3.2 Exponentialfamilien 3.4 Definition. Es sei (X, F, (P ϑ ) ϑ Θ ) ein von µ dominiertes Experiment. Dann heißt (P ϑ ) ϑ Θ Exponentialfamilie (in η(ϑ) und T ), wenn k N, η : Θ R k, C : Θ R +, T : X R k messbar und h : X R + messbar existieren, so dass d P ϑ dµ (x) = C(ϑ)h(x) exp( η(ϑ), T (x) Rk), x X, ϑ Θ. T wird natürliche suffiziente Statistik von (P ϑ ) ϑ Θ genannt. Sind η 1,..., η k linear unabhängige Funktionen und gilt für alle ϑ Θ die Implikation λ + λ 1 T λ k T k = P ϑ -f.s. λ = λ 1 = = λ k = (1, T 1,..., T k sind P ϑ -f.s. linear unabhängig), so heißt die Exponentialfamilie k-parametrisch. 3.5 Definition. Bildet (P ϑ ) ϑ Θ eine Exponentialfamilie (mit obiger Notation), so heißt } Z := {u R k e u,t (x) h(x)µ(dx) (, ) X ihr natürlicher Parameterraum. Die entsprechend mit u Z parametrisierte Familie wird natürliche Exponentialfamilie in T genannt. 5

7 3.6 Lemma. Bildet (P ϑ ) ϑ Θ eine (k-parametrische) Exponentialfamilie in η(ϑ) und T (x), so bilden auch die Produktmaße (P n ϑ ) ϑ Θ eine (k-parametrische) Exponentialfamilie in η(ϑ) und n i=1 T (x i) mit d P n n ϑ dµ n (x) = C(ϑ)n( ) h(x i ) exp( η(ϑ), n i=1 T (x i) R k), x X n, ϑ Θ. i=1 3.7 Satz. Es sei (P ϑ ) ϑ Z eine Exponentialfamilie mit natürlichem Parameterraum Z R k und Darstellung d P ϑ (x) = C(ϑ)h(x) exp( ϑ, T (x) ) = h(x) exp( ϑ, T (x) A(ϑ)), dµ wobei A(ϑ) = log ( h(x) exp( ϑ, T (x) )µ(dx) ). Ist ϑ ein innerer Punkt von Z, so ist die erzeugende Funktion ψ ϑ(s) = E ϑ[e T,s ] in einer Umgebung der Null wohldefiniert und beliebig oft differenzierbar. Es gilt ψ ϑ(s) = exp(a( ϑ + s) A( ϑ)) für alle s mit ϑ + s Z. Für i, j = 1,..., k folgt E ϑ[t i ] = da dϑ i ( ϑ) und Cov ϑ(t i, T j ) = 3.3 Suffizienz d2 A dϑ i dϑ j ( ϑ). 3.8 Definition. Eine (S, S )-wertige Statistik T auf (X, F, (P ϑ ) ϑ Θ ) heißt suffizient (für (P ϑ ) ϑ Θ ), falls für jedes ϑ Θ die reguläre bedingte Wahrscheinlichkeit von P ϑ gegeben T (existiert und) nicht von ϑ abhängt, d.h. k ϑ Θ, B F : k(t, B) = P ϑ (B T ) := E ϑ [1 B T ] P ϑ -f.s. Statt k(t, B) schreiben wir P (B T = t) bzw. E [1 B T = t]. 3.9 Satz (Faktorisierungskriterium von Neyman). Es sei (X, F, (P ϑ ) ϑ Θ ) ein von µ dominiertes Experiment mit Likelihoodfunktion L sowie T eine (S, S )- wertige Statistik. Dann ist T genau dann suffizient, wenn eine messbare Funktion h : X R + existiert, so dass für alle ϑ Θ eine messbare Funktion g ϑ : S R + existiert mit L(ϑ, x) = g ϑ (T (x))h(x) für µ-f.a. x X. 3.1 Korollar. Die natürliche suffiziente Statistik einer Exponentialfamilie ist in der Tat suffizient Satz (Rao-Blackwell). Es sei (X, F, (P ϑ ) ϑ Θ ) ein statistisches Experiment, A R k konvex und l(ϑ, a) eine im zweiten Argument konvexe Verlustfunktion. Ist T eine für (P ϑ ) ϑ Θ suffiziente Statistik, so gilt für jede Entscheidungsregel ρ die Risikoabschätzung ϑ Θ : R(ϑ, ρ) R(ϑ, ρ) mit ρ := E [ρ T ] Satz. Es sei (X, F, (P ϑ ) ϑ Θ ) ein statistisches Experiment und T eine suffiziente Statistik. Dann gibt es zu jedem randomisierten Test ϕ einen randomisierten Test ϕ, der nur von T abhängt und dieselbe Gütefunktion besitzt, nämlich ϕ = E [ϕ T ]. 6

8 4 Testtheorie 4.1 Neyman-Pearson-Theorie 4.1 Definition. Es sei (X, F, (P ϑ ) ϑ Θ ) ein statistisches Experiment mit Zerlegung Θ = Θ Θ 1. Jede messbare Funktion ϕ : X [, 1] heißt (randomisierter) Test. ϕ besitzt Niveau α [, 1], falls E ϑ [ϕ] α für alle ϑ Θ gilt. Die Abbildung ϑ E ϑ [ϕ] heißt Gütefunktion von ϕ. Ein Test ϕ der Hypothese H : ϑ Θ gegen die Alternative H 1 : ϑ Θ 1 ist ein gleichmäßig bester Test zum Niveau α, falls ϕ Niveau α besitzt sowie für alle anderen Tests ϕ vom Niveau α gilt ϑ Θ 1 : E ϑ [ϕ] E ϑ [ϕ ]. ϕ heißt gleichmäßig bester unverfälschter Test zum Niveau α, falls ϕ unverfälscht zum Niveau α ist sowie für alle anderen unverfälschten Tests ϕ zum Niveau α obige Ungleichung gilt. 4.2 Definition. Es sei (X, F, (P ϑ ) ϑ Θ ) ein (binäres) statistisches Experiment mit Θ = {, 1}. Bezeichnet p i, i = 1, 2, die Dichte von P i bezüglich P + P 1, so heißt ein Test der Form 1, falls p 1 (x) > kp (x) ϕ(x) =, falls p 1 (x) < kp (x) γ(x), falls p 1 (x) = kp (x) mit k R + und γ(x) [, 1] Neyman-Pearson-Test. 4.3 Satz (Neyman-Pearson-Lemma). (a) Jeder Neyman-Pearson-Test ϕ ist ein (gleichmäßig) bester Test für H : ϑ = gegen H 1 : ϑ = 1 zum Niveau E [ϕ]. (b) Für jedes vorgegebene α (, 1) gibt es einen Neyman-Pearson-Test zum Niveau α mit γ(x) = γ [, 1] konstant. 4.4 Definition. Es seien (X, F, (P ϑ ) ϑ Θ ) ein dominiertes Experiment mit Θ R und Likelihoodfunktion L(ϑ, x) sowie T eine reellwertige Statistik. Dann hat die Familie (P ϑ ) ϑ Θ monotonen Dichtequotienten (oder monotonen Likelihoodquotienten) in T, falls (a) ϑ ϑ P ϑ P ϑ ; (b) Für alle ϑ < ϑ gibt es eine monoton wachsende Funktion h(, ϑ, ϑ ) : R R + {+ } mit (Konvention a/ := + für a > ) L(ϑ, x) L(ϑ, x) = h(t (x), ϑ, ϑ ) für (P ϑ + P ϑ )-f.a. x X. 4.5 Satz. Ist (P ϑ ) ϑ Θ mit Θ R eine einparametrische Exponentialfamilie in η(ϑ) und T, so hat sie monotonen Dichtequotienten, sofern η streng monoton wächst. 7

9 4.6 Satz. Die Familie (P ϑ ) ϑ Θ, Θ R, besitze monotonen Dichtequotienten in T. Für α (, 1) und ϑ Θ gilt dann: (a) Unter allen Tests ϕ für das einseitige Testproblem H : ϑ ϑ gegen H 1 : ϑ > ϑ mit der Eigenschaft E ϑ [ϕ] = α gibt es einen Test ϕ, der die Fehlerwahrscheinlichkeiten erster und zweiter Art gleichmäßig minimiert, nämlich 1, falls T (x) > k, ϕ (x) =, falls T (x) < k, γ, falls T (x) = k, wobei k R, γ [, 1] gemäß E ϑ [ϕ ] = α bestimmt werden. (b) Dieser Test ϕ ist gleichmäßig bester Test zum Niveau α für H : ϑ ϑ gegen H 1 : ϑ > ϑ. (c) Für alle ϑ < ϑ gilt E ϑ [ϕ ] E ϑ [ϕ ], wobei in den Fällen E ϑ [ϕ ] (, 1) und E ϑ [ϕ ] (, 1) sogar die strikte Ungleichung gilt. 4.7 Satz (Verallgemeinertes NP-Lemma). Es seien (P ϑ ) ϑ Θ eine Exponentialfamilie in η(ϑ) und T, L die zugehörige Likelihoodfunktion sowie ϑ, ϑ 1 Θ zwei Parameter. Erfüllt ein Test für H : ϑ = ϑ gegen H 1 : ϑ = ϑ 1 der Form 1, falls L(ϑ 1, x) > kl(ϑ, x) + lt (x)l(ϑ, x) ϕ(x) =, falls L(ϑ 1, x) < kl(ϑ, x) + lt (x)l(ϑ, x) γ, falls L(ϑ 1, x) = kl(ϑ, x) + lt (x)l(ϑ, x) mit k, l R + und γ [, 1] die Nebenbedingungen E ϑ [ϕ] = α und E ϑ [T ϕ] = α E ϑ [T ], so maximiert er die Güte E ϑ1 [ϕ] in der Menge aller Tests, die diese Nebenbedingungen erfüllen. 4.8 Satz. (P ϑ ) ϑ Θ sei eine einparametrische Exponentialfamilie in η(ϑ) und T. Θ R sei offen, ϑ Θ und η C 1 (Θ) sei streng monoton (wachsend oder fallend) mit η (ϑ ). Für α (, 1), c 1 < c 2 und γ 1, γ 2 [, 1] erfülle der Test 1, falls T (x) < c 1 oder T (x) > c 2 ϕ (x) =, falls T (x) (c 1, c 2 ) γ i, falls T (x) = c i, i = 1, 2 die Nebenbedingungen E ϑ [ϕ ] = α und E ϑ [T ϕ ] = α E ϑ [T ]. Dann ist ϕ gleichmäßig bester unverfälschter Test zum Niveau α für H : ϑ = ϑ gegen H 1 : ϑ ϑ. 8

10 4.2 Bedingte Tests 4.9 Definition. Eine (S, S )-wertige Statistik T auf (X, F, (P ϑ ) ϑ Θ ) heißt vollständig (bezüglich Θ), falls für alle messbaren Funktionen f : S R gilt ϑ Θ : E ϑ [f(t )] = (und existiert) ϑ Θ : P ϑ (f(t ) = ) = Definition. Es sei Θ Θ. Dann heißt ein Test ϕ α-ähnlich auf Θ, wenn E ϑ [ϕ] = α für alle ϑ Θ gilt Satz. Ist T eine bezüglich Θ vollständige und suffiziente Statistik und ist ϕ ein auf Θ α-ähnlicher Test, so gilt E [ϕ T ] = α P ϑ -f.s. für alle ϑ Θ Satz. Es sei (P ϑ ) ϑ Θ eine k-parametrische natürliche Exponentialfamilie in T. Enthält Θ Θ eine offene Menge im R k, so ist T suffizient und vollständig bezüglich Θ Satz. Gegeben sei die natürliche Exponentialfamilie d P ϑ dµ (x) = C(ϑ)h(x) exp ( ϑ U(x) + k i=1 ) ϑ i T i (x), x X, ϑ Θ, sowie α (, 1) und ein Punkt ϑ im Innern von Θ. Dann ist 1, falls U(x) < K(T (x)) ϕ (x) =, falls U(x) > K(T (x)) γ(t (x)), falls U(x) = K(T (x)) mit K(t) R, γ(t) [, 1] derart, dass E ϑ [ϕ T ] = E ϑ [ϕ T ] = α P ϑ -f.s., ein gleichmäßig bester unverfälschter Test zum Niveau α von H : ϑ ϑ gegen H 1 : ϑ > ϑ (d.h. Θ = {ϑ Θ ϑ ϑ }, Θ 1 = {ϑ Θ ϑ > ϑ }) Satz. Es liege die Situation des vorigen Satzes vor. Dann ist 1, falls U(x) < K 1 (T (x)) oder U(x) > K 2 (T (x)) ϕ (x) =, falls U(x) (K 1 (T (x)), K 2 (T (x))) γ i (T (x)), falls U(x) = K i (T (x)), i = 1, 2, mit K i (t) R, γ i (t) [, 1] derart, dass E ϑ [ϕ T ] = α und E ϑ [Uϕ T ] = α E ϑ [U T ] P ϑ -f.s. ein gleichmäßig bester unverfälschter Test zum Niveau α von H : ϑ = ϑ gegen H 1 : ϑ ϑ. 9

11 4.3 Tests im Normalverteilungsmodell 4.15 Satz. Es sei X 1,..., X n eine N(µ, σ 2 )-verteilte mathematische Stichprobe mit µ R und σ > unbekannt. Für σ > ist ein gleichmäßig bester unverfälschter Test von H : σ σ gegen H 1 : σ > σ zum Niveau α (, 1) gegeben durch 1, falls 1 n ϕ σ (X 1,..., X n ) = 2 i=1 (X i X) 2 > K α, falls 1 n σ 2 i=1 (X i X) 2 K α mit dem α-fraktil K α der χ 2 (n 1)-Verteilung: K α 2 (n 1)/2 Γ((n 1)/2) z(n 1)/2 1 e z/2 dz = α Lemma. Sind Z 1,..., Z n unabhängig N(, σ 2 )-verteilt sowie f : R n R messbar mit f(cx) = f(x) für alle c >, x R n, so ist f(z 1,..., Z n ) unabhängig von n i=1 Z2 i. Insbesondere sind jeweils P Z i (Z i Z) und P Z 2 i Z2 i unabhängig von n i=1 Z2 i Satz. Es sei X 1,..., X n eine N(µ, σ 2 )-verteilte mathematische Stichprobe mit µ R und σ > unbekannt. Ein gleichmäßig bester unverfälschter Test von H : µ = µ gegen H 1 : µ µ zum Niveau α (, 1) ist gegeben durch den zweiseitigen t-test ϕ (X) = 1 { t(x) >Kα/2 }, t(x) := 1 n 1 n( X µ ) n i=1 (X i X), 2 mit dem α/2-fraktil K α/2 der t(n 1)-Verteilung : K α/2 Γ(n/2) ( 1 + z2 ) n/2dz = α/2. π(n 1)Γ((n 1)/2) n Satz. Es werden zwei unabhängige mathematische Stichproben X 1,..., X m N(µ, σ 2 ) und Y 1,..., Y n N(ν, σ 2 ) beobachtet mit µ, ν R und σ > unbekannt. Ein gleichmäßig bester unverfälschter Test von H : µ = ν gegen H 1 : µ ν zum Niveau α (, 1) ist gegeben durch ϕ (X, Y ) = 1 { t(x,y ) >Kα/2 }, ( 1 m mit t(x, Y ) := + 1 n ) 1/2 (Ȳ X) ( m i=1 (X i X) 2 + n j=1 (Y j Ȳ )2 )/(m + n 2) und dem α/2-fraktil K α/2 der t(m + n 2)-Verteilung Satz. Es werden zwei unabhängige mathematische Stichproben X 1,..., X m N(µ, σ 2 ) und Y 1,..., Y n N(ν, τ 2 ) beobachtet mit µ, ν R und σ, τ > unbekannt. Für c > ist ein gleichmäßig bester unverfälschter 1

12 Test von H : τ 2 c σ 2 gegen H 1 : τ 2 > c σ 2 zum Niveau α (, 1) gegeben durch ϕ (X, Y ) = 1 {c 1 V (X,Y )>Kα}, n j=1 mit V (X, Y ) := (Y j Ȳ )2 /(n 1) m i=1 (X i X) 2 /(m 1) und dem α-fraktil K α der F (n 1, m 1)-Verteilung: K α 5 Schätztheorie Γ((m+n 2)/2)( n 1 m 1 )(n 1)/2 Γ((m 1)/2)Γ((n 1)/2) 5.1 Momentenschätzer (1 + n 1 m 1 z (n 3)/2 z)(m+n 2)/2 dz = α. 5.1 Definition. Es seien (X n, F n, (P n ϑ ) ϑ Θ) ein statistisches (Produkt-)Experiment mit X R, F B R und g(ϑ) mit g : Θ R p ein abgeleiteter Parameter. Ferner sei ψ = (ψ 1,..., ψ q ) : R R q derart, dass ϕ(ϑ) := E ϑ [ψ] = (E ϑ [ψ j ]) j=1,...,q existiert. Gibt es nun eine Borel-messbare Funktion G : ϕ(θ) g(θ) mit 1 G ϕ = g und liegt n n i=1 ψ(x i) in ϕ(θ) für alle x 1,..., x n X, so heißt G( 1 n n i=1 ψ(x i)) Momentenschätzer für g(ϑ) mit Momentenfunktionen ψ 1,..., ψ q. 5.2 Lemma. Existiert für hinreichend großes n der Momentenschätzer ĝ n = G( 1 n n i=1 ψ(x i)) und ist G stetig, so ist ĝ n (stark) konsistent, d.h. lim n ĝ n = g(ϑ) P ϑ -f.s. 5.3 Satz ( -Methode). Es seien (X n ) eine Folge von Zufallsvektoren im R k, σ n >, σ n, ϑ R k sowie Σ R k k positiv definit und es gelte σn 1 (X n ϑ ) d N(, Σ). Ist f : R k R in einer Umgebung von ϑ stetig differenzierbar mit ( f(ϑ )) Σ f(ϑ ) >, so folgt σ 1 n (f(x n ) f(ϑ )) d N(, ( f(ϑ )) Σ f(ϑ )). 5.4 Satz. Es seien ϑ Θ, g : Θ R und für hinreichend großes n existiere der Momentenschätzer ĝ n = G( 1 n n i=1 ψ(x i)) mit Momentenfunktionen ψ j L 2 (P ϑ ), j = 1,..., q. Setze Σ(ϑ ) := (Cov ϑ (ψ i, ψ j )) i,j=1,...,q. Sofern G in einer Umgebung von ϕ(ϑ ) stetig differenzierbar ist mit σ 2 := ( G(ϕ(ϑ ))) Σ(ϑ ) G(ϕ(ϑ )) >, ist ĝ n unter P n ϑ asymptotisch normalverteilt mit Rate n 1/2 und asymptotischer Varianz σ 2 : n(ĝn g(ϑ )) d N(, σ 2 ). 11

13 5.2 Maximum-Likelihood- und M-Schätzer 5.5 Definition. Es sei (X, F, (P ϑ ) ϑ Θ ) ein von µ dominiertes Experiment mit Likelihoodfunktion L(ϑ, x). Eine Statistik ˆϑ : X Θ (Θ trage eine σ-algebra F Θ ) heißt Maximum-Likelihood-Schätzer (MLE) von ϑ, falls L( ˆϑ(x), x) = sup ϑ Θ L(ϑ, x) für P ϑ -fast alle x X und alle ϑ Θ gilt. Mit l(ϑ, x) := log L(ϑ, x) wird die Loglikelihood-Funktion bezeichnet. 5.6 Lemma. Für eine natürliche Exponentialfamilie (P ϑ ) ϑ Θ in T (x) ist der MLE ˆϑ implizit gegeben durch die Momentengleichung E ˆϑ[T ] = T (x), vorausgesetzt der MLE existiert und liegt im Innern int(θ) von Θ. 5.7 Definition. Es sei (X n, F n, (P n ϑ ) ϑ Θ) n 1 eine Folge statistischer Experimente. Eine Funktion K : Θ Θ R {+ } heißt Kontrastfunktion, falls ϑ K(ϑ, ϑ) ein eindeutiges Minimum bei ϑ hat für alle ϑ Θ. Eine Folge K n : Θ X n R {+ } heißt zugehöriger Kontrastprozess (oder bloß Kontrast), falls folgende Bedingungen gelten: (a) K n (ϑ, ) ist F n -messbar für alle ϑ Θ; (b) ϑ, ϑ Θ : K n (ϑ) Pn ϑ K(ϑ, ϑ) für n. Ein zugehöriger M-Schätzer (oder Minimum-Kontrast-Schätzer) ist gegeben durch ˆϑ n (x n ) := argmin ϑ Θ K n (ϑ, x n ) (sofern existent; nicht notwendigerweise eindeutig). 5.8 Satz. Es sei (K n ) n 1 ein Kontrastprozess zur Kontrastfunktion K. Dann ist der zugehörige M-Schätzer ˆϑ n konsistent für ϑ Θ unter folgenden Bedingungen: (A1) Θ ist ein kompakter Raum; (A2) ϑ K(ϑ, ϑ) ist stetig und ϑ K n (ϑ) ist P n ϑ -f.s. stetig; (A3) sup ϑ Θ K n (ϑ) K(ϑ, ϑ) Pn ϑ. 5.9 Satz. Es mögen die Annahmen (A1)-(A3) sowie Θ R k und ϑ int(θ) gelten. Der Kontrastprozess K n sei zweimal stetig differenzierbar in einer Umgebung von ϑ (P n ϑ -f.s.), so dass mit U n (ϑ) := ϑ K n (ϑ) (Score), V n (ϑ) := 2 ϑ K n(ϑ) folgende Konvergenzen unter P n ϑ gelten: (a) nu n (ϑ ) d N(, I(ϑ )) mit I(ϑ ) R k k positiv definit. P n ϑ (b) Aus ϑ n ϑ folgt V n (ϑ n ) Pn ϑ V (ϑ ) mit V (ϑ ) R k k regulär. Dann ist der M-Schätzer ˆϑ n asymptotisch normalverteilt. Genauer gilt unter P n ϑ : n( ˆϑn ϑ ) d N(, V (ϑ ) 1 I(ϑ )V (ϑ ) 1 ). 12

14 5.1 Satz. Ist Θ R k kompakt, (X n (ϑ), ϑ Θ) n 1 eine Folge stetiger Prozesse mit X n (ϑ) P X(ϑ) für alle ϑ Θ und stetigem Grenzprozess (X(ϑ), ϑ Θ), so gilt max ϑ Θ X n (ϑ) X(ϑ) P genau dann, wenn (X n ) straff ist, also wenn ( ) ε, η > δ > : lim sup P n X n (ϑ 1 ) X n (ϑ 2 ) ε η. sup ϑ 1 ϑ 2 <δ 5.11 Satz. Es seien (X n, F n, (P n ϑ ) ϑ Θ) n 1 eine Folge dominierter Produktexperimente mit eindimensionaler Loglikelihoodfunktion l(ϑ, x) = log( d P ϑ dµ (x)). Es gelte: (a) Θ R k ist kompakt und ϑ liegt im Innern int(θ) von Θ. (b) ϑ l(ϑ, x) = log(l(ϑ, x)) ist zweimal stetig differenzierbar in einer Umgebung U von ϑ für alle x X. (c) Für i =, 1, 2 gibt es H i L 1 (P ϑ ) mit sup ϑ Θ l(ϑ, x) H (x) und sup ϑ U i ϑ l(ϑ, x) H i(x) für i = 1, 2, x X. (d) Die Fisher-Informationsmatrix I(ϑ ) = E ϑ [( ϑ l(ϑ ))( ϑ l(ϑ )) ] ist positiv definit. Dann gilt für den MLE ˆϑ n unter P n ϑ n( ˆϑn ϑ ) d N(, I(ϑ ) 1 ). Ferner gilt die Formel I(ϑ ) = E ϑ [ 2 ϑ l(ϑ )]. 5.3 Effizienz 5.12 Definition. Für n 1 seien ˆϑ n,1 und ˆϑ n,2 Schätzer von ϑ definiert auf (X n, F n, (P n ϑ ) ϑ Θ) mit Θ R k sowie V n,i (ϑ) 1/2 ( ˆϑ n,i ϑ) d N(, E k ) für alle ϑ Θ, i = 1, 2 mit geeigneten symmetrisch, positiv-definiten Matrizen V n,i (ϑ), E k Einheitsmatrix. Dann heißt ( ˆϑ n,1 ) n 1 asymptotisch effizienter als ( ˆϑ n,2 ) n 1, falls V n,1 (ϑ) V n,2 (ϑ) (d.h. V n,2 (ϑ) V n,1 (ϑ) positiv semi-definit) für alle ϑ Θ, n 1 gilt Satz (Cramér-Rao). Es sei (X, F, (P ϑ ) ϑ Θ ) mit Θ R k ein von µ dominiertes Experiment mit Likelihoodfunktion L(ϑ, x). Ferner sei g : Θ R differenzierbar, ĝ ein erwartungstreuer Schätzer von g(ϑ) sowie ϑ h(x)l(ϑ, x) µ(dx) = h(x) ϑ L(ϑ, x) µ(dx), ϑ Θ, X X für h(x) = 1 und h(x) = ĝ(x). Ist die Fisher-Informationsmatrix I(ϑ) positiv definit, so gilt folgende untere Schranke für das quadratische Risiko von ĝ: E ϑ [(ĝ g(ϑ)) 2 ] = Var ϑ (ĝ) ( ϑ g(ϑ)) I(ϑ) 1 ϑ g(ϑ), ϑ Θ. 13

15 5.4 Nichtparametrische Dichteschätzung 5.14 Definition. Eine Funktion K : R R heißt Kern (oder Kernfunktion), falls K(x) = 1 und K L2 (R). Gilt K(x)x p dx =, 1 p P, sowie K(x)x P +1 dx <, so besitzt der Kern K die Ordnung P. Für h > setze K h (x) := h 1 K(h 1 x). Hierbei wird h als Bandweite bezeichnet Definition. Für reellwertige Beobachtungen X 1,..., X n bezeichnet ˆf h,n (x) = 1 n n K h (x X i ), i=1 x R den Kerndichteschätzer zu gegebenem Kern K mit Bandweite h > Satz. Es sei X 1,..., X n eine mathematische Stichprobe gemäß einer Dichte f. Gilt f C s (R) und besitzt der Kern K die Ordnung P s 1, so gilt für das quadratische Risiko der Kerndichteschätzung x R : E f [( ˆf h,n (x ) f(x )) 2 ] C(K, s) f (s) h s + K 2 L 2 f (nh) 1, wobei C(K, s) > nur von K und s abhängt Korollar. Setze für s 1, R > D(s, R) := {f : R R + f C s (R), f(x)dx = 1, max( f, f (s) ) R}. Dann erfüllt der Kerndichteschätzer mit einem Kern der Ordnung P s 1 und der Bandweite h(n) = Cn s/(2s+1), C > beliebig, asymptotisch: x R : lim sup n n 2s/(2s+1) sup f D(s,R) E f [( ˆf n,h(n) (x ) f(x )) 2 ] <. Insbesondere ergeben sich die Konvergenzraten n 2/3 (s=1), n 4/5 (s=2) sowie als Grenzwert für s die parametrische Rate n 1 für das quadratische Risiko. 14