Konfidenzbereiche. Kapitel Konstruktion

Transkript

1 Kapitel 7 Konfidenzbereiche Wir wollen wieder eine Größe τ :Θ Σ schätzen. Jedoch wollen wir diesmal nicht nur einen Wert T (x) angeben, der uns besonders plausibel erscheint, sondern einen ganzen Bereich C(x) Σ solcher plausibler Werte, der den wahren Wert τ(ϑ) mit möglichst großer Wahrscheinlichkeit enthält. Dieses orgehen ist deshalb sinnvoll, weil die Punktschätzung keine konkrete Aussage über die Qualität des geschätzten Wertes macht. Hier hingegen können wir durch Angabe des Bereichs C(x) und durch Angabe der Wahrscheinlichkeit, dass C(x) den Wert τ(ϑ) enthält gleich eine quantifizierte Qualitätsaussage unserer Schätzung mitliefern. Definition 7. (Konfidenzbereich) Sei M =(X, A, (P ϑ ) ϑ Θ ) ein statistisches Modell und τ :Θ Σ eine zu schätzende Kenngröße. Ferner sei α [, ] vorgegeben. Jede Abbildung C : X 2 Σ mit den Eigenschaften (i) {x : C(x) τ(ϑ)} Afür alle ϑ Θ, (ii) P ϑ [{x : C(x) τ(ϑ)}] α für alle ϑ Θ, heißt Konfidenzbereich für τ zum (Fehler-)Niveau α. Ist speziell Σ R und jedes C(x) ein Intervall, so heißt C ein Konfidenzintervall. Soweit zur allgemeinen Definition. Um die Notation etwas übersichtlicher zu halten, beschränken wir uns nun auf den Fall, wo τ =id Θ, also ϑ selbst, geschätzt werden soll. 7. Konstruktion Wie konstruiert man nun solche Bereiche C(x)? Wir können die Abbildung C identifizieren mit einer Teilmenge C X Θ und setzen dann C(x) :={ϑ Θ: (x, ϑ) C} 25

2 26 Konfidenzbereiche und A(ϑ) :={x X :(x, ϑ) C}. Dann ist für jedes ϑ Θ {x : C(x) ϑ} = A(ϑ). Die Forderungen aus der Definition lauten also A(ϑ) A, P ϑ [A(ϑ)] α für alle ϑ Θ. Klar sollte A(ϑ) möglichst klein sein. Die Definition des Konfidenzbereichs macht allerdings keine Aussage zur Brauchbarkeit. Speziell ist C(x) Θ natürlich ein Konfidenzbereich für jedes Niveau. Allerdings ein völliger nutzloser. Diskreter Fall Sind nun X und Θ diskret, so können wir wie folgt vorgehen, um C zu bestimmen. Wir tragen die Zahlen P ϑ [{x}], ϑ Θ, x X, in eine Tabelle ein, x nach rechts und ϑ nach oben. Wir markieren dann in jeder Zeile (also für jedes ϑ) die n ϑ größten Werte P ϑ [{x ϑ, }] P ϑ [{x ϑ,2 }]..., so lange bis die Zeilensumme dieser Werte α erreicht: n ϑ P ϑ [{x ϑ,i }] α. Danach setzen wir A(ϑ) ={x ϑ,i : i =,...,n ϑ }. Folglich ist ist C(x) ={ϑ Θ: x {x ϑ,,...,x ϑ,n } = { ϑ Θ: der Wert P ϑ [{x}] wurde markiert. } Beispiel 7.2 In einer Urne befinden sich zehn Kugeln. Davon ist eine unbekannte Anzahl ϑ Θ = {,...,} rot, die anderen Kugeln sind weiß. Durch fünffaches Ziehen mit Zurücklegen wollen wir die Anzahl der roten Kugeln schätzen mit einem Niveau von α =.. Dabei wollen wir nur die Summe der gezogenen roten Kugeln berücksichtigen. Es ist also X = {,...,5}, P ϑ = b 5,ϑ/. Wir erhalten für die

3 7. Konstruktion 27 Wahrscheinlichkeiten P ϑ [{x}] die folgende Tabelle. k = ϑ = Wir erhalten also als Konfidenzintervalle C() = {,...,4} C() = {,...,5} C(2) = {2,...,7} C(3) = {3,...,8} C(4) = {5,...,9} C(5) = {6,...,}. Stetiger Fall Ist X R ein Intervall und hat P ϑ die Dichte f ϑ,sowähle ein Teilintervall A(ϑ) =[x ϑ,x+ ϑ ] X,wo f(ϑ) möglichst große Werte annimmt, P ϑ [A(ϑ)] = x + ϑ x ϑ f ϑ (t) dt α. Ein solches Intervall auszuwählen, ist der Idealfall. Weil das im Allgemeinen etwas kompliziert ist, werden wir solche Intervall aussuchen, wo x ϑ f ϑ(t) dt α 2 und f x + ϑ (t) dt α 2. Wir wollen etwas allgemeiner ϑ auch unstetige erteilungen (also ohne Dichte) zulassen und treffen daher die folgende Definition.

4 28 Konfidenzbereiche Definition 7.3 (Quantile) Sei P eine Wahrscheinlichkeitsverteilung auf R, und sei α (, ). Jede Zahl x R mit der Eigenschaft P[(,x]] α, P[(,x)] α heißt ein α Quantil von P. Wir schreiben Q α (P) ={x : x ist α Quantil von P}. Speziell ist ist jedes 2 Quantil ein Median. Manchmal wird ein ( α) Quantil auch α Fraktil genannt. Ist P eine erteilung mit Dichte und ist x ein α Quantil von P, so gilt sogar die Gleichheit P[(,x)] = P[(,x]] = α. Satz 7.4 Für jedes α (, ) ist Q α (P) ein nichtleeres kompaktes Intervall. Beweis Das geht ganz genau wie der Beweis von Satz 3.34 für den Fall des Medians. Bemerkung Die Aussage des Satzes ist für α {, } im Allgemeinen falsch. (Warum?) Nun wollen wir unsere Quantile auch benutzen, wenn X keine Teilmenge der reellen Zahlen ist. Zu diesem Zweck müssen wir zunächst eine geeignete Statistik T : X R finden, deren erteilung wir leicht bestimmen können, und die möglichst viel Information über das Experiment enthält. Zu jedem ϑ Θ wählen wir dann ein α 2 Quantil t ϑ Q α/2(p ϑ T ) und ein ( α 2 ) Quantil t+ ϑ Q ( α/2)(p ϑ T ), also P ϑ [T<t ϑ ] α 2, P ϑ[t >t + ϑ ] α 2. (7.) Tatsächlich brauchen wir nicht, dass t ± ϑ exakte Quantile sind, sondern nur (7.). Dies ist speziell dann wichtig, wenn wir die Quantile nicht genau ausrechnen können. Wir setzen dann C := {(x, ϑ) : T (x) [t ϑ,t+ ϑ ]}. Es dann A(ϑ) =T ([t ϑ,t+ ϑ ]) also Wir haben also den folgenden Satz gezeigt. P ϑ [A(ϑ) c ]=P ϑ [T<t ϑ ]+P ϑ[t >t + ϑ ] α. Satz 7.5 Durch C(x) :={ϑ Θ: t ϑ T (x) t+ ϑ } (7.2) wird ein Konfidenzbereich zum Niveau α definiert. Sind die Abbildungen ϑ t ϑ und ϑ t+ ϑ monoton, dann ist C(x) ein Intervall.

5 7.2 Konfidenzintervalle für die Binomialverteilung 29 Beispiel 7.6 (Normalverteilung mit bekannter arianz) Wir wollen aus n unabhängigen Beobachtungen den Erwartungswert ϑ einer Normalverteilung mit bekannter arianz σ 2 zum Niveau α schätzen. Es ist also Θ=R, X = R n, P ϑ = N n ϑ,σ 2. Als Statistik wählen wir T (x) = n (x x n ). Dann ist P ϑ T = N ϑ,σ2 /n. Sei Φ die erteilungsfunktion von N, und Φ deren Umkehrfunktion. Dann ist ( Q α/2 (P ϑ T )=ϑ + σ2 α ) n Φ ( 2 = ϑ σ2 n Φ α ) = t ϑ ( 2 Q α/2 (P ϑ T )=ϑ + σ2 n Φ α ) = t + ϑ 2. Den Wert Φ ( ) α 2 kann man in Tabellen nachgucken. Offenbar sind ϑ t ϑ und ϑ t+ ϑ monoton, also bekommen wir ein Konfidenzintervall zum Niveau α durch C(x) ={ϑ : t ϑ T (x) t+ ϑ } = [T ( (x) σ2 n Φ α ) (,T(x)+ σ2 2 n Φ α ) ]. 2 (7.3) 7.2 Konfidenzintervalle für die Binomialverteilung Wir wollen den Parameter p [, ] der Binomialverteilung b n,p schätzen. Da p jetzt unendlich viele Werte annehmen kann, ist das erfahren aus Abschnitt 7. mit der Tabelle nicht mehr ganz praktikabel. Wir wollen also gemäß (7.) für jedes p Werte x p und x + p angeben, für die gilt b n,p ({,...,x p }) α 2, b n,p({x + p +,...,n}) α 2. (7.4) Wir setzen dann C(x) :={p [, ] : x p x x + p }. (7.5) Bevor wir die Werte x ± p konkret ausrechnen, wollen wir uns der Frage zuwenden, ob dieses C(x) tatsächlich ein Intervall ist. Dazu müssen wir prüfen, dass die Abbildungen p x p und p x + p monoton wachsend sind. Die positive Antwort gibt das folgende Lemma. Lemma 7.7 Für p, p [, ], p<p und x {,...,n} ist b n,p ({x,...,n}) <b n,p ({x,...,n}). Beweis Wir benutzen ein Kopplungsargument. Seien X,...,X n unabhängig und uniform verteilt auf [, ]. Für q [, ] setzen wir X q i := [,q](x i ), i =,...,n

6 3 Konfidenzbereiche sowie S q = X q i. Dann sind X q,...,xq n unabhängig und Ber q verteilt. Also ist S q b n,q. Nach Konstruktion ist aber auch S p S p. Also ist b n,p ({x,...,n}) b n,p ({x,...,n}) =P[S p x] P[S p x] = P[S p x, S p <x] P[S p = n, S p =] = P[X i (p, p ] für alle i =,...,n] =(p p) n >. Normalapproximation Wir nehmen an, dass n so groß ist, dass wir die Approximation einsetzen können ( ) x np b n,p ({,...,x}) Φ. np( p) Es ist dann also p ± x so zu wählen, dass Φ x np x = α np x ( p x ) 2 und Φ x np+ x = α np + x ( p + x ) 2 Dann ist C(x) =[p x,p + x ] ein Konfidenzintervall für p. Wir erhalten wegen Φ (α/2) = Φ ( α/2) für p x und p + x die selbe quadrierte Gleichung (x + p ± x n) 2 = ( Φ ( α 2 ) ) 2 np ± x ( p ± x ). Auflösen ergibt (mit y := nφ ( α/2) 2 ) Wir erhalten also ein approximatives Konfidenzintervall durch mit p ± x aus (7.6). p ± x = 2nx + y ± 4nxy + y 2 4yx 2 2n 2. (7.6) +2y C(x) :=[p x,p + x ] (7.7)

7 7.2 Konfidenzintervalle für die Binomialverteilung 3 Quantile der Betaverteilung Definition 7.8 Für m, n > sei B(m, n) = t m ( t) n dt das Eulersche Betaintegral. Die erteilung β m,n auf [, ] mit Dichte f(x) = heißt Betaverteilung mit Parametern m und n. B(m, n) xm ( x) n Lemma 7.9 Für m, n N ist B(m, n) = (m )! (n )!. (m + n )! Beweis Das hatten wir schon in (6.2) gezeigt. Satz 7. Für n N und x {,...,n} ist b n,p ({x,...,n}) =β x,n x+ ([,p]). (7.8) Beweis Seien X,...,X n und S p wie in Lemma 7.7. Sei N = { #{X,...,X n } = n } das Ereignis, dass keine zwei Zufallsvariablen den selben Wert annehmen. Da die Zufallsvariablen unabhängig sind und eine Dichte haben, hat N die Wahrscheinlichkeit : P[#{X,...,X n } = n] =. P[X i = X j ] i,j= i,j= dt i dt j {ti=t j} Ferner sei Π n die Gruppe der Permutationen {,...,n} {,...,n} mit neutralem Element id. Außerdem sei Π x n := {σ Π n : σ(x) =x, σ(i) <ifür alle i<x}. Offenbar lässt sich jedes σ Π x n in genau einer Weise durch σ Π x, σ 2 Π n x darstellen: σ (i), i < x, σ(i) = x, i = x, x + σ 2 (i x), i > x. Speziell ist #Π x n =#Π x #Π n x =(x )! (n x)!. Dann sind die Ereignisse A σ := { X σ() <X σ(2) <...<X σ(x) p<x σ(x+) <...<X σ(n) }, σ Πn,

8 32 Konfidenzbereiche disjunkt und Ferner ist {S p x} N = σ Π n A σ. A σ = {max(x,...,x x ) X x min(x x+,...,x n )} {X x p} N. σ Π x n Aus Symmetriegründen ist für jedes σ Π n Also ist P[S p x] = P[A σ ] σ Π n = n! P[A id ] = n! (x )! (n x)! σ Π x n P[A σ ]=P[A id ]. P[A σ ] = B(x +,n x) P[ max(x,...,x x ) X x min(x x+,...,x n ) und X x p ] p ( tx tx )( ) = dt x dt dt x dt x+ dt n B(x +,n x) t x t x p = t x x ( t x ) n x dt x B(x +,n x) = β x,n x+ ([,p]). Korollar 7. Für den Erfolgsparameter p der Binomialverteilung b n,p erhalten wir bei Beobachtung von x {,...,n} ein Konfidenzintervall zum Niveau α durch C(x) = [ Q α/2 (β x,n x+ ),Q α/2 (β x+,n x ) ] = [ Q α/2 (β x,n x+ ), Q α/2 (β n x,x+ ) ] (7.9) Diese Darstellung des Konfidenzintervalls ist deshalb so nützlich, weil die Quantile der Betaverteilung tabelliert sind und auch numerisch sehr leicht bestimmt werden können. Beweis Die zweite Gleichheit folgt direkt aus der Symmetrie der Betaverteilung β m,n ([,p]) = β n,m ([ p, ]). Setze nun und Dann ist p x = Q α/2 (β x,n x+ ), p + x = Q α/2 (β x+,n x ) x p = min{x : p + x p}, x + p = max{x : p x p}. A(p) ={x p,...,x + p } = {x : C(x) p}.

9 7.3 Normalverteilung mit unbekannter arianz 33 Es reicht also zu zeigen, dass und b n,p ({x + p +,...,n}) α 2 b n,p ({,...,x p }) α 2 (7.) (7.) Für x>x + p ist p<p x also nach Satz 7. b n,p ({x,...,n}) =β x,n x+ ([,p]) < α 2. Analog ist für x<x p dann p>p + x, also b n,p ({,...,x}) = β x+,n x ([,p]) < α Normalverteilung mit unbekannter arianz Wir haben bereits in Beispiel 7.6 das Konfidenzintervall für den Erwartungswert der Normalverteilung bei bekannter arianz σ 2 kennen gelernt (siehe (7.3)). Das Ziel dieses Abschnitts ist es, ein entsprechendes Konfidenzintervall für den Erwartungswert anzugeben, wenn die arianz nicht bekannt ist. Wir müssen hierzu weiter ausholen und verschiedene erteilungen definieren, sowie deren Zusammenhang mit der Normalverteilung diskutieren. Definition 7.2 Seien Y,Y,...,Y n unabhängig und N, verteilt. (i) Die erteilung von S n := Y Y 2 n heißt Chi-Quadrat erteilung mit n Freiheitsgraden, kurz χ 2 n. (ii) Die erteilung von Y n S n heißt t-erteilung mit n Freiheitsgraden, kurz t n. (iii) Für a, t > ist die Gammaverteilung mit Formparameter t und Größenparameter a, kurz Γ a,t erteilung, diejenige erteilung auf [, ) mit Dichtefunktion f a,t (x) = Dabei ist Γ(t) = x t e x dx die Gammafunktion. at Γ(t) xt e ax, x. (7.2) Satz 7.3 (ii) Es gilt (i) Für a, s, t > ist Γ a,t Γ a,s =Γ a,s+t. (7.3) χ 2 n =Γ 2, n 2. (7.4)

10 34 Konfidenzbereiche (iii) Die t n erteilung hat die Dichte f n (x) = Dabei ist B(s, t) = xs ( x) t dx. (iv) Es gilt ( ) (n+)/2 B ( n 2, ) + x2, x R. (7.5) 2 n n N, =w lim n t n. (7.6) Beweis Dies findet man in den einschlägigen Lehrbüchern. Sei A eine orthogonale (reelle) n n Matrix, wir schreiben A O(n), das heißt, die Zeilenvektoren bilden eine Orthonormalbasis des R n. Dann ist bekanntermaßen det(a) {, +} und ebenfalls A O(n). Für jedes x R n ist Ax R n definiert durch (Ax) i = n j= A i,jx j. Bekanntermaßen ist Ax 2 = x 2 und A y 2 = y 2 für alle x, y R n. Wir definieren nun für einen Zufallsvektor X =(X,...,X n ) T den Zufallsvektor Y =(Y,...,Y n ) T = AX eben durch Y i = A i,j X j. j= Lemma 7.4 Sind X,...,X n unabhängig und N,σ 2 verteilt, und ist A O(n) sowie Y = AX, so sind Y,...,Y n unabhängig und N,σ 2 verteilt. Beweis Die erteilung von X hat als Dichte f X, das Produkt der Dichten f Xi der P Xi, also f X (x) = n f Xi (x i ) n = (2πσ 2 ) /2 e x2 i /2σ2 ( ) =(2πσ 2 ) n/2 x 2 i exp 2σ 2 ( ) =(2πσ 2 ) n/2 exp x 2 2 2σ 2. Die Dichtetransformationsformel (Satz.56) liefert nun die Dichte f Y von Y f Y (y) = f X(A y) det(a) =(2πσ 2 ) n/2 exp ( A y 2 2 2σ 2 ( =(2πσ 2 ) n/2 exp y 2 2 2σ 2 = f X (y). ) ) Da Y die selbe Dichte wie X hat, gilt P X = P Y. Das ist aber die Behauptung.

11 7.3 Normalverteilung mit unbekannter arianz 35 Lemma 7.5 Es existiert eine orthogonale Matrix A O(n) mit A,j = n, j =,...,n. Beweis Setze a = (n /2,...,n /2 ) T, a 2 = (,,,...,), a 3 = (,,,,...,) T,..., a n = (,...,, ) T. Wende auf diese ektoren das Gram-Schmidt Orthonormalisierungsverfahren an. So erhält man eine Orthonormalbasis â,...,â n, wobei â = a. Setze nun A i,j =â i j. Als erwartungstreue Schätzer für Erwartungswert µ und arianz σ 2 der Normalverteilung hatten wir berechnet M = X i n = n (X i M) 2. Satz 7.6 Seien X,...,X n unabhängig und N µ,σ 2 verteilt. Dann gilt: (i) M und sind unabhängig. (ii) M N µ,σ2 /n und n σ 2 χ 2 n. (iii) T µ := n(m µ) t n. (7.7) Beweis Ohne Einschränkung können wir annehmen, dass µ =gilt. (i) Wähle nun A wie in Lemma 7.5 und Y = AX. Dann ist M = Y, n und (wegen Y 2 2 = X 2 2) = n = n = n = n (X i M) 2 Xi 2 n n M 2 i=2 Yi 2 n n Y 2 i. Da Y,...,Y n unabhängig sind, sind M und unabhängig. n Y 2

12 36 Konfidenzbereiche (ii) Klar ist M N,σ 2 /n.day 2,...,Y n N,σ 2 ist, folgt (ii). (iii) Offenbar ist nm = Y. Nach (i) und (ii) sind (σ 2 ) /2 nm N, und (σ 2 ) (n ) χ 2 n unabhängig, also ist T = (σ2 ) /2 nm t n (σ2 ) nach Definition der t n erteilung (Definition 7.2), es folgt also (iii). Wir wollen nun das Schätzproblem betrachten. Sei M =(R n, B(R n ), (N n µ,σ ) 2 (µ,σ2 ) R [, )). Unser Ziel ist es, ein Konfidenzintervall für µ anzugeben. Die Statistik n (M(x) µ) T µ (x) := (x) hat eine von σ 2 nicht abhängende erteilung und eignet sich daher zur Konstruktion eines Konfidenzintervalls. Satz 7.7 (Konfidenzintervall für die Normalverteilung bei unbekannter arianz) Seien M =(R n, B(R n ), (N n µ,σ 2 ) (µ,σ 2 ) R [, )), M(x) = n x i, (x) = n (x i M(x)) 2. Sei α (, ) und Q α (t 2 n ) = Q α (t 2 n ) das ( α 2 ) Quantil der t n erteilung. Dann definiert [ ] (x) C(x) = M(x) Q α (t (x) n 2 n ), M(x)+ Q α (t n 2 n ) (7.8) ein Konfidenzintervall für µ zum Niveau α. Beweis Es gilt P µ,σ 2[C(X) µ] [ = P µ,σ 2 µ<m =2P µ,σ 2 [ µ<m ] [ ] Q α (t n 2 n ) + P µ,σ 2 µ>m+ Q α (t n 2 n ) ] Q α (t n 2 n ) =2P µ,σ 2 [ ] n (M µ) >Q α (t 2 n ) wobei wir im letzten Schritt Satz 7.6(iii) ausgenutzt haben. =2 α 2 = α,