5 Konfidenzschätzung. 5.1 Einige Grundbegriffe zur Konfidenzschätzung

Transkript

1 5 Konfidenzschätzung 5. Einige Grundbegriffe zur Konfidenzschätzung Diesem Kapitel liegt das parametrische Modell {X, B X, P } mit P {P Θ} zugrunde. {Θ, B Θ } sei ein Meßraum über Θ und µ ein σ-finites Maß auf B Θ. Definition 5..: Gegeben sei eine meßbare (B X B Θ -meßbare) Abbildung S : X B Θ, wobei S von x X, jedoch nicht von einem Θ abhängt. Die Familie {S(x) x X } heißt eine Familie zufälliger Mengen (in Θ). Ist für Θ IR S(x) ein Intervall, bezeichnet mit ((x), (x)), wobei und von X X, jedoch nicht von einem Θ abhängen, so heißt S(x) ein zufälliges Intervall mit (x) und (x) als unterer bzw. oberer Grenze. Dabei kann (x) = und (x) = + gelten. Das Problem der Konfidenzschätzung für einen Parameter Θ besteht darin, eine Abbildung S : X B Θ zu finden, so dass für gegebenes α mit 0 < α < P (S(X) ) α Θ. () Definition 5..: Sei Θ IR und 0 < α <. Eine Abbildung (X) mit P ((X) ) α Θ () heißt untere Konfidenzgrenze für zum Konfidenzniveau α. Eine Abbildung (X) mit P ( (X)) α (3) heißt obere Konfidenzgrenze für zum Konfidenzniveau α. inf P ((X) ) bzw. inf P ( (X)) Θ Θ heißt Konfidenzkoeffizient.

2 Definition 5..3 Eine meßbare Abbildung ( ) : X IR, die unter der Bedingung (5..) P ((X) ) für alle < bzw. P ( (X)) für alle > minimiert, heißt gleichmäßig genaueste untere (bzw. obere) (UMA) Konfidenzgrenze für zum Konfidenzniveau α. Entsprechend heißt S(X) eine Konfidenzmenge zum Konfidenzniveau α, wenn es (5..) erfüllt. Im Fall S(x) = ((x), (x)) heißt S(X) ein Konfidenzintervall zum Konfidenzniveau α, vorausgesetzt P ((X) < < (X)) α Θ. Bemerkung : Die Aussage, liegt in S(X) mit Wahrscheinlichkeit α ist falsch. ist fest. S(X) ist zufällig. Für ein festes x X liegt entweder in S(X) oder nicht. Häufigkeitsinterpretation: S(X) enthält in einem Anteil von wenigstens α der Fälle! Definition 5..4: Eine Familie von Konfidenzmengen {S(X)} zum Konfidenzniveau α heißt eine gleichmäßig genaueste Familie (UMA) Familie von Konfidenzmengen zum Konfidenzniveau α, wenn P {S(X)enthält } P (S (X) enthält) (4) für alle, Θ und ( α)-konfidenzmengen S (X). Beispiel: X,..., X n u.i.v. N(µ, σ ). MLE für µ ist X N(µ, σ ) n σ bekannt: Aus P (c < X µ σ n < c ) = P ( X σ c n < µ < X σ c n ) = α folgt mit c = u α/ und c = u α/ = u α/ P ( X σ u α/ n < µ < X ) σ + u α/ n = α. Die Intervallänge ist L = σu α/. n Für vorgeschriebene Präzision L d ergibt sich n σ u α/ d.

3 Für σ unbekannt ist c = t n,α/, c = t n, α/ und die Intervallänge L = S n t n, α/ ist eine Zufallsvariable. Beispiel : Im obigen Beispiel sei bei unbekannten µ ein ( α)-konfidenzintervall für σ gesucht. Da (n )S /σ χ n, können wir z. B. die Grenzen χ n,α/ und χ n, α/ wählen, so daß P (χ n,α/ < (n )S < χ σ n, α/) = α oder (n )S P < σ (Xi < X) χ n, α/ χ n,α/ Beispiel 3: Im Beispiel sei eine ( α)- Konfidenzmenge für (µ, σ ) gesucht. Wir benutzen die als Boolsche Ungleichung bekannte Abschätzung P (A B) P (Ā) P ( B). { P ( X S t n, α / < µ < X S + t n, α / ) und n n (Xi X) < σ (Xi < X) χ n, α / χ α α n,α / liefert die Konfidenzmenge ( ) S S(X) = X t n, α /, X S (Xi + t n, α / X) (Xi, X) n n zum Konfidenzniveau α α. χ n, α / χ n,α / Satz 5..5: Die Statistik T : X Θ IR sei für jedes x X streng isoton (antiton) in. Sei Λ = T (X, Θ) IR das Bild von T und für jedes λ Λ besitze die Gleichung λ = T (x, ) eine eindeutige Lösung = α. Ist die Verteilung von T (X, ) unabhängig von, so kann zu jedem Niveau α (0 < α < ) ein Konfidenzintervall konstruiert werden. 3

4 Beweis: Zu beliebigem α (0, ) können Paare λ (α) und λ (α) aus Λ gewählt werden, so daß P (λ (α) < T (X, ) < λ (α)) α Θ. (5) Da die Verteilung von T (X, ) nicht von abhängt, sind λ (α) und λ (α) nicht von abhängig. Da T monoton in ist, gibt es zu jedem x X eine eindeutige Lösung bzw. von T (X, ) = λ (α) und T (X, ) = λ (α). Daraus folgt: P ( (X) < < (X) ) α Θ mit den Zufallsvariablen (X) und (X) als Intervallgrenzen. Bemerkung : Eine monotone Funktion T, deren Verteilung unabhängig von ist, läßt sich häufig finden. Ist etwa F stetig in x und monoton in, so wähle n T (X, ) = F (X i ) i= Wegen der Stetigkeit von F ist F (X i ) U[0, ]-verteilt. Damit hat die Zufalls- Variable n logt (X, ) = logf (X i ) i= (da die Summanden eine G(, )-Verteilung haben) die Verteilung G(n,), die unabhängig von ist und es können Grenzen λ und λ gefunden werden, so daß P ( logλ < logt (X, ) < logλ ) = logλ x n e x dx = α Γ(n) logλ Daraus folgt P (λ < T (X, ) < λ ) = α P ((X) < < (X)) = α Im stetigen Fall können KI s gefunden werden mit Gleichheitszeichen rechts. Bei diskreten Verteilungen ist dies i.a. nicht der Fall. 4

5 Bemerkung 3: Eine Ungleichung der Art (5..5) läßt sich auch dann finden, wenn T nicht streng isoton (antiton) ist. In diesem Fall kann die Umkehrung der Ungleichungen zu einer Menge von Intervallen in Θ anstelle eines KI führen. Bemerkung 4: Die Aussage von Satz 5..5 kann auf multivariate Parameter ausgedehnt werden. Bemerkung 5: Gilt für T (x, ) ein zentraler Grenzwertsatz und ist n genügend groß, dann kann i.a. relativ einfach ein approximatives Konfidenzintervall gefunden werden. Beispiel 4: X,..., X n seien u.i.v. mit endlicher Varianz σ. Dann gilt X n µ d n N(0, ). σ Für große n ist auch Xn µ S (X n + u α S n, X n + u α ein approximatives KI für = µ. n approx. N(0, )-verteilt. Somit ist S n ) Für große n ist unter den weiter oben angegebenen Regularitätsvoraussetzungen der MLE n ungefähr normalverteilt, d.h. d n( ML ) N(0, σ ) mit σ ϑlogf(x, ) = [E { } ] = [I()] ϑ Daraus erhält man als approximatives KI σ ( ML + u α, σ ML + u α ). n n Für große n läßt sich auch das obige σ schätzen und der Schätzer in das approximative KI einsetzen. Eine grobe Abschätzung liefert auch die Tschebyschev sche Ungleichung P ( ˆ < ε E[(ˆ ) ]) ε, 5

6 woraus man (ˆ ε E[(ˆ ) ], ˆ + ε E[(ˆ ) ]) zum Niveau ε erhält. Beispiel: X,..., X n u.i. U(0, )-verteilt. Der MLE (und minimal suffiziente Statistik) ist ˆ n = X (n) mit Dichte nx n n, 0 < t < f (n) (x) = 0,, sonst. Die Statistik T n = X (n) / hat die Dichte nt n, 0 < x < h(t) = 0,, sonst, die unabhängig von T ist. Gemäß Satz 5..5 suchen wir λ (α) undλ (α), so daß P (λ (α) < T n < λ (α)) = α n λ λ t n dt = α λ n λ n = α Es gibt viele Lösungen. Für λ = erhalten wir z.b. λ = α /n, und ein α - KI für hat die Form (X (n), X (n) α /n ). (Dies ist das kleinste KI für unter allen ( α)- Konfidenzintervallen.) 6

7 5. Konfidenzintervalle kürzester Länge In der Praxis ist man daran interessiert, zu gegebenem Konfidenzniveau ein Konfidenzintervall möglichst kleiner Länge zu finden (Präzision der Aussage). Sei T (X; ) eine Zufallsvariable, deren Verteilung nicht von abhängt. λ = λ (α) und λ = λ (α) seien so gewählt, daß P (λ < T (X; 0) < λ ) = α und es sei möglich, diese Gleichung so umzuschreiben, daß P ((X) < < ) = α. Im allgmeinen können für gegebenes T λ und λ auf viele Arten gewählt werden. Gewünscht ist eine Wahl, so daß minimal wird. Dies ist ein auf T basierendes kleinstes Konfidenzintervall. Natürlich kann es Statistiken T geben mit kleinerem kleinstem KI zu gegebenem Niveau α. Definition 5..: Eine ZV T (X; ), deren Verteilung nicht von Θ abhängt, heißt ein Pivot. Beispiel: Bei einer Stichprobe aus einer N(µ, σ ) ist bei bekannter Varianz σ (X µ) n/σ ein Pivot. Ist σ unbekannt, so ist (X µ) n/s ein Pivot. Bei einem KI für σ ist (X i µ) /σ ein Pivot, und falls σ unbekannt, ist S /σ ein Pivot. Bemerkung : Eine Alternative zur Minimierung der Länge eines gegebenen KI ist die Minmierung der erwarteten Länge E [(X) (X)]. Im allgemeinen gibt es aber kein Element der Klasse der ( α)-konfidenzintervalle, das E [(X) (X)] Θ minimiert. Die auf einem Pivot basierenden Prozeduren sind jedoch auch anwendbar beim Aufinden eines KI mit minimaler erwarteter Länge. Beispiel : Seien X,..., X n u.i. N(µ, σ )-verteilt, σ bekannt. P ivot = T µ (X) = X µ n σ 7

8 Länge L = σ n (b a), so daß α = P (a < X µ n < b) = P (X b σ < µ < X a σ n n Φ(b) Φ(a) = b e x / dx = π a b a ϕ(x)dx = α dl da = σ n ( db da ) ( ) und ϕ(b) db da ϕ(a) = 0 oder db da = ϕ(a) ϕ(b). Es gibt Lösungen ϕ(a) = ϕ(b), also a = b oder a = b. Nur letztere erfüllt ( ). kürzestes KI ist (X + u α/ σ n, X + u α/ σ n ). Länge = u α/ σ n. Bei vorgeschriebener Präzision d ergibt sich daraus n u α/ σ d. Beispiel : Im obigen Fall sei µ bekannt und ein KI kürzester Länge für σ gesucht. Pivot T (X; σ (Xi µ) ) =, T χ σ n. (Xi µ) P (a < < b) = α σ (Xi µ) P ( < σ (Xi µ) < ) = α b a L = ( a b ) (X i µ) bzgl. dl da = ( a db b da ) (X i µ) numerisch zu lösen! b a f n (t)dt = α db da = f n(a) f n (b) dl da = [ a f n (a) b f n (b) ] (X i µ) = 0 a = f n (a) b f n (b) b a = f n(a) f n (b) 8

9 5.3 Zusammenhänge zwischen dem Testen von Hypothesen und Konfidenzschätzung Sei etwa ein Test zum Niveau α von H 0 : = 0 gegeben. Ist es möglich, ein entsprechendes α KI für 0 zu konstruieren und umgekehrt? Beispiel : Für X,..., X n u.i. N(µ, σ 0) verteilt und σ 0 bekannt hatten wir das ( α)- KI (X u α σ 0 n, X + u α σ 0 n ) Ein Test ϕ verwirft die Hypothese µ = µ 0 genau dann, wenn µ 0 außerhalb dieses Intervalls liegt. D.h. wenn n X µ0 u α/, so gilt σ 0 P µ0 ( n X µ0 σ 0 u α/ ) = α und der Test ϕ ist ein α Niveau-Test für µ = µ 0 gegen H µ µ 0. Umgekehrt erzeugt eine Familie von α Niveau-Tests für die Hypothese µ = µ 0 eine Familie von Konfidenzintervallen für µ, indem man jene Werte µ 0 als Konfidenzintervall nimmt, für welche die Hypothese µ = µ 0 nicht abgelehnt werden kann. Beispiel ist ein Spezialfall eines allgemeineren Dualitätsprinzips. Im folgenden werden nur nichtrandomisierte Tests (Konfidenziintervalle) betrachtet und für H 0 : = 0 schreiben wir kurz H 0 ( 0 ) und entsprechend H ( 0 ) für die zusammengesetzte Alternative. Satz 5.3.: Sei A( 0 ) X, 0 Θ der Annahmebereich eines α Niveau- Tests für H 0 ( 0 ). Für jedes x X sei S(x) die Menge S(x) := { Θ x A()} Dann ist S(x) eine Familie von Konfidenzmengen für zum Niveau α. Ist darüber hinaus A( 0 ) Annahmebereich eines UMP-Tests für das Problem (α, H 0 ( 0 ), H ( )), dann minimiert S(X) P (S(X) ) für alle H ( 0 ) 9

10 unter allen ( α) K-Niveau Familien von Konfidenzmengen. Beweis: Es gilt S(x) x A(), so daß P (S(X) ) = P (X A()) α. Ist S (X) eine andere Familie von ( α) -Niveau Konfidenzmengen, so sei A () = {x X S (x) }. Dann gilt P {X A ()} = P {S (X) } α für jedes H ( 0 ). Da A( 0 ) Annahmebereich eines UMP-Tests für (α, H 0 ( 0 ), H ( 0 )) ist gilt, P {X A ( 0 )} P {X A( 0 )} Also P {S (X) 0 } P {X A( 0 )} = P {S(X) 0 } für alle H ( 0 ) q.e.d. Bemerkung : Eine Familie von Konfidenzmengen, die assoziert ist mit dem Annahmebereich eines UMP-Tests ist gemäß Def eine UMA-Familie zum Niveau α. Beispiel : Die Verteilung der Zufallsvariable X gehöre zu einer einparametrigen Exponentialfamilie mit λ-dichte f (x) = exp{q()t (X) + S (X) + D()}. Q sei eine nichtabnehmende Funktion von. Sei H 0 : = 0 gegen H : < 0. In diesem Fall ist der Annahmebereich eines UMP-Tests zum Niveau α für H 0 von der Form A( 0 ) = {x T (x) > c( 0 )}. Da für P (T (X) c( )) = α = P (T (X) c()) P (T (X) c()) gilt, kann c(.) als nichtabnehmend gewählt werden. Die letzte Ungleichung gilt, da die Gütefunktion eines UMP-Tests mindestens 0

11 gleich α ist. Es ist S(x) = { x A()} d.h., S(x) hat die Form (, c (T (x))) oder (, c (T (x))], wobei c definiert ist durch c (T (x)) = sup Θ { c() T (x)}. Ist z.b. f (x) = e x, x > 0 0,, sonst. dann ist T (x) = x und der Annahmebereich beim UMP-Test der Hypothese H 0 : = 0 gegen H : < 0 ist von der Form mit A( 0 ) = {x x c( 0 )} c( 0 ) = 0 log α, 0 < α <. Die UMA-Familie eines ( α) - Konfidenzintervalls ist von der Form x S(x) = { x A()} = { log } α ( ] x = 0, log, da α ( α) = P (X c()) = c() e α = e c() ln( α) = c() ln( α) = c() ln α = c() c() = ln α. [ ] x dx = e x Da UMP-Tests i.a. nicht existieren, haben wir uns im vorigen Kapitel auf c()

12 kleinere Klassen, insbesondere auf die Betrachtung von UMPU (unbiased) Tests beschränkt. Die Dualitätsbetrachtung führt von UMP unbiased Tests zu UMA - unverfälschten Konfidenzmengen. Definition 5.3.: Eine Familie {S(x)} von Konfidenzmengen für einen Parameter Θ heißt unverfälscht zum Konfidenzniveau α, wenn P {S(X) } α, = 0 (5.3.) und P {S(X) } α, Θ,. (5.3.) Ist S(X) mit der obigen Eigenschaft ein Intervall, so sprechen wir von einem unverfälschten ( α)-konfidenzintervall. Ist eine Familie unverfälschter Konfidenzmengen zum Niveau α UMA in der Klasse aller unverfälschten ( α)-konfidenzmengen, so heißt sie eine UMA unverfälschte (UMAU) Familie von Konfidenzmengen zum Niveau α. Bemerkung : Gemäß obiger Definition ist eine Familie S(X) von Konfidenzmengen für Θ zum Niveau α unverfälscht, wenn S(X) den wahren Paramter mit einer Wahrscheinlichkeit von mindestens α enthält und einen falschen Parameter mit Wahrscheinlickeit von höchstens α. S(X) enthält also wahre Parameter öfters als falsche. Satz 5.3.3: Sei A( 0 ) Annahmebereich eines UMPU α Niveau-Tests von H 0 ( 0 ) : = 0 gegen H := 0 0 Θ. Dann ist S(x) = { x A()}, x X, eine UMAU-Familie von Konfidenzmengen zum Niveau α. Beweis: Um zu sehen, daß S(X) unverfälscht ist, beachte man, daß, da A() Annahmebereich eines unverfälschten Tests ist, P {S(X) } = P {x A()} α. Um zu sehen, daß S(X) UMA ist, betrachte eine beliebige Familie S (X) unverfälschter ( α)-niveau Konfidenzmengen mit A () = {x X S (x) }. Dann gilt P {X A ()} = P {S (X) } α und A () ist Annahmebereich eines unverfälschten α Niveau-Tests. Daraus folgt P {S (X) } = P {X A ()} P {X A()} = P {S(X) }.

13 Die Ungleichung gilt, da A() Annahmebereich eines UMPU-Tests. Beispiel 3: X,..., X n u.i. N(µ, σ )-verteilt, µ und σ unbekannt. Der UMPU- Test von H 0 := µ = µ 0 gegen H := µ µ 0 ist von der Art, n(x µ 0 ) > c ϕ(x) = S 0,, sonst. Aus α = P µ=µ0 { n(x µ0 ) S } > c Daraus ergibt sich { } n(x µ0 ) A(µ 0 ) = x S t n, α/ folgt c = t n, α/. ist der Annahmebereich eines UMPU α-niveau-tests von H 0 : µ = µ 0 gegen H : µ µ 0. Aus Satz folgt, daß { S(x) = {µ x A(µ)} = X S t n, α µ X + S } t n n, α n eine UMAU Familie von Konfidenzmengen zum Niveau α ist. Bemerkung 3: Beispiel 3 und die Überlegungen zu unverfälschten Tests zeigen, daß das Konzept von der Unverfälschtheit sich besonders dort eignet, wo UMP-Tests nicht existieren. Dies ist beispielsweise der Fall, wenn Θ aus Punkten (, τ) besteht, wobei beide unbekannt sind und eine Konfidenzmenge nur für einen Parameter, etwa, gesucht wird. Der andere Parameter τ wird dann als nuisance-parameter bezeichnet. Bemerkung 4: Bereits weiter oben wurde festgestellt, daß Konfidenzintervalle kürzester Länge häufig nicht existieren. Es kann gezeigt werden, daß die Einschränkung auf die Klasse unverfälschter Konfidenzintervalle es möglich macht, zumindest für viele in der Praxis auftretende Probleme ( α)-niveau Konfidenzintervalle zu finden, die gleichmäßig kleinste erwartete Länge in der Klasse aller unverfälschten ( α)-niveau Konfidenzintervalle haben Unverfälschte Konfidenzintervalle Satz 5.4.: Sei Θ IR ein Intervall, f eine µ-dichte für X und S(X) = 3

14 ((X), (X)) eine Familie von ( α)-niveau Konfidenz(mengen)intervallen mit stochastisch endlicher Länge, d.h. sei P ( (X) (X) < ) =. Dann gilt [ (x) (x)]f (x)µ(dx) = P (S(X) )d Θ. () Beweis: Es ist = d. = Θ { } (x) E [ (X) (X)] = E d = f (x) d µ(dx) = X (x) { } = f (x)µ(dx) d = P {S(X) } d = P {S(X) } d. Satz 5.4. sagt mit anderen Worten aus, daß die erwartete Länge eines Konfidenzintervalls gleich der Wahrscheinlichkeit dafür ist, daß S(X) enthält, gemittelt über alle falschen Parameterwerte. Bemerkung : Ist S(X) eine Familie von UMAU Konfidenzintervallen zum Niveau α, dann ist die erwartete Länge von S(X) minimal. Denn die linke Seite der Gleichung (5.4.) ist die erwartete Länge, da S(X) UMAU ist (Satz 5.3.3), gleichmäßig in, bezüglich aller unverfälschter ( α)-niveau Konfidenzintervalle. Beispiel: X,..., X n u.i. N(µ, σ )-verteilt. Das Konfidenzintervall für µ, S(X) = ( X t n, α S n, X + t n, α S n ) hat kürzeste Länge und ist, da von einem UMPU-Test abgeleitet, gemäß Satz UMAU. Gemäß obiger Bemerkung ist damit die erwartete Intervallänge minimal. Die folgende Prozedur zur Bestimmung unverfälschter Konfidenzintervalle 4

15 führt häufig zum Ziel. Sei T (X, ) ein Pivot und die Gleichung P (λ (α) < T (X, ) < λ (λ) = α lasse sich umformen zu P ((X) < < (X) = α. Damit ((X) < < (X)) unverfälscht ist, muß gelten P (, ) := P ((X) < < (X)) = α, falls = () und P (, ) < α, falls. (3) Hängt P (, ) nur von einer Funktion γ von und ab, so können wir schreiben P (, α für = ) = P (γ) = (4) < α für < Damit ist P (γ) maximal für =. Im obigen Beispiel sei oder T (X, σ ) = P (λ < (n )S σ (n )S σ χ n, < λ ) = α P ((n ) S λ < σ < (n ) S λ ) = α. Dann ist ( ) P (σ, σ ) = P σ (n ) S < σ < (n ) S λ λ ( T (X, σ ) = P < γ < T (X, ) σ ) λ λ mit γ = σ σ. P (γ) = P (λ γ < T (X, σ ) < λ γ) 5

16 Damit ergibt sich aus (5.4.) und (5.4.3) P () = α (a) und P (γ) < α. λ und λ sind also so zu wählen, daß P () = α und dp (γ) dγ γ= = λ f n (λ ) λ f n (λ ) = 0 (b) (a) und (b) sind numerisch zu lösen (siehe Take & Klett, IASA 959). Die Lösung ist ein unverfälschtes ( α) KI, das auch UMAU ist. Beispiel: n =, n = 0, α = 0.0 : Länge des symmetrischen Konfidenzintervalls: [ ] χ 0,0.5 χ 0,0.95 [ = ] = 0.99 Länge des kürzesten KI mit λ = 4.350, λ = [ ] λ λ = = = D.h. das kürzeste KI ist um 5% kürzer als das symmetrische KI. 6