Signifikanztests Optimalitätstheorie

Transkript

1 Kapitel Signifikanztests Optimalitätstheorie Randomisierte Tests In einem statistischen Modell M, A, P ϑ sei ein Testproblem gegeben: H : ϑ Θ gegen H : ϑ Θ ; wobei also durch Θ Θ Θ eine Zerlegung des Parameterbereichs gegeben ist Ein nicht-randomisierter Test ϕ ist eine Entscheidungsregel, die zwischen den beiden Hypothesen H und H entscheidet auf Grund einer Beobachtung x M : ϕ : M, A, }, P, } ; mit der Kodierung / für Entscheidung für H /H Hinsichtlich der Optimalitätstheorie für Signifikanztests ist es mathematisch vorteilhaft, den Begriff eines Tests zu relaxieren: Definition Randomisierter Test Sei ein Testproblem wie oben gegeben Ein randomisierter Test ist eine messbare Funktion ϕ : M, A [, ], B [, ] Für einen randomisierten Test ϕ heißen E ϑ ϕ für alle ϑ Θ Fehlerwahrscheinlichkeiten erster Art des Tests ϕ, und E ϑ ϕ für alle ϑ Θ Fehlerwahrscheinlichkeiten zweiter Art des Tests ϕ; die Funktion des Parameters ϑ Θ, E ϑ ϕ für alle ϑ Θ, heißt die Gütefunktion engl power function von ϕ Ein randomisierter Test ϕ heißt ein α-niveau-signifikanztest oder kurz ein α-signifikanztest, wobei α,, wenn E ϑ ϕ α ϑ Θ 8

2 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie 9 Im Folgenden lassen wir den Zusatz randomisierter Test fort und verwenden einfach die Bezeichnung Test Die ursprünglichen --wertigen Tests die für die Anwendungen natürlich am wichtigsten sind nennen wir nicht-randomisierte Tests Die Begriffe Fehlerwahrscheinlichkeiten erster / zweiter Art, α- Signifikanztest sowie Gütefunktion, die sich aus Definition speziell für nicht-randomisierte Tests ergeben, sind dieselben wie früher definiert Bemerkung: Testproblem als Schätzproblem Wir können das Testproblem auch als Schätzproblem für den --wertigen Parameter γϑ : Θ ϑ auffassen Fassen wir auf: γ : Θ G : [, ], so ist ein Schätzer für γϑ Θ ϑ dasselbe wir ein Test ϕ Wir nehmen als Verlustfunktion die absolute Abweichung, die hier Neyman-Pearson- Verlustfunktion genannt wird: Lz, ϑ z Θ ϑ z, falls ϑ Θ z, falls ϑ Θ z [, ] ϑ Θ Als Risikofunktion eines Tests ϕ ergeben sich dann die Fehlerwahrscheinlichkeiten aus Definition : Eϑ ϕ, falls ϑ Θ Rϕ, ϑ E ϑ ϕ, falls ϑ Θ Definition Gleichmäßig optimaler α-signifikanztest, engl: UMP Level-α Test Seien ein Testproblem wie oben gegeben und ein α, Ein α-signifikanztest ϕ heißt gleichmäßig optimaler α-signifikanztest, engl uniformly most powerful level-α test, wenn für jeden anderen α-signifikanztest ϕ gilt: E ϑ ϕ E ϑ ϕ ϑ Θ Einfache Hypothesen: Neyman-Pearson-Lemma Zunächst ein kleiner w-theoretischer Einschub über Quantile von W-Verteilungen auf B Borel sche Sigma-Algebra in R Mit WB sei die Menge aller W-Verteilungen auf B bezeichnet Definition 3 Quantile einer W-Verteilung P WB Seien P WB und p, Eine reelle Zahl c heißt ein p-quantil von P, wenn gilt: P, c ] p und P, c p Bemerkung: Bezeichne F die Verteilungsfunktion von P Offensichtlich, für c R und p, : c ist ein p-quantil von P F c p und F c p

3 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie Lemma 4 Die Menge aller p-quantile von P WB Seien P WB und p, Dann gilt: a Die Menge aller p-quantile von P ist ein nicht-leeres kompaktes Intervall [ c, c ], wobei c min x R : F x p } und c max x R : F x p }, und F die Verteilungsfunktion von P bezeichnet b Für c R sind die folgenden drei Bedingungen i, ii und iii äquivalent i c ist ein p-quantil von P ii Es existiert ein ρ [, ] mit P, c + ρ P c} p iii Es existiert ein ρ [, ] mit P c, + ρ P c} p Das folgende Theorem Fundamental-Lemma von Neyman & Pearson bezieht sich auf die folgende simple Situation: Gegeben sei ein statistisches Modell mit einem zwei-elementigen Parameterraum, also Θ, Θ ϑ, ϑ }, M, A, P ϑ, P ϑ ; wir betrachten das einfache Testproblem H : ϑ ϑ gegen H : ϑ ϑ Theorem 5 Neyman-Pearson-Lemma Sei ein einfaches Testproblem wie oben gegeben und α, Seien noch ein sigma-endliches Maß µ auf A und reellwertige µ-dichten f von P ϑ und f von P ϑ gegeben Dann gilt : Es existiert ein Test ϕ mit den unten genannten Eigenschaften i und ii, und jeder solche Test ist ein optimaler α-signifikanztest für das einfache Testproblem i E ϑ ϕ α ii Es existiert ein K [,, so dass ϕ x, falls f x K f x für alle x M Bemerkungen: Ein sigma-endliches Maß µ auf A und µ-dichten von P ϑj, j,, existieren immer: ZB ist µ : P ϑ + P ϑ ein endliches Maß auf A, und dieses dominiert die beiden W-Verteilungen P ϑ und P ϑ jede µ-nullmenge in A ist auch eine P ϑj -Nullmenge, j, Nach dem Satz von Radon-Nikodym existieren daher µ-dichten von P ϑj, j, Eine vollständige Formel für einen optimalen α-signifikanztest ϕ von Theorem 5 ist: ϕ x ρ, falls f x K f x x M,

4 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie wobei K [, und ρ [, ] Lösung der folgenden Gleichung sind: P ϑ f Kf + ρ Pϑ f Kf α Dh nach Lemma 4, Teil iii: K ist ein α-quantil von P q ϑ, wobei q der Dichtequotient ist, q : M R, qx : f x/f x, falls f x, falls f x 3 Verteilungsfamilien mit isotonen Dichtequotienten Die hier betrachteten statistischen Modelle beinhalten nur einen reellen Parameter, dh ihr Parameterbereich Θ ist eine Teilmenge von R, in der Regel ein Intervall Definition 6 Familie mit isotonen DQ, engl: Monotone Likelihood Ratio Seien M, A, P ϑ, mit Θ R, ein statistisches Modell und T : M, A R, B Die Verteilungsfamilie P ϑ heißt eine Familie mit isotonen Dichtequotienten in der Statistik T, wenn gilt: Es existieren ein sigma-endliches Maß µ auf A und reelle µ-dichten f ϑ von P ϑ für alle ϑ Θ mit der folgenden Eigenschaft Zu jedem Paar ϑ, ϑ Θ mit ϑ ϑ existiert eine isotone Funktion q ϑ,ϑ : R [, ] mit f ϑ x f ϑ x q ϑ,ϑ T x x f ϑ } f ϑ }, wobei hier a : für a R, a definiert sei Jetzt ein kleiner w-theoretischer Exkurs: Definition 7 Stochastische Halbordnung auf WB Seien P, Q WB und F P und F Q ihre Verteilungsfunktionen Dann wird definiert: P st Q def F P x F Q x x R Bemerkung: Offensichtlich gilt die Äquivalenz: P st Q P x, Q x, x R Wie man leicht sieht, gilt auch die Äquivalenz: Lemma 8 P st Q P [ x, Q [ x, x R Seien P, Q WB Dann sind die beiden folgenden Bedingungen i und ii äquivalent i P st Q ii E P ψ E Q ψ für jede nicht-negative isotone Funktion ψ : R R

5 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie Lemma 9 Familie mit isotonen DQ und stochastische Halbordnung Sei M, A, P ϑ, mit Θ R, ein statistisches Modell mit isotonen DQ in einer Statistik T : M, A R, B Dann ist die Familie der Verteilungen dieser Statistik, Pϑ T, ϑ Θ, stochastisch isoton, dh es gilt: P T ϑ st P T ϑ ϑ, ϑ Θ mit ϑ ϑ In einem einparametrigen statistischen Modell dh Θ R sind oft sog einseitige Testprobleme von Interesse: TP H : ϑ ϑ gegen H : ϑ ϑ, und auch ein umgekehrtes Testproblem: TP H : ϑ ϑ gegen H : ϑ ϑ Dabei ist jeweils ϑ Θ gegeben Im Testproblem TP sind also Θ, ϑ ] Θ und Θ ϑ, Θ; natürlich wird bei der Betrachtung von TP vorausgesetzt, dass Θ Entsprechendes gilt für Testproblem TP Theorem Einseitige Testprobleme für Familien mit isotonen DQ Sei M, A, P ϑ, mit Θ R, ein statistisches Modell mit isotonen DQ in einer Statistik T : M, A R, B Sei ein α, gegeben Dann gilt: Ein gleichmäßig optimaler α-signifikanztest für das Testproblem TP ist gegeben durch: ϕ x ρ, falls T x c x M, wobei c ein α-quantil von P T ϑ und ρ [, ] sind mit P T ϑ c, + ρ P T ϑ c } α Ein gleichmäßig optimaler α-signifikanztest für das Testproblem TP ist gegeben durch: ϕ x ρ, falls T x c x M, wobei c ein α-quantil von P T ϑ und ρ [, ] sind mit P T ϑ, c + ρ P T ϑ c } α

6 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie 3 Bemerkung: Im Fall, dass die Verteilung Pϑ T eine stetige Verteilungsfunktion besitzt, ist Pϑ T cj }, j,, so dass wir ρ und ρ gleich Null wählen können Dann sind also die gleichmäßig optimalen α-signifikanztests ϕ und ϕ nicht-randomisierte Tests: ϕ x, falls T x c, ϕ x, falls T x c Das Binomialmodell, das vereinfachte Normalverteilungsmodell und das Exponentialverteilungsmodell sind Beispiele für Familien mit isotonen Dichtequotienten, s Abschnitt 4 unten Die optimalen einseitigen Signifikanztests gemäß Theorem lauten wie folgt Beispiel: Einseitige Binomialtests Statistisches Modell: M,,, n}, P p Bin, p, p, Für ein gegebenes p, betrachten wir die beiden einseitigen Testprobleme ϕ x TP H : p p gegen H : p p ; TP H : p p gegen H : p p Es liegt eine Familie mit isotonen DQ in der Statistik T x x, x M,, n} vor Die gleichmäßig optimalen α-signifikanztests ϕ und ϕ für TP und TP lauten: ρ, falls x c, ϕ x ρ, falls x die kritischen Werte c und c und die Randomisierungswerte ρ und ρ sind mit Bezeichnungen: F n,p die Verteilungsfunktion und f n,p die Zähldichte der Bin, p -Verteilung } c min i,,, n} : F n,p i α, ρ F n,p c α f n,p c } c max i,,, n} : F n,p i α, ρ α F n,p c f n,p c c ; ; Die Ablehnungsbereiche der Tests ϕ und ϕ für jedes x,,, n} gilt: lassen sich auch in P-Value-Darstellungen angeben, da ϕ x F n,p x α, ϕ x F n,p x α Beispiel: Einseitige Gauß-Tests Vereinfachtes Normalverteilungsmodell: M R n, A B n, P β n Nβ, σ, β R; σ gegeben Für ein gegebenes β R betrachten wir die beiden einseitigen Testprobleme TP H : β β gegen H : β β ; TP H : β β gegen H : β β Es liegt eine Familie mit isotonen DQ in der Statistik T x n x i, x x,, x n R n vor Wegen Pβ T Nnβ, nσ

7 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie 4 sind ρ und ρ wählbar und c nβ + n σ Φ α, c nβ + n σ Φ α Wir erhalten die einseitigen Gauß-Tests: ϕ x, falls n x β σ Φ α, und ϕ x, falls n x β σ Φ α Beispiel: Exponentialverteilungsmodell Statistisches Modell: M R n, A B n, P ϑ n Exp/ϑ, ϑ, ; Für ein gegebenes ϑ, betrachten wir die beiden einseitigen Testprobleme TP H : ϑ ϑ gegen H : ϑ ϑ, TP H : ϑ ϑ gegen H : ϑ ϑ Es liegt eine Verteilungsfamilie mit isotonen DQ in der Statistik T x x x,, x n R n vor Wegen P T ϑ Gan, /ϑ sind ρ und ρ wählbar und somit: ϕ n x, falls x i c und ϕ x n, falls x i, n x i c, wobei c F Gan,/ϑ α und c F Gan,/ϑ α α-quantil und α-quantil von Gan, /ϑ Eine optisch andere Darstellung der Tests als Chi-Quadrat-Tests ist üblich: Wegen und ϕ x n ϑ F Gan,/ϑ x i F nx Gan,/ϑ α ϑ α F, falls n x ϑ Gan,/ F α und ϕ χ x n F ϑ Gan,/ϑ α, α F α, und entsprechend für ϕ χ, n n x, falls ϑ F α χ n 4 Exponentialfamilien Definition Ein-parametrige Exponentialfamilie Seien M, A, P ϑ, Θ irgendein Parameterbereich, ein statistisches Modell und T : M, A R, B sowie b : Θ R Die Verteilungsfamilie P ϑ heißt eine ein-parametrige Exponentialfamilie in b und T, wenn gilt: Es existieren ein sigma-endliches Maß µ auf A und µ-dichten f ϑ von P ϑ für alle ϑ Θ der Form f ϑ x aϑ hx exp bϑ T x, x M, ϑ Θ, mit zwei Funktionen h : M, A R, B, h, und a : Θ,

8 Norbert Gaffke: Vorlesung Mathematische Statistik, Wintersemester / Kapitel : Signifikanztests Optimalitätstheorie 5 Lemma Wenn die Verteilungsfamilie P ϑ, wobei Θ R, eine ein-parametrige Exponentialfamilie in b und T ist und die Funktion b isoton ist, dann ist die Verteilungsfamile auch eine Familie mit isotonen Dichtequotienten in T Beispiele Binomialverteilungsmodell: Die Familie Bin, p ist eine ein-parametrige Exponentialfamilie in bp ln p p, p, p,, und T x x, x,,, n} n Vereinfachtes Normalverteilungsmodell: Die Familie Nβ, σ ist eine ein-parametrige β R Exponentialfamilie in bβ β/σ, β R, und T x n x i, x x,, x n R n n 3 Exponentialverteilungsmodell: Die Familie Exp/ϑ ist eine ein-parametrige Exponentialfamilie in bϑ /ϑ, ϑ,, und T x Der Begriff der Exponentialfamilie wird verallgemeinert: n ϑ, x i, x x,, x n R n Definition 3 k-parametrige Exponentialfamilie Seien M, A, P ϑ, Θ irgendein Parameterbereich, ein statistisches Modell, k N und T T,, T k : M, A R k, B k sowie b b,, b k : Θ R k Die Verteilungsfamilie P ϑ heißt eine k-parametrige Exponentialfamilie in b und T, wenn gilt: Es existieren ein sigma-endliches Maß µ auf A und µ-dichten f ϑ von P ϑ für alle ϑ Θ der Form k f ϑ x aϑ hx exp b j ϑ T j x, x M, ϑ Θ, j mit zwei Funktionen h : M, A R, B, h, und a : Θ, Beispiel: Normalverteilungsmodell Statistisches Modell: R n, B n, n Nβ, σ β,σ R, Die Verteilungsfamilie ist eine -parametrige Exponentialfamilie in bβ, σ β σ, σ und T x n x i, n x i Beispiel: Lineares Normalverteilungsmodell Statistisches Modell: R n, B n, NBβ, σ I n, β,σ R k, mit einer gegebenen n k Matrix B, Vektoren hier als Spaltenvektoren geschrieben Die Verteilungsfamilie ist eine k + -parametrige Exponentialfamilie in bβ, σ β σ B t x und T x x t x σ