Mathematische Statistik Teil III Testen

Transkript

1 Mathematische Statistik Teil III Testen R. Kovacevic 1 1 Institut für Statistik und Decision Support Systeme Universität Wien Wintersemester 2009

2 Dieses Werk ist urheberrechtlich geschützt. Jede Vervielfältigung ohne Zustimmung des Autors ist verboten.

3 Gliederung 1 Likelihood-Ratio Statistik 2 Bayesianische

4 Gliederung 1 Likelihood-Ratio Statistik 2 Bayesianische

5 Likelihood Ratio Statistik Im folgenden betrachten wir parametrische Modelle P θ wobei θ ein Parameter der Dimension p mit wahrem Wert θ 0 ist. ˆθ sei der Maximum-Likelihoodschätzer für θ 0. Denition Die Likelihood-Ratio Statistik ist dann durch W (θ 0 ) = 2 log L(θ 0) L (ˆθ ) = 2 [ ] l(ˆθ) l(θ 0 ) gegeben. Satz Die Likelihood-Ratio Statistik konvergiert unter den Regularitätsbedingungen in Verteilung gegen eine χ 2 p verteilte Zufallsvariable: wenn I (θ 0 ). W (θ 0 ) D χ 2 p, Für eindimensionale Verteilungen: χ 2 1

6 Pivots Beobachtung: Die Likelihood-Ratio Statistik ist eine zufällige Funktion von θ 0, deren (asymptotische) Verteilung nicht von θ abhängt... Denition Ein exaktes Pivot ist eine Funktion der Daten und des wahren Parameters, deren Verteilung bekannt ist, also nicht vom unbekannten wahren Parameter abhängt. Ein näherungsweises Pivot ist eine Funktion der Daten und des wahren Parameters, deren asymptotische Verteilung bekannt ist, also nicht vom unbekannten wahren Parameter abhängt. Exakte Pivots sind rar, aber asymptotische Pivots sind sehr häug. Die Likelihood-Ratio Statistik ist also ein asymptotisches Pivot.

7 Pivots und Kondenzbereiche Pivots spielen eine wichtige Rolle bei der Konstruktion von Kondenzintervallen. Vorgehensweise für eindimensionale Parameter, zweiseitiges (1 α) Kondenzintervall: Sei T (θ) ein Pivot mit] Verteilung P[T (θ 0 ) t] = F (t) [t α2 T (θ 0 ) t 1 α2 P P [t α2 T (θ 0 ) t 1 α2 ] = 1 α = 1 α, wobei t γ = F 1 (γ) Auösen der Ungleichung t α 2 T (θ 0 ) t 1 α nach 2 θ gibt einen Kondenzbereich für θ. Interpretation: Ein Zufallsexperiment (zb. mit Daten X 1,...,X n ) liefert ein Pivot, das die Konstruktion eines Kondenzbereiches erlaubt. Bei oftmaliger Wiederholung des Experimentes, würde der Kondenzbereich den wahren Parameter θ 0 mit Wahrscheinlichkeit 1 α überdecken.

8 Kondenzintervalle für ˆθ Die Likelihood-Ratio Statistik ist ein asymptotisches Pivot und kann somit zur Konstruktion von Kondenzintervallen für θ 0 verwendet werden. Wenn asymptotisch W (θ 0 ) χ 2 gilt und c p p(1 α) das 1 α-quantil der χ 2 p Verteilung bezeichnet, dann gilt P [W (θ 0 ) c p (1 α)] = 1 α und { K = θ : l(θ) l(ˆθ) 1 } 2 c p(1 α) ist ein 1 α-kondenzbereich für θ 0. Ein einfacher Test für die Hypothese θ 0 H 0 : Lehne die Hypothese ab, falls H K = /0.

9 Parameters of Interest Bisher haben wir stets alle Komponenten eines Parametervektors gleichwertig behandelt. Nun: θ T = ( ψ T,λ T ), wobei ψ (p 1) die primär interessanten Parameterkomponenten (parameter od interest) enthält. λ (q 1) heisst auch nuisance-parameter. Das Hauptaugenmerk liegt auf ψ, aber λ kann nicht vermieden werden...

10 Genestete Modelle Denition Zwei Modelle heissen genestet, wenn eines der beiden Modelle sich auf das andere reduziert, wenn ein Teil der Parameter xiert wird. Ein Modell mit Parametern (ψ 0,λ)ist in das allgemeinere Modell mit Parametern (ψ, λ) genestet. Die Parameterräume sind dann Ψ 0 Λ und Ψ Λ. Für das restriktivere Modell bezeichnet λ ψ0 jenen Wert von λ der die Log-Likelihood l(ψ 0,λ)maximiert. Der Schätzer ˆλ maximiert die Likelihood über beide Parameterteile: l( ˆψ,ˆλ). Es gilt: l( ˆψ,ˆλ) l(ψ 0,ˆλ)

11 Verallgemeinerte Likelihood-Ratio Statistik Eine natürliche Statistik um zwei genestete Modelle zu vergleichen: { } W p (ψ 0 ) = 2 l( ˆψ,ˆλ) l(ψ 0,ˆλ) Auch wenn nuisance-parameter geschätzt werden, folgt die Likelihood-Ratio Statistik unter den Regularitätsbedingungen asymptotisch einer χ 2 Verteilung: W p (ψ 0 ) D χ 2 p Die Funktion l p (ψ) = max l(ψ,λ) = l(ψ,ˆλ ψ ) λ heiÿt Prol-Log-Likelihood. (1 α)kondenzbereiche für ψ 0 sind durch die Menge { ψ : l p (ψ) l p ( ˆψ) 1 } 2 c p(1 α) gegeben.

12 Modellanpassung Bisher haben wir stets angenommen, dass das Modell bis auf den Parameterwert bekannt ist. In der Praxis ist das aber selten der Fall und es ist wichtig, die Modellannahmen zu Überprüfen. Eine Vorgehensweise ist es, das Untersuchte Modell in ein gröÿeres Modell (mit mehr Parametern) zu nesten und zu untersuchen, ob das gröÿere Modell signikant besser an die Daten angepasst ist. Idee: Wir suchen einen möglichst guten t, aber auch mit möglichst wenig zu schätzenden Parametern! Durch eine solche Vorgehensweise kann natürlich das RIsiko eines fundamentalen Fehlers in der spezizierten Modellklasse nicht beseitigt werden...

13 Modellanpassung Eine Vorgehensweise ist wiederum der Vergleich der verallgemeinerten Likelihood-Ratio Statistik. Alternative: Der Score-Test ψ hat Dimension p und[ λ hat Dimension ] q Wir schreiben I ψ,λ = E 2 l, etc. λ ψ T Idee: Wenn das restringierte ) Modell stimmt, sollte die maximale Log-Likelihood l (ψ 0,ˆλ ψ0 nicht zu stark in Richtung ψ ansteigen: ) Der Gradient l(ψ,λ), ausgewertet in (ψ ψ 0,ˆλ ψ0 sollte klein sein... ( ) Asymptotisch gilt: l ψ 0,ˆλ ψ ( ) 0 N ψ p 0,I ψψ I ψλ I 1 λλ I λψ Daraus folgt (asymptotisch): ) ) l (ψ 0,ˆλ ψ0 ( ) l (ψ 0,ˆλ I ψψ I ψ T ψλ I 1 ψ0 λλ I λψ χ 2 p ψ

14 Gliederung Likelihood-Ratio Statistik Bayesianische 1 Likelihood-Ratio Statistik 2 Bayesianische

15 Testproblem Likelihood-Ratio Statistik Bayesianische Statistisches Experiment: ( Ω,Σ,(P θ ) θ Θ ) Welches θ? Ein Testproblem liegt vor, wenn die Menge der möglichen Verteilungen (P θ ) θ Θ in zwei disjunkte Teilmengen P 0 und P 1 zerfällt und die Frage beantwortet werden soll, ob die tatsächliche Verteilung P θ0 aus P 0 oder aus P 1 stammt. P 0 heiÿt auch (Null-)Hypothese und P 1 Alternative oder Alternativhypothese. Ein Experiment heisst binär, wenn sowohl P 0, als auch P 1 jeweils genau eine Verteilung enthalten: (Ω,Σ,{P.Q})

16 Erwartungswerte: Schreibweise Bayesianische Im Folgenden setzen wir stets voraus, dass P θ eine Dichte bezüglich eines Wahrscheinlichkeitsmaÿes ν besitzt. E Pθ [h (X )] = h(x) dp θ (x) = h(x)f θ (x) dν(x) Spezialfälle: 1 Ω = R n, ν ist das Lebesguemaÿ, P hat die Lebesguedichte f : h(x)dp(x) = h(x)f (x)dx =... h(x 1,...,x n )f (x 1,...,x n )dx Ω = N 0, ν ist ein Zählmaÿ, f (i) eine Zähldichte h(x) dp(x) = h(i)f (i)

17 Testfunktion Likelihood-Ratio Statistik Bayesianische Denition Eine Abbildung ϕ : Ω [0,1] heiÿt Testfunktion oder kurz Test. Randomisierung nicht-randomisierte Testfunktion: Ω {0, 1} randomisierte Testfunktion: Ω [0, 1] Interpretation: ϕ (x) = 0= Entscheidung für Nullhypothese P 0 ϕ (x) = 1= Entscheidung für Alternative P 1 0 < ϕ (x) < 1= Entscheidung für Alternative P 1 mit Wahrscheinlichkeit ϕ (x)

18 Testfehler Likelihood-Ratio Statistik Bayesianische Denition Testfehler: 1 Fehler erster Art: Entscheidung für die Alternative Q (d.h. ϕ (x) = 1), obwohl P die wahre Verteilung ist. Die Wahrscheinlichkeit des Fehlers erster Art ist durch α (ϕ,p) = ϕ(x) dp(x) gegeben. 2 Fehler zweiter Art: Entscheidung für die Nullhypothese P (d.h. ϕ (x) = 0), obwohl Q die wahre Verteilung ist. Die Wahrscheinlichkeit des Fehlers erster zweiter Art ist durch β (ϕ,q) = (1 ϕ(x)) dq(x) gegeben. 3 Die Güte (power) eines Tests beträgt p(ϕ,q) = 1 β (ϕ,q) = ϕ(x) dq(x)

19 Testparadigmen Likelihood-Ratio Statistik Bayesianische Es gibt zwei grundlegende Herangehensweisen, um Tests für das binäre Testproblem zu konstruieren. 1 : Ein Signikanzniveau α wird fest vorgegeben. Gesucht wird dann ein ϕ mit s.t. ϕ(x) dq(x) ϕ(x) dp(x) max α 2 Bayes-: Sei 0 λ 1 eine a-priori Gewichtung der beiden Ziele. Gesucht wird dann ein ϕ mit (1 λ) ϕ(x) dp(x) + λ (1 ϕ(x)) dq(x) min ϕ

20 Neyman-Pearson Tests Bayesianische Sei (Ω, Σ,(P, Q)) ein statistisches Experiment. P habe Dichte f und Q habe Dichte g. Bereiche: N = {x : f (x) = 0 g(x) > 0} M = {x : f (x) = 0 g(x) > 0} A = {x : f (x) = 0 g(x) > 0}

21 Neyman-Pearson Tests Bayesianische Denition Nicht randomisierte Neyman-Pearson Tests haben die Form ϕ(x) = 0 für X M ϕ(x) = ϕ(x) = 1 für X N { 1 falls g(x) f (x) > γ 0 sonst für X A und ein γ > 0 N (P, Q) bezeichnet die Familie der Neyman Pearson Tests mit Hypothesen P und Q.

22 Neyman Pearson Tests Bayesianische Satz Wenn ϕ N (P,Q) ein Neyman-Pearson Test ist, so gilt 1 0 ϕ dp 1 P (M) 2 Sei ψ ein beliebiger anderer Test, so gilt ϕ dq [ ψ dq γ ϕ dp ψ dp ] 3 Q (N) ϕ dq 1

23 Neyman Pearson Tests randomisiert Bayesianische Denition Randomisierte Neyman-Pearson Tests haben die Form ϕ(x) = 0 für X M ϕ(x) = 1 für X N 1 falls g(x) f (x) > γ ϕ(x) = b(γ) falls g(x) f (x) = γ 0 sonstfalls g(x) f (x) < γ für X A und ein γ > 0 Konstruktion von Tests die genau den vorgeschriebenen Fehler 1. Art erreichen Konvexizierung der Menge aller Tests: Wenn ϕ 1 und ϕ 2 Tests sind, so ist auch λϕ 1 + (1 λ)ϕ 2 für 0 λ 1 ein randomisierter Test.

24 Neyman-Pearson Lemma Bayesianische Satz (Lemma) Für jedes 0 α 1 P(M) gibt es einen (randomisierten) Neyman-Pearson Test zum Niveau (Fehler 1. Art) α. Satz (Neyman-Pearson Lemma) Sei ϕ ein Neyman-Pearson Test und ψ ein beliebiger anderer Test. 1 Falls ψ dp ϕ dp so folgt ψ dq ϕ dq. 2 Falls ϕ dq ψ dq so folgt ϕ dp ψ dp. 3 Also gilt: ϕα dq = sup{ ψ dq : ψ ist ein Test mit ψ dp α}

25 Beste Tests Likelihood-Ratio Statistik Bayesianische Denition Ein test ϕ heisst bester Test (most powerful), falls es keinen Test ψ gibt mit ϕ dp ψ dp und ϕ dq ψ dq. In diesem Sinne sind alle Neyman-Pearson Tests beste Tests.

26 Gütefunktion Likelihood-Ratio Statistik Bayesianische Verteilung des Likelihoodquotienten unter der Alternative P: GP (γ) = P ( ) g(x ) f (X ) γ Fehler 1. Art: 1 GP (γ) = α Verteilung des Likelihoodquotienten unter der Alternative Q: GQ (γ) = Q ( ) g(x ) f (X ) γ Fehler 2. Art: Gütefunktion GQ (γ) 1 GQ (γ)

27 Bemerkungen Likelihood-Ratio Statistik Bayesianische Neyman-Pearson Tests beruhen auf dem Dichtequotienten T (x) = g(x) f (x) als Teststatistik. Dieser spielte auch im Likelihood-ratio Kapitel eine wirkliche Rolle. Dort ging es allerdings aum asymptotische Tests/Kondenzintervalle, während in der Neyman-Pearson die Verteilung des Quotienten bei endlichem Stichprobenumfang entscheidend ist. Es gibt zwei Versionen der Ablehnregel: Ablehnung von H 0, falls T (X ) > γ(α) mit Randomisierung für den Fall T (X ) = γ(α). Ablehnung von H 0, falls 1 F (T (X )) < α, wobei F die Verteilungsfunktion des Dichtequotienten unter P ist. Dieses Vorgehen wird insbesondere in statistischen Programmpaketen gewählt: Der ausgegebene Wert ist 1 F (T (X )), die Überschreitungswahrscheinlichkeit, oder p-wert des Tests. Dabei wird zu jedem gegebenen α automatisch der konservative Test ausgeführt, es wird keine Randomisierung vorgenommen.

28 Eziente Randfunktion Bayesianische Denition Unter der (ezienten) Randfunktion des Testproblems versteht man } h(α) = sup{ ϕ dq : ϕ dp α. Satz ( Falls P Q, so gilt h(α) = 1 G Q G 1 (1 α)) P (Lemma) Die eziente Randfunktion hat folgende Eigenschaften: 1 h ist strikt monoton wachsend in [0,1 P (M)] 2 h ist nichtnegativ, konkav und stetig 3 h(0) = Q(N) und h(α) = 1 für α 1 P(M)

29 Bayes Test Likelihood-Ratio Statistik Bayesianische Sei 0 λ 1 eine a-priori Gewichtung der beiden Ziele. Gesucht wird dann ein ϕ mit (1 λ) ϕ(x) dp(x) + λ (1 ϕ(x)) dq(x) min (1) ϕ Satz (Lemma) Die Lösung ϕ des Optimierungsproblems (1) ist durch den Neyman-Pearson Test { ϕ 1 falls g > 1 λ f (x) = λ 0 falls g 1 λ f λ gegeben.

30 Fehlerfunktion Likelihood-Ratio Statistik Bayesianische Denition Die bayesianische Fehlerfunktion k(λ) eines binären Testproblems (P,Q) ist durch { } k(λ) = inf (1 λ) ϕ(x) dp(x) + λ (1 ϕ(x)) dq(x) ϕ gegeben. Entspricht dem Bayes-Risiko (Entscheidungstheorie)

31 Bayesianische Denition Ein Testexperiment ( ) Ω,Σ,H 0 :.{P θ } θ Θ0 H 1 : {Q θ } θ Θ1 wird als Testexperiment mit zusammengesetzten Alternativen bezeichnet. Insbesondere: H 0 : θ θ 0, H 1 : θ > θ 0 etc. Problem: Die Testfehler und alle darauf beruhenden Begrie hängen jetzt prinzipiell noch von unterschiedlichen Werten die in Null- und Alternativhypothese möglich sind, ab.

32 Denitionen Likelihood-Ratio Statistik Bayesianische Denitionen Sei ϕ ein Test für das Problem H 0 :.{P θ } θ Θ0 1 ϕ hat Niveau (level) α, falls max θ Θ 0 ϕ dp θ = α. H 1 : {Q θ } θ Θ1 2 Die Gütefunktion (power function) von ϕ ist θ ϕ dp θ. 3 Ein Test ϕ heiÿt unverfälscht (unbiased), wenn er Niveau α hat und ϕ dp θ α, θ Θ 1

33 Denitionen Likelihood-Ratio Statistik Bayesianische Denitionen Sei ϕ ein Test für das Problem H 0 :.{P θ } θ Θ 0 H 1 : {Q θ } θ Θ 1 1 ϕ wird als gleichmäÿig bester Test (uniformly most powerful test - UMP) zum Niveau α bezeichnet, falls { } ϕ dp θ = sup ψ dp θ : ψ dp θ α θ Θ 0 θ Θ 1 ψ 2 ϕ heiÿt zulässig (admissible), falls es keinen Test ψ mit Niveau α gibt mit ϕ dp θ ψ dp θ θ Θ 1 und ϕ dp θ < ψ dp θ für mindestens ein θ Θ 1. 3 ϕ heiÿt Maximin-Test, falls { } { { } } inf ϕ dq θ = sup inf ϕ dp θ : ϕ dp θ Θ 1 ϕ θ Θ α θ Θ 1 θ 0

34 Bayesianische Denition Sei (P θ ) θ [a,b] eine Familie von Verteilungen mit Dichte (WF) f θ. Solch eine Familie hat monotonen Dichtequotienten (Monotone likelihood ratio), falls eine Statistik S(x) und für θ 0 < θ 1 eine streng monoton wachsende Funktion x h θ0,θ 1 (x) gibt, sodaÿ f θ1 (x) f θ0 (x) = h θ 0,θ 1 (S(x)).

35 Bayesianische Satz Sei (P θ ) θ [a,b] eine Familie mit monotonem Dichtequotienten. Für das Testproblem H 0 : θ θ 0 vsh 1 : θ > θ 0 gibt es einen gleichmäÿig besten (UMP) Test ϕ. Dieser ist durch den Neyman-Pearson test für das Problem H 0 : θ = θ 0 vsh 1 : θ = θ 1 für irgendein θ 1 > θ 0 gegeben. Der resultierendetest hat - mit S(X ) aus Denition (20) - die Form 1 S(x) > γ ϕ(x) = b S(x) = γ. 0 S(x) < γ

36 Einparametrige Exponentialfamilien Bayesianische Satz Einparametrige Exponentialfamilien mit suzienter Statistik T(X ) sind. Der UMP Test für H 0 : θ θ 0 vsh 1 : θ > θ 0 ist durch 1 T (x) > γ ϕ(x) b T (x) = γ. 0 T (x) < γ Beispiel Seien X 1,...,X n i.i.d. N ( θ,σ 2). Teste H 0 : θ θ 0 vsh 1 : θ > θ 0.

37 Anhang Beste unverzerrte Tests Satz Für zweiseitige Tests H 0 : θ = θ 0 vsh 1 : θ θ 0 existieren keine gleichmäÿig besten Tests. Unter Umständen können beste unverzerrte Tests konstruiert werden. Sei f θ eine einparametrige (θ) Exponentialfamilie mit suzienter Statistik T(X ). Für das Testproblem H 0 : θ = θ 0 vsh 1 : θ θ 0 gibt es einen gleichmäÿig besten unverfälschten test (uniformly most powerful unbiased test, UMP), der durch durch eine Testfunktion der Form 1 T (x) > γ 2 T(x) < γ 1 b ϕ(x) 1 T (x) = γ 2 b2. T (x) = γ 1 0 γ 1 < T (x) < γ 2 gegeben ist. Die Konstanten γ 1,γ 2 bestimmen sich aus den Gleichungen ϕ(x)dp ϑ 0 (x) = α, T (x)ϕ(x)dp ϑ 0 (x) = α T (x)dp ϑ 0 (x)

38 Anhang Weiterführende Literatur Weiterführende Literatur I