Stochastik Praktikum Testtheorie

Transkript

1 Stochastik Praktikum Testtheorie Thorsten Dickhaus Humboldt-Universität zu Berlin

2 Definition X: Zufallsgröße mit Werten in Ω, (Ω, F, (P ϑ ) ϑ Θ ) statistisches Modell Problem: Teste H 0 : ϑ Θ 0 gegen H 1 : ϑ Θ 1 = Θ \ Θ 0 (Nicht-randomisierter) Test: ϕ : Ω {0, 1}, wobei ϕ(x) = 1 : H 0 verwerfen, ϕ(x) = 0 : H 0 nicht verwerfen. Randomisierter Test: ϕ : Ω [0, 1] liefert eine Ablehnwahrscheinlichkeit.

3 Entscheidungsmuster, Sprechweisen ϕ(x) H 0 wahr H 0 falsch 1 Fehler 1. Art Trennschärfe (power) 0 Signifikanzniveau Fehler 2. Art H 0 einfach Θ 0 = 1 H 0 zusammengesetzt Θ 0 > 1 (z. B. ein Intervall) ϕ einseitig ϕ zweiseitig Θ 1 einseitig beschränkt Θ 1 beidseitig unbeschränkt

4 Niveau α Tests, Gütefunktion T : Ω R messbare Abbildung, α [0, 1] fest vorgegeben, Γ α so, dass sup ϑ Θ 0 P ϑ (T (X) Γ α ) α. ϕ(x) = 1 Γα (T (x)) heißt Test zum Niveau α. Gütefunktion: β ϕ (ϑ) = P ϑ (T (X) Γ α ) für ϑ Θ 1. Definition Ein Test ϕ heißt gleichmäßig bester Test zum Niveau α, falls für jedes ϑ 1 Θ 1 die Güte jedes anderen Niveau α Tests ϕ kleiner oder gleich der Güte von ϕ ist, also ϑ 1 Θ 1 : β ϕ (ϑ 1 ) β ϕ (ϑ 1 ).

5 Neyman Pearson Test Lemma (Neyman-Pearson) Zwei einfache Hypothesen H 0 : ϑ = ϑ 0 gegen H 1 : ϑ = ϑ 1 Neyman Pearson Test: 1, falls q(x) < c α ϕ(x) = γ, falls q(x) = c α, mit q(x) = 0, falls q(x) > c α L(ϑ 0 x) L(ϑ 1 x) Likelihood Quotient, ist gleichmäßig bester Test zum Niveau α. γ (0, 1) so, dass sup ϑ Θ0 P ϑ (ϕ(x) = 1) = α. Likelihood Quotient monoton in T: kritische Werte für T(x)

6 p Wert: Der p Wert zu einem Test ϕ gibt das kleinste Niveau α min an, zu dem bei Vorliegen der Stichprobe x die Nullhypothese gerade noch abgelehnt werden kann. Manchmal bezeichnet man dies auch als beobachtetes Signifikanzniveau von ϕ. In Statistik Programmen gibt man das Niveau eines Tests nicht explizit vor, sondern erhält diesen p Wert als Ausgabe. Likelihood Quotienten Test: Beim allgemeinen Testansatz H 0 : ϑ Θ 0 gegen H 1 : ϑ Θ 1 werden beim LQ Test kritische Werte für Λ(x) = sup ϑ Θ 0 L(ϑ x) sup ϑ Θ L(ϑ x) bestimmt.

7 Übersicht 1 Binomialtest 2 t Test 3 F Test 4 Nichtparametrische Tests

8 Beispiel zum Binomialtest Test der Hypothese, dass eine Münze fair ist, also H 0 : p = p 0 = 0.5 versus H 1 : p p 0. > binom. t e s t (15,20, p =0.5, a l t e r n a t i v e =" two. sided " ) Exact binomial t e s t number of successes = 15, number of t r i a l s = 20, p value = alternative hypothesis : true p r o b a b i l i t y of success is not equal to percent confidence i n t e r v a l : sample estimates : p r o b a b i l i t y of success = 0.75 Die kritischen Werte k und l für den zweiseitigen Binomialtest erhält man mit dem Ansatz k i=0 ( ) n p0 i i (1 p 0) n i + n j=n l ( ) n p j j 0 (1 p 0) n j α.

9 Übersicht 1 Binomialtest 2 t Test 3 F Test 4 Nichtparametrische Tests

10 Einstichproben t Test X 1,..., X n i. i. d. N(µ, σ 2 ), σ 2 > 0 unbekannt. H 0 : µ = µ 0 (oder einseitige Hypothesen) Es gilt: Λ(x) = [ n i=1 (x i x) 2 n i=1 (x i µ 0 ) 2 ] n 2, da ˆµ MLE = x = n i=1 x i/n und ˆσ 2 MLE = n i=1 (x i x) 2 /n. Als Teststatistik verwendet man nun T (X) = n(n 1)( X µ0 ) i (X i X) 2, da T (x) monotone Transformation von Λ(x) und T (X) H0 t n 1 unabhängig von µ und σ (Student, 1908).

11 Plot: t Verteilungen

12 Kritische Bereiche Ablehnbereiche Γ α des Niveau α t Tests für einseitige bzw. zweiseitige Hypothesen: H 0 H 1 Γ α µ µ 0 µ > µ 0 {x Ω : T (x) > t n 1;1 α } µ µ 0 µ < µ 0 {x Ω : T (x) < t n 1;1 α } µ = µ 0 µ µ 0 {x Ω : T (x) > t n 1;1 α/2 }

13 Einstichproben t Tests in R Temperaturdatenstichprobe gegeben Nullhypothese: mittlere Temperatur nicht größer als 37 C > temp< c ( , , , , , , , ) > t. t e s t ( temp, a l t e r n a t i v e =" g r e a t e r ",mu=37) One Sample t t e s t data : temp t = , df = 7, p value = a l t e r n a t i v e hypothesis : t r u e mean i s g r e a t e r than percent confidence i n t e r v a l : I n f sample estimates : mean of x

14 Fallzahlabschätzung Beispielhaft: Einseitiges Hypothesenpaar H 0 : µ µ 0 versus H 1 : µ > µ 0 Analysiere Trennschärfe (power) als Funktion in n Eine Differenz δ = µ µ 0 soll mit Wahrscheinlichkeit (1 β) (0, 1) aufgedeckt werden können, d. h., unter µ 1 = µ 0 + δ soll β ϕ (µ 1 ) = 1 β gelten. Sei ν := n 1. 1 β (! n ( = P X ) µ 0 ) µ1 > t ν;1 α s = P µ1 ( n ( X µ 1 ) s > t ν;1 α n δ s t ν;1 α nδ/s! = t ν;β n = (s/δ) 2 (t ν;α + t ν;β ) 2. Problem: Man benötigt eine Vorschätzung von s! ), also

15 Powerberechnung in R > d< 15;s< 30; r< d / s ; alpha < 0.05; beta < 0.2 > n1< c e i l i n g ( ( qnorm(1 alpha )+qnorm(1 beta ) ) ^ 2 / ( r ^ 2 ) ) ; n1 [ 1 ] 25 > n2< c e i l i n g ( ( qt (1 alpha, n1 1)+ qt (1 beta, n1 1))^2/( r ^ 2 ) ) ; n2 [ 1 ] 27 > n3< c e i l i n g ( ( qt (1 alpha, n2 1)+ qt (1 beta, n2 1))^2/( r ^ 2 ) ) ; n3 [ 1 ] 27 > power. t. t e s t ( d e l t a =15,sd=30, s i g. l e v e l =0.05, power =0.80, + type ="one. sample ", a l t e r n a t i v e ="one. sided " ) One sample t t e s t power c a l c u l a t i o n n = d e l t a = 15 sd = 30 s i g. l e v e l = 0.05 power = 0.8 a l t e r n a t i v e = one. sided

16 Grafik: Fallzahlabschätzung

17 Zweistichproben t Test Seien X 1,..., X n i. i. d. N(µ 1, σ 2 ) und Y 1,..., Y m i. i. d. N(µ 2, σ 2 ). Der t Test wird hier für den Vergleich der Mittelwerte angewendet. Teststatistik : T ( X, Y ) = nm n + m 1 m+n 2 X Y [ i (X i X) 2 + ]. j (Y j Y ) 2 T ( X, Y ) H0 t m+n 2. Die zweiseitige Nullhypothese H 0 : µ 1 = µ 2 wird verworfen, falls T ( X, Y ) > t m+n 2;1 α/2.

18 Behrens Fisher Problem, Welch Test Zwei heteroskedastische Stichproben: Behrens-Fisher-Problem Likelihood Schätzer: ˆσ MLE = 1 (X i X) n(n 1) (Y j Y ) m(m 1) 2. i T ( X, Y ) = (X Y )/ˆσ MLE ist Behrens Fisher verteilt. Kein exakter Niveau α Test bestimmbar! Welch Test: Approximative Lösung, Verteilung von T wird approximiert durch eine t Verteilung mit ˆk Freiheitsgraden (Satterthwaite-Approximation): ˆk = ˆσ 4 MLE 1 n 2 (n 1) 3 [ i (X i X) 2] m 2 (m 1) 3 [ j (Y j Y ) 2 ] 2 j

19 Übersicht 1 Binomialtest 2 t Test 3 F Test 4 Nichtparametrische Tests

20 F -Test zum Vergleich zweier Varianzen (X i ) n i=1 iid. N(µ 1, σ1 2) und (Y j) m j=1 iid. N(µ 2, σ2 2); H 0 : σ1 2 = σ2 2 Teststatistik: Quotient der empirischen Varianzen F ( X, Y i ) = (X i X) 2 /(n 1) j (Y F j Y ) 2 n 1,m 1. /(m 1) H 0 Die Verteilung von F heißt Fisher oder kurz F Verteilung mit n 1 und m 1 Freiheitsgraden. Annahmebereiche des Niveau α F Tests: H 0 σ 2 1 = σ2 2 σ 2 1 σ2 2 Annahmebereiche R 0 \ Γ α für F [ (Fn 1,m 1;1 α/2 ) 1, Fn 1,m 1;1 α/2 ] [ 0, Fn 1,m 1;1 α ] σ 2 1 σ2 2 [ ( F n 1,m 1;1 α ) 1, )

21 Veranschaulichung F Verteilungen

22 Übersicht 1 Binomialtest 2 t Test 3 F Test 4 Nichtparametrische Tests

23 Nichtparametrische Tests: Keine konkrete Annahme einer Verteilungsfamilie, also k N : Θ R k. Nichtparametrische Tests sind in parametrischen Modellen nicht effizient. Das heißt: Nichtparametrische Tests zum gleichen Signifikanzniveau benötigen größeren Stichprobenumfang als der beste parametrische Test für gleiche Güte (Pitman-Effizienz), falls das parametrische Modell richtig spezifiziert ist.

24 χ 2 Anpassungstest Test der Hypothese H 0 : F = F 0 gegen H 1 : F F 0 Beobachtungen aufgeteilt in m Klassen mit Häufigkeiten n j, j = 1,..., m. Vergleiche diese mit den unter F 0 erwarteten Häufigkeiten n j,0, j = 1,..., m. Teststatistik: χ 2 = ( ) m 2 nj n j,0 j=1 n j,0 L H0 χ 2 m 1. Ablehnbereich des zugehörigen χ 2 -Tests: Γ α = (χ 2 m 1;1 α, )

25 Anwendungsbeispiel: χ 2 Test Problem: Teste nach 60 Würfen, ob ein Würfel fair ist. > AZ< c ( 1, 2, 3, 4, 5, 6 ) > H< c (7,12,9,15,7,10) > chisq. t e s t (H) Chi squared t e s t f o r given p r o b a b i l i t i e s data : H X squared = 4. 8, df = 5, p value =

26 Wilcoxon signed rank Test Nichtparametrische Alternative zum Einstichproben t Test. H 0 : m = m 0 für den Median m. Definition Für eine Stichprobe X 1,..., X n ist die zugehörige i-ordnungsstatistik definiert durch X (i) := X k : {j {1,..., n} : X j X k } = i, i = 1,..., n. Die Rangstatistiken geben die Positionen der X i s in der geordneten Stichprobe an: R i := {1 j n : X j X i }.

27 Wilcoxon signed rank Test (II) Teststrategie: Bilde Rangstatistiken X i m 0. Teststatistik: Differenz der Summe über alle Ränge mit positivem und der Rangsumme mit negativem Vorzeichen. Kritische Werte (einseitig und zweiseitig) sind vertafelt. In R: Funktion wilcox.test.

28 Mann Whitney U Test H 0 : P X = P Y, also Gleichheit zweier Verteilungen. Daten: Zwei unabhängige Stichproben (X i ) n i=1 und (Y j) m j=1 Vorgehen: Berechne gruppenweise für (X i ) und (Y j ) Rangsummen R X und R Y, wobei die Ränge in der gepoolten Stichprobe (X 1,..., X n, Y 1,..., Y m ) genommen werden. Es gilt immer: R X + R Y = (n + m)(n + m + 1)/2 Damit kann man R X auch schreiben als R X = n(n + 1)/2 + U mit der U Statistik (Gauß). U = n m 1 {Xi >Y j }. i=1 j=1

29 Mann Whitney U-Test (II) Durchführung des Tests: Ablehnbereich Γ α für R X entspricht Ablehnbereich für U, lediglich um n(n + 1)/2 verschoben. Theorie von U-Statistiken geht zurück auf Hoeffding (1948), kritische Werte sind vertafelt. In R: qwilcox(0.025,10,10) Der Mann Whitney U-Test wird auch Wilcoxon s rank sum test genannt.

30 Weitere wichtige nichtparametrische Tests Exakter Fisher-Test (Assoziation kategorieller Merkmale) Chi-Quadrat Test auf Assoziation kategorieller Merkmale Pitman scher Permutationstest für allgemeine Zweistichprobenprobleme Anpassungstests: Kolmogorov-Smirnov, Cramér-von Mises Resamplingverfahren (vgl. SoSe 2011!)