Verteilungsfreie Verfahren

Transkript

1 Marco Cattaneo Institut für Statistik Ludwig-Maximilians-Universität München Sommersemester 2012

2 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

3 verteilungsfrei/nichtparametrisch (distribution-free/nonparametric) -frei / nicht- : stehen im Gegensatz zu üblichen Methoden, die eine parametrische Familie von Verteilungen annehmen viele computerintensive Verfahren sind nichtparametrisch, die werden aber nicht in dieser Lehrveranstaltung betrachtet (sondern z.b. in Computerintensive Methoden, Schätzen und Testen I/II,... )

4 Beispiel x 1,..., x n R Messungen von µ R mit additiven Messfehlern ε 1,..., ε n (d.h. x i = µ + ε i ), Nullhypothese H 0 : µ µ 0, Alternativhypothese H 1 : µ > µ 0 parametrischer/verteilungsgebundener Test: Annahme: ε 1,..., ε n i.i.d. N(0, σ 2 ) mit σ unbekannt z.b. 1-Stichproben-t-Test: T := ( X µ 0) n (n 1) ni=1 (X i X ) 2 t n 1, wenn µ = µ 0 (verwerfe H 0 falls T c) nichtparametrischer/verteilungsfreier Test: z.b. Vorzeichentest: Annahme: ε 1,..., ε n i.i.d. mit P(ε i > 0) = 1 2 V := #{i : X i > µ 0 } Bin(n, 1 2 ), wenn µ = µ 0 (verwerfe H 0 falls V c )

5 Vorteile des verteilungsfreien Tests (Vorzeichentest): kann verwendet werden, auch wenn die Verteilungsfamilie der Messfehler unbekannt ist kann verwendet werden, auch wenn die Daten ordinal sind Vorteile des parametrischen Tests (1-Stichproben-t-Test): ist (leicht) effizienter, wenn die Verteilungsfamilie der Messfehler (genau) stimmt erlaubt exaktes Niveau

6 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

7 Tests auf Verteilungsanpassung (tests of goodness of fit) Beispiel x 1,..., x n IQ-Werte von n zufällig ausgewählten Personen i.i.d. Frage: ist es plausibel, dass X 1,..., X n N(100, 15 2 )? parametrischer/verteilungsgebundener Anpassungstest: i.i.d. Annahme: X 1,..., X n N(µ, σ 2 ) mit (µ, σ) unbekannt Frage: ist es plausibel, dass (µ, σ) = (100, 15)? Lösung: konstruiere einen Konfidenzbereich für (µ, σ) und überprüfe, ob (100, 15) im Konfidenzbereich liegt nichtparametrischer/verteilungsfreier Anpassungstest: Annahme: X 1,..., X n i.i.d. (d.h. X 1,..., X n i.i.d. F mit F unbekannt) Frage: ist es plausibel, dass F = N(100, 15 2 )? Lösung: konstruiere einen Konfidenzbereich für F und überprüfe, ob N(100, 15 2 ) im Konfidenzbereich liegt

8 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

9 Annahme: Zufallsobjekte X 1,..., X n i.i.d. F mit F unbekannt Daten: X 1 = x 1,..., X n = x n (nichtparametrische) Likelihood-Funktion für F : n lik(f ) := P F (X 1 = x 1,..., X n = x n ) = P F (X i = x i ) i=1 (nichtparametrische) ML-Schätzung für F : empirische Verteilung ˆF n : X ˆF n P ˆFn (X = x j ) = #{i : x i = x j } n

10 wenn X 1,..., X n Zufallsvariable sind, wird die empirische Verteilung ˆF n durch die zugehörige (kumulative) Verteilungsfunktion ˆF n beschrieben: X ˆF n ˆF n (x) := P ˆF n (X x) = #{i : x i x} n Satz (Fundamentalsatz der Statistik, Glivenko-Cantelli Theorem) Zufallsvariable X 1, X 2,... i.i.d. F ˆF n F 0 f.s. ( ( ) d.h. P lim ˆF n (x) F (x) = 0 sup n x R ) = 1

11 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

12 Satz Zufallsvariable X 1,..., X n i.i.d. F mit F stetig Verteilung von K n := ˆF n F hängt nicht von F ab Beweis. { K n = ˆF i n F = max max i=1,...,n n F (X (i)), F (X (i) ) i 1 } = n =: g ( F (X (1) ),..., F (X (n) ) ) = g ( ) Y (1),..., Y (n) mit Y i := F (X i ) U(0, 1), da P (Y i y) = P (F (X i ) y) = y

13 k n,1 α : (1 α)-quantil der Verteilung von K n P ( ˆF ) n F k n,1 α = 1 α, wenn F stetig ist ) P ( ˆF n F k n,1 α 1 α, } {F : ˆF n F k n,1 α = { { } = F : max ˆFn (x) k n,1 α, 0 wenn F beliebig ist { }} F (x) min ˆFn (x) + k n,1 α, 1 ist einen (konservativen) (1 α)-konfidenzbereich für F Satz (Dvoretzky-Kiefer-Wolfowitz-Ungleichung) 1 k n,1 α 2 n log 2 α

14 Verteilung F 0 stetig und bekannt Annahme: Zufallsvariable X 1,..., X n i.i.d. F mit F unbekannt 1-Stichproben-Kolmogorov-Smirnov-Test (zweiseitig): Nullhypothese H0 : F = F 0 (d.h. F (x) = F 0(x) für alle x R) Alternativhypothese H1 : F F 0 (d.h. F (x) F 0(x) für mind. ein x R) Teststatistik: Kn = ˆF n F 0 = sup x R ˆF n(x) F 0(x) Entscheidung (zum Niveau α): verwerfe H0 falls K n k n,1 α

15 1-Stichproben-Kolmogorov-Smirnov-Test (einseitig ): Nullhypothese H0 : F F 0 (d.h. F (x) F 0(x) für alle x R) Alternativhypothese H1 : F F 0 (d.h. F (x) < F 0(x) für mind. ein x R) Teststatistik: K n := sup x R (F 0(x) ˆF ) n(x) Entscheidung (zum Niveau α): verwerfe H0 falls K n k n,1 α 1-Stichproben-Kolmogorov-Smirnov-Test (einseitig + ): Nullhypothese H0 : F F 0 (d.h. F (x) F 0(x) für alle x R) Alternativhypothese H1 : F F 0 (d.h. F (x) > F 0(x) für mind. ein x R) ( ) Teststatistik: K + n := sup x R ˆF n(x) F 0(x) Entscheidung (zum Niveau α): verwerfe H0 falls K + n k + n,1 α K n und K + n haben dieselbe Verteilung (wenn F = F 0 ), die nicht von F 0 abhängt, und k n,1 α = k+ n,1 α k n,1 2α für kleine α

16 K-S-ähnliche Anpassungstests: verteilungsfreie Tests basierend auf alternativen Definitionen des Abstands zwischen ˆF n und F 0 Cramér-von Mises-Test (zweiseitig): Teststatistik: Wn := ( ) 2 + ˆFn(x) F 0(x) df0(x) Anderson-Darling-Tests (zweiseitig): Teststatistik: Kn,ψ := sup x R ˆF n(x) F 0(x) ψ (F 0(x)) Teststatistik: Wn,ψ := ( ) 2 + ˆFn(x) F 0(x) ψ (F0(x)) df 0(x) Gewichtsfunktion ψ: insbesondere ψ(y) = 1 oder ψ(y) = 1 y (1 y)

17 zusammengesetzte Nullhypothese: Nullhypothese H0 : F F 0 mit F 0 = {F θ : θ Θ} Alternativhypothese H1 : F / F 0 z.b. F0 = {N(µ, σ 2 ) : (µ, σ) R R + } K-S-ähnliche Anpassungstests mit dem Abstand zwischen ˆF n und F ˆθ als Teststatistik sind konservativ (wobei ˆθ eine auf X 1,..., X n basierte Schätzung von θ ist) kritische Werte müssen korrigiert werden (z.b. Lilliefors-Korrekturen für den 1-Stichproben-Kolmogorov-Smirnov-Test), und dann sind die Tests verteilungsgebunden Verteilung F 0 nicht stetig: Nullhypothese H0 : F = F 0 Alternativhypothese H1 : F F 0 z.b. F0 = Pois(0.35) K-S-ähnliche Anpassungstests sind (sehr) konservativ kritische Werte müssen korrigiert werden, und dann sind die Tests verteilungsgebunden

18 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

19 Annahme: w 1,..., w k Zufallsobjekte X 1,..., X n i.i.d. mit k möglichen Werten Verteilung von X i definiert durch p = (p 1,..., p k ) mit p j := P(X i = w j ) > 0 N j := #{i : X i = w j } (N 1,..., N k ) Mult(n, p 1,..., p k ) Abstand zwischen (N 1,..., N k ) und E(N 1,..., N k ) = (n p 1,..., n p k ): C n := k (N j n p j ) 2 oder G n := 2 n p j j=1 k j=1 N j log N j n p j Satz (N 1,..., N k ) Mult(n, p 1,..., p k ) C n d χ 2 k 1 und G n d χ 2 k 1

20 Beweisidee. G n = 2 log { lik(p) sup p S lik(p ) mit S = p [0, 1] k : } k j=1 p j = 1 d G n χ 2 k 1, da k 1 = dim(s) dim({p}) C n ist die Approximation von G n = 2 ( k j=1 N j log p j log N j n ), die man erhält, wenn man log p j mit dem Taylorpolynom zweiten Grades um ˆp j = N j n approximiert Gesetz der großen Zahlen: ˆp j p j f.s. C n d Gn C n d χ 2 k 1 N 1,..., N k unabhängig mit N j Pois(n p j ) ( (N 1,..., N k ) ) k j=1 N j = n Mult(n, p 1,..., p k ) N zentraler Grenzwertsatz: j n p j d k (N n pj N(0, 1) j n p j ) 2 j=1 n p ( j k (N j n p j ) 2 k d j=1 N j = n) χ 2 d k 1 C n χ 2 k 1 j=1 n p j d χ 2 k

21 π = (π 1,..., π k ) bekannt mit π 1,..., π k ]0, 1[ und π π k = 1 χ 2 -Test (Pearson s chi-square test): Nullhypothese H0 : p = π (d.h. p j = π j für alle j {1,..., k}) Alternativhypothese H1 : p π (d.h. p j π j für mind. ein j {1,..., k}) Teststatistik: Cn = k (N j n π j ) 2 j=1 n π j Entscheidung (zum Niveau α): verwerfe H0 falls C n c n,1 α G-Test: Nullhypothese H0 : p = π (d.h. p j = π j für alle j {1,..., k}) Alternativhypothese H1 : p π (d.h. p j π j für mind. ein j {1,..., k}) Teststatistik: Gn = 2 k j=1 N j log N j n π j Entscheidung (zum Niveau α): verwerfe H0 falls G n g n,1 α c n,1 α χ 2 k 1,1 α und g n,1 α χ 2 k 1,1 α für große n

22 zusammengesetzte Nullhypothese: Nullhypothese H0 : p Π mit Π = {π(θ) : θ Θ} Alternativhypothese H1 : p / Π z.b. (w1,..., w k ) = (0, 1, 2) und Π = {( (1 θ) 2, 2 θ (1 θ), θ 2) : θ ]0, 1[ } (d.h. H 0 : X i Bin(2, θ) mit θ unbekannt) falls ˆθ n eine auf N 1,..., N k basierte Minimum-χ 2 - oder ML-Schätzung von θ ist, d.h. falls ˆθ n die Minimumstelle von C n(θ) = k (N j n π j (θ)) 2 n π j (θ) j=1 bzw. G n(θ) = 2 k N j N j log n π j (θ) j=1 ist, dann gelten C n(ˆθ n) d χ 2 k 1 dim(π) und G n(ˆθ n) d χ 2 k 1 dim(π), wenn p Π Beweisidee: ˆθn ML-Schätzung von θ G n(ˆθ n) = 2 log sup θ Θ lik(π(θ)) { sup p S lik(p ) mit S = p [0, 1] k : } k j=1 p j = 1 G n(ˆθ n) d χ 2 k 1 dim(π), da k 1 dim(π) = dim(s) dim({π(θ) : θ Θ}) korrigierte kritische Werte für die χ 2 - und G-Tests mit C n(ˆθ n) bzw. G n(ˆθ n) als Teststatistiken: c n,1 α χ 2 k 1 dim(π),1 α und g n,1 α χ 2 k 1 dim(π),1 α für große n

23 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

24 K-S-ähnliche Tests χ2 - und G-Test X i stetige ZV geeignet, nur nach Diskretisierung, verteilungsfrei asymptotisch verteilungsfrei X i diskrete ZV nur nach Korrektur, geeignet, verteilungsgebunden asymptotisch verteilungsfrei X i kategoriell nicht anwendbar geeignet, asymptotisch verteilungsfrei H 0 einseitig geeignet, nicht anwendbar verteilungsfrei H 0 zusammengesetzt nur nach Korrektur, geeignet, verteilungsgebunden asymptotisch verteilungsfrei

25 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

26 Annahme: Zufallsobjekte X 1 = (A 1, B 1 ),..., X i = (A i, B i ),..., X n = (A n, B n ) i.i.d. mit k = g h möglichen Werten w 1,1 = (u 1, v 1 ),..., w j,l = (u j, v l ),..., w g,h = (u g, v h ) z.b. n zufällig ausgewählte Personen, mit A i : Blutgruppe der i-ten Person (g = 4) B i : Geschlecht der i-ten Person (h = 2) Frage: ist es plausibel, dass Blutgruppe und Geschlecht unabhängig sind? Verteilung von X i definiert durch p = (p 1,1,..., p g,h ) mit p j,l := P(X i = w j,l ) N j,l := #{i : X i = w j,l } (N 1,1,..., N g,h ) Mult(n, p 1,1,..., p g,h )

27 Nullhypothese H 0 : p Π mit Π = {π(θ) : θ Θ}, wobei { Θ = (q, r) ]0, 1[ g ]0, 1[ h : g j=1 q j = } h l=1 r l = 1 und π j,l (q, r) = q j r l ˆθn = (ˆq, ˆr) ML-Schätzung von θ = (q, r): ˆq j = #{i : A i = u j } n h l=1 = N j,l n und ˆr l = #{i : B i = v l } n = g j=1 N j,l n unter H 0 gelten C n (ˆθ n ) d χ 2 (g 1) (h 1) und G n (ˆθ n ) d χ 2 (g 1) (h 1) mit C n (ˆθ n ) = g j=1 l=1 h (N j,l n ˆq j ˆr l ) 2 und G n (ˆθ n ) = 2 n ˆq j ˆr l g h j=1 l=1 da π j,l (ˆθ n ) = ˆq j ˆr l und k 1 dim(π) = (g 1) (h 1) N j,l log N j,l n ˆq j ˆr l,

28 χ 2 -Test auf Unabhängigkeit (chi-square test of independence): Nullhypothese H0 : A i und B i unabhängig Alternativhypothese H1 : A i und B i abhängig Teststatistik: C (U) n := g h (N j,l n ˆq j ˆr l) 2 j=1 l=1 n ˆq j ˆr l Entscheidung (zum Niveau α): verwerfe H0 falls C (U) n c (U) n,1 α G-Test auf Unabhängigkeit: Nullhypothese H0 : A i und B i unabhängig Alternativhypothese H1 : A i und B i abhängig Teststatistik: G (U) n := 2 g j=1 h l=1 N j,l log N j,l n ˆq j ˆr l Entscheidung (zum Niveau α): verwerfe H0 falls G (U) n g (U) n,1 α c (U) n,1 α χ2 (g 1) (h 1),1 α und g (U) n,1 α χ2 (g 1) (h 1),1 α für große n

29 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

30 lineare Rangtests für Lageprobleme (linear rank tests for location problems) Ränge von n verschiedene Werte x 1,..., x n R: r 1,..., r n mit r j = #{i : x i x j } {r 1,..., r n } = {1,..., n} und x (ri ) = x i (wobei x (1) < < x (n) ) Zufallsvariable X 1,..., X n i.i.d. F mit F stetig Ränge R 1,..., R n f.s. wohldefiniert und P (R 1 = π(1),..., R n = π(n)) = 1 n! für alle n! Permutationen π von {1,..., n} Behandlung von Bindungen (ties): Kombination (alle möglichen Rangkombinationen untersuchen) Elimination (Beobachtungen aus der Stichprobe entfernen) Randomisierung (zufällige Ränge bilden) Mittelung (Durchschnittsränge bilden)

31 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

32 i.i.d. Annahme: Zufallsvariable X 1,..., X n F mit F stetig und symmetrisch um θ (d.h. F (θ + x) = 1 F (θ x) für alle x R) R + 1,..., R+ n Ränge von X 1 θ,..., X n θ g n : {1,..., n} R + Gewichtsfunktion Satz i.i.d. Zufallsvariable X 1,..., X n F mit F stetig und symmetrisch um θ L n := n g n (R + i ) hat dieselbe Verteilung wie g n (j) Y j i : X i >θ mit Y 1,..., Y n i.i.d. Ber( 1 2 ) j=1

33 Beweis. X i θ und I {Xi >θ} sind unabhängig, da für alle x 0 gilt P( X i θ x I {Xi >θ} = 1) = P(θ < X i θ + x) = P(θ < X i ) = P(θ x X i θ) = P( X i θ x I {Xi >θ} = 0) P(X i θ) X 1 θ,..., X n θ, I {X1>θ},..., I {Xn>θ} unabhängig L n = n n g n (R + i ) = g n (π(i)) I {Xi >θ} = g n (j) Y j i : X i >θ i=1 j=1 mit Y j := I {Xπ 1 (j) >θ}, wobei R + 1 = π(1),..., R+ n = π(n)

34 P ( Y 1 = y 1,..., Y n = y n R 1 + = π(1),..., R+ n = π(n) ) = = P ( I {X1>θ} = y π(1),..., I {Xn>θ} = y π(n) R 1 + = π(1),..., R+ n = π(n) ) = n = P(I {X1>θ} = y π(1),..., I {Xn>θ} = y π(n) ) = P(I {Xi >θ} = y π(i) ) = ( 1 2 )n für alle y 1,..., y n {0, 1} und alle Permutationen π von {1,..., n} i=1 P(Y 1 = y 1,..., Y n = y n ) = ( 1 2 )n für alle y 1,..., y n {0, 1}, d.h. Y 1,..., Y n i.i.d. Ber( 1 2 )

35 L n ist diskret mit höchstens 2 n möglichen Werten, und die Verteilung von L n ist symmetrisch um E(L n ) = 1 n 2 j=1 g n(j) mit Var(L n ) = 1 n 4 j=1 (g n(j)) 2 l n,1 α : unteres (1 α)-quantil der Verteilung von L n P(L n > l n,1 α ) α und P(L n l n,1 α ) > α l + n,α : oberes α-quantil der Verteilung von L n P(L n < l + n,α) α und P(L n l + n,α) > α zentraler Grenzwertsatz (unter Regularitätsbedingungen für g n ): L n E(L n ) Var(Ln ) d N(0, 1) l n,p l + n,p E(L n ) + Φ 1 (p) Var(L n ) für große n

36 θ 0 R bekannt R + 1,..., R+ n Ränge von X 1 θ 0,..., X n θ 0 1-Stichproben-Rangtest (zweiseitig): Nullhypothese H0 : θ = θ 0 Alternativhypothese H1 : θ θ 0 Teststatistik: Ln = i : X i >θ 0 g n(r + i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n < l + n, α 2 oder L n > l n,1 α 2

37 1-Stichproben-Rangtest (einseitig ): Nullhypothese H0 : θ θ 0 Alternativhypothese H1 : θ > θ 0 Teststatistik: Ln = i : X i >θ 0 g n(r + i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n > l n,1 α 1-Stichproben-Rangtest (einseitig + ): Nullhypothese H0 : θ θ 0 Alternativhypothese H1 : θ < θ 0 Teststatistik: Ln = i : X i >θ 0 g n(r + i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n < l n,α +

38 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

39 Güte eines Tests T : (wobei X i θ F 0 ) β T (α, n, θ, F 0 ) := P(H 0 verwerfen), wenn H 1 gilt seien θ k, n k, n k so, dass lim θ k = θ 0 und lim β T (α, n k, θ k, F 0 ) = lim β T (α, k k k n k, θ k, F 0 ) unter Regularitätsbedingungen ist die asymptotische relative Effizienz n k ARE T :T (F 0 ) = lim k n k von T gegenüber T wohldefiniert und hängt nur von der Verteilung F 0 von X i θ ab wenn X i θ F 0 angenommen wird (mit F 0 bekannt und θ unbekannt) und die Gewichtsfunktion ( ) g n (j) = ( log f 0 ) F 1 0 ( n+1+j 2 n+2 ) wohldefiniert ist (wobei f 0 die Dichte von F 0 ist), ist der zugehörige Rangtest T asymptotisch optimal: ARE T :T (F 0 ) 1 für alle Tests T

40 Van der Waerden-Test: asymptotisch optimal, wenn F0 eine Normalverteilung ist Gewichtsfunktion: gn(j) = Φ 1 ( n+1+j 2 n+2 ) Vorzeichentest (sign test): asymptotisch optimal, wenn F0 eine Laplace-Verteilung (Doppelexponentialverteilung) ist Gewichtsfunktion: gn(j) = 1 L n = #{i : X i > θ 0} L n Bin(n, 1 2 ), wenn θ = θ0 Wilcoxon-Vorzeichen-Rang-Test (Wilcoxon signed-rank test): asymptotisch optimal, wenn F0 eine logistische Verteilung ist Gewichtsfunktion: gn(j) = j L n = i:x i >θ 0 R + i E(L n) = n (n+1) n (n+1) (2 n+1) und Var(L 4 n) =, wenn θ = θ 24 0

41 F 0 Normal Laplace logistisch inf sup 4 ARE VdW :t (F 0 ) 1 π ARE Vorz:t (F 0 ) 2 π π ARE Wilc:t (F 0 ) π π F (ε) 0 (x) := (1 ε) Φ( x σ ) + ε Φ( x 3 σ ) ε ARE Wilc:t (F (ε) 0 )

42 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

43 Annahme: Zufallsvariable X 1,..., X n, Y 1,..., Y m i.i.d. F mit F stetig R 1,..., R n+m Ränge von X 1,..., X n, Y 1,..., Y m g n,m : {1,..., n + m} R Gewichtsfunktion (steigend) Satz i.i.d. Zufallsvariable X 1,..., X n, Y 1,..., Y m F mit F stetig n L n,m := g n,m (Ri ) hat dieselbe Verteilung wie g n,m (j) i=1 j S mit S gleichverteilt auf {A {1,..., n + m} : #A = n}

44 Beweis. L n,m = n g n,m (Ri ) = g n,m (j) j S i=1 mit S := {π(1),..., π(n)}, wobei R 1 = π(1),..., R n+m = π(n + m) P (S = A) = P ({π(1),..., π(n)} = A, {π(n + 1),..., π(n + m)} = A c ) = = n! m! (n + m)! für alle A {1,..., n + m} mit #A = n, d.h. S ist gleichverteilt auf {A {1,..., n + m} : #A = n}

45 L n,m ist diskret mit höchstens (n+m)! n! m! möglichen Werten, E(L n,m ) = Var(L n,m ) = n n+m n+m j=1 g n,m(j), und n m (n+m) 2 (n+m 1) ( (n + m) n+m j=1 (g n,m(j)) 2 ( n+m ) ) 2 j=1 g n,m(j) l n,m,1 α : unteres (1 α)-quantil der Verteilung von L n,m P(L n,m > l n,m,1 α ) α und P(L n,m l n,m,1 α ) > α l + n,m,α : oberes α-quantil der Verteilung von L n,m P(L n,m < l + n,m,α) α und P(L n,m l + n,m,α) > α zentraler Grenzwertsatz (unter Regularitätsbedingungen für g n,m ): L n,m E(L n,m ) Var(Ln,m ) d N(0, 1) l n,m,p l + n,m,p E(L n,m ) + Φ 1 (p) Var(L n,m ) für große n, m

46 Annahme: Zufallsvariable X 1,..., X n, Y 1,..., Y m und Konstanten θ X, θ Y R so, dass X 1 θ X,..., X n θ X, Y 1 θ Y,..., Y m θ Y i.i.d. F 0 mit F 0 stetig X 1,..., X n und Y 1,..., Y m sind unabhängige Stichproben (gepaarte Stichproben: 1-Stichproben-Rangtest für die Differenzen X i Y i ) 2-Stichproben-Rangtest (zweiseitig): Nullhypothese H0 : θ X = θ Y Alternativhypothese H1 : θ X θ Y Teststatistik: Ln,m = n i=1 gn,m(r i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n,m < l + n,m, α 2 oder L n,m > l n,m,1 α 2

47 2-Stichproben-Rangtest (einseitig ): Nullhypothese H0 : θ X θ Y Alternativhypothese H1 : θ X > θ Y Teststatistik: Ln,m = n i=1 gn,m(r i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n,m > l n,m,1 α 2-Stichproben-Rangtest (einseitig + ): Nullhypothese H0 : θ X θ Y Alternativhypothese H1 : θ X < θ Y Teststatistik: Ln,m = n i=1 gn,m(r i ) Entscheidung (zum Niveau α): verwerfe H0 falls L n,m < l + n,m,α

48 1. Anpassungstests 1.1. Empirische Verteilung 1.2. Kolmogorov-Smirnov-Anpassungstest 1.3. χ 2 -Anpassungstest 1.4. Vergleich der Anpassungstests 1.5. χ 2 -Test auf Unabhängigkeit 2. Rangtests 2.1. Einstichproben-Rangtests 2.2. Asymptotisch optimale Einstichproben-Rangtests 2.3. Zweistichproben-Rangtests 2.4. Asymptotisch optimale Zweistichproben-Rangtests

49 Güte eines Tests T : (wobei θ = θ X θ Y ) β T (α, n, m, θ, F 0 ) := P(H 0 verwerfen), wenn H 1 gilt seien θ k, n k, m k, n k, m k so, dass lim θ k = 0 und lim β T (α, n k, m k, θ k, F 0 ) = lim β T (α, k k k n k, m k, θ k, F 0 ) unter Regularitätsbedingungen ist die asymptotische relative Effizienz n k ARE T :T (F 0 ) = lim + m k k n k + m k von T gegenüber T wohldefiniert und hängt nur von F 0 ab wenn F 0 bekannt ist und die Gewichtsfunktion g n,m (j) = (log f 0 ) ( F 1 ) j 0 ( n+m+1 ) wohldefiniert ist (wobei f 0 die Dichte von F 0 ist), ist der zugehörige Rangtest T asymptotisch optimal: ARE T :T (F 0 ) 1 für alle Tests T

50 Van der Waerden-Test: asymptotisch optimal, wenn F0 eine Normalverteilung ist Gewichtsfunktion: gn,m(j) = Φ 1 ( Median-Test (median test): j ) n+m+1 asymptotisch optimal, wenn F0 eine Laplace-Verteilung (Doppelexponentialverteilung) ist { 1 falls j > n+m+1 Gewichtsfunktion: gn,m(j) 2 = 0 falls j n+m+1 2 L n,m = # {i {1,..., n} : X i > med(x 1,..., X n, Y 1,..., Y m)} Wilcoxon-Rangsummentest (Wilcoxon rank-sum test): asymptotisch optimal, wenn F0 eine logistische Verteilung ist Gewichtsfunktion: gn,m(j) = j L n,m = n i=1 R i E(L n,m) = n (n+m+1) 2 und Var(L n,m) = n m (n+m+1) 12, wenn θ X = θ Y

51 F 0 Normal Laplace logistisch inf sup 4 ARE VdW :t (F 0 ) 1 π ARE Med:t (F 0 ) 2 π π ARE Wilc:t (F 0 ) π π F (ε) 0 (x) := (1 ε) Φ( x σ ) + ε Φ( x 3 σ ) ε ARE Wilc:t (F (ε) 0 )