Bootstrap-Methoden zur Ermittlung kritischer Werte für asymptotische FWER-Kontrolle

Transkript

1 Bootstrap-Methoden zur Ermittlung kritischer Werte für asymptotische FWER-Kontrolle [Dudoit, van der Laan, Pollard: Multiple Testing. Part I Single-Step Procedures for Control of General Type-I-Error Rates] Mathias Trabs Mathias Trabs () Bootstrap-Methoden / 22

2 1 Wiederholung 2 Problemstellung 3 Fehlerkontrolle und Wahl der Nullverteilung 4 Umsetzung Mathias Trabs () Bootstrap-Methoden / 22

3 Wiederholung Wiederholung Sei (Ω, A, M, H) ein multiples Testproblem mit P M, M eine Familie von Wahrscheinlichkeitsmaßen auf (Ω, A), und einer Hypothesenmenge H = {H i : i I = {1,..., m}}. Sei weiter ϕ = (ϕ i : i I ) ein multipler Test. Die (zufälligen) Anzahlen von wahren / falschen Testentscheidungen können wir darstellen als: Testentscheidung Hypothesen 0 1 wahr m 0 V (P) V (P) m 0 falsch m 1 S(P) S(P) m 1 m R(P) R(P) m Def.: FWER(P) = P(V (P) > 0) = P( i I 0 {ϕ i = 1}) Mathias Trabs () Bootstrap-Methoden / 22

4 Problemstellung Modell Seien X 1,...X n iid. Zufallsgrößen im R J, X i = (X ij : j = 1,..., J) P mit P M unbekannt. Für i {1,..., n} sind (X ij ) j=1,...,j unspezifiziert korreliert. Wir möchten z.b. Lokationsparameter der Form ψ(p) = (ψ i : i = 1,...m) untersuchen. Bsp.: Sei X P mit Werten in R J und Y := g(x ) : R J R m. Dann wählen wir ψ(p) = E[Y ], d.h. ψ i = E[Y i ]. Mathias Trabs () Bootstrap-Methoden / 22

5 Problemstellung Teststatistiken Wir haben Statistiken T n = (T ni : i = 1,..., m) R m als Funktionen von X 1,..., X n und bezeichnen deren wahre Verteilung mit Q n = Q n (P). Testentscheidung: H i annehmen, falls T ni c i, H i ablehnen, falls T ni > c i, mit den kritischen Werten c R m. Eine multiple Testprozedur (MTP) ist dann die (zufällige) Teilmenge R n I der abgelehnten Hypothesen. Gilt c i = c für i = 1,..., m, heißt R n Simultantest. Bsp.: Y und ψ(p) wie oben. Hypothesen: H i = {ψ i (P) = E[Y i ] ψ oi }, i = 1,..., m mit einem Nullwert ψ 0 R m. Dann wählen wir die t-statistiken: T ni = Schätzer - Nullwert Standardfehler = n ψ ni ψ 0i σ ni Mathias Trabs () Bootstrap-Methoden / 22

6 Problemstellung Typ-I-Fehlermaße Die Theorie baut auf Fehlermaßen Θ(F Vn ) [0, 1] auf, die als Funktionen von der Verteilung der Anzahl der Typ-I-Fehler V n definiert sind. Dabei ist F Vn die Verteilungsfunktion von V n auf {0,..., m}. Insbesondere betrachten wir die FWER: Θ(F Vn ) = FWER(P) = P(V n > 0) = 1 F Vn (0). Mathias Trabs () Bootstrap-Methoden / 22

7 Problemstellung Annahmen an das Fehlermaß Θ Seien F 1, F 2 zwei Verteilungsfunktionen auf {0,..., m} und d(f 1, F 2 ) := max F 1 (x) F 2 (x) deren Abstand. x I Wir machen folgende Annahmen an Θ: (AMI) Monotonie: F 1 F 2 Θ(F 1 ) Θ(F 2 ) (ACI) Stetigkeit bei (F n ): Sei (F n ) eine Folge von Verteilungsfunktionen auf {0,..., m} gegeben, dann soll für beliebige Verteilungsfunktionen (G n ) auf {0,..., m} gelten: lim d(f n, G n ) = 0 lim (Θ(G n) Θ(F n )) = 0 n n In den meisten Fällen genügt in der (ACI)-Annahme (F n ) = F, für eine Verteilungsfunktion F. Mathias Trabs () Bootstrap-Methoden / 22

8 Fehlerkontrolle und Wahl der Nullverteilung Kontrolle des Typ-I-Fehlermaßes Definition: Eine MTP R n = R(T n, Q 0, α) kontrolliert das Niveau α (0, 1) (strikt), falls Θ(F Vn ) α, (FWER(P) α). R n kontrolliert das Niveau α (0, 1) asymptotisch, falls lim sup Θ(F Vn ) α. n V n hängt von der wahren Verteilung Q n = Q n (P) der Teststatistiken T n ab, aber Q n ist i.a. unbekannt und muss durch ein Nullverteilung Q 0 geschätzt werden (um kritische Werte zu ermitteln). Mathias Trabs () Bootstrap-Methoden / 22

9 Fehlerkontrolle und Wahl der Nullverteilung Seien Teststatistiken T n mit wahrer Verteilung Q n, einer m-dimensionalen Nullverteilung Q 0 zur Berechnung kritischer Werte, sowie eine Niveau α gegeben. Für die gesamte Anzahl der abgelehnten Hypothesen R und die Anzahl der abgelehnten wahren Hypothesen V schreiben wir: R n = R(Q 0 Q n ) = R(T n, Q 0, α), T n Q n, R 0 = R(Q 0 Q 0 ) = R(T n, Q 0, α), T n Q 0, V n = V (Q 0 Q n ) = R(T n, Q 0, α) I 0, T n Q n, V 0 = V (Q 0 Q 0 ) = R(T n, Q 0, α) I 0, T n Q 0. Mathias Trabs () Bootstrap-Methoden / 22

10 Fehlerkontrolle und Wahl der Nullverteilung Road map 1 Null-Dominiertheit für das Typ-I-Fehlermaß Θ(F Vn ): Wähle eine Null-Verteilung Q 0 so, dass. Θ(F Vn ) Θ(F V0 ) [strikte Kontrolle] lim sup Θ(F Vn ) Θ(F V0 ) [asymptotische Kontrolle]. (1) n 2 Die Anzahl der Typ-I-Fehler ist nie größer als die gesamte Anzahl abgelehnter Hypothesen, damit V 0 R 0 F V0 F R0 (AMI) Θ(F V0 ) Θ(F R0 ) 3 Kontrolle des Parameters Θ(F R0 ), bzgl. der beobachtbaren Anzahl von abgelehnten Hypothesen, unter der Null-Verteilung: Θ(F R0 ) α. Mathias Trabs () Bootstrap-Methoden / 22

11 Fehlerkontrolle und Wahl der Nullverteilung Null-Dominiertheit (1) ist abhängig von Θ und gilt unter folgenden allgemeinen Null-Dominiertheits-Bedingungen: Q 0 dominiert die Verteilung F Vn : x {0,..., m}: F Vn (x) F V0 (x), lim inf n F V n (x) F V0 (x), Insbesondere gilt dies, falls Q 0 dominiert die gemeinsame Verteilung Q n,i0 des I 0 -Vektors (T ni : i I 0 ): Q n,i0 Q 0,I0, lim inf n Q n,i 0 Q 0,I0. Die erste Ungleichung in (1) folgt aus (AMI), für die zweite benötigen wir ebenfalls (ACI). Mathias Trabs () Bootstrap-Methoden / 22

12 Umsetzung Konstruktion einer MTP Schreibe für einen kritischen Wert c R m und eine Verteilung Q {Q 0, Q n } R(c Q) = i I 1 {Tni >c i }, T n Q, V (c Q) = i I 0 1 {Tni >c i }, T n Q. Für die Null-Verteilung Q 0 auf dem R m mit Randverteilungen Q 0i und für ein δ [0, 1] definieren wir außerdem den Vektor d(q 0, δ) der δ-quantile: d(q 0, δ) i = Q 1 0i (δ) = inf{z : Q 0i (z) δ}, i = 1,...m. Mathias Trabs () Bootstrap-Methoden / 22

13 Umsetzung Methode 1: common-quantil Gegeben eine Null-Verteilung Q 0 und ein Niveau α (0, 1), wähle δ 0 (α) = inf{δ : Θ(F R(d(Q0,δ) Q 0 )) α}. Dann definieren wir die Ein-Schritt common-quantil multiple Testprozedur mittels der kritischen Werte c(q 0, α) = d(q 0, δ 0 (α)) = (Q 1 0i (δ 0 (α)) : i = 1,..., m), welche das Typ-I-Fehlermaß Θ(F V (c(q0,α) Q n)) zum Niveau α kontrolliert: R(T 0, Q 0, α) = {i : T ni > c(q 0, α) i }. Mathias Trabs () Bootstrap-Methoden / 22

14 Umsetzung Theorem 1: Asymptotische Kontrolle für die common-quantil Methode Es existiere eine R m -wertige Zufallsvariable Z Q 0, so dass für alle c R m und x {0,..., m} gilt: lim inf n PQn 1 {Tni >c i } x P Q 0 1 {Zi >c i } x i I0 i I0 (AQ0) Oder kurz: lim inf n F V (c Qn)(x) F V (c Q0 )(x), x. Weiterhin erfülle die Abb. Θ die Bedinungen (AMI) und (ACI) bei F V (c Q0 ). Dann kontrolliert die common-quantil Methode mit kritschen Werten c(q 0, α) = d(q 0, δ 0 (α)) asymptotisch das Typ-I-Fehlermaßes Θ(F V (c Qn)) zum Niveau α, d.h. lim sup Θ(F V (c Qn)) α. n Mathias Trabs () Bootstrap-Methoden / 22

15 Umsetzung Methode 2: common-cut-off Gegeben eine Null-Verteilung Q 0 und ein Niveau α (0, 1), wähle e(q 0, α) = inf{c R : Θ(F R((c,..,c) Q0 )) α}. Dann definieren wir die Ein-Schritt common-cut-off multiple Testprozedur mittels des kritischen Wertes e(q 0, α) durch c(q 0, α) = (e(q 0, α),..., e(q 0, α)), welche das Typ-I-Fehlermaß Θ(F V (c(q0,α) Q n)) zum Niveau α kontrolliert: R(T 0, Q 0, α) = {i : T ni > c(q 0, α) i }. Mathias Trabs () Bootstrap-Methoden / 22

16 Umsetzung Common-qunatil vs. common-cut-off Beide Methoden sind äquivalent, falls (T ni ) i=1,...,m unter Q 0 identisch verteilt sind. Unterschiede in: Balance, Güte und technischer Umsetzbarkeit. Wird Q 0 durch Resampling geschätzt (bootstrap) tendiert die common-quantil Methode zur größerer Sensibilität gegenüber der Anzahl der Resampling-Schritte und der Diskretheit der geschätzten Null-Verteilung. Mathias Trabs () Bootstrap-Methoden / 22

17 Umsetzung Theorem 2: Allgemeine Konstuktion der Null-Verteilung Es seien λ 0 R m und τ 0 R m 0 lim sup n Definiere ν i = so gegeben, dass gilt E[T ni ] λ 0 und lim sup Var(T ni ) τ 0i, i I 0. n min ( 1, und skalierter Teststatistiken ) τ 0i Var(T ni ) und einen Zufallsvektor verschobener Z ni = ν i (T ni + λ 0i E[T ni ]), i = 1,..., m. w Falls Z n Z Q0 = Q 0 (P), dann gilt für c R m, x {0,..., m} lim inf n PQn 1 {Tni >c i } x P Q 0 1 {Zi >c i } x i I0 i I0 Damit gilt (AQ0) für die Nullverteilung Q 0 und Theorem 1 ist anwendbar. Mathias Trabs () Bootstrap-Methoden / 22

18 Umsetzung Diskusion von Theorem 2 Bei einer zusammengesetzten Hypothese H i wird λ 0i am Schwellenwert bestimmt. λ 0 R m zur Erzeugung von Statistiken (Z ni ) i I0 die stochastisch größer sind als die (T ni ) i I0 und daher gegen eine Verteilung konvergieren, die (AQ0) erfüllt. τ 0 R m 0 zur Vermeidung einer degenerierter asymptotischer Nullverteilung und unendlicher kritischer Werte λ 0, τ 0 hängen nur von den Randverteilungen der wahren Verteilung von T n ab hängen λ 0, τ 0 vom unbekannten P ab, so können sie durch konsistente Schätzer ersetzt werden. τ 0 ist für FWER-Kontrolle nicht zwingend nötig. Mathias Trabs () Bootstrap-Methoden / 22

19 Umsetzung Bootstrap-Schätzung der Nullverteilung Schätze wahre Verteilung P aus den Daten X 1,..., X n durch Pn Generiere bootstrap-sample: n iid. Realisierungen X 1,..., X n Pn. Erzeuge Teststatistik (T n i ) i=1,...,m aus bootstrap-sample Berechne entsprechend Theorem 2 Z n τ 0i n i = min(1, )(Ti Var P n (T n i ) + λ 0i E P n [T n i ]), i = 1,..., m. Schätzung der Verteilung von (Z n i ) i=1,...,m durch empirische Verteilungsfunktion über B bootstrap-samples Approximation von Q 0 (P) (aus Theorem 2) Mathias Trabs () Bootstrap-Methoden / 22

20 Umsetzung Methode 3: Bootstrap-Schätzung der Nullverteilung 1 Erzeuge B bootstrap samples {X 1,b,..., X n,b } für b = 1,..., B mit X i,b P n, i = 1,..., n, b = 1,..., B 2 Berechne für jedes bootstrap sample die Teststatistiken T n n,b = (Ti,b : i = 1,..., m), so dass wir eine m B-Matrix T n = (T n i,b ) erhalten. 3 Berechne zeilenweise Erwartungswerte und Varianzen in der Matrix T n um E[T ni ] und Var(T ni ), i = 1,..., m, zu schätzen. 4 Erzeuge m B-Matrix Z n = (Z n i,b ) durch zeilenweises Verschieben und Skalieren von T n 5 Die bootstrap Schätzung Q 0n der Nullverteilung Q 0 aus Theorem 2 erhalten wir als empirische Verteilung der Spalten Z n,b der Matrix Z n. Mathias Trabs () Bootstrap-Methoden / 22

21 Umsetzung Methode 4: Bootstrap-Schätzung der common-quantil kritischen Werte 1 Wende Methode 3 an um die Matrix Z n und die geschätze Nullverteilung Q 0n zu ermitteln. 2 Die bootstrap common-quantil cut-offs sind die Zeilenquantile der Matrix Z n, also die δ-quantile des B-Vektors Z n i, : { } d(q 0n,i, δ) = Q 1 0n,i (δ) = inf z : 1 B B b=1 1 {Z n i,b z} δ 3 Für einen Test zum Niveau α (0, 1), wird δ gewählt als 4 FWER: (min-p) δ 0n (α) = inf{δ : Θ(F R(d(Qn0,δ ) Q 0n )) α}., i = 1,..., m 1 p-wert-matrix P n bestimmen durch Ersetzten der Einträge in Z n durch deren zeilenweise Ordnungszahlen (groß zu klein). 2 Wähle in jeder Spalte von P n den kleinsten p-wert. 3 (1 δ 0n (α)) ist das α-quantil dieses B-Vektors der kleinsten p-werte. Mathias Trabs () Bootstrap-Methoden / 22

22 Umsetzung Methode 5: Bootstrap-Schätzung der common-cut-offs 1 Wende Methode 3 an um die Matrix Z n und die geschätze Nullverteilung Q 0n zu ermitteln. 2 Berechne den gemeinsamen kritischen Werte aus Q 0n entsprechend c(q 0n, α) = e(q 0n, α) = inf{c R : Θ(F R((c,..,c) Q0n )) α} 3 FWER: (max-t) 1 Bestimme in jeder Spalte von Z n den größten Wert. 2 e(q 0n, α) ist das (1 α)-quantil des B-Vektors der größten Werte. Mathias Trabs () Bootstrap-Methoden / 22