Teil XI. Hypothesentests für zwei Stichproben. Woche 9: Hypothesentests für zwei Stichproben. Lernziele. Beispiel: Monoaminooxidase und Schizophrenie

Transkript

1 Woche 9: Hypothesentests für zwei Stichproben Patric Müller Teil XI Hypothesentests für zwei Stichproben ETHZ WBL 17/19, Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Wahrscheinlichkeit und Statistik 2 / 23 WBL 2017 Lernziele Beispiel: Monoaminooxidase und Schizophrenie Sie können die richtige Wahl zwischen einem Ein- und einem Zweistichproben-Test (bzw. zwischen einem gepaarten und ungepaarten Test) treffen... einen Zweistichproben-t-Test (ungepaarten t-test) durchführen, von Hand und in R... ein Vertrauensintervall für die Differenz zweier Erwartungswerte berechnen... einen Mann-Whitney-U-Test und einen Kolmogorov-Smirnov-Test in R durchführen Vorlesung basiert auf Kapitel 4.8 des Skripts Wahrscheinlichkeit und Statistik 3 / 23 WBL 2017 Monoaminooxidase (MAO): Enzym, das vermutlich eine Rolle spielt in der Regulierung des Verhaltens Studie: Aktivitätsniveau von 42 Patienten mit unterschiedlichem Typ von Schizophrenie untersucht MAO Aktivität I II III Schizophrenie Typ (Potkin et al., 1978) Haben Patienten mit unterschiedlichem Schizophrenie-Typ im Durchschnitt unterschiedliche MAO-Aktivitätsniveaus? Was sind die wesentliche Unterschiede zum Datensatz mit der Durchblutung vor und nach Kaffee-Konsum? Wahrscheinlichkeit und Statistik 4 / 23 WBL 2017

2 Zwei vs. drei Stichproben Gepaart vs Ungepaart Im MAO-Datensatz gibt es drei Stichproben! Präzisierung der Fragestellung: Wir werden nur zwei Stichproben vergleichen, z.b. Typ I mit Typ II. Fragestellung: Haben Patienten mit Schizophrenie-Typ I im Durchschnitt unterschiedliche MAO-Aktivitätsniveaus als die mit Typ II? Wir vergleichen nie mehr als zwei Stichproben gleichzeitig! Die Frage Haben Patienten mit unterschiedlichem Schizophrenie-Typ im Durchschnitt unterschiedliche MAO-Aktivitätsniveaus? wird nicht (direkt) beantwortet. Drei oder mehrere Stichproben kann man auch gleichzeitig vergleichen, z.b. mit einer ANOVA (Varianzanalyse). Da wir sowieso nur zwei Stichproben vergleichen werden, spielt eigentlich die Anzahl Stichproben keine Rolle bei der Testdurchführung. Situation beim Kaffekonsum: (Stichproben sind gepaart) Bei Person i werden die Messwerte Yi und Z i gemessen. Die Messwerte Y 7 und Z 7 sind Messungen von Person 7. Messwerte der beiden Stichproben können gepaart werden, denn z.b. die Messwerte Y 7 und Z 7 sind beide von der Person 7 generiert worden. Situation bei der MAO-Aktivität: (Stichproben sind ungepaart) Messwert i von der Stichprobe Typ I (X i ) hat kein spezieller Bezug zu Messwert i von der Stichprobe Typ II (Y i ). Die Stichproben sind ungepaart. Die Messungen X 7 und Y 7 sind Messungen von zwei unterschiedlichen Personen. Die gemeinsame Zuordnung der Daten spielt keine Rolle. Gepaarte Stichproben haben immer die gleiche Anzahl Messungen. Dieser Unterschied ist wesentlich und beeinflusst die Testdurchführung. Wahrscheinlichkeit und Statistik 5 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 6 / 23 WBL 2017 MAO-Datensatz: zwei Stichproben vergleichen MAO-Datensatz: ungepaarter t-test 1 Modell: X i, Y i : MAO-Aktivität von Patienten mit Schizophrenie von Typ 1 bzw. 2. Tests für zwei (ungepaarte) Stichproben: t-test für zwei Stichproben (oder ungepaarter t-test) Mann-Whitney-U-Test Kolmogorov-Smirnov-Test... und viele weitere, hier nicht behandelt Wahrscheinlichkeit und Statistik 7 / 23 WBL 2017 X 1,..., X n N (µ X, σ 2 ) Y 1,..., Y m N (µ Y, σ 2 ) 2 Nullhypothese: H 0 : µ X = µ Y Alternativhypothese: H A : µ X µ Y 3 X Y Teststatistik: T = = , wobei s pool 1/n+1/m s 2 pool = 1 ( ) (n 1)sx 2 + (m 1)sy 2 n + m 2 s 2 pool heisst gepoolte Stichproben-Varianz: es ist ein Schätzer für die (in beiden Stichproben als identisch angenommene) Varianz Verteilung von T unter H 0 : T t n+m 2 Wahrscheinlichkeit und Statistik 8 / 23 WBL 2017

3 MAO-Datensatz: ungepaarter t-test MAO-Datensatz: ungepaarter t-test 4 Signifikanzniveau wählen: z.b. α = 5% 5 Verwerfungsbereich: K = (, t n+m 2,1 α/2 ] [t n+m 2,1 α/2, ) t k,α : α-quantil der t-verteilung mit k Freiheitsgraden (df) Hier: df = n + m 2 = 32; t n+m 2,1 α/2 = t 32,0.975 = p(t) t Quantile in R berechnen: > qt(0.975, n+m-2) [1] Testentscheid: H 0 wird verworfen, falls T K, andernfalls beibehalten Hier: T = , K = (, ] [2.0369, ); X K, daher wird H 0 verworfen p-wert: kleinstes Signifikanzniveau α, für welches H 0 verworfen wird Hier: p = 2 (1 F (T )), wobei F die kumulative Verteilungsfunktion mit n + m 2 Freiheitsgraden beschreibt. > 2*(1 - pt(t, n + m - 2)) [1] Wahrscheinlichkeit und Statistik 9 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 10 / 23 WBL 2017 Schneller geht s mit R... Annahmen prüfen > t.test(x, y, alternative = "two.sided", paired = FALSE, conf.level = 0.95) Welch Two Sample t-test Die Annahmen der Normalverteilung der beiden Variablen X und Y sollten (graphisch) geprüft werden: Q Q Plot: X Q Q Plot: Y data: x and y t = , df = , p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y Empirische Quantile Theoretische Quantile Empirische Quantile Theoretische Quantile Wahrscheinlichkeit und Statistik 11 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 12 / 23 WBL 2017

4 Nicht-parametrische Tests für zwei Stichproben Mann-Whitney-U-Test 1 Modell: Verteilung der Stichproben X i und Y i unterscheidet sich bloss um eine Verschiebung, ist sonst aber beliebig. Formal: Was tun, wenn Voraussetzungen für gepaarten t-test nicht erfüllt sind? Alternative: nicht-parametrische Tests: Mann-Whitney-U-Test (auch Wilcoxon-Mann-Whitney-Test genannt) Kolmogorov-Smirnov-Test Beide Alternvativen lassen sich auf zwei unabhängige Stichproben X 1,..., X n und Y 1,..., Y m anwenden. also F Y (y) = F X (y a). X 1,..., X n F X = F (x), Y 1,..., Y m F Y = F (y a), 2 Nullhypothese: H 0 : a = 0 (keine Verschiebung, d.h. identische Verteilungen) Alternativhypothese: H A : a 0 Teststatistik und deren Verteilung sind kompliziert, in der Praxis nur mit Software zu berechnen. Wahrscheinlichkeit und Statistik 13 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 14 / 23 WBL 2017 Mann-Whitney-U-Test in R Mann-Whitney-U-Test: Annahmen prüfen Mann-Whitney-U-Test ist auch in R-Funktion wilcox.test implementiert: > wilcox.test(x, y, alternative = "two.sided", paired = FALSE, conf.level = 0.95) Wilcoxon rank sum test with continuity correction data: x and y W = 221.5, p-value = alternative hypothesis: true location shift is not equal to 0 Annahme, dass sich Verteilung beider Stichproben höchstens durch eine Verschiebung unterscheiden, ist nicht einfach zu prüfen. Möglichkeit: beide empirischen kumulativen Verteilungsfunktionen plotten: Fn(x) Emp. kumul. Vert.fn. X Y x Wahrscheinlichkeit und Statistik 15 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 16 / 23 WBL 2017

5 Kolmogorov-Smirnov-Test Kolmogorov-Smirnov-Test in R 1 Modell: X 1,..., X n F X, Y 1,..., Y m F Y (keine weiteren Annahmen an Verteilungen von X und Y ) 2 Nullhypothese: F X = F Y (beide Grössen haben dieselbe Verteilung) > ks.test(x, y, alternative = "two.sided") Two-sample Kolmogorov-Smirnov test data: x and y D = , p-value = alternative hypothesis: two-sided Alternativhypothese: F X F Y 3 Teststatistik: d = maximale Differenz zwischen empirischen kumulativen Verteilungsfunktionen von X und Y. Verteilung von d unter Nullhypothese ist kompliziert. Wahrscheinlichkeit und Statistik 17 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 18 / 23 WBL 2017 Überblick: verschiedene Tests und p-werte für MAO-Datensatz Wie aussagekräftig sind p-werte? Test p-wert, 2-seitig Annahme t-test Norm., gleicher Var Mann-Whitney-U-Test Verschiebung Kolmogorov-Smirnov-Test Je weniger Annahmen ein Test macht, desto universeller einsetzbar ist er, desto kleiner ist aber seine Macht. Beispiel t-test: Nullhypothese macht Aussage über Erwartungswert (oder Differenz von Erwartungswerten), nicht über ganze Verteilung. Nullhypothese ist nie exakt richtig. Mit genügend grosser Stichprobe können wir jede Nullhypothese verwerfen, bzw. beliebig kleine p-werte erhalten. Wissenschaftliche Publikationen: gewisse Journals verbieten aus dem Grund sogar die Publikation von p-werten... Alternative zum t-test: Effektstärke berechnen Wahrscheinlichkeit und Statistik 19 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 20 / 23 WBL 2017

6 Effektstärke MAO-Datensatz: Effektstärke Situation: Zwei Stichproben, eine aus bestimmtem experimentellem Setting ({X i } i ), eine aus Kontrollgruppe ({Y i } i ) (es gibt alternative Definitionen) p(x) Grosse Effektstärke Effektstärke d = X Y s pool p(x) Kleine Effektstà rke control exp. Im MAO-Datensatz haben wir X = Y = s pool = 3.293, daher eine Effektstärke von d = = 1.07 Density X (Typ I) Y (Typ II) y x x Wahrscheinlichkeit und Statistik 21 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 22 / 23 WBL 2017 Literatur Steven G Potkin, H Eleanor Cannon, Dennis L Murphy, and Richard Jed Wyatt. Are paranoid schizophrenics biologically different from other schizophrenics? New England Journal of Medicine, 298(2):61 66, Wahrscheinlichkeit und Statistik 23 / 23 WBL 2017