Teil X. Hypothesentests für eine Stichprobe. Woche 8: Hypothesentests für eine Stichprobe. Lernziele. Statistische Hypothesentests

Transkript

1 Woche 8: Hypothesentests für eine Stichprobe Teil X Patric Müller <patric.mueller@stat.math.ethz.ch> Hypothesentests für eine Stichprobe ETHZ WBL 17/19, Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Wahrscheinlichkeit und Statistik 2 / 36 WBL 2017 Lernziele Statistische Hypothesentests Sie können folgende Test durchführen: Binomialtest, z-test, t-test, Vorzeichentest, Wilcoon-Test... einen zu einem bestimmten Datensatz passenden Test auswählen... einen p-wert berechnen und seine Bedeutung erläutern... den Zielkonflikt zwischen Fehler 1. und 2. Art erläutern... die sechs Schritte für statistische Testverfahren auf Teststatistiken mit bekannter Verteilung übertragen. Vorlesung basiert auf Kapitel 3.2.2, 3.2.3, 4.7 des Skripts Ziel: testen, ob eine Hypothese (formuliert als probabilistisches Modell) mit einem gegebenen Datensatz vereinbar ist. Es liegt in der Natur der Sache, dass es in der Regel unmöglich ist, mit Sicherheit zu sagen, ob ein Modell richtig oder falsch ist (d.h., ob es die Daten erzeugt hat oder nicht). Wir können aber feststellen, ob es plausibel oder unplausibel ist, dass Daten von einem bestimmten Modell erzeugt wurden. Mit Hilfe statistischer Hypothesentests können wir unplausible Modelle bzw. Hypothesen verwerfen. Wahrscheinlichkeit und Statistik 3 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 4 / 36 WBL 2017

2 Beispiel: Fehlsichtigkeit Problembeschreibung Section 1 Tests für Zähldaten Behauptung/Frage: WBL-AbsolventInnen sind im Schnitt weniger fehlsichtig als der Rest der Bevölkerung. Als fehlsichtig gilt, wer Brillen oder Kontaktlinsen trägt. Anteil Fehlsichtiger an der Gesamtbevölkerung: π0 = 63.1% (Daten für Deutschland; Brand eins, 2011) Stichprobe aufnehmen: n zufällig ausgewählte WBL-AbsolventInnen nach ihrer Fehlsichtigkeit befragen Ergebnis (Beispiel): von n = 51 befragten Personen tragen = 28 Brille oder Kontaktlinsen Wahrscheinlichkeit und Statistik 5 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 6 / 36 WBL 2017 Beispiel: Fehlsichtigkeit Fragestellung Beispiel: Fehlsichtigkeit Hypothesen Intuitive Fragestellung Test Ist es plausibel, durch puren Zufall eine Stichprobe der Bevölkerung zu erhalten, die mindestens so etrem ist wie die tatsächlich beobachtete? Intuitive Fragestellung p-wert Wie wahrscheinlich ist es, durch puren Zufall eine Stichprobe der Bevölkerung zu erhalten, die mindestens so etrem ist wie die tatsächlich beobachtete? Was bedeutet durch puren Zufall eine Stichprobe der Bevölkerung und mindestens so etrem wie die eigene Stichprobe? Nullhypothese: WBL-AbsolventInnen sind im Schnitt genau so fehlsichtig wie der Rest der Bevölkerung. Alternativhypothese: WBL-AbsolventInnen sind im Schnitt weniger fehlsichtig als der Rest der Bevölkerung. Fragestellung beim Hypothesentest: wie wahrscheinlich ist es unter der Nullhypothese, unter 51 befragten Personen 28 oder weniger fehlsichtige zu finden? k P(X k) Wahrscheinlichkeit und Statistik 7 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 8 / 36 WBL 2017

3 Grundprinzip hinter statistischen Hypothesentests Der Binomialtest in sechs Schritten Nullhypothese formulieren: einfacheres Modell basierend auf bisherigem Kenntnisstand. Alternativhypothese formulieren: Behauptung, die man beweisen möchte. Überraschende Aussage, neue Erkenntnis, die bisheriges Wissen erweitert, neues Modell. Sind die gemessene Daten unter dem einfacheren Modell (Nullhypothese) sehr unwahrscheinlich? Falls JA: Nullhypothese wird verworfen, Behauptung gilt als bewiesen. Falls NEIN: Nullhypothese wird nicht verworfen, keine Schlussfolgerung möglich! Allgemeines Vorgehen kann als Ablauf in sechs Schritten beschrieben werden Erstes Beispiel: Binomialtest 1 Modell: X : Anzahl fehlsichtige WBL-AbsolventInnen; X Bin(n, π), n = 51 bekannt 2 Nullhypothese: H 0 : π = π 0 = Alternativhypothese: H A : π < π 0 3 Teststatistik: X = 28 4 Signifikanzniveau wählen: z.b. α = 5% Wahrscheinlichkeit und Statistik 9 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 10 / 36 WBL 2017 Der Binomialtest in sechs Schritten Fehler 1. und 2. Art 5 Verwerfungsbereich K: Wertebereich der Teststatistik, der unter der Nullhypothese unwahrscheinlich ist; quantitativ so gewählt, dass P(X K) α unter H 0 Hier: K = [0, c] mit c so, dass P H0 (X c) α; mit Hilfe von R finden wir die grösste Zahl c mit P H0 (X c) α: c = 25 6 Testentscheid: H 0 wird verworfen, falls X K, andernfalls wird H 0 beibehalten. Hier: X = 28, K = [0, 25]; X / K, daher wird H 0 beibehalten p() F() Bin(n, 0.631) Wahrheit H 0 Entscheidung H A H 0 richtig negativ Fehler 1. Art H A Fehler 2. Art richtig positiv Signifikanzniveau α: W keit eines Fehlers 1. Art, d.h. des Verwerfens gegeben dass H 0 wahr ist Macht 1 β: β: W keit eines Fehlers 2. Art, d.h. des Beibehaltens gegeben dass H 0 falsch ist. Macht 1 β: W keit, eine Abweichung von der Nullhypothese festzustellen. Wenn wir die W keit für Fehler 1. Art verringern, erhöhen wir die W keit für Fehler 2. Art. Höhere Signifikanz bedingt geringere Macht. Wahrscheinlichkeit und Statistik 11 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 12 / 36 WBL 2017

4 Beispiel: Macht eines Binomialtests p-wert Zurück zum Beispiel der Fehlsichtigkeit: Wie gross ist die Macht des Binomialtests, falls der wahre Anteil fehlsichtiger WBL-AbsolventInnen π = 0.5 beträgt? P π=0.5 (X c = 25) = Wie gross ist die Macht des Binomialtests, falls der wahre Anteil fehlsichtiger WBL-AbsolventInnen π = 0.4 beträgt? P π=0.4 (X c = 25) = Definition (p-wert) Der p-wert ist das kleinste Signifikanzniveau α, für welches wir eine Nullhypothese für einen gegebenen Datensatz verwerfen. Definition (p-wert: alternative Definition) Der p-wert ist die W keit unter der Nullhypothese, einen mindestens so etremen Wert der Teststatistik zu erhalten, wie ihn die Stichprobe liefert. Im Beispiel Fehlsichtigkeit : p = P H0 (X ) = p-wert kann als Ersatz für Verwerfungsbereich dienen. Testentscheid (Schritt 6) kann nämlich auch so formuliert werden: H 0 wird verworfen, falls p < α, andernfalls beibehalten. Wahrscheinlichkeit und Statistik 13 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 14 / 36 WBL 2017 Hypothesentest mit Normalapproimation Hypothesentest mit Normalapproimation (z-test) Zur Erinnerung (Teil VIII): falls nπ 0 > 5 und n(1 π 0 ) > 5, darf man die kumulative Verteilungsfunktion einer Binomialverteilung durch die einer Normalverteilung approimieren: X N (nπ 0, nπ 0 (1 π 0 )) Für grosse Stichproben können wir einen Binomialtest durch einen z-test ersetzen (Vorteil: einfachere Berechnungen + Anwendung der Z Tabelle): 1 Modell: X : Anzahl fehlsichtige WBL-AbsolventInnen; X N (nπ 0, nπ 0 (1 π 0 )) 2 Nullhypothese: H 0 : π = π 0 = Alternativhypothese: H A : π < π 0 X nπ 0 3 Teststatistik: Z = nπ0 (1 π 0 ) = Verteilung von Z unter H 0 : Z N (0, 1) 4 Signifikanzniveau wählen: z.b. α = 5% 5 Verwerfungsbereich K = (, c] mit c so dass P H0 (Z c) = α: c = Φ 1 (α) = Φ 1 (1 α) = Testentscheid: H 0 wird verworfen, falls Z K, andernfalls beibehalten. Hier: Z = 1.213, K = (, 1.645]; Z / K, daher wird H 0 beibehalten p-werte für Binomialtest: p = für z-test: p = p() F() Normalappro Wahrscheinlichkeit und Statistik 15 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 16 / 36 WBL 2017

5 Beispiel: Effekt von Koffein auf Durchblutung Section 2 Tests für Messdaten Studie: beeinflusst Kaffeekonsum die Durchblutung bei Bewegung? Ärzte haben Durchblutung des Herzmuskels ( myocarcial blood flow, MBF) von 8 Personen beim Velofahren gemessen, vor (Y i ) und nach (Z i ) dem Kaffeekonsum (i = 1,..., 8) Zeigen die Daten eine systematische Differenz der Durchblutung vor und nach Kaffeekonsum? (Quelle: Namdar et al. (2006)) MBF Baseline Caffeine Wahrscheinlichkeit und Statistik 17 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 18 / 36 WBL 2017 Gepaarter (oder Ein-Stichproben-) t-test t-verteilung Wir betrachten Differenzen X i = Z i Y i, i = 1, 2,..., n = 8. 1 Modell: X 1,..., X n i.i.d N (µ, σ 2 ), mit unbekanntem σ 2 2 Nullhypothese: H 0 : µ = µ 0 = 0 Alternativhypothese: H A : µ µ 0 n(x µ0 ) 3 Teststatistik: T = = s beob. Mittel erw. Mittel Standardfehler Verteilung von T unter H 0 : t-verteilung mit n 1 Freiheitsgraden 4 Signifikanzniveau wählen: z.b. α = 5% Notation: T t m Verteilung durch Freiheitsgrade m charakterisiert Verteilung gleicht mehr und mehr der Normalverteilung für grosse m t m,α bezeichnet α-quantil Wegen der Symmetrie gilt t m,α = t m,1 α R-Funktion zum Berechnen der Quantile: qt f() m = 1 m = 2 m = 5 m = Wahrscheinlichkeit und Statistik 19 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 20 / 36 WBL 2017

6 Gepaarter (oder Ein-Stichproben-) t-test (Forts.) Voraussetzungen des t-tests prüfen 5 Verwerfungsbereich K = (, t n 1,1 α 2 ] [t n 1,1 α 2, ) = (, 2.365] [2.365, ) 6 Testentscheid: H 0 wird verworfen, falls T K, andernfalls beibehalten. Hier: z y = somit ist T = K, daher wird H 0 verworfen. p-wert: p = Zur Erinnerung: Modell X 1,..., X n i.i.d N (µ, σ 2 ), mit unbekanntem σ 2 Empirische Quantile Q Q Plot Theoretische Quantile Wahrscheinlichkeit und Statistik 21 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 22 / 36 WBL 2017 Vertauensintervall Vertauensintervall für µ Definition (Vertrauensintervall) Das Vertrauensintervall I für den Parameter µ zum Konfidenzniveau 1 α ist die Menge aller Parameterwerte, die mit der Stichprobe vereinbar sind im Sinne eines statistischen Tests (d.h. nicht zur Verwerfung der zugehörigen Nullhypothese führen). Formal: I = {µ 0 Nullhypothese H 0 : µ = µ 0 wird nicht verworfen} Hier formal für t-test bzw. Erwartungswert µ; analoge Definitionen eistieren für andere Tests und Parameter. Form des Vertrauensintervalls hängt von Alternativhypothese ab: [ ] s H A : s µ µ 0 I = t n 1,1 α/2, + t n n 1,1 α/2 n = [ 1.680, 0.628] ( ] s H A : µ < µ 0 I =, + t n 1,1 α n = (, 0.732] [ ) s H A : µ > µ 0 I = t n 1,1 α, n = [ 1.575, ) Wahrscheinlichkeit und Statistik 23 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 24 / 36 WBL 2017

7 R-Funktion t.test I R-Funktion t.test II > bloodflow <- read.table("../daten/bloodflow.csv", header = TRUE, sep = ",") > t.test(bloodflow$caffeine, bloodflow$baseline, paired = TRUE, alternative = "two.sided", conf.level = 0.95) Paired t-test data: bloodflow$caffeine and bloodflow$baseline t = , df = 7, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of the differences > t.test(bloodflow$caffeine, bloodflow$baseline, paired = TRUE, alternative = "less", conf.level = 0.95) Paired t-test data: bloodflow$caffeine and bloodflow$baseline t = , df = 7, p-value = alternative hypothesis: true difference in means is less than 0 95 percent confidence interval: -Inf sample estimates: mean of the differences Wahrscheinlichkeit und Statistik 25 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 26 / 36 WBL 2017 Vorzeichentest Vorzeichentest Durchblutungs-Beispiel: wir betrachten Differenzen X i = Z i Y i, i = 1, 2,..., n = 8; Ziel: prüfen, ob Differenzen im Mittel signifikant unterschiedlich von (oder unter) 0 sind. Annahme für t-test: X i s normalverteilt Was tun, wenn diese Annahme nicht erfüllt ist? Alternative: Vorzeichentest Betrachte Differenzen X i = Z i Y i, i = 1, 2,..., n = 8. 1 Modell: X 1,..., X n i.i.d. mit beliebiger Verteilung mit Median m 2 Nullhypothese: H 0 : m = m 0 = 0 Alternativhypothese: H A : m m 0 3 Teststatistik: V = #{i X i > m 0 }: Anzahl Werte (Differenzen), die grösser als m 0 sind. Verteilung von V unter H 0 : V Bin(n, 0.5) 4 Signifikanzniveau wählen: z.b. α = 5% Wahrscheinlichkeit und Statistik 27 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 28 / 36 WBL 2017

8 Vorzeichentest Zweiseitiger Vorzeichentest in R 5 Verwerfungsbereich: K = [0, c] [n c, n] so, dass P H0 [V K] α. Es gilt P H0 [V K] = 2P H0 [V c]. Werte für c = 0, 1, 2, 3: > 2*pbinom(0:3, n, 0.5) [1] Daher nehmen wir c = 0 (kleiner Datensatz!) 6 Testentscheid: H 0 wird verworfen, falls V K, andernfalls beibehalten. Hier: V = 0 K, daher wird H 0 verworfen p-wert: p = Ist V berechnet, kann man die Funktion binom.test benutzen: > V <- sum(bloodflow$caffeine > bloodflow$baseline) > binom.test(v, n, p = 0.5, alternative = "two.sided", conf.level = 0.95) Eact binomial test data: V and n number of successes = 0, number of trials = 8, p-value = alternative hypothesis: true probability of success is not equal to percent confidence interval: sample estimates: probability of success 0 Wahrscheinlichkeit und Statistik 29 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 30 / 36 WBL 2017 Einseitiger Vorzeichentest in R Wilcoon-Test > V <- sum(bloodflow$caffeine > bloodflow$baseline) > binom.test(v, n, p = 0.5, alternative = "less", conf.level = 0.95) Eact binomial test data: V and n number of successes = 0, number of trials = 8, p-value = alternative hypothesis: true probability of success is less than percent confidence interval: sample estimates: probability of success 0 Weitere Alternative zum t-test: Wilcoon-Test. Modell für Datensatz: X 1,..., X n i.i.d. mit beliebiger Verteilung, die symmetrisch um den Median m ist (Hinweis: bei symmetrischer Verteilung gilt Median = Erwartungswert) Genaue Berechnung der Teststatistik lassen wir aus; Verteilung ist so kompliziert, dass sie nur mit Software berechnet werden kann Wahrscheinlichkeit und Statistik 31 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 32 / 36 WBL 2017

9 Wilcoon-Test in R Zweiseitiger Test: > wilco.test(bloodflow$caffeine, bloodflow$baseline, paired = TRUE, eact = TRUE, alternative = "two.sided", conf.level = 0.95) Wilcoon signed rank test data: bloodflow$caffeine and bloodflow$baseline V = 0, p-value = alternative hypothesis: true location shift is not equal to 0 Einseitiger Test: > wilco.test(bloodflow$caffeine, bloodflow$baseline, paired = TRUE, eact = TRUE, alternative = "less", conf.level = 0.95) Wilcoon signed rank test Überblick: verschiedene Tests und p-werte für Durchblutungs-Datensatz Test p-wert, 2-seitig p-wert, 1-seitig t-test Vorzeichentest Wilcoon-Test data: bloodflow$caffeine and bloodflow$baseline V = 0, p-value = alternative hypothesis: true location shift is less than 0 Wahrscheinlichkeit und Statistik 33 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 34 / 36 WBL 2017 Vergleich: parametrische und nicht-parametrische Tests für eine Stichprobe Parametrischer Test Annahmen über Verteilungsfamilie der Daten Beispiele: z-test, t-test Beschränkt anwendbar Höhere Macht als nicht-parametrische Tests Nicht-parametrischer Test Keine/wenige Annahme über Verteilungsfamilie der Daten Beispiele: Vorzeichentest, Wilcoon-Test Breiter anwendbar Kleinere Macht als parametrische Tests Wahl eines Tests Verwenden Sie wenn möglich parametrische Tests, wenn nötig nicht-parametrische Tests. Literatur Brand eins. Die Welt in Zahlen Mehdi Namdar, Pascal Koepfli, Renate Grathwohl, Patrick T Siegrist, Michael Klainguti, Tiziano Schepis, Raphael Delaloye, Christophe A Wyss, Samuel P Fleischmann, Oliver Gaemperli, et al. Caffeine decreases eercise-induced myocardial flow reserve. Journal of the American College of Cardiology, 47(2): , Welche Probleme ergeben sich bei kleinen Datensätzen? Wahrscheinlichkeit und Statistik 35 / 36 WBL 2017 Wahrscheinlichkeit und Statistik 36 / 36 WBL 2017