Fragestellungen. Ist das Gewicht von Männern und Frauen signifiant unterschiedlich? (2-sample test)

Transkript

1 Hypothesen Tests

2 Fragestellungen stab.glu hdl ratio glyhb location age gender height weight frame Buckingham 46 female medium Buckingham 29 female large Buckingham 58 female large Buckingham 67 male large Buckingham 64 male medium Buckingham 34 male large Buckingham 30 male medium Buckingham 37 male medium Buckingham 45 male large Buckingham 55 female small Ist das Gewicht von Männern und Frauen signifiant unterschiedlich? (2-sample test) Ist das Mittelgewicht von Männern signifiant grösser als 173? (one-sample test) Entspricht die Verteilung der Körpergrößen einer Normalverteilung? (normality test) Gibt es eine signifiante Korrelation zwischen Alter und Cholesterin level? (correlation test) Achtung : diese Fragen beziehen sich auf die Gesamtpopulation, nicht auf die Stichprobe!!

3 Hypothesen Tests : was braucht man? Statistische Frage (= zu untersuchender Efekt): haben Männer und Frauen unterschiedliche durchschnittliche Körpergrößen? sind Männer im Durchschnitt mehr als 10 cm größer als Frauen? Hypothesen Null Hypothese H 0 (= iein Efeit vorhanden): der Unterschied der Erwartungswerte ist null (Diferenzen sind statistische Fluktuationen) der Unterschied der Erwartungswerte ist kleiner oder gleich 10 cm alternative Hypothese (= ein Efeit vorhanden): der Unterschied ist ungleich null der Unterschied ist größer als 10 cm eine Teststatistii, deren Verteilung under H 0 bekannt ist Berechnung einer p-wertes: Wahrscheinlichkeit, daß ich unter H 0 einen größeren/kleineren Wert für die Teststatistik beobachten würde als den tatsächlich beobachteten.

4 Wir bauen eine Teststatistii... Test: Efekt von Düngemittel auf Wuchs von Pfanzen Kontrollpopulation (ohne Behandlung): h=1.5m Frage : Hat die Behandlung einen Efekt auf die Pfanzengröße? x = {1.47, 1.32, 1.51, 1.61, 1.27, 1.41, 1.55, 1.49, 1.44, 1.50 } Null-Hypothese (H 0 ) : nein, kein Efekt; Pfanzen nach Behandlung entstammen der gleichen Population mit Erwartungswert h = 1.5m Alternativhypothese (H 1 ): ja, die Stichprobe könnte aus einer Population mit ileinerem oder größerem Erwartungswert kommen! Stichprobe x : Mittelwert x, Standardabweichung s Efektgrösse : Rauschen : Wie groß kann t werden, wenn die Durchschnittsgröße h=1.50m ist (statistische Fluktuationen, also H0 Hypothese)? H0-Verteilung von t

5 H 0 Verteilung und p-wert Rote Kurve = H 0 Verteilung der Teststatistik Vertikale Linie = beobachteter Wert der Teststatistik aus der untersuchten Stichprobe Grüner Bereich = Wahrscheinlichkeit, einen ileineren Wert unter H 0 zu beobachten (lower-tail) Blauer Bereich = Wahrscheinlichkeit, einen größeren Wert unter H0 zu beobachten (upper-tail) p-wert = Wahrscheinlichieit, unter H 0 einen ileineren,größeren,extremeren Werte des Schätzers zu erhalten als den tatsächlich beobachteten

6 ein- oder beidseitiger Test Beispiel: Cholesterinwerte Frauen, Männer Unterschiedliche Fragen: gibt es einen signifkanten Unterschied zwischen chol. Werten bei Männern und Frauen? beidseitiger Test (H0: iein Unterschied, H1 : größer ODER ileiner) haben Männer einen sign. höheren Cholesterinspiegel? einseitiger Test ( upper tail test ) (H0: iein höherer Spiegel, H1 : höherer Spiegel) haben Männer einen sign. niedrigeren Cholesterinspiegel? einseitiger Test( lower tail test ) (H0: iein niedrigerer Spiegel, H1 : niedrigerer Spiegel) wenn keine vorherige Annahme beidseitiger Test die Frage muß gestellt werden, bevor der Test durchgeführt wird! (unter den Top 10 statistischen Todsünde..)

7 Signifianz Man defniert einen Signifianzwert α (=0.05,0.01,...) p < α : die Null-Hypothese kann verworfen werden der beobachtete Efekt ist signifiant H 1 ist statistisch bewiesen p > α : der beobachtete Efekt kann durch statistische Fluktuationen erklärt werden der Efekt reicht nicht aus, um H 0 zu verwerfen Achtung : H 0 ist dadurch nicht bewiesen!! Vielleicht würde der Efekt bei größeren Proben signifkant werden. α = 0.05 hat sich durchgesetzt, aus welchem Grund auch immer (keine goldene Regel!!)

8 Signifianz vs Relevanz Unterschied Frauen,Männer (= Efektgröße) bleibt ~ konstant der Efekt wird immer signifianter kleiner Efekt kann signifkant sein (N groß) großer Efekt kann nicht signifkant sein (N klein) Ein Test iann signifiant sein, obwohl der Efeit gering ist!

9 Resampling Methoden bei Test in denen mehrere Stichproben verglichen werden kann man die H 0 Verteilung simulieren H 0 : kein Unterschied zwischen den Proben alle Werte können vermischt werden (10000 x)? H 0

10 Beispiel : 2 Stichproben Test Frage : haben Frauen und Männer signifikant unterschiedliche durchschnittliche Cholesterin Werte? H 0 : kein signifkanter Unterschied H1 : höher oder niedriger Stichprobe aus 168 Männern, 234 Frauen Teststatistik : Resampling Methode: H 0 : kein Unterschied; was ist die Fluktuation von θ 0? Zufallsproben (168, 234) aus den reellen Werten (chol M,chol F ) Verteilung von θ 0?

11 Beispiel Beobachteter Wert: θ=1.41 Anzahl der θ 0 θ: 3700, = 37% Anzahl der θ 0 θ: 6300, = 63% Nicht signifkant, H 0 kann nicht verworfen werden. P-Wert? P up = 0.37 P down = 0.63 P 2sided = 2*min(P up,p down ) = 0.74

12 Beispiel Andere Teststatistik: Beobachteter Wert: θ=1.006 Anzahl der θ 0 θ: 37% Anzahl der θ 0 θ: 63% Nicht signifkant, H 0 kann nicht verworfen werden.

13 2. Beispiel Frage: haben Männer und Frauen ein signifkant unterschiedliches Gewicht? (beidseitiger Test) H 0 : kein signif. Unterschied Schätzer : beobachteter Wert: θ=0.96 nicht signifkant, H 0 kann nicht verworfen werden

14 2. Beispiel Frage: haben Männer ein signifkant höheres Gewicht? (einseitiger Test) H 0 : kein signif. höheres Gewicht von Männern Schätzer : beobachteter Wert: θ=0.96 signifkant, H 0 kann verworfen werden

15 Empirische vs Exaite Tests p-wert Bestimmungen durch resampling Methoden erlauben es, jede Hypothese anhand von jeder Teststatistik zu untersuchen Präzision der p-wert Bestimmung hängt von Anzahl der resamplings ab n=1000 max. Präzision der p-wertes : 1e-3 n= max. Präzision der p-wertes : 1e-5 kann schnell sehr Computerintensiv werden für gewisse Teststatistiken, unter gewissen Voraussetzungen kann man exakte, parametrische Tests benutzen Voraussetzungen nicht erfüllt : nicht-parametrische Tests

16 Mittelwert Tests Hypothesen über Mittelwerte können anhand eines t-tests untersucht werden verschiedene Versionen 1-Proben Test : ist die Durchschnittskörpertemperatur 37.7? 2-Proben Test, ungepaart : haben Männer und Frauen unterschiedliche dursch. Körpergrößen? 2-Proben Test, gepaart : verändert sich der durch.. Cholesterinspiegel, wenn man 1 Monat lang jeden Morgen ein Ei isst? 1-Proben Test 2-Proben Test ungepaart 2-Proben Test gepaart

17 t-test Typ Teststatistii Freiheits grade Anmeriung 1-Proben n-1 2-Proben ungepaart gleiche Varianz 2-Proben ungepaart ungleiche Varianz 2-Proben gepaart n 1 +n 2-2 (*) n-1 x D = Diferenzen zwischen Paaren (*) H 0 - Verteilung : t-verteilung mit entsprechenden Freiheitsgraden

18 Tabelle der iritischen Werte Freiheitsgrade Beispiel (1-Proben Test): Signifkanzwert α = 0.05 Teststatistik t = 2.01 Probengröße n=8 Freiheitsgrade ν = 7 Einseitiger Test: Spalte 1-α = 0.95 kritischer Wert = t > : Test ist signifkant bei α=0.05 H0 kann verworfen werden!

19 Tabelle der iritischen Werte Freiheitsgrade Beispiel (1-Proben Test): Signifkanzwert α = 0.05 Teststatistik t = 2.01 Probengröße n=8 Freiheitsgrade ν = 7 Beidseitiger Test: Spalte 1-α,2 = kritischer Wert = t < : Test istnicht signifkant bei α=0.05 H0 kann NICHT verworfen werden

20 t.test in R zweiseitiger Student t-test, ungepaart Teststatistik > t.test(weight.m,weight.f,var.equal=true) Two Sample t-test data: weight.m and weight.f t = , df = 400, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y Freiheitsgrade = n1+n2-2 Konfdenzinterval der Diferenz der Mittelwerte H 0 : Durschnittsgewicht der Männer ist gleich das der Frauen H 1 : Durschnittsgewicht der Männer ist ungleich das der Frauen

21 t.test in R einseitiger Student t-test, ungepaart > t.test(weight.m,weight.f,alternative="greater",var.equal=true) Two Sample t-test data: weight.m and weight.f t = , df = 400, p-value = alternative hypothesis: true difference in means is greater than 0 95 percent confidence interval: Inf sample estimates: mean of x mean of y bei einseitigen Tests ist ober,unter Grenze des KI immer +,- unendlich! H 0 : Durchschnittsgewicht der Männer ist nicht größer als das der Frauen H 1 : Durchschnittsgewicht der Männer ist größer als das der Frauen

22 t.test in R einseitiger Test α = 0.05 signifiant beidseitiger Test α = 0.05 nicht signifiant

23 t.test in R einseitiger Welch t-test, ungepaart > t.test(weight.m,weight.f,alternative="greater") Welch Two Sample t-test data: weight.m and weight.f t = , df = , p-value = alternative hypothesis: true difference in means is greater than 0 95 percent confidence interval: Inf sample estimates: mean of x mean of y da die Varianzen selten genau gleich sind wird meistens der Welch t-test durchgeführt (wird automatisch geprüft in R)

24 zurüci zu den Beispielen p-wert t-test p-wert resampling Haben Männer und Frauen unterschiedliche Cholesterinspiegel? p = (2-Proben, ungepaart, twotailed) p = 0.37 Haben Männer ein höheres Körpergewicht? p = (2-Proben, ungepaart, onetailed) p = 0.032

25 Gepaarte t-tests 2 Proben mit gleicher Anzahl von Elementen jedes Element aus Gruppe A kann einem Element aus Gruppe B zugeordnet werden Efekt eine Medikamentes gegen Magersucht Patienten vor,nach Behandlung Technische Replikate x D : Diferenzen der Paare ungepaart p = 5e-3 gepaart p = 7e-4

26 Gepaarte t-tests

27 das Kleingedrucite... Datenverteilung ~ Normalverteilung QQ-plot statistischer Test (Shapiro-Wilk, Kolmogorov-Smirnov) wenn nicht : nicht-parametrische Tests gleiche Varianz (2-Proben Tests, ungepaart) wenn ja : Student's t-test wenn nein : Welsch t-test unabhängige Proben (2-Proben Tests, ungepaart) Voraussetzungen nie 100% erfüllt : wie robust ist der t-test?

28 Normalität überprüfen um zu testen, ob wir den t-test anwenden können, müssen wir zuerst testen, ob die Testdaten normalverteilt sind Prinzip QQplot : graphische Überprüfung allgemeiner Vergleich von Verteilungen Normalitätstest: Shapiro-Wilis Test, Kolmogorov-Smirnov Test,... Überprüfung der Normalität > n <- 10 > x <- rnorm(n) ## Normalverteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = 0.977, p-value = > n <- 10 > x <- rt(n,df=2) ## t-verteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = , p-value = H 0 : Daten sind normalverteilt in diesem Fall wird H 0 nicht verworfen Daten normalverteilt H 0 : Daten sind normalverteilt in diesem Fall wird H 0 verworfen Daten nicht normalverteilt

29 Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen two-samples : 2 Datensätze miteinander one-sample : 1 Datensatz vs. theoretische Verteilung Schätzer: D = Wert der größten Abweichung zwischen den kumul. Verteilungen H 0 : beide Datensätze stammen aus der gleichen Verteilung kritische Werte für ein bestimmtes Signifkanzniveau α und Anzahl n von Werten sind tabelliert (hier ein Link). > ks.test(x=x,y="pnorm") One-sample Kolmogorov-Smirnov test data: X D = , p-value = alternative hypothesis: two-sided

30 Beispiel : one-sample KS Sind die Cholesterinwerte normal verteilt? (H0 : ja!) Parameter einer entsprechenden Normalverteilung : q1 q0 Mittelwert : m = Standardabweichung : s = q0 = Quantile der beobachteten Werte q1 = Quantile der Normalverteilung N(m,s) Grösste Diferenz q0,q1 : Entsprechender p-wert für 20 Datenpunkte: p = 0.85 H0 iann NICHT verworfen werden! also können wir annehmen, dass die Werte normalverteilt sind! x q0 q1 D

31 Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen one-sample : 1 Datensatz vs. theoretische Verteilung two-samples : 2 Datensätze miteinander > ks.test(x=x,y="pnorm") test data: X One-sample Kolmogorov-Smirnov D = , p-value = alternative hypothesis: two-sided > ks.test(x=x,y=y) Two-sample Kolmogorov-Smirnov test data: X and Y D = 0.2, p-value = alternative hypothesis: two-sided

32 Wie iann sich ein Test täuschen? Was stimmt H0 gilt H0 gilt nicht Was der Test sagt H0 wird verworfen H0 wird nicht verworfen Falsch Positiv oder Typ I Fehler Wahre Negative Negative Wahre Positive Falsch Negativ oder Typ II Fehler Positive Test Positive Test Negative Falsch Positiv Rate = Falsch Positive, Negative

33 einen Test testen wie robust ist ein statistischer Test? ein robuster Test sollte: richtige H 0 Hypothesen nur in α Prozent der Fälle wiederlegen (Typ I Fehler Rate oder Falsch Positiv Rate = α) falsche H 0 Hypothesen oft verwerfen (niedrige Typ II Fehler oder Falsch negative Rate) Robustheit gegenüber Abweichungen von den Voraussetzungen Normalität identische Varianz

34 Beispiel : H 0 gilt ich ziehe 2 Datenreihen von jeweils 50 Zahlen aus der gleichen Normalverteilung H 0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte. unter H0 ist die Verteilung der p-werte eine Gleichverteilung (Defnition des p-wertes!) in 5% der Fälle habe ich einen p-wert kleiner als 0.05 in 50% der Fälle habe ich einen p-wert kleiner als 0.5

35 Typ I Fehler Roter Bereich: bei α = 0.05 hätten wir die H0 Hypothese zu Unrecht verworfen Falsch Positive! Wie oft wäre das passiert? in 5% der Fälle (da Gleichverteilung) Falsch-Positiv Rate wird von α angegeben Test bei denen H0 gilt : Gleichverteilung

36 Beispiel : H 0 gilt nicht ich ziehe 2 Datenreihen von jeweils N=50 Zahlen aus 2 Normalverteilungen mit unterschiedlichen Erwartungswerten H 0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt nicht, der Test sollte H0 verwerfen!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte.

37 Verteilung der P-Werte Viele kleine P-Werte H0 wird in diesen Fällen verworfen Einige grosse P-Werte H0 wird in diesen Fällen NICHT verworfen

38 Typ II Fehler entstehen, wenn eine falsche H 0 hypothese nicht wiederlegt wird Falsch Negative Wahrscheinlichkeit eines Typ II Fehlers : β-wert die Wahrscheinlichkeit, einen Typ II Fehler nicht zu begehen nennt man die Power eines Tests diese Fläche β entspricht den falsch Negativen: H 0 wird nicht verworfen

39 Typ II Fehler 2 Datensätze der Größe N Normalverteilung, mu=0 Normalverteilung, mu=0.2 hier gilt H 0 also nicht t-test p-werte für verschiedene N Fazit : mit steigender Probengröße hat der Test immer mehr Power

40 Power eines Tests Power 1-β hängt ab von Signifianz level α Probengröße N Efeitgröße : wie stark weicht der tatsächliche Efekt von H 0 ab? Power Hohes Signifkanzlevel Niedriges Signifkanzlevel Grosse Probengrösse Grosse Efektgrösse Kleine Probengrösse Kleine Efektgrösse

41 Beispiel : Pinguine Ich untersuche Populationen von Pinguinen in der Antarktis 2 Arten Humboldtpinguine : μ H =15kg, σ H Königspinguine: μ K =16kg, σ K Ich fange Gruppen von N Pinguinen, berechne das Durschnittsgewicht m, und bestimme, ob es HP sind oder nicht H 0 : es sind Humboldtpinguine

42 Verteilungen der Mittelwerte Verteilung der Mittelwerte μ = μ H σ = σ H, N H0 : es handelt sich um Humboldtpinguine : Verwerfungsbereich von H 0 Verteilung der Mittelwerte μ = μ K σ = σ K, N : nicht Verwerfungsbereich von H 0

43 Typ II Fehler Bei festgelegtem α kann man N berechnen, sodass β einen bestimmen Wert nicht überschreitet. Beispiel: der Test soll bei einem Gewichtsunterschied von 1 kg eine Power von 60% haben und eine Signifkanz von 5% N ~ 30 : Verwerfungsbereich von H 0 : nicht Verwerfungsbereich von H 0

44 Nicht parametrische Tests setzen keine Bedingung auf die Verteilung der Werte werden angewendet, wenn Normalitätsbedingungen der t-tests nicht erfüllt sind. anstatt der Werte werden die Ränge dieser Werte benutzt Wilcoxon Rang Tests Ungepaarter Test : Wilcoxon rank sum test, Mann-Whitney U-test Gepaarter Test : Wilcoxon signed rank test

45 Wilcoxon Rani Sum Test, Mann-Whitney U Test Zwei ungepaarte Proben Werte der 2 Proben werden zusammengelegt, und nach steigenden Werten geordnet R 1 ist die Summe der n 1 Ränge der ersten Probe * Teststatistik : R1 = 59 > wilcox.test(x1,x2) Wilcoxon rank sum test data: x1 and x2 W = 23 W = 23, p-value = alternative hypothesis: true location shift is not equal to 0 * Probe 1 ist per Defnition die mit dem kleinsten R

46 Wilcoxon signed rani Test zwei gepaarte Proben D i : Diferenzen der Paare R i : Ränge der D i Teststatistik : Sind die positiven Diferenzen größer,kleiner als die negativen? H 0 : die positiven,negativen Diferenzen haben gleiche Rangverteilung

47 Wilcoxon signed rani Test Beispiel : Behandlung der Anorexie > X Prior Post Diff AbsDiff ranks SignedRanks > W.p <- sum(x[x$diff>0,'ranks']) > W.m <- sum(x[x$diff<0,'ranks']) > W.p [1] 142 > W.m [1] 11 Hier: beidseitiger Test! > wilcox.test(x$prior,x$post,paired=true) Wilcoxon signed rank test data: X$Prior and X$Post V = 11, p-value = alternative hypothesis: true location shift is not equal to 0

48 Wilcoxon robuster als t-test? H 0 gilt in allen Fällen immer stärkere Abweichung von der Normalitätsvoraussetzung p-werte Verteilung weicht bei t-test von der Gleichverteilung ab... aber nicht bei dem Wilcoxon rank-sum test. ungepaarter t-test Wilcoxon rank sum test